← 在分诊台打开(可搜索/导航)
Intel CPU/NPU上怎么部署模型(OpenVINO)
📱 E2 硬件→部署路由 · Intel CPU/NPU/集成显卡
状态:Intel平台推理首选但NPU算子覆盖不足
也这样说: openvino intel推理 intel npu openvino部署
可能根因:- Intel CPU/NPU是PC和边缘服务器主流
- OpenVINO是Intel官方推理框架
- 与TensorRT定位不同但常被对比
解决方案
✅ 官方方案(1条)
OpenVINO 官方文档
Intel官方推理框架,INT8量化在Intel CPU上可达2-4倍加速;ResNet-50 INT8实测342FPS/2.92ms,接近TensorRT FP16的389FPS/2.57ms
时效:2026-09
打开 ↗💡 排坑指南(1条)
OpenVINO vs TensorRT 怎么选
NVIDIA GPU→TensorRT无可争议;Intel CPU/NPU→OpenVINO;跨平台→ONNX Runtime;OpenVINO在GPU插件上性能不如TensorRT,但CPU推理是强项
时效:2026-09
打开 ↗⚠️ 避坑提醒(2条)
OpenVINO NPU后端算子覆盖不足
NPU后端对复杂模型/大模型/多模态模型支持有限,算子缺失是主要问题;llama.cpp OpenVINO后端跑VLM会出现CPY报错,需设-ngl 0走纯CPU路径
时效:2026-09
打开 ↗INT8 weight-only IR在NPU上静默崩溃
LLMPipeline(ir,"NPU")静默接受INT8 weight-only IR,运行时在pipe.generate()处抛出不可捕获的STATUS_ACCESS_VIOLATION(0xC0000005);这个坑极隐蔽因为加载时不报错
时效:2026-09
打开 ↗
本页是路由层入口,不存教程正文。每条入口带人工评注。
来自 问题分诊台 · Vertical Hub