算力部署

ONNX 视频分析硬件怎么选:CPU、DirectML、CUDA 与 OpenVINO

面向 StreamGate Analysis Node 部署,对比 Windows DirectML、Linux CUDA、OpenVINO、CPU 和 Linux aarch64 的适用硬件、安装包与验证重点。

先按平台选择可用后端

ONNX 是模型交换格式,真正执行推理的是 ONNX Runtime 及其计算后端。选择硬件时不能只问“有没有显卡”,还要确认操作系统、驱动、运行时版本、模型算子和部署方式是否匹配。

平台常用后端更适合的情况
Windows x64CPU、DirectML现有 Windows 工作站,使用 Intel、AMD 或 NVIDIA 图形设备
Linux x86_64CPU、CUDA、OpenVINO服务器、独立分析主机、NVIDIA GPU 或 Intel CPU/GPU/NPU 环境
Linux aarch64CPUARM 边缘设备和低通道部署,需单独验证实际处理速度

DirectML 的优势是覆盖 Windows 上多家 GPU,部署门槛相对低;CUDA 适合已经具备兼容 NVIDIA 驱动和运行库的 Linux 服务器;OpenVINO 适合 Intel 平台,并可根据设备情况使用 CPU、GPU 或 NPU。CPU 后端兼容性最好,也是判断模型和任务链路是否正确的基线。

为什么使用受控能力包

完整的 Analysis Node 安装包包含离线可用的基础视频分析能力,可直接完成画面巡检、人员车辆检测和常用时序规则。后续专项能力以官方签名能力包交付,包内同时固定模型、输入输出合同、类别标签、预处理、后处理、推荐阈值、来源和许可信息,避免出现“文件能加载但结果不可用”的情况。

联网环境由 StreamGate 从国内主源或镜像自动取得能力包,完成完整性和签名校验后一次下载、分发到选定节点;无网环境可导入 hbrun 提供的签名离线包。原始 ONNX 文件不能直接上传到生产节点,程序升级会保留已经验证和启用的能力包。

CUDA 和 OpenVINO 组件体积较大,可以作为独立的运行组件安装,但仍需经过版本和完整性校验。它们改变的是推理后端,不改变 StreamGate 的分析授权版本。

不能只看显卡利用率

视频分析的有效容量还受图像尺寸、抽帧间隔、模型耗时、CPU 解码、网络传输和任务类型影响。实际评估至少应记录平均和高分位处理耗时、队列长度、超时或回退状态,以及实时预览、录像是否受到影响。

如果 GPU 后端初始化失败,系统应明确显示回退到 CPU 的原因,不能只显示“节点在线”。否则测试时看似可用,正式增加通道后才发现处理速度远低于预期。

Analysis Node 运行状态与计算后端界面
StreamGate Analysis Node在 StreamGate 中统一配置分析任务、调度本机或远程节点,并查看告警、证据图片和处理结果。查看 AI 智能分析扩展

硬件选型的稳妥流程

先在 CPU 后端用少量真实通道验证模型、区域和告警逻辑,再安装目标加速组件。然后逐步增加分析通道,观察单次处理耗时、队列和系统资源。远程节点还要测量图像传输和断线恢复。

对 Linux aarch64,可以通过交叉构建和 QEMU 验证程序与包的架构兼容性,但容量结论仍应以目标硬件实测为准。相同的 aarch64 架构可能使用完全不同的 CPU、内存带宽和加速能力,不能用一个设备的数字代表全部 ARM 平台。

这篇内容是否有帮助?反馈仅用于改进文章内容。