边缘AI · 2026-08-25
从 ONNX 到 RKNN 的完整流程,量化精度损失,以及 1080p 下的实际帧率。
客户要在产线上做外观缺陷检测,要求单相机 30 fps、不能联网。我们选了 RV1126B,这篇记录部署过程。
PyTorch 训练 → ONNX 导出 → RKNN Toolkit2 量化 → 板端推理 量化用的是 INT8,校准集取了 500 张现场图。这里有个关键点: 校准集必须包含现场光照条件 ,如果用公开数据集校准,精度会掉 8~12 个百分点。
精度损失
用现场图校准后,INT8 的精度损失控制在 1 个百分点以内,可以接受。
实测帧率
1080p 输入、YOLOv8n:
纯推理:42 fps
含前处理(缩放、归一化):31 fps
含后处理(NMS):28 fps
前处理是我们自己用 RGA 硬件加速写的,比 OpenCV 的 CPU 实现快 3 倍。如果直接用 OpenCV,帧率会掉到 15 fps 左右。
RKNN 的输入必须固定尺寸。 动态 shape 不支持,所有图像先缩放到模型输入尺寸,检测框再按比例映射回原图。
多线程推理要控制队列长度。 我们最初用无界队列,内存 20 分钟就涨到 1.2 GB;改成固定长度 4 的队列后稳定在 300 MB。