从训练到边缘部署：YOLO 模型 INT8 量化的精度损失怎么控

把训练好的检测模型部署到带 NPU 的边缘设备，通常绕不开 INT8 量化。
量化的好处是推理更快、功耗更低，代价是精度可能下降。
关键在于：**下降多少必须实测，不能看纸面指标**。

一、精度损失从哪来

浮点权重被映射到 8 位整数，表示范围与精度都变窄。影响最大的通常是：

激活值分布的长尾 —— 少数极大值会拉大量化步长，导致多数值分辨率不足；
小目标的特征响应 —— 幅值本就不大，量化后更容易被噪声淹没；
深层网络的累积误差 —— 逐层的小偏差会在后段放大。

二、怎么评估

不要只看整体 mAP。要分项对比浮点与量化后的：

1. 小目标召回率（这是最容易掉的指标）；
2. 分类置信度分布（阈值是否需要重新标定）；
3. 在真实缺陷样本上的漏检率 —— 这才是现场关心的数字。

评估必须用**独立的验证集**，且这个集合要覆盖实际工况
（不同班次、不同批次）。用训练集评估量化效果没有意义。

三、减小损失的可操作手段

· **量化感知训练（QAT）**：在训练阶段模拟量化误差，让模型适应，
效果通常明显好于训练后量化（PTQ），代价是训练流程更复杂；
· **校准集选择**：PTQ 需要一批代表性样本做校准，
校准集必须覆盖真实分布，只放正常样本会导致缺陷场景精度骤降；
· **逐层混合精度**：对量化敏感的首尾层保留更高精度；
· **调整输入分辨率**：适当提高分辨率可补偿小目标特征的损失，
但要重新评估算力是否够用。

四、部署后的收尾工作

量化会改变置信度分布，因此**阈值必须重新标定**。
把浮点模型的阈值直接搬过去，是最常见的低级错误。

另外建议保留一份浮点模型作为参照：
现场出现异常时，用同一批图像跑浮点与量化两版，
能快速判断问题出在量化还是出在现场（打光、物料变化）。

五、小结

量化不是"导出时勾一个选项"这么简单。
把校准集选对、把阈值重标、把评估指标分项看，
才能既拿到速度又守住精度。