一种基于动态量化的图像缺陷检测网络推理加速方法及系统与流程

本申请实施例涉及缺陷检测，尤其涉及一种基于动态量化的图像缺陷检测网络推理加速方法及系统。

背景技术：

1、随着工业自动化水平的不断提高，图像缺陷检测技术在诸如制造业、半导体检测、医疗影像分析等多个领域得到了广泛应用。为了满足高效、实时的缺陷检测需求，需要一种能够在保证检测精度的同时降低计算资源消耗的方法。特别是在边缘计算和移动设备等资源受限的环境下，如何有效地部署复杂的深度学习模型成为一个关键问题。

2、目前的图像缺陷检测方法大多依赖于深度学习模型，这些模型虽然具有较高的检测精度，但往往需要大量的计算资源来进行推理。为了在边缘设备上部署这些模型，通常会采用模型压缩技术如量化，将模型中的浮点运算转换为整数运算，以此来减少模型的计算成本和内存占用。然而，传统的量化方法往往是静态的，即在模型训练完成之后固定量化参数，这可能导致在处理不同类型的数据时模型性能下降。

3、以下是现有方案所存在的缺陷：

4、适应性差：静态量化参数一旦设定就不再改变，不能适应不同输入数据的特性变化，这可能导致在某些特定情况下模型性能下降。

5、灵活性不足：由于量化参数固定，当输入数据发生变化时，模型无法动态调整以优化性能。

技术实现思路

1、本申请实施例提供一种基于动态量化的图像缺陷检测网络推理加速方法及系统及系统，用以解决现有技术中适应性差、灵活性不足、资源浪费的问题。

2、第一方面，本申请实施例提供一种基于动态量化的图像缺陷检测网络推理加速方法，包括：

3、采集图像数据，并对所述图像数据进行预处理；

4、基于预处理后的图像数据，利用预先训练好的图像缺陷检测网络进行推理，得到初步推理结果；

5、根据所述图像数据的统计特性，动态调整所述图像缺陷检测网络中的量化参数，得到优化后的量化参数；

6、根据优化后的量化参数，重新进行推理，得到优化后的推理结果；

7、所述根据优化后的量化参数，重新进行推理，得到优化后的推理结果，包括：使用优化后的量化参数对所述图像缺陷检测网络中的权重和激活函数进行量化；通过量化后的网络重新对所述图像数据进行推理，得到优化后的推理结果。

8、可选地，所述动态调整所述图像缺陷检测网络中的量化参数包括：

9、分析所述图像数据的像素值分布情况，确定合适的量化位宽；

10、根据所述像素值分布情况，调整所述图像缺陷检测网络中的权重量化位宽和激活量化位宽。

11、可选地，所述根据所述图像数据的统计特性，动态调整所述图像缺陷检测网络中的量化参数包括：

12、计算所述图像数据的直方图，并根据所述直方图确定量化阈值；

13、根据所述量化阈值调整所述图像缺陷检测网络中的量化粒度。

14、可选地，所述量化阈值的计算公式包括：

15、

16、其中，为量化阈值，为像素值在直方图中的频率，为直方图的长度，是一个正实数，用于调整像素频率的权重，和分别是图像像素值的均值和标准差。

17、可选地，所述根据优化后的量化参数，重新进行推理，得到优化后的推理结果，包括：

18、使用优化后的量化参数对所述图像缺陷检测网络中的权重和激活函数进行量化；

19、通过量化后的网络重新对所述图像数据进行推理，得到优化后的推理结果。

20、可选地，所述权重的量化过程中量化误差的计算公式如下：

21、

22、其中，为量化误差，为原始权重值，为量化后的权重值，为权重的数量，为正则化项系数，为偏斜度惩罚系数，为权重的平均值。

23、可选地，所述激活函数的量化过程包括：

24、定义激活函数进行量化过程的量化函数，所述量化函数用于将浮点数值映射到指定量化位宽的整数值；

25、其中，所述量化函数的计算公式如下：

26、

27、其中，表示为量化函数，表示为缩放因子，表示为输入值，表示为零点偏移，表示为对输入值进行缩放和平移调整，并通过加上和向下取值的方式，将结果量化为最近的整数，表示为向下取整符号，为量化位宽，函数表示为将的值裁剪到区间内；

28、确定缩放因子和零点偏移的计算公式如下：

29、

30、

31、其中，为输入值，为量化位宽，为缩放因子，表示激活函数输出的最大绝对值，表示激活函数输出的最小值。

32、第二方面，本申请实施例提供一种基于动态量化的图像缺陷检测网络推理加速系统，包括：

33、数据采集模块，用于采集图像数据，并对所述图像数据进行预处理；

34、推理模块，用于基于预处理后的图像数据，利用预先训练好的图像缺陷检测网络进行推理，得到初步推理结果；

35、量化参数调整模块，用于根据所述图像数据的统计特性，动态调整所述图像缺陷检测网络中的量化参数，得到优化后的量化参数；

36、优化推理模块，用于根据优化后的量化参数，重新进行推理，得到优化后的推理结果。

37、第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一方面任一所述的基于动态量化的图像缺陷检测网络推理加速方法。

38、第四方面，本申请实施例提供一种计算机存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现第一方面中任意一项所述的基于动态量化的图像缺陷检测网络推理加速方法。

39、本申请实施例中，采集图像数据，并对所述图像数据进行预处理；基于预处理后的图像数据，利用预先训练好的图像缺陷检测网络进行推理，得到初步推理结果；根据所述图像数据的统计特性，动态调整所述图像缺陷检测网络中的量化参数，得到优化后的量化参数；根据优化后的量化参数，重新进行推理，得到优化后的推理结果。本申请提供的技术方案不仅提升了模型在不同应用场景下的适应性和灵活性，而且有效节约了计算资源。

40、本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

技术特征：

1.一种基于动态量化的图像缺陷检测网络推理加速方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述动态调整所述图像缺陷检测网络中的量化参数包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述图像数据的统计特性，动态调整所述图像缺陷检测网络中的量化参数包括：

4.根据权利要求3所述的方法，其特征在于，所述量化阈值的计算公式包括：；

5.根据权利要求1所述的方法，其特征在于，所述权重的量化过程中量化误差的计算公式如下： ；

6.据权利要求1所述的方法，其特征在于，所述激活函数的量化过程包括：

7.一种基于动态量化的图像缺陷检测网络推理加速系统，其特征在于，包括：

8.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至6任一所述的基于动态量化的图像缺陷检测网络推理加速方法。

9.一种计算机存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的基于动态量化的图像缺陷检测网络推理加速方法。

技术总结
本申请提供一种基于动态量化的图像缺陷检测网络推理加速方法及系统。其中，采集图像数据，并对所述图像数据进行预处理；基于预处理后的图像数据，利用预先训练好的图像缺陷检测网络进行推理，得到初步推理结果；根据所述图像数据的统计特性，动态调整所述图像缺陷检测网络中的量化参数，得到优化后的量化参数；根据优化后的量化参数，重新进行推理，得到优化后的推理结果。本申请提供的技术方案提升了模型在不同应用场景下的适应性和灵活性，而且有效节约了计算资源。

技术研发人员：刘旭,刘强强,牟宏磊,蒙洋,刘晶晶
受保护的技术使用者：北京智眸科技发展有限公司
技术研发日：
技术公布日：2024/11/4