基于质检场景的难例筛选方法、系统、设备及存储介质与流程

本发明涉及质检难例分类，尤其是涉及一种基于质检场景的难例筛选方法、系统、设备及存储介质。

背景技术：

1、在质检场景下，难例筛选通过降低标注数量来达到来降低模型维护成本的目的，难例筛选一般通过数据的不确定性以及多样性进行是否是难例的判定。

2、但是目前的难例筛选方法采用在整个数据集上学习一个全局距离矩阵来计算图像之间的相似度。但由于各种环境因素的影响，同一图像特征在不同摄像头下的图像差异较大，测试集中的难例样本特征分布不规律，全局度量模型很难取得较高的判别能力，也不能够对质检场景中的多个缺陷特征进行高质量地提取。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于质检场景的难例筛选方法、系统、设备及存储介质，能够对多个类别的缺陷特征进行提取，同时通过计算所属类别的马氏距离、置信度熵值和分类损失，通过多个指标加权进行难例筛选，提高难例筛选的准确度。

2、第一方面，本发明的实施例提供了一种基于质检场景的难例筛选方法，所述基于质检场景的难例筛选方法包括：

3、获取输入图像；

4、将所述输入图像输入至预设的深度学习模型，得到特征向量和所述特征向量对应的类别信息；所述类别信息包括所述特征向量的所属类别和所述所属类别的特征矩阵；

5、通过所述特征矩阵的协方差计算所述特征向量和所述所属类别之间的马氏距离；

6、通过所述输入图像输入至所述深度学习模型得到的置信度熵值、分类损失和所述马氏距离，计算得到难例值；

7、通过所述难例值和难例阈值对比计算，得到所述输入图像的难例分类结果。

8、根据本发明实施例的方法，至少具有如下有益效果：

9、首先，将输入图像通过深度学习模型得到特征向量和特征向量对应的类别信息，通过深度学习模型能够准确地提取特征向量，同时深度学习模型的可学习性和易迁移性，能够适应更多任务场景，对多个类别缺陷进行特征提取；其次，通过特征矩阵的协方差计算特征向量和所属类别之间的马氏距离，马氏距离不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关，马氏距离可以排除变量之间的相关性的干扰；然后，通过在深度学习模型提取过程中的置信度熵值和分类损失结合计算得到的马氏距离，进行多指标地综合筛选，提高难例筛选的鲁棒性，同时提高了难例筛选的准确性；最后通过难例阈值继续宁统一标准化地筛选，为不同任务场景的精度要求提供多样化的选择。

10、根据本发明的一些实施例，所述所属类别的特征矩阵通过如下步骤得到：

11、将已标注图像集输入至所述深度学习模型进行特征提取，得到所述已标注图像集的所有特征；

12、将所述所有特征根据所述已标注图像集的标注类别进行分类，得到每个所述所属类别的特征矩阵。

13、根据本发明的一些实施例，所述置信度熵值通过如下步骤得到：

14、将所述输入图像输入至所述深度学习模型，并计算所述输入图像在每个所述所属类别的置信度；

15、根据所述置信度计算得到所述输入图像的置信度熵值。

16、根据本发明的一些实施例，所述分类损失通过如下步骤得到：

17、在所述深度学习模型中增加分支网络；

18、通过所述分支网络对所述输入图像进行损失回归，得到所述分类损失。

19、根据本发明的一些实施例，所述通过所述输入图像输入至所述深度学习模型得到的置信度熵值、分类损失和所述马氏距离，计算得到难例值，包括：

20、通过所述已标注图像集和所述深度学习模型计算得到所述置信度熵值、所述分类损失和所述马氏距离之间的最佳权重；

21、根据所述最佳权重对所述置信度熵值、所述分类损失和所述马氏距离进行加权平均，得到所述难例值。

22、根据本发明的一些实施例，所述将已标注图像集输入至所述深度学习模型进行特征提取，得到所述已标注图像集的所有特征，包括：

23、将所述已标注图像集输入至所述深度学习模型，并根据所述深度学习模型得到所述已标注图像集的深层特征和浅层特征；

24、通过所述已标注图像集的标注、所述深层特征和所述浅层特征，得到所述已标注图像集的所有特征。

25、根据本发明的一些实施例，通过所述深度学习模型的模型精度和模型计算速度确定所述特征矩阵的维度。

26、第二方面，本发明的实施例提供了一种基于质检场景的难例筛选系统，所述基于质检场景的难例筛选系统包括：

27、图像获取模块，用于获取输入图像；

28、特征向量计算模块，用于将所述输入图像输入至预设的深度学习模型，得到特征向量和所述特征向量对应的类别信息；所述类别信息包括所述特征向量的所属类别和所述所属类别的特征矩阵；

29、马氏距离计算模块，用于通过所述特征矩阵的协方差计算所述特征向量和所述所属类别之间的马氏距离；

30、难例值计算模块，用于通过所述输入图像输入至所述深度学习模型得到的置信度熵值、分类损失和所述马氏距离，计算得到难例值；

31、难例分类模块，用于通过所述难例值和难例阈值对比计算，得到所述输入图像的难例分类结果。

32、第三方面，本发明的实施例提供了一种电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如第一方面所述的基于质检场景的难例筛选方法。

33、第四方面，本发明的实施例提供了一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的基于质检场景的难例筛选方法。

34、需要注意的是，本发明的第二方面和第三方面与现有技术之间的有益效果与第一方面的插件快速接入方法的有益效果相同，此处不再细述。

35、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

技术特征：

1.一种基于质检场景的难例筛选方法，其特征在于，所述基于质检场景的难例筛选方法包括：

2.根据权利要求1所述的基于质检场景的难例筛选方法，其特征在于，所述所属类别的特征矩阵通过如下步骤得到：

3.根据权利要求1所述的基于质检场景的难例筛选方法，其特征在于，所述置信度熵值通过如下步骤得到：

4.根据权利要求1所述的基于质检场景的难例筛选方法，其特征在于，所述分类损失通过如下步骤得到：

5.根据权利要求2所述的基于质检场景的难例筛选方法，其特征在于，所述通过所述输入图像输入至所述深度学习模型得到的置信度熵值、分类损失和所述马氏距离，计算得到难例值，包括：

6.根据权利要求2所述的基于质检场景的难例筛选方法，其特征在于，所述将已标注图像集输入至所述深度学习模型进行特征提取，得到所述已标注图像集的所有特征，包括：

7.根据权利要求1所述的基于质检场景的难例筛选方法，其特征在于，通过所述深度学习模型的模型精度和模型计算速度确定所述特征矩阵的维度。

8.一种基于质检场景的难例筛选系统，其特征在于，所述基于质检场景的难例筛选系统包括：

9.一种电子设备，其特征在于：包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的基于质检场景的难例筛选方法。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的基于质检场景的难例筛选方法。

技术总结
本发明公开了一种基于质检场景的难例筛选方法、系统、设备及存储介质，其方法包括：获取输入图像；将输入图像输入至预设的深度学习模型，得到特征向量和特征向量对应的类别信息；类别信息包括特征向量的所属类别和所属类别的特征矩阵；通过特征矩阵的协方差计算特征向量和所属类别之间的马氏距离；通过输入图像输入至深度学习模型得到的置信度熵值、分类损失和马氏距离，计算得到难例值；通过难例值和难例阈值对比计算，得到输入图像的难例分类结果。本发明能够对多个类别的缺陷特征进行提取，同时通过计算所属类别的马氏距离、置信度熵值和分类损失，通过多个指标加权进行难例筛选，提高难例筛选的准确度。

技术研发人员：郭玮,苏力强,罗善威
受保护的技术使用者：博瀚智能（深圳）有限公司
技术研发日：
技术公布日：2024/1/15