缺陷检测方法、装置、电子设备及存储介质与流程

本技术涉及人工智能，特别是涉及一种缺陷检测方法、装置、电子设备及存储介质。

背景技术：

1、目前，针对产品缺陷检测问题通常采用深度学习算法实现，但利用深度学习算法进行缺陷检测的准确性依赖于大量人工标注的缺陷样本，随着缺陷种类越多或缺陷特征的可区分性越低，所需的缺陷样本数量越大，样本获取成本高且训练效率低，同时，由于深度学习算法一般采用有监督训练的方式，在缺少训练样本的情况下，会降低缺陷检测的准确性。

技术实现思路

1、以下是对本技术详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

2、本技术实施例提供了一种缺陷检测方法、装置、电子设备及存储介质，能够提高缺陷检测的准确性的同时降低对训练样本的依赖性。

3、一方面，本技术实施例提供了一种缺陷检测方法，包括：

4、获取目标工件的待测图像以及所述目标工件的模板图像，将所述待测图像与所述模板图像进行对比差分，得到目标差分图像；

5、将所述待测图像与所述目标差分图像输入至缺陷目标检测模型，提取出目标图像特征，基于所述目标图像特征对所述待测图像进行缺陷目标检测，得到所述待测图像中的缺陷检测框信息，其中，所述目标图像特征包括所述待测图像的特征以及所述目标差分图像的特征；

6、在所述目标差分图像中定位出缺陷区域，根据所述缺陷区域确定所述目标工件的参考缺陷检测结果；

7、根据所述缺陷检测框信息和所述参考缺陷检测结果，确定所述目标工件的目标缺陷检测结果。

8、另一方面，本技术实施例还提供了一种缺陷检测装置，包括：

9、第一处理模块，用于获取目标工件的待测图像以及所述目标工件的模板图像，将所述待测图像与所述模板图像进行对比差分，得到目标差分图像；

10、第二处理模块，用于将所述待测图像与所述目标差分图像输入至缺陷目标检测模型，提取出目标图像特征，基于所述目标图像特征对所述待测图像进行缺陷目标检测，得到所述待测图像中的缺陷检测框信息，其中，所述目标图像特征包括所述待测图像的特征以及所述目标差分图像的特征；

11、第三处理模块，用于在所述目标差分图像中定位出缺陷区域，根据所述缺陷区域确定所述目标工件的参考缺陷检测结果；

12、第四处理模块，用于根据所述缺陷检测框信息和所述参考缺陷检测结果，确定所述目标工件的目标缺陷检测结果。

13、进一步地，第二处理模块还用于：

14、将所述待测图像与所述目标差分图像分别输入至缺陷目标检测模型，提取所述待测图像的第一图像特征，以及提取所述目标差分图像的第二图像特征；

15、融合所述第一图像特征和所述第二图像特征得到目标图像特征。

16、进一步地，第二处理模块还用于：

17、对所述目标差分图像进行复制，直至所述目标差分图像的通道数量与所述待测图像的通道数量相等；

18、将所述待测图像与复制后的所述目标差分图像分别输入至缺陷目标检测模型，其中，所述待测图像与复制后的所述目标差分图像共享缺陷所述缺陷目标检测模型中的同一个特征提取模块。

19、进一步地，第二处理模块还用于：

20、对所述待测图像依次进行多个阶段的卷积，其中，每个阶段包括至少一条卷积支路，每条所述卷积支路用于进行多次卷积，每当进入下一个阶段的卷积时，增加所述卷积支路进行卷积，增加的所述卷积支路的分辨率小于所属阶段中任意一条已存在的所述卷积支路，任意一个阶段中任意一条所述卷积支路的输入，是根据前一个阶段中所有所述卷积支路的输出融合得到的；

21、获取最后一个阶段各条所述卷积支路输出的原始卷积特征，将多个所述原始卷积特征进行融合，得到第一目标卷积特征；

22、对所述第一目标卷积特征进行下采样，得到所述待测图像的第一图像特征。

23、进一步地，第二处理模块还用于：

24、将多个所述原始卷积特征进行融合后，分别进行与最后一个阶段各条所述卷积支路分辨率相同的卷积，得到对应分辨率的第二目标卷积特征；

25、将多个所述第二目标卷积特征进行融合，得到第一目标卷积特征。

26、进一步地，第二处理模块还用于：

27、将所述第一图像特征中各个像素点的特征值与所述第二图像特征中对应像素点的特征值进行级联，得到第三图像特征；

28、对所述第三图像特征进行降维，得到第四图像特征；

29、对所述第四图像特征进行激活，得到目标图像特征。

30、进一步地，第二处理模块还用于：

31、将基于所述目标图像特征进行池化得到的池化特征，输入至所述缺陷目标检测模型中多个级联的检测网络头进行缺陷目标检测，得到所述待测图像中的缺陷检测框信息；

32、其中，所述池化特征为用于表征目标区域的特征，所述缺陷检测框信息包括缺陷检测框坐标；

33、输入至首个所述检测网络头的所述池化特征，是在所述目标图像特征中，提取参考检测框坐标对应的特征并与所述目标图像特征进行池化得到的，所述参考检测框坐标是将所述目标图像特征输入至所述缺陷目标检测模型中的区域提议网络进行区域提取得到的；

34、输入至其余所述检测网络头的所述池化特征，是在所述目标图像特征中，提取前一个所述检测网络头输出的所述缺陷检测框坐标对应的特征，并与所述目标图像特征进行池化得到的。

35、进一步地，第四处理模块还用于：

36、当所述参考缺陷检测结果指示所述目标工件不存在缺陷时，获取所述目标缺陷类别对应的预设置信概率阈值以及预设面积阈值；

37、根据所述缺陷检测框坐标确定缺陷面积，确定所述缺陷面积与所述预设面积阈值之间的第一大小关系，以及所述检测框置信概率与所述预设置信概率阈值之间的第二大小关系；

38、根据所述第一大小关系和所述第二大小关系确定所述目标工件的目标缺陷检测结果。

39、进一步地，第四处理模块还用于：

40、当所述参考缺陷检测结果指示所述目标工件存在缺陷时，确定所述目标工件的目标缺陷检测结果为所述目标工件存在缺陷。

41、进一步地，第一处理模块还用于：

42、确定所述待测图像与所述模板图像之间的变换参数，根据所述变换参数将所述模板图像与所述待测图像进行配准；

43、在进行配准后，将所述待测图像与所述模板图像进行对比差分，得到原始差分图像；

44、对所述原始差分图像进行形态学过滤，得到目标差分图像。

45、进一步地，第一处理模块还用于：

46、基于所述模板图像在所述待测图像中进行滑动窗口，确定所述模板图像每次停留时与所述待测图像中对应区域之间的相关性系数；

47、根据所述相关性系数在所述待测图像中确定目标区域，根据所述目标区域确定用于将所述待测图像变换至所述模板图像的位置的变换矩阵；

48、确定所述变换矩阵的逆矩阵，将所述逆矩阵作为所述待测图像与所述模板图像之间的变换参数。

49、进一步地，第二处理模块还用于：

50、将所述待测图像与所述目标差分图像进行串接，得到串接图像；

51、将所述串接图像输入至缺陷目标检测模型，提取所述串接图像的目标图像特征。

52、进一步地，缺陷检测装置还包括第一训练模块，该第一训练模块用于：

53、获取所述目标工件的训练图像，将所述训练图像与所述模板图像进行对比差分，得到样本差分图像，其中，所述训练图像标注有对应的缺陷类别标签；

54、将所述训练图像与所述样本差分图像输入至所述缺陷目标检测模型，得到所述训练图像中的样本检测框信息，其中，所述样本检测框信息包括所述目标工件的样本缺陷类别；

55、根据所述样本缺陷类别与所述缺陷类别标签确定原始分类损失；

56、确定预设的第一调整参数和第二调整参数，根据所述第一调整参数和所述第二调整参数调整所述原始分类损失，得到目标分类损失，其中，所述第一调整参数与所述缺陷类别标签对应的正负样本数量相关，所述第二调整参数与所述缺陷类别标签对应的分类难易程度相关；

57、根据所述目标分类损失训练所述缺陷目标检测模型。

58、另一方面，本技术实施例还提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的缺陷检测方法。

59、另一方面，本技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行实现上述的缺陷检测方法。

60、另一方面，本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行实现上述的缺陷检测方法。

61、本技术实施例至少包括以下有益效果：利用目标工件的待测图像和模板图像进行对比差分，得到目标差分图像，目标差分图像能够提供目标工件在视觉上的差异信息，接着将待测图像和目标差分图像输入至缺陷目标检测模型，从而能够为模型引入差异信息，有助于提高模型进行特征提取的准确率；然后再提取出目标图像特征，并基于目标图像特征对待测图像进行缺陷目标检测，得到待测图像中的缺陷检测框信息，通过利用目标图像特征中目标差分图像对应的特征突出待检测图像中的缺陷区域相关的特征，有助于提高模型对缺少训练样本而未学习的缺陷分类的检测能力，提高缺陷检测框信息的准确率；通过目标差分图像定位得出的缺陷区域确定出目标工件的参考缺陷检测结果，通过综合参考缺陷检测结果和缺陷检测框信息确定目标工件的目标缺陷检测结果，即在深度学习算法进行缺陷检测的基础上结合多次差分对比的特征，能够利用差分对比得到的特征的高视觉可见性，在视觉上辅助进行缺陷检测，有效提高缺陷检测的准确性，降低对训练样本的依赖。

62、本技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。