焊缝缺陷检测方法、装置、可读存储介质及电子设备与流程

本技术涉及工业制造，尤其涉及一种焊缝缺陷检测方法、装置、可读存储介质及电子设备。

背景技术：

1、在工业制造技术领域，在对工件进行处理时，通常会涉及焊接工序。例如，将工件的两个部件进行焊接，焊接完成后，通常需要对焊缝的质量进行检测，以剔除质量不合格的产品，从而提高产品良率。

2、在对焊缝的质量进行检测时，主要是对焊缝是否存在缺陷进行检测。在相关技术中，通常是采用人工检测的方式对焊缝是否存在缺陷进行检测。

3、然而，该种焊缝检测方式受限于检测人员的专业水平，可能存在焊缝缺陷漏检、错检的情况出现，焊缝检测的准确率较低，进而影响产品的合格率。

技术实现思路

1、本技术的目的是提供一种焊缝缺陷检测方法、装置、可读存储介质及电子设备，用于解决相关技术中通过人工目视检测焊缝缺陷准确率较低的问题，提高工件焊缝缺陷的检测精度。

2、本技术提供一种焊缝缺陷检测方法，包括：

3、获取包含目标工件表面焊缝的目标图像；利用分割模型对所述目标图像进行图像分割得到表面焊缝图像，以及利用检测模型从所述目标图像中提取焊缝的多个候选检测框；将所述表面焊缝图像与所述多个候选检测框进行融合，得到目标融合图像；通过自注意力机制从所述目标融合图像中提取出目标特征图像，并基于所述目标特征图像判断所述目标图像中是否存在焊缝缺陷。

4、可选地，所述利用分割模型对所述目标图像进行图像分割得到表面焊缝图像，包括：将所述目标图像转换为hsv图像，并通过对所述hsv图像的通道v的调整，拉伸所述hsv图像的亮度，并得到亮度提升图像；将所述亮度提升图像转换为rgb图像，并利用所述焊缝边界提取单元的特征提取模型对所述rgb图像进行特征提取，得到图像金字塔。

5、可选地，所述将所述亮度提升图像转换为rgb图像，并利用所述焊缝边界提取单元的特征提取模型对所述rgb图像进行特征提取，得到图像金字塔之后，所述方法还包括：将所述图像金字塔中的各个层级对应的第一特征图像进行自适应平均池化处理，并通过所述焊缝边界提取单元的全卷积模型对处理后的各个层级的特征图像进行特征提取，得到各个层级对应的第二特征图像；对各个层级对应的第二特征图像进行上采样处理，将每个层级对应的第二特征图像的尺寸调整为目标尺寸，并将每个层级对应的特征图像进行特征融合，得到全局特征图像；将所述全局特征图像进行归一化处理，得到0,1分布的第一识别结果图像；0值表示非焊缝区域，1值表示焊缝区域；基于所述第一识别结果图像中各个区域的数值，得到所述表面焊缝图像。

6、可选地，所述利用检测模型从所述目标图像中提取焊缝的多个候选检测框，包括：利用特征提取模型提取从所述目标图像中提取出第三特征图像，并将所述第三特征图像输入到区域候选网络模型中，提取所述多个候选检测框。

7、可选地，所述将所述表面焊缝图像与所述多个候选检测框进行融合，得到目标融合图像，包括：将所述表面焊缝图像以区别于所述多个候选检测框的rgb通道的第四通道与所述多个候选检测框进行图像融合，得到所述目标融合图像。

8、可选地，所述通过自注意力机制从所述目标融合图像中提取出目标特征图像，包括：获取目标候选检测框以及与所述目标候选检测框长边相邻的两个尺寸相同的相邻候选检测框；将所述目标候选检测框作为key和value，以及将第一相邻候选检测框作为query进行注意力计算，得到第四特征图像；将第二相邻候选检测框作为key和value，以及将所述目标候选检测框作为query进行注意力计算，得到第五特征图像；将所述第四特征图像作为key和value，以及将所述第五特征图像作为query进行注意力计算，得到所述目标特征图像；其中，所述目标候选检测框为所述多个候选检测框中任一候选检测框；所述第一相邻候选检测框为两个相邻候选检测框中的一个，所述第二相邻候选检测框为两个相邻候选检测框中的另一个。

9、可选地，所述基于所述目标特征图像判断所述目标图像中是否存在焊缝缺陷，包括：将所述目标特征图像输入全连接层，并将输出结果进行归一化处理，得到针对所述目标候选检测框的分类结果；基于所述分类结果，判断所述目标图像中是否存在焊缝缺陷。

10、本技术还提供一种焊缝缺陷检测装置，包括：

11、获取模块，用于获取包含目标工件表面焊缝的目标图像；图像分割模块，用于利用分割模型对所述目标图像进行图像分割得到表面焊缝图像；焊缝检测模块，用于利用检测模型从所述目标图像中提取焊缝的多个候选检测框；图像融合模块，用于将所述表面焊缝图像与所述多个候选检测框进行融合，得到目标融合图像；特征提取模块，用于通过自注意力机制从所述目标融合图像中提取出目标特征图像；缺陷检测模块，用于基于所述目标特征图像判断所述目标图像中是否存在焊缝缺陷。

12、可选地，所述装置还包括：图像处理模块；所述图像处理模块，用于将所述目标图像转换为hsv图像，并通过对所述hsv图像的通道v的调整，拉伸所述hsv图像的亮度，并得到亮度提升图像；图像处理模块，还用于将所述亮度提升图像转换为rgb图像，并利用所述焊缝边界提取单元的特征提取模型对所述rgb图像进行特征提取，得到图像金字塔。

13、可选地，所述特征提取模块，还用于将所述图像金字塔中的各个层级对应的第一特征图像进行自适应平均池化处理，并通过所述焊缝边界提取单元的全卷积模型对处理后的各个层级的特征图像进行特征提取，得到各个层级对应的第二特征图像；所述图像分割模块，具体用于对各个层级对应的第二特征图像进行上采样处理，将每个层级对应的第二特征图像的尺寸调整为目标尺寸，并将每个层级对应的特征图像进行特征融合，得到全局特征图像；所述图像分割模块，具体还用于将所述全局特征图像进行归一化处理，得到0,1分布的第一识别结果图像；0值表示非焊缝区域，1值表示焊缝区域；所述图像分割模块，具体还用于基于所述第一识别结果图像中各个区域的数值，得到所述表面焊缝图像。

14、可选地，所述焊缝检测模块，具体用于利用特征提取模型提取从所述目标图像中提取出第三特征图像，并将所述第三特征图像输入到区域候选网络模型中，提取所述多个候选检测框。

15、可选地，所述图像融合模块，具体用于将所述表面焊缝图像以区别于所述多个候选检测框的rgb通道的第四通道与所述多个候选检测框进行图像融合，得到所述目标融合图像。

16、可选地，所述获取模块，还用于获取目标候选检测框以及与所述目标候选检测框长边相邻的两个尺寸相同的相邻候选检测框；所述特征提取模块，具体用于将所述目标候选检测框作为key和value，以及将第一相邻候选检测框作为query进行注意力计算，得到第四特征图像；所述特征提取模块，具体还用于将第二相邻候选检测框作为key和value，以及将所述目标候选检测框作为query进行注意力计算，得到第五特征图像；所述特征提取模块，具体还用于将所述第四特征图像作为key和value，以及将所述第五特征图像作为query进行注意力计算，得到所述目标特征图像；其中，所述目标候选检测框为所述多个候选检测框中任一候选检测框；所述第一相邻候选检测框为两个相邻候选检测框中的一个，所述第二相邻候选检测框为两个相邻候选检测框中的另一个。

17、可选地，所述缺陷检测模块，具体用于将所述目标特征图像输入全连接层，并将输出结果进行归一化处理，得到针对所述目标候选检测框的分类结果；所述缺陷检测模块，具体还用于基于所述分类结果，判断所述目标图像中是否存在焊缝缺陷。

18、本技术还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任一种所述焊缝缺陷检测方法的步骤。

19、本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述焊缝缺陷检测方法的步骤。

20、本技术还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述焊缝缺陷检测方法的步骤。

21、本技术提供的焊缝缺陷检测方法、装置、可读存储介质及电子设备，首先获取包含目标工件表面焊缝的目标图像，并利用分割模型对所述目标图像进行图像分割得到表面焊缝图像，以及利用检测模型从所述目标图像中提取焊缝的多个候选检测框。之后，将所述表面焊缝图像与所述多个候选检测框进行融合，得到目标融合图像。最后，通过自注意力机制从所述目标融合图像中提取出目标特征图像，并基于所述目标特征图像判断所述目标图像中是否存在焊缝缺陷。如此，不仅可以快速的识别出是否存在焊缝缺陷，还能够解决相关技术中通过人工目视检测焊缝缺陷准确率较低的问题，提高工件焊缝缺陷的检测精度。