基于SwinTransformer的管道焊缝缺陷检测方法与流程

本技术涉及管道焊缝缺陷检测，特别涉及一种基于swin transformer的管道焊缝缺陷检测方法。

背景技术：

1、目前，对燃气管道焊缝缺陷检测主要是通过具有相应评片资质的专家对管道探伤成像进行人工检测和评定，不仅对检测人员的专业要求高，人工检测效率低，检测压力大，导致检测主观性高，如：相同的焊缝缺陷，不同的人或者相同的人在不同的时间检测结果可能不同；同时，培养达到检测要求，获得相应评片资质的人员的培训时间漫长，导致市面上具有专业评片的人员少。在项目现场，由于项目进度要求，对评片的实时性要求高，但市场上，达到资质的评片人员少，人工检测效率低，检测压力大，导致项目进度缓慢。

2、鉴于人工专家评片固有的缺点，通过采用计算机视觉技术代替专家对城燃管道焊缝缺陷进行检测，实现评片智能化。智能评片的检测准确度高，速度快，效率高，一定程度缓解了市场对评片人员的紧缺。

3、目前，随着计算机图像学技术和人工智能技术的发展，出现了各种采用计算机技术来实现管道焊缝缺陷的检测，主要有计算机图像学技术和基于cnn(convolutionalneural networks，卷积神经网络)卷积的深度学习的目标检测技术等，但这些技术精度低，误检和漏检率高，难以达到实际应用的精度。

4、目前，vit(vision transformer)架构已经替代经典的cnn架构，成为了计算机视觉领域通用的backbone，但是目前将transformer从自然语言处理领域应用到计算机视觉领域主要有两大挑战：

5、第一、视觉实体的方差较大，例如同一个物体，拍摄角度不同，转化为二进制后的图片就会具有很大的差异。同时在不同场景下视觉transformer性能未必很好。

6、第二、图像分辨率高，像素点多，如果采用vit模型，自注意力的计算量会与像素的平方成正比。

7、相关技术中的管道焊缝缺陷检测一般采用传统的计算机图像处理算法，先对成像图像进行二值化，再使用roberts、sobel、canny等边缘检测器算子对管道焊缝缺陷进行纹理分隔，然后对缺陷库现有的缺陷模版进行匹配，识别出缺陷的种类，但该方法的缺点很明显，管道焊缝缺陷尺寸很小，特别是城燃管道的焊缝缺陷，对其缺陷进行分割时，容易受噪声点的干扰，分割效果差，同时，缺陷库中的缺陷模版少，很难穷尽每种缺陷的各种形态，导致缺陷的识别率很低；常用的对其改进的方法，在分割出纹理后，对其进行特征抽取，输入到各种机器学习算法模型(如svm(support vector machines，支持向量机)))中进行缺陷分类，该方法同样受噪声分割影响，特征的提取困难，导致缺陷识别率同样到不到理想效果。

8、为了克服手工对其特征提取的困难，在管道焊缝缺陷检测中，常使用深度学习神经网络模型进行目标分类检测，如yolo(you only look once)系列模型，ssd(single shotmultibox detector)系列模型等进行缺陷目标检测，检测精度有所提升，但进一步提升检测精度有难度，而且检测结果不能用于后续的缺陷评级，亟待解决。

技术实现思路

1、本技术提供一种基于swin transformer的管道焊缝缺陷检测方法，解决了提升检测精度困难，并且检测结果无法用于后续的缺陷评级等问题，通过缺陷评级规则进行缺陷等级评定，达到工业级的检测精度。

2、本技术第一方面实施例提供一种基于swin transformer的管道焊缝缺陷检测方法，包括以下步骤：获取管道的dcn(data communication network，数字通信网络)灰度图像；对所述dcn灰度图像进行增强和去噪处理，并从处理后的所述dcn灰度图像识别出焊缝检测区域，且提取所述焊缝检测区域的最小外接矩阵的坐标值；基于所述焊缝检测区域的最小外接矩阵的坐标值，利用预设的swin transformer神经网络对所述焊缝检测区域进行语义分割，得到所述焊缝检测区域的缺陷类型的检测结果。

3、可选地，所述利用预设的swin transformer神经网络对所述焊缝检测区域进行语义分割，得到所述焊缝检测区域的缺陷类型的检测结果，包括：将所述焊缝检测区域输入至所述预设的swin transformer神经网络的骨干网络，得到管道焊缝图像特征；将所述管道焊缝图像特征输入至所述预设的swin transformer神经网络的颈部网络模块中进行特征融合或者增强，得到多尺度特征；将所述多尺度特征输入至所述预设的swin transformer神经网络的头部网络，得到所述焊缝检测区域的缺陷等级，并根据所述焊缝检测区域的缺陷等级得到所述焊缝检测区域的缺陷类型的检测结果，其中，所述头部网络包括辅助头网络和解码头网络。

4、可选地，在利用所述预设的swin transformer神经网络对所述焊缝检测区域进行语义分割之前，还包括：获取用于训练的管道焊缝缺陷图像；确定所述骨干网络的超参数、所述辅助头网络的结构超参数和所述解码头网络的结构超参数，并根据所述骨干网络的超参数构建所述骨干网络，根据所述辅助头网络的结构超参数构建所述辅助头网络，根据所述解码头网络的结构超参数构建所述解码头网络；利用所述用于训练的管道焊缝缺陷图像，训练所述骨干网络、所述辅助头网络和所述解码头网络得到所述预设的swintransformer神经网络。

5、可选地，所述对所述dcn灰度图像进行增强和去噪处理，包括：基于预设的灰度直方图，对所述dcn灰度图像进行增强和去噪处理，以增强所述dcn灰度图像的对比度和边缘特征。

6、可选地，在获取所述管道的dcn灰度图像之后，还包括：基于预设的归一化策略，对所述dcn灰度图像的每位像素值进行归一化处理。

7、可选地，所述从处理后的所述dcn灰度图像识别出焊缝检测区域，包括：从所述处理后的所述dcn灰度图像识别出初始焊缝检测区域；获取所述初始焊缝检测区域的置信度，并判断所述初始焊缝检测区域的置信度是否大于或等于预设置信度阈值；若所述初始焊缝检测区域的置信度大于或等于所述预设置信度阈值，则将所述初始焊缝检测区域作为所述焊缝检测区域，否则，忽略所述初始焊缝检测区域。

8、可选地，在利用所述预设的swin transformer神经网络对所述焊缝检测区域进行语义分割之前，还包括：对所述焊缝检测区域图像进行增强和去噪处理。

9、本技术第二方面实施例提供一种基于swin transformer的管道焊缝缺陷检测装置，包括：获取模块，用于获取管道的dcn灰度图像；处理模块，用于对所述dcn灰度图像进行增强和去噪处理，并从处理后的所述dcn灰度图像识别出焊缝检测区域，且提取所述焊缝检测区域的最小外接矩阵的坐标值；检测模块，用于基于所述焊缝检测区域的最小外接矩阵的坐标值，利用预设的swin transformer神经网络对所述焊缝检测区域进行语义分割，得到所述焊缝检测区域的缺陷类型的检测结果。

10、可选地，所述检测模块，还用于：将所述焊缝检测区域输入至所述预设的swintransformer神经网络的骨干网络，得到管道焊缝图像特征；将所述管道焊缝图像特征输入至所述预设的swin transformer神经网络的颈部网络模块中进行特征融合或者增强，得到多尺度特征；将所述多尺度特征输入至所述预设的swin transformer神经网络的头部网络，得到所述焊缝检测区域的缺陷等级，并根据所述焊缝检测区域的缺陷等级得到所述焊缝检测区域的缺陷类型的检测结果，其中，所述头部网络包括辅助头网络和解码头网络。

11、可选地，在利用所述预设的swin transformer神经网络对所述焊缝检测区域进行语义分割之前，所述检测模块，还用于：获取用于训练的管道焊缝缺陷图像；确定所述骨干网络的超参数、所述辅助头网络的结构超参数和所述解码头网络的结构超参数，并根据所述骨干网络的超参数构建所述骨干网络，根据所述辅助头网络的结构超参数构建所述辅助头网络，根据所述解码头网络的结构超参数构建所述解码头网络；利用所述用于训练的管道焊缝缺陷图像，训练所述骨干网络、所述辅助头网络和所述解码头网络得到所述预设的swin transformer神经网络。

12、可选地，所述处理模块，还用于：基于预设的灰度直方图，对所述dcn灰度图像进行增强和去噪处理，以增强所述dcn灰度图像的对比度和边缘特征。

13、可选地，在获取所述管道的dcn灰度图像之后，所述获取模块，还用于：基于预设的归一化策略，对所述dcn灰度图像的每位像素值进行归一化处理。

14、可选地，所述处理模块，还用于：从所述处理后的所述dcn灰度图像识别出初始焊缝检测区域；获取所述初始焊缝检测区域的置信度，并判断所述初始焊缝检测区域的置信度是否大于或等于预设置信度阈值；若所述初始焊缝检测区域的置信度大于或等于所述预设置信度阈值，则将所述初始焊缝检测区域作为所述焊缝检测区域，否则，忽略所述初始焊缝检测区域。

15、可选地，在利用所述预设的swin transformer神经网络对所述焊缝检测区域进行语义分割之前，所述检测模块，还用于：对所述焊缝检测区域图像进行增强和去噪处理。

16、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于swin transformer的管道焊缝缺陷检测方法。

17、本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的基于swin transformer的管道焊缝缺陷检测方法。

18、由此，本技术通过对dcn灰度图像进行增强和去噪处理，并从处理后的dcn灰度图像识别出焊缝检测区域，提取焊缝检测区域的最小外接矩阵的坐标值，并利用预设的swintransformer神经网络对焊缝检测区域进行语义分割，得到焊缝检测区域的缺陷类型的检测结果。由此，解决了提升检测精度困难，并且检测结果无法用于后续的缺陷评级等问题，通过缺陷评级规则进行缺陷等级评定，达到工业级的检测精度。

19、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。