基于深度神经网络的焊缝X射线图像缺陷检测与识别方法

本发明涉及射线成像与无损检测，具体涉及一种基于深度神经网络的焊缝x射线图像缺陷检测与识别方法。

背景技术：

1、在工业管道运输，机器制造等领域中，焊缝技术成为关键。由于人员焊缝技术和复杂环境都将导致焊缝缺陷，很大程度降低产品质量，同时也可能造成人员伤亡和财产损失，因此进行焊缝缺陷检测与识别具有重要意义。x射线检测是将强度均匀的射线照射到被测的物体，使透过的射线在照相胶片上感光，而在成像的底片上，可以检测出被检测物体的焊接缺陷位置、类型、尺寸和数目等。要评定x射线对焊缝的检测结果，必须对获取的焊缝射线图像进行分析处理以评价焊接质量。评定x射线检测结果有两种方法：人工评定和计算机图像识别评定。

2、目前通过人工和计算机识别对焊缝图像结果进行评定。在人工评定的过程中，由于工作量大，强光对眼睛会造成伤害，而且不同技术人员的效率和经验不同，提高错判率。计算机识别可以大幅度的提升分析与评定的效率，更好的解决由于技术人员的经验差异而造成的误判或者漏判。

3、随着计算机的发展在机器视觉方面，目前采用传统算法对x射线检测结果进行分析和识别时，由于x射线检测图像质量较差，进行自动检测的难度较大。在焊缝x射线检测过程中，采用传统算法进行辅助判断，最终还是需要人工判断。因此该方法对工程师的要求较高，尤其是对质量较差的x射线检测图像，会出现较高的错检率和漏检率，从而影响检测效率。

技术实现思路

1、本发明提供一种基于深度神经网络的焊缝x射线图像缺陷检测与识别方法，目的是解决背景技术中存在的对工程师的要求较高、对质量较差的x射线检测图像会出现错检率和漏检率高的问题。

2、本发明提供的技术解决方案如下：

3、一种基于深度神经网络的焊缝x射线图像缺陷检测与识别方法，其特殊之处在于，包括以下步骤：

4、步骤1、获取焊缝x射线图像的开源数据集gd-xray，从所述开源数据集gd-xray中选取部分图片作为基础数据集，对所述基础数据集进行标注得到yolo格式的标签文件，将所述标签文件中目标类别划分为“point_defect”、“linear_defect”和“without_defect”；

5、步骤2、采用中值滤波对所述基础数据集进行图像预处理，消除所述焊缝x射线图像中的孤立噪声点，得到多张第一图像；

6、步骤3、对所述第一图像按照一定比例划分为训练集、验证集以及测试集；

7、步骤4、将所述训练集的图像输入到深度神经网络yolov5s模型中进行训练，在backbone层进行特征提取，得到不同大小的第一特征图，对所述第一特征图进行concat操作，得到第二特征图；

8、步骤5、在所述深度神经网络yolov5s模型的neck层嵌入注意力机制eca，对所述第二特征图进行detect，得到三个尺寸大小不同的第三特征图；

9、步骤6、将所述深度神经网络yolov5s模型中的ciou损失函数替换为eiou损失函数，得到改进深度神经网络yolov5s模型；

10、步骤7、将所述测试集的图像输入所述改进深度神经网络yolov5模型中，得到检测效果，所述检测结果中包含三类目标，分别为所述焊缝x射线图像中的点状缺陷、线状缺陷和无缺陷的图像。

11、进一步地，步骤1中，所述标签文件中包含目标类别、目标位置(x，y)和目标大小(w，h)，所述目标类别名称分别为“point_defect”、“linear_defect”和“without_defect”，所述标签文件与所述基础数据集中的图像一一对应。

12、进一步地，所述采用中值滤波对所述开源数据集gd-xray进行图像预处理，具体为：

13、将所述焊缝x射线图像中的任一像素点的值定义为a，采用第一函数进行中值滤波处理，将所述像素点进行中值滤波处理后得到的值定义为a1，第一函数表达式如下：

14、

15、其中，xm表示a的邻域内所有像素点的值，a的邻域包含m个像素点。

16、进一步地，步骤3中，所述训练集：所述验证集：所述测试集的比例为7:2:1。

17、进一步地，步骤4中，将所述训练集、验证集中的图像裁剪成大小640×640，然后输入所述深度神经网络yolov5s模型中，进行mixup处理，在backbone层提取图像特征，得到不同大小的特征图，然后将所述特征图输入到采用fpn+pan结构的neck层，对所述特征图进行concat操作，充分融合图像的底层特征和高层特征。

18、进一步地，步骤5中，对所述深度神经网络yolov5s模型进行改进，在neck层嵌入轻量化模块eca注意力机制，将eca模块的通道数与c3模块输出特征图的通道数对应，分别设置为256、512和1024，根据第二函数对所述第二图像进行平均池化，得到平均池化结果favg，将输出结果favg视为1×c的二维向量x，x＝[x1 x2 … xc]，所述第二函数表达式为：

19、

20、其中，pavg为平均池化过程，xij是大小为w×h的特征图上横坐标为i，纵坐标为j的点，w和h分别是输入特征图的宽度和高度，xk表示二维向量x的第k个分量；

21、利用一维卷积提取favg中每k个通道的特征关系，k为一维卷积核的大小，通过权重矩阵wk来学习各通道的信息，其中权重矩阵wk表达式为：

22、

23、根据所述权重矩阵wk得到输出结果y为：

24、

25、其中，ωc,c为权重矩阵第c行第c列的分量，c为通道数；

26、由输出结果y看出，仅考虑xi与其k个相邻通道之间的相互作用，避免了降维，同时保持了通道注意，即

27、

28、其中，xi为第i个通道，表示xi的k个相邻通道的集合，k值与通道数之间的映射关系可以表示如下：

29、

30、其中，|x|odd表示与x最近的奇数，γ＝2，b＝1；为映射关系；

31、在detect得到尺寸大小为20×20、40×40、80×80的第三特征图，分别对应小、中、大三个尺寸的目标。

32、进一步地，步骤6中,所述ciou损失函数与所述eiou损失函数均分别包括ciou惩罚项和eiou惩罚项，所述eiou惩罚项是将影响因子在所述ciou惩罚项基础上拆开，分别计算目标框的长和锚框的宽，所述eiou惩罚项公式如下：

33、

34、其中，leiou为eiou惩罚项，liou为重叠损失，ldis为中心距离损失，lasp为宽高损失，iou为交并比，ρ为预测框和真实框的中心点之间的欧式距离，wgt和hgt分别表示真实框的宽度和高度，w和h分别表示预测框的宽度和高度，cw为目标框最小外接框的宽度，ch为目标框的最小外接框的高度。

35、进一步地，所述将所述测试集的图像输入所述改进深度神经网络yolov5模型中，得到检测效果，包括以下步骤：

36、将所述训练集的图像输入到深度神经网络yolov5s模型中进行训练，并保存训练过程中深度神经网络yolov5s模型中在所述验证集上检测准确率最高时的权重参数，并将该权重文件命名为best.pt；

37、通过所述权重文件best.pt的权重对所述测试集的图像进行测试，得到检测效果。

38、进一步地，步骤3中，所述第一图像的数量为1216张，按照训练集：验证集：测试集＝7:2:1进行划分，得到训练集851张，验证集243张，测试集122张。

39、与现有技术相比，本发明的有益效果是：

40、1.本发明提供一种基于深度神经网络的焊缝x射线图像缺陷检测与识别方法，采用该方法在检测之前对数据进行中值滤波处理，可以在一定程度上消除孤立的噪声点，可以保持图像特征的同时不会产生过度模糊。解决了现有技术存在对工程师的要求较高、对质量较差的x射线检测图像会出现错检率和漏检率高的问题。

41、2.本发明提供一种基于深度神经网络的焊缝x射线图像缺陷检测与识别方法，通过在模型的neck层引入超轻量化注意力机制eca，平衡了模型的性能和复杂性。eca模块仅包含较少的参数，但可以带来较大的性能提升，同时能够避免过拟合现象的发生。