一种基于ECA-ConvNext铸件缺陷识别方法

本发明属于铸件缺陷识别领域，更具体的涉及一种基于eca-convnext铸件缺陷识别方法。

背景技术：

1、铸件产品是制造业的重要基础产业之一，是实现制造强国的重要支撑。铸件被广泛的应用于航空航天、汽车和轨道交通等领域。我国航空航天等行业高端装备等关键金属铸件因功能化和轻量化的要求不断提高而日趋复杂。精密铸件多采用精密铸造工艺整体成型，但在此过程中会不可避免的产生气孔、气泡、夹杂及疏松等缺陷，因此基于dr射线的无损检测技术成了确保铸件产品质量的重要工序。

2、随着深度学习的快速发展，基于卷积神经网络的铸件dr图像缺陷识别方法已经取得了很多突破性的进步，但由于铸件dr图像存在着背景不均且包含噪声，针对现有技术存在漏检率高、识别精度低和模型泛化能力差的问题，使用eca-net改进convnext特征提取网络，提高小目标、密集目标的检测能力对铸件dr图像缺陷领域具有重要意义。

技术实现思路

1、为解决上述技术问题，本发明提供一种基于eca-convnext铸件缺陷识别方法，其为一种漏检率低、识别精度高、鲁棒性好的基于eca-convnext的mask rcnn铸件dr图像缺陷识别方法。

2、为达到上述目的，本发明采用如下技术方案：

3、一种基于eca-convnext铸件缺陷识别方法，包括以下步骤：

4、s1、采集具有铸件dr图像缺陷数据，使用包括图像滤波和图像增强得到预处理方法优化铸件dr图像；

5、s2、制作铸件dr图像缺陷识别数据集，根据优化后的图像和标注的json文件，按照一定的比例随机划分训练集和测试集，使用数据增强方法，离线扩充数据集；

6、s3、构建加入eca-net的注意力机制的convnext的特征提取网络，将提取的特征输入pafpn特征金字塔网络获得多尺度特征，将多尺度特征送入rpn网络和roi align层，最后输入rcnn模块，由此构建了基于eca-convnext的mask rcnn网络；

7、s4、用划分好铸件dr图像缺陷数据集训练eca-convnext的mask rcnn模型；

8、s5、将待检测的铸件dr图像输入到训练好eca-convnext的mask rcnn最佳模型中进行检测。

9、进一步地，所述s1包括：通过扫描铸件获取大量的铸件dr图像，图像格式为tiff格式；先使用包括均值滤波、高斯滤波、中值滤波、双边滤波的图像滤波方法对铸件dr图像进行去噪，再使用包括直方图均衡、伽马变换、对比度与亮度增强、log变换、分段线性拉伸的图像增强方法对其优化；优化完成后的图像为rgb格式，图像分辨率为1024×1024；对使用图像滤波和图像增强优化后的图像通过专业的无损检测工程师判别获取有缺陷的铸件dr图像。

10、进一步地，所述s2包括：选取优化后清晰可辨的rgb彩色图像，使用labelme标注工具对铸件dr图像进行标注，对铸件dr图像和对应的json标签按照8：2的比例划分训练集和测试集，对训练集采用水平翻转、裁剪、旋转、对比度变换和添加噪声，将生成新的训练样本和对应的标签，将训练集离线扩充5倍，增加训练样本的数量以及多样性，优化缺陷类型数量不均衡，有效解决模型过拟合问题，提升模型的鲁棒性。

11、进一步地，所述s3中的构建eca-convnext的mask rcnn网络，具体包括：

12、s31：选用改进的eca-convnext特征提取网络，在每一个convnext卷积块结构嵌入eca注意力机制模块，组成新的eca-convnext-block模块；convnext模块采用深度卷积替代普通卷积，用于提取通道特征信息和提取空间特征信息；使用gelu激活函数替换relu激活函数，并且减少激活函数的使用，只使用在卷积块结构的第二个卷积层之后，加快模型收敛；eca-net拥有新型通道注意力机制，实现不降维的局部跨信道交互策略和自适应选择一维卷积核大小；eca-convnext-block模块增强骨干网络提取特征的能力，增加小目标的特征提取能力，增加模型的检测精度；

13、s32：使用pafpn路径增强的特征金字塔模块，包含特征金字塔模块和路径增强模块；特征金字塔模块通过下采样，压缩特征的尺寸，提取低级细节信息；路径增强模块通过上采样，扩大特征的尺寸，提取高级语义信息，并将低级细节信息和高级语义信息进行融合，并分m层输出；pafpn路径增强的特征金字塔模块，提取多尺寸的特征信息，并将高级语义信息和低级细节信息进行融合，专注于空间层面的信息，即提取了空间注意力信息。

14、进一步地，所述s4包括：

15、s41：将划分好的铸件dr图像缺陷数据集送入基于eca-convnext的mask rcnn网络开始训练，在训练的过程中，通过包括水平翻转、缩放、随机亮度变化、剪切混合拼接和复制粘贴的在线数据增强方法对样本图像集进行数据增广和数据增强处理；

16、s42：mask rcnn网络损失函数包括回归损失函数、置信度损失函数、分类损失函数和分割损失函数，将其中回归损失函数定义公式改为如下：

17、

18、其中，d是真实框的中心cgt和预测框的中心c之间的欧式距离，l是真实框和预测框最小外接矩形的对角线长度，iou是真实框和预测框面积的交并比，iou的计算公式如(2)所示，v是衡量真实框和预测框长宽比一致性的参数，其定义式如(3)所示，

19、

20、

21、其中，wgt，hgt，w，h分别为真实框的宽和高，预测框的宽和高；b表示预测框，bgt表示真实框，∩表示计算交集，∪计算并集；

22、根据上述回归损失函数定义式确定生成更多合适的预测框，提升网络的预测性能；

23、s43：使用kmeans方法计算铸件dr图像缺陷数据集的anchor参数，anchor的参数设置为：

24、anchor_scales设置为{2，4，8}，anchor_radios设置为{0.2，0.5，1.0，2.0，5.0}，anchor_strides设置为{4，8，16，32，64}；

25、s44：选取mar检测精度达到99％以上，map精度达到82％以上的模型作为训练好的检测模型；满足上述条件则认定模型能够对铸件dr缺陷进行精确检测及分割，否则需要对模型进行优化微调。

26、进一步地，所述s5包括：将待检测的铸件dr图像，输入到s4训练好的eca-convnext的mask rcnn铸件缺陷最佳识别模型中，输出缺陷识别结果图像，缺陷识别结果图像包含对缺陷的位置进行矩形框标注，对缺陷轮廓进行像素级的分割，同时显示出缺陷种类的信息。

27、有益效果：本发明提供了一种基于eca-convnext铸件缺陷识别方法，与现有的技术相比，使用数据增强技术扩充数据集，有效解决过拟合问题，提升了模型的鲁棒性，使用eca-convnext作为特征提取网络，拥有更大的感受野，有效提升了主干网络的特征提取能力，可以更加有效提取缺陷特征，提高了模型缺陷识别的准确率，使用pafpn特征金字塔网络，将提取的高级语义信息和低级语义信息进行融合，可以提高模型的检测精度，并将回归损失函数改为c loss可以提升网络对铸件dr图像缺陷的预测性能，降低小目标的漏检率。