一种基于改进YOLOv7的带钢表面缺陷检测方法

本发明属于计算机中的目标检测技术，具体涉及一种基于改进yolov7的带钢表面缺陷检测方法。

背景技术：

1、随着科技的快速发展，中国钢铁行业正在经历规模迅速扩张、产量飞速提升的一段时期。但在钢材的生产和加工过程中，容易受到环境中不良因素的影响，从而使表面产生多种类型的缺陷，划痕、开裂、斑块等典型的钢材表面缺陷会导致钢材的性能和使用年限降低，甚至直接造成安全事故的发生。制造业的蓬勃发展不断鞭笞着企业改善产品质量，这就要求企业改进自身检测技术，能够准确快速检测出产品缺陷，避免残次品的大量产出，从而提高自身的竞争力。

2、现有的缺陷检测手段是使用人工裸眼检测为主，由于人的主观因素影响较大，存在漏检、成本高、效率低等问题，人工检测的方式已经不符合企业所需。相比于传统方法，与深度学习相关的方法不再局限于某种固定程序，而是根据卷积神经网络对缺陷样本进行自主学习，还可以通过改进网络结构，参数调整等方式优化网络模型，使之可以检测出面积微小、特征模糊的缺陷。因此，基于深度学习的带钢表面缺陷检测方法已成为目前工业生产和学术研究的热点。结合上述存在的问题，本文提出一种基于改进yolov7带钢表面缺陷检测方法，该方法具有识别速度快，检测精度高的优点。

技术实现思路

1、针对上述问题，本发明的目的在于提供一种基于改进yolov7的带钢表面缺陷检测方法，旨在保持低参数量和检测速度快的基础上，提高现有深度学习模型带钢缺陷检测方法的检测准确率。

2、为了实现上述目的，本发明提出如下技术方案：一种基于改进yolov7的带钢表面缺陷检测方法，包括如下步骤：

3、s1：构建带钢表面缺陷数据集；

4、s2：对数据集中的图片进行预处理，将得到的数据集重新进行标注，并将数据集按照比例划分为训练集、测试集和验证集；

5、s3：构建基于改进yolov7的带钢表面缺陷检测模型；

6、s4：将处理后的带钢表面缺陷训练集放入改进后的yolov7网络模型中进行训练，得到最优模型；

7、s5：训练完成，将测试集放入得到的最优模型中，检测钢材表面缺陷的类别及位置，得到识别结果。

8、在步骤s2中，对数据集的预处理包括模糊、裁剪、尺度归一化、随机翻转、亮度调节等操作，其中尺度归一化的规格为640×640。对数据集重新标注是采用labelimg软件对缺陷类型和缺陷位置的进行标注，并将训练集、验证集和测试集按照8：1：1的比例进行划分。

9、步骤s3中改进的yolov7神经网络模型包括以下步骤：

10、(1)在backbone网络结构中加入cbam注意力机制，具体为在backbone部分的elan模块后插入一种轻量级通用型前向卷积神经网络注意力机制模块cbam。

11、cbam是一种轻量级通用型前向卷积神经网络注意力机制模块，它包含两个子模块，通道注意力模块和空间注意力模块，分别从空间和通道的维度依次判断特征注意力图，并且与原始特征图相乘进行自适应优化，通过学习加强或抑制相关的特征信息，具体如下：

12、在通道注意力模块中，将输入的特征图分别经过全局最大池化和全局平均池化，得到两个特征图，然后将它们输入到共享全连接层中，再将共享全连接层输出的特征进行基于元素的加和操作，最后经过激活操作即可获得通道注意力模块的特征图，公式如下所示：

13、

14、其中，σ指激活函数，w0和w1指全连接层mlp的权重，avgpool为全局平均池化，maxpool为全局最大池化，分别沿着通道轴进行平均池化操作和最大池化操作，得到的是平均池化的特征和最大池化的特征

15、在空间注意力模块中，将通道注意力模块输出的特征图作为本模块的输入特征图。首先对输入的特征图进行最大池化和平均池化操作，然后将两层进行通道拼接操作，再进行卷积，最后经过激活操作获得空间注意力模块输出的特征图，公式如下所示：

16、

17、其中，σ指激活函数，指逐元素加和操作，avgpool为全局平均池化，maxpool为全局最大池化，分别沿着空间轴进行平均池化操作和最大池化操作，得到的是平均池化的特征和最大池化的特征特征图f与得到的权重系数f"相乘得到最终的输出特征。

18、(2)将yolov7神经网络模型原本的损失函数改为wise-iou损失函数，wise-iou是一种基于动态非单调聚焦机制的边界框损失函数，能在降低高质量锚框竞争力的同时，减小低质量示例产生的有害梯度，这使得wise-iou可以聚焦于普通质量的锚框，并提高检测器的整体性能。所述wise-iou损失函数表达式为：

19、lwiou＝rwiouliou

20、

21、其中wg,hg是最小的包围框的大小，为了防止rwiou产生阻碍收敛的梯度。

22、(3)对yolov7神经网络模型的mpconv模块进行改进，具体为用mpconv-1模块替换mpconv模块。mpconv-1模块的最大池化层和1×1卷积进行级联，通过选取局部最大值，对图像的边缘和纹理信息进行学习。第二分支中，通过两个1×1卷积级联，提取得到了图像的更多细节信息，最后将两分支合并为网络带来了更好的信息融合效果，且操作过程中不会造成特征的缺失。其中，在第二分支的两个1×1卷积之间加入分离合并操作，具体为将一张s×s像素的图片分成四个s/2×s/2的子图，然后将四个子图按照通道进行拼接，经过分离合并后的特征再通过1×1卷积，就可以得到s/2×s/2×1大小的特征。

技术特征：

1.一种基于改进yolov7的带钢表面缺陷检测方法，其特征在于，包括以下步骤：

2.根据权利要求书1所述的一种基于改进yolov7的带钢表面缺陷检测方法，其特征在于，步骤s2所述对数据集的预处理包括模糊、裁剪、尺寸归一化、随机翻转、亮度调节等操作，其中尺度归一化的规格为640×640。对数据集重新标注采用labelimg软件对缺陷类型和缺陷位置的进行标注，并将训练集、验证集和测试集按照8：1：1的比例进行划分。

3.根据权利要求书1所述的一种基于改进yolov7的带钢表面缺陷检测方法，其特征在于，步骤s3中改进的yolov7神经网络模型包括以下步骤：

4.根据权利要求书3所述的一种基于改进yolov7的带钢表面缺陷检测方法，其特征在于，所述在yolov7神经网络模型中加入cbam注意力机制，具体为在backbone部分的elan模块后插入一种轻量级通用型前向卷积神经网络注意力机制模块cbam。

5.根据权利要求书4所述的一种基于改进yolov7的带钢表面缺陷检测方法，其特征在于，cbam是一种轻量级通用型前向卷积神经网络注意力机制模块，它包含两个子模块，通道注意力模块和空间注意力模块，分别从空间和通道的维度依次判断特征注意力图，并且与原始特征图相乘进行自适应优化，通过学习加强或抑制相关的特征信息，具体如下：

6.根据权利要求书3所述的一种基于改进yolov7的带钢表面缺陷检测方法，其特征在于，利用wise-iou损失函数替换所述yolov7模型中的ciou损失函数，wise-iou是一种基于动态非单调聚焦机制的边界框损失函数，能在降低高质量锚框竞争力的同时，减小低质量示例产生的有害梯度，这使得wise-iou可以聚焦于普通质量的锚框，并提高检测器的整体性能。所述wise-iou损失函数表达式为：

7.根据权利要求书3所述的一种基于改进yolov7的带钢表面缺陷检测方法，其特征在于，对yolov7神经网络模型的mpconv模块进行改进，具体为用mpconv-1模块替换mpconv模块。mpconv-1模块的最大池化层和1×1卷积进行级联，通过选取局部最大值，对图像的边缘和纹理信息进行学习。第二分支中，通过两个1×1卷积级联，提取得到了图像的更多细节信息，最后将两分支合并为网络带来了更好的信息融合效果，且操作过程中不会造成特征的缺失。其中，在第二分支的两个1×1卷积之间进行分离合并操作，具体为将一张s×s像素的图片分成四个s/2×s/2的子图，然后将四个子图按照通道进行拼接，经过分离合并后的特征再通过1×1卷积，就可以得到s/2×s/2×1大小的特征。

技术总结
本发明公开了一种基于改进YOLOv7的带钢表面缺陷检测方法，包括以下步骤：构建带钢表面缺陷数据集；对数据集中的图片进行预处理，将得到的数据集重新进行标注，并将数据集按照比例划分为训练集、测试集和验证集；构建基于改进YOLOv7的带钢表面缺陷检测模型；将处理后的带钢表面缺陷训练集放入改进后的YOLOv7网络模型中进行训练，得到最优模型；训练完成后将测试集放入得到的最优模型中，检测钢材表面缺陷的类别及位置，得到识别结果。通过本发明提供的方案，有利于提高带钢表面缺陷检测的准确率。

技术研发人员：胡聪,龚丹妮,朱爱军,李博,苏延辉
受保护的技术使用者：桂林电子科技大学
技术研发日：
技术公布日：2024/1/15