一种轻量化工业产品表面缺陷检测方法

本发明属于计算机视觉与人工智能应用领域，具体涉及一种轻量化工业产品表面缺陷检测方法。

背景技术：

1、在现代工业生产中，自动化表面缺陷检测技术对于保障产品质量和提高生产效率至关重要。然而，现有的自动化检测系统往往计算复杂度高，这不仅导致检测过程耗时较长，而且对计算资源的需求也相应增加。在高速运转的生产线中，这种高计算复杂度的系统难以实现实时或近实时的缺陷检测。其次，小尺寸缺陷的识别是现有技术中的一个难点。许多自动化检测系统在面对细微的表面缺陷时，由于分辨率限制或算法灵敏度不足，容易出现漏检情况。这些小缺陷虽然在视觉上不易察觉，但可能会对产品的最终性能产生重大影响，特别是在高精度要求的行业中，如半导体、航空等。再者，现有的检测系统在处理具有复杂背景或多样缺陷类型的产品时，往往难以达到令人满意的检测精度。这可能是由于算法对于特征提取的局限性，或者是因为模型训练时使用的数据集不够全面，导致模型泛化能力不足。这种低精度的检测结果不仅会导致不合格产品的漏检，还可能引起合格产品的误判，从而影响生产成本和产品质量。

2、这些问题的存在，不仅限制了检测系统在工业生产中的应用效果，也对提高生产效率和保障产品质量构成了挑战。因此，开发一种能够降低计算复杂度、提高小缺陷识别能力和检测精度的自动化检测技术，对于推动工业自动化的发展具有重要的实际意义。

技术实现思路

1、为解决现有技术的不足，实现降低系统的计算复杂度，提升工业产品表面缺陷检测领域中的识别能力和检测精度的目的，本发明采用如下的技术方案：

2、一种轻量化工业产品表面缺陷检测方法，包括如下步骤：

3、步骤1：获取工业产品表面缺陷图像数据集；

4、步骤2：构建工业产品表面缺陷检测模型，包括主干网络、颈部网络和头部网络，主干网络为轻量级分层多尺度特征提取网络，颈部网络为尺度灵犀颈，对轻量级分层多尺度特征提取网络输出的不同深度的特征进行跨阶段特征重塑，不同尺度的特征进行特征聚合，基于重塑和聚合的特征生成局部特征用于头部网络的缺陷检测；

5、步骤3：通过所述工业产品表面缺陷图像数据集，对yolo-idl深度学习模型进行训练；

6、步骤4：部署训练好的yolo-idl深度学习模型并对工业产品表面缺陷进行检测，输出缺陷类型以及位置。

7、进一步地，所述步骤1中，对获取的数据集进行预处理，包括如下步骤：

8、步骤1.1：从实际工业生产流水线中采集工业产品的表面图像，通过工业相机、高清摄像头等设备获取高分辨率图像；结合公开的工业产品缺陷图像数据集和其他与目标场景相关的数据资源；利用仿真工具和缺陷生成算法，模拟生成与实际场景相似的缺陷图像，用于补充样本量；

9、步骤1.2：使用标注工具label studio对缺陷的具体区域进行标注，生成包含缺陷类型和位置的voc格式文件；按工业产品种类和缺陷类型对图像进行归类，以便于模型训练中的按需加载和数据增强。

10、进一步地，所述步骤2中的轻量级分层多尺度特征提取网络，包括依次连接的脉络层、轻量级分层多尺度特征提取层和深度可分离卷积层，后续的轻量级分层多尺度特征提取层和深度可分离卷积层依次交替连接，特征提取包括如下步骤：

11、步骤2.1.1：脉络层通过多级卷积和填充，再经最大池化，逐步降低特征图分辨率，减少计算量，同时保持关键特征，最后将最大池化的结果与卷积后的输入特征进行拼接操作，结合不同层级的信息，得到具有更低分辨率但更丰富的通道信息的特征图，作为后续网络层级的输入，增强了对小缺陷的多尺度感知，从而提高识别能力和检测精度；

12、所述脉络层的公式如下：

13、fout1 = concat(maxpool(conv(p(conv(p(conv(x)))))),conv(x1))

14、其中，x1表示输入特征，维度为h×w×c，conv与p表示卷积层与填充操作，maxpool表示最大池化层，concat表示拼接操作，fout1表示脉络层的输出。

15、步骤2.1.2：轻量级分层多尺度特征提取层通过堆叠多个轻量级卷积ghostconv处理网络输入，轻量级卷积模块减少冗余计算，从而降低计算复杂度，然后将不同轻量级卷积的输出特征拼接，增强对小缺陷的感知能力，再将拼接后的特征通过se注意力模块进行通道加权，完成关键特征的提取来提升检测精度，最后将注意力模块处理后的特征与原始输入特征进行残差连接，防止特征丢失，进一步提高小缺陷的识别能力；

16、所述轻量级分层多尺度特征提取层的公式如下：

17、fout2 = attention(concat(lightconv1(x),lightconv3(x),...,lightconv11(x))) + x2

18、其中，x2表示轻量级分层多尺度特征提取层的原始输入特征，lightconv表示轻量级卷积，concat表示特征通道的拼接操作，attention表示通过注意力模块进行特征增强，fout2表示轻量级分层多尺度特征提取层的输出。

19、步骤2.1.3：深度可分离卷积层用于高效提取特征，其过程包括深度卷积和逐点卷积，通过深度卷积处理每个通道的空间信息，仅执行简单的逐通道卷积，降低计算量，然后用逐点卷积融合通道间的信息而不是直接进行标准卷积，显著减少了参数和计算复杂度，同时深度卷积保留细节信息，逐点卷积整合全局特征，增强了对小缺陷的细节感知与整体表达能力；

20、进一步地，所述步骤2.1.3中，深度可分离卷积层的公式如下：

21、

22、其中，c表示输入通道索引，表示深度卷积核，表示逐点卷积核，σ是非线性激活函数，b表示偏置项，防止模型输出完全依赖输入特征，fsep表示深度可分离卷积层的输出。

23、进一步地，所述步骤2中的尺度灵犀颈包括跨阶段特征重塑模块、尺度特征适应性聚合单元、聚合法跨阶段局部网络模块vovgscsp和轻量级卷积gsconv，其执行过程如下：

24、步骤2.2.1：跨阶段特征重塑模块接收轻量级分层多尺度特征提取网络输出的不同深度的特征图，对每个阶段的特征图通过卷积操作，将通道数对齐；然后对特征沿深度维度进行拼接，将拼接后的特征进行特征提取和优化，提升网络的表达能力和检测精度，得到重塑后的输出特征；

25、步骤2.2.2：尺度特征自适应聚合模块在特征聚合之前，对不同尺度的特征进行调整，使尺度特征保持一致，再沿通道维度拼接，得到聚合后的特征；

26、步骤2.2.3：聚合法跨阶段局部网络模块vovgscsp获取聚合特征和重塑特征以生成局部特征，对聚合法跨阶段局部网络模块输入特征图，先采用普通卷积得到调整通道数的第一个特征图；然后将输入特征图再分别进行一次普通卷积和两次轻量级卷积得到另外两个特征图；接着将所述两个特征图通过逐元素相加融合后，再与第一个特征图进行拼接；最后对拼接后的特征图再进行一次普通卷积，得到输出特征图，通过多路径融合和特征保留机制，有助于捕获小缺陷的细微特征，提高识别能力和检测精度；

27、所述聚合法跨阶段局部网络模块的公式如下：

28、fout6 = cbs(concat(cbs(x6),cbs(x6)+lightconv2(lightconv1(cbs(x6)))))

29、其中，x6表示聚合法跨阶段局部网络模块的输入特征图，cbs(x6)表示输入特征x6经过cbs卷积模块处理后的结果，cbs卷积模块包括卷积、批量归一化和激活函数，lightconv表示深度可分离卷积，concat表示拼接操作，fout6表示聚合法跨阶段局部网络模块的输出；

30、步骤2.2.4：轻量级卷积gsconv，对所述局部特征先采用普通卷积捕获基本特征信息，得到第一组特征图；接着通过深度可分离卷积运算减少参数量，聚焦于重要的空间特征，得到第二组特征图；然后将两组特征图沿通道维度拼接；最后为了提高特征的表达能力和模型的计算效率，对拼接后的特征进行通道打乱操作，重新排列通道有助于重新整合信息，增强特征的表达能力，确保不同通道间的信息交互，既保留了细节特征，又融合了多尺度信息，并将最终的输出特征作为尺度灵犀颈的输出，输入头部网络；

31、所述轻量级卷积的公式如下：

32、fout5 = shuffle(concat(cbs(x5),depthwiseconv(x5)))

33、其中，x5表示轻量级卷积的输入特征图，cbs(x5)表示输入特征x5经过cbs卷积模块处理后的结果，cbs卷积模块包括卷积、批量归一化和激活函数，depthwiseconv表示深度可分离卷积，concat表示拼接操作，shuffle表示通道混洗操作，通过重新排列通道顺序，增强特征混合效果，fout5表示轻量级卷积的输出。

34、进一步地，所述步骤2中，有两个跨阶段特征重塑模块、四个聚合法跨阶段局部网络模块和两个轻量级卷积；第一跨阶段特征重塑模块接收轻量级分层多尺度特征提取网络的深层、中层和最终输出特征，特征重塑后经第一聚合法跨阶段局部网络模块得到的第一局部特征；第二跨阶段特征重塑模块接收轻量级分层多尺度特征提取网络的浅层、中层特征以及第一局部特征，重塑后的特征与所述聚合特征一起，经第二聚合法跨阶段局部网络模块得到第二局部特征，第二局部特征再经第一轻量级卷积后，与经普通卷积后的第一局部特征拼接，再经第三聚合法跨阶段局部网络模块得到第三局部特征，第三局部特征再经第二轻量级卷积后，与经普通卷积后的轻量级分层多尺度特征提取网络最终输出特征拼接，得到第四局部特征，将第二、三、四局部特征作为尺度灵犀颈的输出，输入头部网络。

35、进一步地，所述步骤2.2.1中的跨阶段特征重塑模块，接收轻量级分层多尺度特征提取网络输出的深层、中层、浅层三种不同阶段的特征图；对浅层特征图采用膨胀卷积操作，扩大感受野，同时保持分辨率；对深层与中层特征图，采用线性插值方法进行上采样操作，降低计算成本并与浅层特征匹配，实现多尺度特征融合；接着对特征图进行升维操作，将其由形状为通道、高度、宽度的三维特征变换为形状是通道、深度、高度、宽度的四维特征，增强小缺陷的识别能力；然后对升维的特征沿深度维度进行拼接，将拼接后的特征通过三维卷积、批量归一化以及prelu激活函数进行特征提取和优化，提升网络的表达能力和检测精度，最后运用三维卷积得到重塑后的输出特征；

36、所述跨阶段特征重塑模块公式如下：

37、fout3 = conv3d(prelu(bn(conv3d(concat(upalign(fdeep,fmid,fshallow))))))

38、其中，fdeep、fmid、fshallow分别表示深层、中层和浅层的输入特征，upalign表示将特征维度对齐，conv3d表示三维卷积，bn表示批量归一化，prelu表示激活函数，fout3表示跨阶段特征重塑模块的输出，concat表示拼接操作。

39、进一步地，所述步骤2.2.2中的尺度特征自适应聚合模块，对于大尺度特征图，首先通过卷积模块调整其通道数与中尺度特征保持一致，然后采用自适应平均池化进行下采样操作，使其空间分辨率与中尺度特征匹配；对于小尺度特征图，首先使用卷积模块调整其通道数与中尺度特征保持一致，然后采用线性插值进行上采样调整其分辨率与中尺度特征对齐；对于中尺度特征，采用不同的3×3卷积与1×1卷积的混合卷积结构进行特征提取，然后将两者结果相加，通过sigmoid激活函数得到强化后的特征；接着将具有相同特征大小的大、小两个尺度特征通过卷积操作融合；最后将融合后的大、小尺度特征与强化后的中尺度特征沿通道维度拼接；

40、所述尺度特征自适应聚合模块的公式如下：

41、fout4 = concat(cbs(fs),upsample(cbs(fd)),sigmoid(midconv(fm)))

42、其中，cbs表示卷积模块，包括卷积、批量归一化和激活函数，cbs(fs)表示大尺度特征图fs经过cbs卷积模块处理后的结果，upsample(cbs(fd))表示小尺度特征图fd经过cbs卷积模块处理并通过upsample上采样调整到相同分辨率，sigmoidmidconv(fm))表示中尺度特征图fm经过midconv多层卷积后应用sigmoid激活函数形成的特征，concat表示拼接操作表示，fout4表示度特征自适应聚合模块的输出。

43、进一步地，所述步骤3中，头部网络采用yolo-idl深度学习模型，其训练中引入针对高质量目标检测场景优化的改进iou损失函数unified-iou，通过动态缩放机制和权重调整，以增强对高质量锚框的优化，同时抑制低质量锚框的梯度，公式如下：

44、

45、其中，表示iou损失函数，focusfactor表示焦点因子，根据锚框质量动态分配权重；

46、针对yolo-idl深度学习模型收敛速度与高质量检测之间的矛盾，使用超参数ratio来动态转移模型的注意力，公式如下：

47、

48、其中，β表示控制权重调整的灵敏度，γ表示iou损失函数的阀值，动态决定模型应优先优化的锚框质量范围；同时为边界框回归损失设计了双注意力机制，包括高质量锚框和低质量锚框，避免模型在训练后期对高质量锚框过度关注，防止过拟合，同时调整梯度增益，以确保模型持续优化普通质量锚框，提升整体回归性能。

49、进一步地，所述步骤4包括如下步骤：

50、步骤4.1：模型部署；将yolo-idl深度学习模型部署在嵌入式设备和工业相机这些边缘设备中，通过模型的轻量化设计适配计算能力较低的硬件；

51、步骤4.2：数据输入；实时采集工业产品的表面图像，并输入到部署的yolo-idl深度学习模型中；

52、步骤4.3：数据处理；yolo-idl深度学习模型对输入图像进行前向推理，输出每个目标的类型和位置；再对检测结果进行后处理，包括非极大值抑制、移除重叠的检测框、保留置信度最高的框、对检测框进行细化、确保边界精度、根据置信度阀值过滤低置信度目标；

53、步骤4.4：输出结果；结果包括缺陷的位置、缺陷的置信度、缺陷的类型。

54、本发明的优势和有益效果在于：

55、本发明通过设计一种轻量级分层多尺度特征提取网络作为主干网络，与现有的yolov8模型相比，所设计的主干网络显著降低了参数量和提升了检测帧率；其次，设计跨阶段特征重塑模块和尺度特征适应性聚合单元，并融合slim-neck架构，提出名为“尺度灵犀颈”的颈部网络模块，以提高对多尺度sar图像的细节检测与特征捕捉能力；最后，引入了一种针对高质量目标检测场景优化的改进iou损失函数unified-iou，通过动态缩放机制和超参数ratio，增强对高质量锚框的优化，抑制低质量锚框的梯度，同时设计了双注意力机制来进一步提升整体回归性能。