基于改进深度残差网络的弱标签工业缺陷图像分类方法与流程

本发明涉及工业品缺陷检测，尤其涉及一种基于改进深度残差网络的弱标签工业缺陷图像分类方法。

背景技术：

1、工业中生产线产品的质量检测是进行产品质量控制的关键环节。在产品的生产过程中可能会产生各种难以预料的缺陷，其特征是凹坑、压伤、裂缝，夹杂物，污渍，划痕等缺陷，这些缺陷的分类通常通过人工检查来完成。在大批量生产过程中，检测精度和速度易受检测人员主观因素及经验的影响，检测速度较慢而且准确率不稳定，难以满足工业领域在效率和精度等方面的要求。而传统的工业缺陷图像分类方法主要是基于图像处理的技术，通过对被检测物体的图像进行处理并分类，具有检测速度快、成本低和检测结果可靠等优点。但是在图像处理过程中，也需要人工定义和选择能够准确识别图像中缺陷的特征表示，当出现新的问题时，必须手动设计新的特征，难以满足实际工业要求。而神经网络不需要人工设计特征，仅需要对数据预处理再进行训练即可，特别是当特征提取能力更强的网络模型出现之后，工业界和学术界有了更快更强的分类方法。同时，针对图像的分类问题，有学者收集整理了完备的数据集以供业界测试使用,并提供了相应的评价指标。在统一的测试集中，各种模型大放异彩，均能达到令人可喜的成绩。然而，在工业检测领域中，由于各种不可控的环境因素和应用场景过于分散的原因，并没有一个可以覆盖所有情况的数据集可供使用。而工业缺陷图像本身又存在难以区分、类别混淆的弱标签问题，因此工业缺陷图像的训练和分类也是困扰业界已久的难题。

2、综上可知，传统的工业缺陷图像分类方法是依赖人工设计的特征对缺陷进行分类，尽管分类的速度较快，但是精度并不高，同时当数据类别增加之后，人工设计规则的数量也要随之增加，模型的泛化能力较弱，无法满足高效、可靠、高精度的要求。随着深度学习的应用，基于神经网络模型的工业缺陷图像分类方法不需要人工设计特征，仅需要在预先分好类的数据上进行训练就能实现较高精度的分类结果。但是该方法在工业缺陷图像检测中的表现并不佳，主要存在以下不足：1、从分类的角度看，工艺误差导致的微小缺陷并不是特别明显的特征，在同一类产品产生的不同缺陷之间的差异也很小，因此人为区分特征在预处理的阶段就存在误分类的问题，直接导致某种类别的数据可能拥有多个标签，影响了模型的训练和推理。2、由于缺陷的产生具有随机性，某一缺陷的样本数量过小导致整体的数据不均衡，进一步增加了数据分类的难度。

3、目前，通过对数据本身和数据分布进行预处理，并在此基础上改进分类模型成为了一种主流的处理方案。因此本发明人基于该技术线路进行深入研究，提出一种改进深度残差网络的工业缺陷图像分类方法。

技术实现思路

1、本发明的目的在于提供一种基于改进深度残差网络的弱标签工业缺陷图像分类方法，该分类方法通过改进深度残差网络、改变模型的损失函数以及数据均衡化处理的方法解决神经网络在弱标签工业缺陷图像的分类中表现不佳的问题。

2、为达到上述技术目的，本发明采用以下一种技术方案：

3、基于改进深度残差网络的弱标签工业缺陷图像分类方法，具体包括以下步骤：

4、s1、构建工业缺陷图像数据集，对数据集进行预处理和数据增强操作，然后将数据集分为训练集和测试集；

5、s2、构建结合空间注意力机制的深度残差网络resnet-50；

6、s3、将准备好的训练集输入到所述深度残差网络resnet-50中，经过深度残差网络resnet-50提取图像的多尺度和深程度的特征，将提取到的特征输入深度残差网络resnet-50的softmax层进行分类；

7、s4、使用平滑标签损失函数对模型进行迭代，得到分类模型；

8、s5、将测试集输入分类模型中，将图像属于某一类别的概率和图像对应的标签进行对比，输出图像的分类结果。

9、进一步的，所述构建工业缺陷图像数据集，对数据集进行预处理和数据增强操作，然后将数据集分为训练集和测试集，包括：

10、s11、基于工业缺陷图像构建数据集；

11、s12、对数据集进行预处理；

12、s13、对处理后的数据集进行数据增强操作；

13、s14、将增强后的数据集按比例分为训练集和测试集；

14、进一步的，所述数据集中包含了若干个文件夹，每个文件夹代表一个类别，每个文件夹分别以类别名字命名

15、进一步的，所述对数据集进行预处理，包括：对给定的工业缺陷图像数据集进行图像缩放、数据均衡操作。

16、进一步的，对给定的工业缺陷图像数据集进行图像缩放、数据均衡操作，包括：

17、图像缩放，先将所有图像尺寸缩放到224×224的大小，将其与网络的输入尺寸对齐；

18、数据进行均衡化，增加不同类别中相对个数较少的图像张数，使该类别图像在训练集中的占比增加。

19、进一步的，所述对处理后的数据集进行数据增强操作，包括：对图像依次进行去噪、滤波、对比度增强、随机水平翻转和随机垂直翻转的操作。

20、进一步的，所述将增强后的数据集按比例分为训练集和测试集，包括：按8：2，7：3，5：5的比例分别从0-200张，200-1000张，1000张以上的增强后的数据集中抽取图像作为训练集，其余作为测试集。

21、进一步的，所述深度残差网络resnet-50包括依次连接的输入层、第一残差区块、第二残差区块、第三残差区块、第四残差区块、注意力机制块和输出层，所述注意力机制块采用空间注意力机制，所述输出层由平均池化层、全连接层和所述softmax层组成。

22、进一步的，所述平滑标签损失函数 li为：

23、

24、其中，

25、

26、上式中，与均为标签，标签为标签替换所得，为迭代训练设置的一个错误率。

27、如上所述的基于改进深度残差网络的弱标签工业缺陷图像分类方法可以应用于各类工业品缺陷检测。

28、采用上述方案后，本发明具有以下有益效果：

29、1）本发明改进了深度残差网络结构，通过在深度残差网络引入空间注意力机制能够使模型更关注有差异的区域，对更多细小的缺陷加以分类，增加模型的特征提取能力，提高了模型分类的准确性。

30、2）本发明通过改进训练的损失函数，即采用平滑标签损失函数使得图像目标类别的确定性下降，降低了模型过拟合的风险并减少了个别误分类数据对模型最终结果的影响。

31、3）本发明通过数据增强操作对低数据量的类别进行扩充，减少了数据不均衡对模型训练的不利影响。

32、总之，本发明的分类模型结合空间注意力机制对深度残差网络进行改进，使网络的特征提取能力更强，同时网络的收敛速度更快。在数据预处理阶段，采用多种数据处理的方法对图像数据进行处理，使得数据集更符合实际的应用场景。在训练阶段，本案使用了平滑损失函数代替交叉熵损失函数，避免了弱标签对模型训练的不利影响，也防止模型在训练集中过拟合。本发明提出的方法能有效的在弱标签工业缺陷图像的数据集中进行分类，在工业检测中具有较高的应用价值。

33、本发明的分类模型可应用于顶盖焊接视觉检测系统、自动上下料机（通用）、包mylar机包mylarccd检测设备、密封钉焊接视觉检测系统、epd烧录+点灯检aoi设备、电芯外观检测机、刀片电池六面检测系统、二维条码读取器vcr、折弯机、psa小料贴附机（单通道）等设备或系统的工业品缺陷检测模块中。