一种基于检测和分割特征交互的多任务外观缺陷识别方法

本发明属于计算机视觉、机器学习等，特别涉及基于深度学习的多任务联合的外观缺陷识别算法。

背景技术：

1、工业外观缺陷识别是计算机视觉与实际工业生产相结合的重要任务。工业外观缺陷识别能在生产以及使用过程中对各种工业环境进行监督，及时发现工业生产和使用过程中是否出现外观缺陷以及出现外观缺陷的种类与位置，为后续的高级任务如修复以及回收工作奠定坚实的基础。目前，工业外观缺陷识别技术被大量应用于工业消费品、公路桥梁、材料零部件等工业生产领域，有着广泛的应用前景和巨大的市场价值。因此，研究工业外观缺陷识别技术及其在实际工业生产中的应用具有重要意义。

2、一般来说，缺陷识别的需求可以划分为三个层次：缺陷是什么、缺陷在哪里和缺陷有多少。缺陷是什么这一阶段的任务对应计算机视觉中的分类任务，可以称其为“缺陷分类”，一般只需给出一张图片属于哪种类型的缺陷即可；缺陷在哪里则是进一步的任务，与其对应的是检测任务，可以称其为“缺陷检测”，不仅需要给出图像中缺陷的类别，也要定位出缺陷的具体位置；再进一步的“缺陷有多少”任务，与其对应的是分割任务，可以称其为“缺陷分割”，需要给出图像中每个像素点是否属于缺陷或更进一步的属于哪类缺陷。虽然这三个阶段的任务目标和需求有所不同，但有时可以相互转换和结合，在本发明中将其统称为“缺陷识别”。

3、计算机视觉中的目标检测算法不仅关注图像中各目标的类别，也能获取目标在图像中的位置，这与工业外观缺陷识别中的“缺陷检测”任务不谋而合。因此发展成熟的众多目标检测算法被合理地运用到“缺陷检测”领域，其中应用最广泛的就是以faster-rcnn为代表的两阶段方法和以yolo(you only look once)系列为代表的一阶段方法。两阶段方法的第一阶段首先生成可能包含缺陷的候选区域(region proposals)，再对这些候选区域进行分类和回归；而一阶段方法则在网络提取到的特征上直接进行缺陷的分类和定位。

4、工业生产环境下缺陷通常比较复杂，形状和尺寸有较大程度变化，基于检测的方法只能给出缺陷的最外层包围框，难以准确描述缺陷的实际位置与多少，不利于后续的鉴别与修复工作。因此，可以得到像素级缺陷位置的图像分割方法逐渐流行起来，而在工业缺陷领域应用最多的就是语义分割方法。缺陷分割将缺陷区域作为感兴趣区域，将其从正常的背景区域中分割出来，不仅能对各种缺陷进行分类、定位与分割，还能同时获得缺陷的面积、形状等属性。缺陷分割网络大多基于成熟的语义分割网络进行改进，如fcn、unet、deeplab系列、pspnet等。

5、根据缺陷识别的任务需要，常将多种任务联合起来，例如分类与检测或分割的结合，但其中应用最多的还是联合检测和分割的多任务学习。mask rcnn是经典的图像实例分割方法，已有不少工作将其应用到缺陷识别领域，并根据不同的任务设计不同的策略来提高具体任务的效果。然而，我们发现，直接将mask rcnn应用于工业外观缺陷识别存在一系列问题。

6、mask rcnn采取了resnet-fpn结构，构建了信息从深层逐步向浅层流通的路径，试图通过融合深层和浅层特征，提升对小目标的检测能力。然而浅层特征包含了边缘形状等特征，对大目标的精确检测和分割十分有用，但在当前resnet-fpn的结构中，浅层特征想要流通到负责大目标检测和分割的深层特征，经过了数十层网络层，丢失了大量信息。浅层特征中带有的形状、边缘等信息流通到深层之后几乎完全消失，深层只具有较强的强语义信息，使得对大目标的检测和分割效果较差。

7、mask rcnn的分割分支是基于fcn的改进，当前分割分支对所有的roi都统一进行roi align到尺寸为14×14，而在工业外观缺陷识别中缺陷的大小并不固定，很多缺陷的尺寸较大，那么此时用14×14的区域难以完整表示缺陷的特征，后续经过2倍上采样后插值到原roi的大小丢失了很多信息。此外，在测试时分割分支的roi输入为检测分支的检测区域，导致无法分割检测框以外的区域。

8、此外，mask rcnn还存在缺陷检测与缺陷分割共用同一份特征图而产生了竞争学习。具体来说，缺陷检测对特征图的要求较为粗糙，只需要较粗粒度的特征来完成区域的定位即可，而缺陷分割对特征图的要求较为细致，需要细粒度的特征来完成逐像素的分类，而在同一张特征图上同时进行缺陷的检测与分割，意味着需要在同一张特征图上同时关注粗粒度的特征和细粒度的特征，难免会造成学习的混乱。当特征图关注粗粒度的特征时，造成需要细粒度特征的分割任务性能下降，当特征图关注细粒度特征时，难免损害需要粗粒度特征的检测任务性能。

技术实现思路

1、针对现有技术存在的不足，本发明在检测和分割联合框架mask rcnn的基础上进行改进，提出了一种基于检测和分割特征交互的多任务外观缺陷识别方法。本发明针对当前框架在特征融合时不同分辨率特征图无法高效进行特征融合的问题，设计了带有注意力机制和双向fpn结构的深度特征融合模块，对不同分辨率特征图进行充分信息融合；针对小尺寸roi无法完整表示缺陷特征的问题，设计了带有上下文聚合的特征重建模块，能够表示各种尺度的缺陷特征；针对缺陷检测与缺陷分割共享特征图造成的竞争学习问题，设计了由位置交互模块和通道交互模块组成的特征交互网络，能够将任务共享的特征图解耦为针对具体任务的特征图，在不同任务的特征图之间进行充分的通道信息交互和位置信息交互，提高任务特征图的特征表示能力，给后续任务输入更有利的特征图。本发明方法通过对特征图的充分信息融合以及分割分支对特征的充分利用，再结合检测和分割特征交互，达到大幅提升外观缺陷识别性能，不仅远超基准网络框架mask rcnn，其分割能力与其他常用于缺陷分割领域的前沿分割方法相比也有一定优势。

2、为达到上述目的，本发明采用的技术方案如下：

3、一种基于检测和分割特征交互的多任务外观缺陷识别方法，其特征在于，包括如下步骤：

4、s1、对于给定的工业外观缺陷图像，其大小为m×m×3，经过特征提取网络resnet50提取特征后输出4张不同分辨率的特征图，从大到小分别为m/4×m/4、m/8×m/8、m/16×m/16、m/32×m/32，通道数均为256。

5、s2、将得到的4张特征图进行深度特征融合，具体为：先用一个包含由深到浅路径和由浅到深路径组成的双向fpn对特征图进行信息流通，再在每一层特征图后接上由空间注意力和通道注意力组成的注意力机制对特征图进行细化，得到4张任务共享特征图f。

6、s3、将任务共享特征图f输入特征交互网络，所述特征交互网络由依次设置的位置交互模块和通道交互模块构成；所述特征交互网络利用位置交互模块和通道交互模块将共享特征图f解耦并相互学习为针对检测任务的特征图fdet和针对分割任务的特征图fseg。

7、s4、对检测任务的特征图fdet进行检测分支的操作：将多尺度的特征图fdet送入rpn网络进行候选框的提取，然后将候选框结合特征图fdet的对应层进行roi align操作到固定尺寸，最后对固定尺寸的rois进行分类和回归，得到检测结果。

8、s5、对分割任务的特征图fseg进行分割分支的操作：按照分辨率从小到大的顺序对特征图fseg进行特征重建；所述特征重建的过程为：首先利用上下文聚合模块对进行上下文聚合得到，然后对逐步上采样，在上采样过程中利用对称的编码器-解码器结构加上跳跃连接恢复特征图分辨率；最后将特征图上采样到原图大小，进行逐像素的分类，得到分割结果。

9、(1)本发明提出的深度特征融合模块，能够对backbone输出的特征图进行充分的信息融合，给后续任务输出含有更多有利信息的特征图。

10、(2)本发明提出的特征重建模块，使分割分支能够对低分辨率特征图进行重建到原图大小，避免了在小尺寸roi上进行分割导致的信息丢失。

11、(3)本发明提出的一种特征交互网络，能够将任务共享的特征图解耦为针对检测和分割的具体特征图，避免了竞争学习。

12、(4)本发明方法显著提升了网络缺陷识别的性能，在电子设备外观缺陷数据集上的ap、ar10等检测指标相较于基准网络mask rcnn分别提升1.21和1.20个点，而miou、p、r和f1等分割指标分别提升5.24、7.45、2.25和5.0个点。