基于多任务学习网络的缺陷检测方法及装置与流程

本发明涉及工业质检，具体涉及一种基于多任务学习网络的缺陷检测方法和一种基于多任务学习网络的缺陷检测装置。

背景技术：

1、在工业质检领域，工件的缺陷检测是当前传统制造企业数字化转型的重要一环，主流的检测方案是首先根据工件具体缺陷进行数据收集，然后采用单一目标检测方法对缺陷进行检测。然而这种方案对于复杂缺陷的检测能力有限，且部分缺陷（比如如脏污、刀纹、水波纹等）用单一目标检测方法进行检测并不高效。

2、为此，相关技术中，先分别采用目标检测、异常检测和语义分割等多种网络对缺陷进行独立检测和形态识别，后通过融合多个检测结果来得到最终缺陷检测结果。虽然这种方案大大缓解了单一检测方法的局限性，但单一任务各自独立检测的方案成倍增加了运行时间，且由于没有考虑多个任务之间的相关性，检测效率并不高效、检测结果并不可靠。

技术实现思路

1、本发明为解决增加了运行时间，且由于没有考虑多个任务之间的相关性，检测效率并不高效、检测结果并不可靠的问题，提出了如下技术方案。

2、本发明第一方面实施例提出了一种基于多任务学习网络的缺陷检测方法，包括以下步骤：构建多任务学习网络，其中，所述多任务学习网络包括训练好的主干网络、第一特征金字塔网络、第二特征金字塔网络、目标检测网络、实例分割网络、异常检测网络和语义分割网络；获取待测工件的图像，并将所述图像输入所述主干网络，以得到所述图像的多层第一特征图；将所有所述第一特征图中第一层数的第一特征图输入所述第一特征金字塔网络，以得到多层第二特征图；将所有所述第一特征图中第二层数的第一特征图和所有所述第二特征图输入所述第二特征金字塔网络，以得到多层第三特征图；将所有所述第三特征图和第二层数的所述第一特征图进行融合处理，以得到多层融合特征图；将每层所述第二特征图进行预处理后得到第四特征图，并将所述第四特征图分别输入所述目标检测网络和所述实例分割网络，以通过所述目标检测网络得到所述图像的目标检测图、通过所述实例分割网络得到所述图像的实例分割图；将所述融合特征图分别输入所述异常检测网络和所述语义分割网络，以通过所述异常检测网络得到所述图像的异常检测概率图、通过所述语义分割网络得到所述图像的语义分割图；基于假设检验法将所述目标检测图、所述实例分割图、所述异常检测概率图和所述语义分割图进行融合处理，以得到所述待测工件的缺陷检测结果。

3、另外，根据本发明上述实施例的基于多任务学习网络的缺陷检测方法还可以具有如下附加的技术特征。

4、根据本发明的一个实施例，将所有所述第三特征图和第二层数的所述第一特征图进行融合处理，以得到多层融合特征图，包括：确定所有所述第三特征图中、第二层数的所述第一特征图中，相互对应的单层第三特征图和单层第一特征图；将每层所述第三特征图及其对应的单层第一特征图依次进行连接、上采样和卷积操作后得到两层中间特征图；分别将所有两层所述中间特征图进行连接，以得到多层融合特征图。

5、根据本发明的一个实施例，将每层所述第二特征图进行预处理后得到第四特征图，包括：将每层所述第二特征图中的特征裁剪出来得到第四特征图。

6、根据本发明的一个实施例，将每层所述第二特征图中的特征裁剪出来得到第四特征图，包括：将每层所述第二特征图输入区域推荐网络得到目标候选框；根据所述目标候选框通过roialign方法将每层所述第二特征图中的特征进行裁剪，以得到裁剪出来的第四特征图。

7、根据本发明的一个实施例，基于假设检验法将所述目标检测图、所述实例分割图、所述异常检测概率图和所述语义分割图进行融合处理，以得到所述待测工件的缺陷检测结果，包括：根据最大后验概率假设检验法分别得到所述异常检测概率图的第一二值分割图和所述语义分割图的第二二值分割图；分别将所述第一二值分割图中的背景区域、所述第二二值分割图中的背景区域进行屏蔽，以得到屏蔽后的第一二值分割图、屏蔽后的第二二值分割图；根据所述实例分割图、所述屏蔽后的第一二值分割图和所述屏蔽后的第二二值分割图对所述实例分割图进行更新；将所述目标检测图和更新后的实例分割图进行合并取交，以得到所述待测工件的缺陷检测结果。

8、根据本发明的一个实施例，根据所述实例分割图、所述屏蔽后的第一二值分割图和所述屏蔽后的第二二值分割图对所述实例分割图进行更新，包括：计算所述屏蔽后的第一二值分割图与所述屏蔽后的第二二值分割图之间的联合概率；根据所述联合概率将所述屏蔽后的第一二值分割图和所述屏蔽后的第二二值分割图进行融合处理，以得到融合二值分割图；通过轮廓提取法得到所述融合二值分割图的聚类区域，并计算所述聚类区域的联合概率平均值；根据所述实例分割图和所述聚类区域对所述实例分割图进行更新。

9、根据本发明的一个实施例，通过以下公式计算所述联合概率：

10、

11、其中，x、y分别为所述屏蔽后的第一二值分割图对应位置为缺陷的第一概率值、所述屏蔽后的第二二值分割图对应位置为缺陷的第二概率值， µ 1、 µ 2分别为第一概率值的平均值、第二概率值的平均值， σ 1、 σ 2分别为第一概率值的方差、第二概率值的方差。

12、根据本发明的一个实施例，根据所述实例分割图和所述聚类区域对所述实例分割图进行更新，包括：将所述实例分割图和所述聚类区域进行比对；若所述实例分割图中的实例与所述聚类区域存在重叠区域，则计算所述重叠区域在所述聚类区域中的面积占比，并以所述重叠区域替代所述实例分割图、根据所述重叠区域的面积占比确定置信度；若所述实例分割图中的实例与所述聚类区域不存在重叠区域，则在所述聚类区域的联合概率平均值高于预设阈值时，以所述聚类区域替代所述实例分割图。

13、根据本发明的一个实施例，所述目标检测网络所采用的目标检测方法为atss（adaptive training sample selection，自适应训练样本选择）方法，所述实例分割网络为mask r-cnn（mask region-based convolutional neural network，面具区域卷积神经网络）网络，所述异常检测网络所采用的异常检测方法为ganomaly方法。

14、本发明第二方面实施例提出了一种基于多任务学习网络的缺陷检测装置，包括：构建模块，用于构建多任务学习网络，其中，所述多任务学习网络包括训练好的主干网络、第一特征金字塔网络、第二特征金字塔网络、目标检测网络、实例分割网络、异常检测网络和语义分割网络；获取模块，用于获取待测工件的图像，并将所述图像输入所述主干网络，以得到所述图像的多层第一特征图；第一输入模块，用于将所有所述第一特征图中第一层数的第一特征图输入所述第一特征金字塔网络，以得到多层第二特征图；第二输入模块，用于将所有所述第一特征图中第二层数的第一特征图和所有所述第二特征图输入所述第二特征金字塔网络，以得到多层第三特征图；第一融合模块，用于将所有所述第三特征图和第二层数的所述第一特征图进行融合处理，以得到多层融合特征图；第三输入模块，用于将每层所述第二特征图进行预处理后得到第四特征图，并将所述第四特征图分别输入所述目标检测网络和所述实例分割网络，以通过所述目标检测网络得到所述图像的目标检测图、通过所述实例分割网络得到所述图像的实例分割图；第四输入模块，用于将所述融合特征图分别输入所述异常检测网络和所述语义分割网络，以通过所述异常检测网络得到所述图像的异常检测概率图、通过所述语义分割网络得到所述图像的语义分割图；第二融合模块，用于基于假设检验法将所述目标检测图、所述实例分割图、所述异常检测概率图和所述语义分割图进行融合处理，以得到所述待测工件的缺陷检测结果。

15、本发明实施例的技术方案，采用端到端的多任务学习网络和基于假设检验法的融合处理实现缺陷检测，既提高了检测效率，又改善了检测效果，保证了检测结果的可靠性。