一种跨尺度工业表面缺陷检测方法及系统

本发明涉及工业缺陷检测，更具体地，涉及一种跨尺度工业表面缺陷检测方法及系统。

背景技术：

1、随着机器视觉和深度学习技术在该领域的应用推广，尤其适用于工业缺陷检测，其中，对产线上的产品取样图片做差是一个简单便捷的缺陷提取方法，面对未知的产品类型的任务，具有非常不错的泛化性，但在实际应用中对比理论方法存在诸多问题。例如，取样结果不能完全的一致，导致影响做差结果，不能有效地找到缺陷；面对跨尺度缺陷存在较大问题，如包装表面存在不同大小的字体，对大字体可以提供较为精准的识别，但是对于小字体在该尺度上就会显现较大的偏差，很难使其对其做差，因此存在难以找到小尺寸的缺陷问题。

2、目前有工业表面缺陷检测方法提出采用blob分析用于图像分析并提取特征，blob分析是在前景和背景分离后，提取并标记二值图像的连接区域。每个标记的blob表示一个前景目标，然后可以计算blob的一些相关特征。然而基于blob分析对采集的工业产品表面图像进行分析，还需要配合分类器、神经网络等模型进行处理，需要收集标注大量待测试样本的数据集对模型进行充足的训练，才能得到准确率更高的检测结果，因此存在计算量大、鲁棒性弱、检测效率低的问题。

技术实现思路

1、本发明为克服上述现有技术所述的工业表面缺陷检测方法存在计算量大、鲁棒性弱、检测效率低的缺陷，提供一种跨尺度工业表面缺陷检测方法及系统。

2、为解决上述技术问题，本发明的技术方案如下：

3、一种跨尺度工业表面缺陷检测方法，包括以下步骤：

4、s1、采集模板图像ia以及待检测的工业产品图像ib，并对其进行预处理；

5、s2、基于blob算法对经过预处理的图像ia、ib进行特征提取，分别得到图像特征i'a、i'b；

6、s3、采用homography估计神经网络对所述图像ia和ib，以及图像特征i'a和i'b分别进行对齐校准；

7、s4、对经过对齐校准的图像ia、ib进行做差处理，并采用滑动窗口对做差图像进行噪声过滤，得到工业表面缺陷检测结果。

8、作为优选方案，所述s1步骤中，对图像ia、ib进行进行预处理的步骤包括：对图像进行二值化处理。

9、作为优选方案，所述s2步骤中，基于blob算法对经过预处理的图像ia、ib进行特征提取的步骤包括：

10、s201、对经过预处理的图像ia、ib根据8邻接关系采用标记算法得到连通区域图，分割得到前景区域和后景区域；

11、s202、设定特征阈值，根据特征阈值进行特征提取，得到连通区域内表征相似颜色和/或纹路特征的图像特征i'a、i'b。

12、作为优选方案，所述s3步骤中，采用homography估计神经网络进行对齐校准的步骤包括：

13、s301、将图像ia、ib输入单应性估计对齐网络中，利用三层卷积神经网络提取特征，生成特征矩阵fa、fb；

14、s302、将图像特征i'a和i'b输入单应性估计对齐网络模块中，利用三层卷积神经网络提取特征，生成特征矩阵f'a、f'b；

15、s303、将特征矩阵fa、fb，以及特征矩阵f'a、f'b分别进行拼合后，输入homography估计神经网络进行校准操作，得到原图整体的单应性估计校正结果。

16、作为优选方案，所述s4步骤中，采用滑动窗口对做差图像进行噪声过滤的步骤包括：

17、对做差图像采用最小池化和上采样进行循环操作，过滤粗噪声；

18、对经过粗噪声过滤的做差图像进行左上、右上、左下、右下四个方向的位移扩张，采用原图大小的滑动窗口对做差图像进行滑动取图，组成缺陷检测图像集合；

19、将所述结果图像集合对齐，得到工业表面缺陷检测结果。

20、进一步地，本发明还提出一种跨尺度工业表面缺陷检测系统，应用本发明提出的跨尺度工业表面缺陷检测方法。所述系统包括：

21、预处理模块，用于对输入的模板图像ia以及待检测的工业产品图像ib进行预处理；

22、特征提取模块，用于采用blob算法对经过预处理的图像ia、ib进行特征提取，输出图像特征i'a、i'b；

23、对齐校准模块，其上搭载有homography估计神经网络，用于分别对所述图像ia和ib，以及图像特征i'a和i'b分别进行对齐校准；

24、缺陷检测模块，用于对经过对齐校准的图像ia、ib进行做差处理，并采用滑动窗口对做差图像进行噪声过滤，得到工业表面缺陷检测结果。

25、作为优选方案，所述特征提取模块中包括连通区域分割单元和特征提取单元；其中：

26、所述连通区域分割单元用于对经过预处理的图像ia、ib根据8邻接关系采用标记算法得到连通区域图，分割得到前景区域和后景区域；

27、所述特征提取单元中预设有特征阈值；所述特征提取单元用于根据特征阈值进行特征提取，得到连通区域内表征相似颜色和/或纹路特征的图像特征i'a、i'b。

28、作为优选方案，所述对齐校准模块中包括特征矩阵提取单元和单应性估计校正单元；其中：

29、所述特征矩阵提取单元中搭载有单应性估计对齐网络，用于对输入的图像ia、ib或图像特征i'a和i'b进行特征提取，生成特征矩阵；

30、所述单应性估计校正单元中搭载有homography估计神经网络，用于根据输入的特征矩阵进行校准操作，输出单应性估计校正结果。

31、作为优选方案，所述缺陷检测模块中包括做差处理单元、粗过滤单元和细过滤单元，其中：

32、所述做差处理单元用于对经过对齐校准的图像ia、ib进行做差处理，生成做差图像；

33、所述粗过滤单元用于对做差图像采用最小池化和上采样进行循环操作，过滤粗噪声；

34、所述细过滤单元用于对对经过粗噪声过滤的做差图像进行左上、右上、左下、右下四个方向的位移扩张，采用原图大小的滑动窗口对做差图像进行滑动取图，组成缺陷检测图像集合，再将所述结果图像集合对齐，输出工业表面缺陷检测结果。

35、进一步地，本发明还提出一种计算机设备，包括一个或多个处理器；存储器；以及一个或多个应用程序；其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行本发明提出的跨尺度工业表面缺陷检测方法的操作。

36、与现有技术相比，本发明技术方案的有益效果是：本发明引入了blob分析算法，用于定位跨尺度缺陷中的小尺度缺陷，同时利用其特性加强了方法的泛化能力，增强鲁棒性；进一步结合了homography估计神经网络对待检测缺陷样本使用的标准样本图片进行对齐校准，以便实现更好的做差效果。

技术特征：

1.一种跨尺度工业表面缺陷检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的跨尺度工业表面缺陷检测方法，其特征在于，所述s1步骤中，对图像ia、ib进行进行预处理的步骤包括：对图像进行二值化处理。

3.根据权利要求1所述的跨尺度工业表面缺陷检测方法，其特征在于，所述s2步骤中，基于blob算法对经过预处理的图像ia、ib进行特征提取的步骤包括：

4.根据权利要求1所述的跨尺度工业表面缺陷检测方法，其特征在于，所述s3步骤中，采用homography估计神经网络进行对齐校准的步骤包括：

5.根据权利要求1所述的跨尺度工业表面缺陷检测方法，其特征在于，所述s4步骤中，采用滑动窗口对做差图像进行噪声过滤的步骤包括：

6.一种跨尺度工业表面缺陷检测系统，应用权利要求1～5任一项所述的跨尺度工业表面缺陷检测方法，其特征在于，包括：

7.根据权利要求6所述的跨尺度工业表面缺陷检测系统，其特征在于，所述特征提取模块中包括连通区域分割单元和特征提取单元；其中：

8.根据权利要求6所述的跨尺度工业表面缺陷检测系统，其特征在于，所述对齐校准模块中包括特征矩阵提取单元和单应性估计校正单元；其中：

9.根据权利要求6所述的跨尺度工业表面缺陷检测系统，其特征在于，所述缺陷检测模块中包括做差处理单元、粗过滤单元和细过滤单元，其中：

10.一种计算机设备，其特征在于，包括一个或多个处理器；存储器；以及一个或多个应用程序；其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行如权利要求1～5任一项所述的跨尺度工业表面缺陷检测方法的操作。

技术总结
本发明涉及工业缺陷检测技术领域，提出一种跨尺度工业表面缺陷检测方法及系统，其中包括以下步骤：采集模板图像I<subgt;a</subgt;以及待检测的工业产品图像I<subgt;b</subgt;，并对其进行预处理；基于Blob算法对经过预处理的图像I<subgt;a</subgt;、I<subgt;b</subgt;进行特征提取，分别得到图像特征I'<subgt;a</subgt;、I'<subgt;b</subgt;；采用Homography估计神经网络对所述图像I<subgt;a</subgt;和I<subgt;b</subgt;，以及图像特征I'<subgt;a</subgt;和I'<subgt;b</subgt;分别进行对齐校准；对经过对齐校准的图像I<subgt;a</subgt;、I<subgt;b</subgt;进行做差处理，并采用滑动窗口对做差图像进行噪声过滤，得到工业表面缺陷检测结果。本发明引入了Blob分析算法，用于定位跨尺度缺陷中的小尺度缺陷，结合Homography估计神经网络对待检测缺陷样本使用的标准样本图片进行对齐校准，以便实现更好的做差效果。

技术研发人员：单纯,李献峰,黄俊楚
受保护的技术使用者：广东技术师范大学
技术研发日：
技术公布日：2024/1/14