一种类镜面表面的缺陷检测方法

本发明涉及工业检测领域，尤其涉及一种类镜面表面的缺陷检测方法。

背景技术：

1、类镜面工件现在在各个行业都较为常见，其材质可以是塑料或者金属等，在某些领域是高端的象征。计算机视觉检测方法主要有较早的基于激光扫描的检测方法和后来较为先进的基于摄像器件ccd检测方法。激光扫描方法在1970年后开始出现，主要原理是激光器发出激光经过多面体棱镜反射到类镜面工件表面，经过类镜面工件表面反射后由光接收器接收后将光信号转化为电信号然后再转化为数字信号传输给计算机，经过信号处理进行缺陷识别。激光扫描检测方法虽然灵敏度较高但检测速度较慢，且对微小缺陷的识别能力不足。基于摄像器件ccd的计算机视觉检测方法从1980年至今还在使用，主要原理为：ccd摄像机扫描类镜面工件表面，所得图像信号传入计算机，经过计算机图像处理算法，提取出图像特征，进而通过分类器判断是否有缺陷以及识别出缺陷类别。这种缺陷检测效果较为精准、高效，缺陷识别能力较强，但实际效果还是受制于算法的好坏。

2、由于类镜面工件表面的反光尤为严重，并且缺陷的尺寸小，所以目前类镜面工件表面缺陷检测主要是人工检测。在进行表面缺陷人工检测时，首先需要对不同型号的工件进行缺陷位置统计，通过统计数据得到最易出现缺陷的部分位置，然后工人在特定的灯光环境下，手持照明设备进行人工检测。但是人工检测的稳定性不足，易受工作时长和工作熟练度的影响，并且人工检测工作效率较低，因此需要大量的人力成本支撑。

3、传统机器视觉发展较为成熟，但是也仅仅适用于简单场景。对于复杂场景，深度学习会在检测方面更加精准快速，具有更高的适用性。随着深度学习的发展和硬件设备的提升，为类镜面工件缺陷检测提供了可能。目前，已经有一些基于深度学习的缺陷检测算法，比如基于yolo系列的缺陷检测方案，yolo网络也发展到了yolo v8版本，对于检测现实生活中的物体具有良好效果。但是在应用于工业场景来说，标注成本和检测速度都存在优化空间，并且泛化能力也严重不足。因此，研究一种新的基于深度学习的类镜面工件表面的缺陷检测方法具有十分重要的意义。

4、因此，本领域的技术人员致力于开发一种类镜面表面的缺陷检测方法。

技术实现思路

1、有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是现有目标检测深度学习难以应用于工业检测领域，且需要大量的样本进行训练，标注工作量十分庞大，泛用性不强。

2、为实现上述目的，本发明提供了一种类镜面表面的缺陷检测方法，其特征在于，所述方法包括以下步骤：

3、s101：对类镜面工件进行成像，采集若干有缺陷的所述类镜面工件的表面图像，构建用于分类的深度学习神经网络模型的训练数据集；

4、s103：使用所述训练数据集，训练用于分类的所述深度学习神经网络模型；

5、s105：采集待检测的所述类镜面工件表面图像，并对所述图像进行预处理；

6、s107：使用所述深度学习神经网络模型对所述预处理后的图像进行缺陷检测，并在所述类镜面工件的原图上标记出检测到的缺陷。

7、进一步地，所述步骤s101包括如下步骤：

8、s1011：通过cmos相机和平面圆顶线对光源对所述类镜面工件进行成像，采集若干有缺陷所述类镜面工件的表面图像；

9、s1012：对采集的所述表面图像进行预处理，并对处理后的所述表面图像中有缺陷的位置进行标记；

10、s1013：将经过预处理的所述表面图像按照固定尺寸size和步长steplen进行裁剪，得到构成所述训练数据集的子图；

11、s1014：对所述子图进行缺陷标记，将包含缺陷的子图和不包含缺陷的子图存放到不同文件夹，完成数据集的整合。

12、进一步地，对采集的所述表面图像进行预处理后得到二值化图像，所述预处理包括对原图进行mean算法滤波和自适应二值化处理，所述mean算法滤波去除所述表面图像的噪点，提高所述表面图像的质量，所述自适应二值化处理将灰度图像转换为二值图像，所述自适应二值化处理根据图像的局部特征在不同区域使用不同的二值化处理阈值。

13、进一步地，所述mean算法滤波在去除所述表面图像的噪点时，以当前像素为中心，对行数和列数相等的一块区域内的所有像素点的像素取平均值，并用所述像素平均值代替所述当前像素的像素值，具体的计算如下：

14、

15、其中，g(s,t)为原始图像，f(x,y)为mean算法滤波后得到的图像，m为滤波窗口的高度，n为滤波窗口的宽度，sxy为滤波窗口内的坐标点集。

16、进一步地，在所述步骤s103中，所述深度学习神经网络包括resnet18网络和densenet网络，通过所述训练数据集进行训练后，得到训练好的深度学习神经网络模型m。

17、进一步地，所述步骤s105包括如下步骤：

18、s1051：通过cmos相机和平面圆顶线对光源对待检测的所述类镜面工件进行成像，得到待检测的所述类镜面工件的表面图像；

19、s1052：使用所述mean算法滤波和所述自适应二值化处理方法，对得到的所述表面图像进行处理，得到二值化图像；

20、s1053：通过自适应阈值分割方法，将待检测的所述类镜面工件本体和周围环境区分开。

21、进一步地，在所述步骤s107中，所述深度学习神经网络模型m结合窗口滑动机制和预测分析空间可视化技术，实现所述类镜面工件的检测分类：所述深度学习神经网络模型m提取所述类镜面工件表面的局部信息，通过窗口滑动机制对每个滑动窗口内的子图进行检测，根据检测结果对每个子图进行打分，通过预测分析空间可视化技术得到缺陷得分图，通过预设的缺陷得分阈值来筛选缺陷区域。

22、进一步地，所述步骤s107包括如下步骤：

23、s1071：建立一个尺寸为a的窗口，在经过预处理的所述图像中进行滑动；

24、s1072：将所述窗口内的所有子图融入到一个batch中，使用训练好的所述深度学习神经网络模型m对所述batch中图像进行缺陷检测；

25、s1073：检测完成后得到每个子图无缺陷的得分，并统计所述每个子图的得分，得到缺陷得分图；

26、s1074：将低于所述缺陷得分阈值的所述子图投影到原图上，对所述原图进行缺陷标记。

27、进一步地，所述缺陷得分图包括得分热图和/或得分高度图，所述缺陷得分图用于观察所述类镜面工件表面质量情况。

28、进一步地，用于筛选缺陷区域的所述缺陷得分阈值，可以根据现场实际的工作情况进行调整。

29、在本发明的较佳实施方式中，和现有技术相比，具体如下有益效果：

30、1、本发明将窗口滑动模块和预测分析空间可视化模块分别插入分类网络的头尾，让分类网络实现缺陷目标检测任务，标注工作量小，样本需求量小，检测结果迅速且稳定等。

31、2、本发明的窗口滑动模块可以对原图的每个窗口内子图进行打分，通过可视化得到对应的得分热图或者得分高度图，通过设立阈值来找到对应缺陷位置，窗口滑动模块和预测分析空间可视化模块可以融合进使用市面上任何分类网络，实现精确定位缺陷位置。

32、以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。