一种轴类产品的表面缺陷检测方法、系统及介质与流程

本发明涉及缺陷检测，具体涉及一种轴类产品的表面缺陷检测方法、系统及介质。

背景技术：

1、对轴类产品进行生产的过程中，由于原材料，生产设备和加工工艺等原因，通常会出现毛刺，碰划伤，锈蚀等产品表面缺陷。

2、当前该类产品的检测，主要采用人工目检检测的方式，依靠个人经验进行判断，该方法效率较低，漏检率比较高，人眼在工作一段时间之后容易疲劳，无法实现缺陷的快速准确检出和分类，且缺陷无记录，无法追踪。

3、此外，针对该类产品的检测，也有一些自动化的表面检测方式，主要通过工业线扫相机对于轴类表面进行光学成像，然后通过传统图像对比算法的方式，利用模板对比等方式对于表面的瑕疵进行自动检出。

4、使用人工的方式对于加工好的轴类产品进行目检，该方法检测效率较低、检测误差大、人眼对高分辨率图像进行判断时易疲劳，无法实现快速准确度检出和分类。

5、而传统的机器视觉检测，在成像方式上，如下图1轴类产品所示，受限于背景比较复杂，产品呈圆柱形且可能有多个比较大的成像台阶，而且需要解决侧面圆盘等多角度的成像，工业线阵相机完成所有待检测面的稳定成像；如采用工业面阵相机成像的方法，需要采用多部相机，从不同角度连续拍摄多张产品表面的图像。在检测算法上，主要采用传统的机器视觉方法，通过模板对比等方法对于产品表面的异常进行检测。

技术实现思路

1、本发明所要解决的技术问题是：传统的机器视觉检测，在成像方式上受限于背景的复杂，而且需要解决侧面圆盘等多角度的成像，工业线阵相机难以完成所有待检测面的稳定成像，无法实用于轴类产品这类呈圆柱形且可能有多个比较大的成像台阶的场景；本发明目的在于提供一种轴类产品的表面缺陷检测方法、系统及介质，基于视频流获取轴类产品的样本图片，对样本图片预处理，并构建出ai缺陷检测模型进行实时判定，实现了产品表面瑕疵的稳定检出和分类；通过机器视觉成像，人工智能，自动化装置结合的方式，实现轴类产品表面缺陷和加工缺陷的全自动检出。

2、本发明通过下述技术方案实现：

3、本方案提供一种轴类产品的表面缺陷检测方法，包括：

4、步骤一：基于视频流采集轴类产品的样本图片；

5、步骤二：对样本图片进行预处理，并对预处理后的样本图片进行标注；

6、步骤三：基于标注后的样本图片训练出ai缺陷检测模型；

7、步骤四：采集轴类产品的实时图片，对实时图片预处理后输入ai缺陷检测模型得到缺陷检出结果和缺陷分类。

8、本方案工作原理：传统的机器视觉检测，在成像方式上受限于背景的复杂，而且需要解决侧面圆盘等多角度的成像，工业线阵相机难以完成所有待检测面的稳定成像，无法实用于轴类产品这类呈圆柱形且可能有多个比较大的成像台阶的场景；本发明目的在于提供一种轴类产品的表面缺陷检测方法、系统及介质，在现有的机器视觉检测技术上进行方法上的改进，基于视频流获取轴类产品的样本图片，对样本图片预处理，并构建出ai缺陷检测模型进行实时判定，实现了产品表面瑕疵的稳定检出和分类；通过机器视觉成像，人工智能，自动化装置结合的方式，实现轴类产品表面缺陷和加工缺陷的全自动检出。

9、进一步优化方案为，所述采集轴类产品的样本图片，包括方法：

10、将待测产品放置在机械装置上，所述机械装置带动待测产品旋转；

11、部署多个不同角度的工业相机拍摄待测产品的视频流，所有工业相机的拍摄范围覆盖产品的整个表面。

12、进一步优化方案为，所述工业相机设置在同一平面内，工业相机围成一个半径为r1的圆，圆心o1处设置1个工业相机；圆心o1到机械装置的距离为h1；相邻两个工业相机之间的间距相等。

13、进一步优化方案为，还包括多个照射光源，所述照射光源设置在同一平面内，所有照射光源围成一个半径为r2的圆，圆心o2到机械装置的距离为h2，圆心o2、圆心o1与机械装置在同一条直线上，半径r2小于半径r1。

14、面阵相机的成像，在传统的视觉检测方法上，主要是基于采集的图片进行算法处理和判定。由于轴类产品的检测表面呈圆柱形，检测的时候需要旋转轴的表面以保证检测面的覆盖，采集多张图片的方式，很难保证每一个角度都覆盖到；且部分表面缺陷如划痕和碰伤，在不同的光照位置和拍摄角度下，成像上面的差异会比较大，影响后续缺陷检测算法对于缺陷特征的判断。所以，基于连续采集的多张图片的方式，会存在对于部分表面缺陷的漏判的情况。

15、本方案采用基于视频流的方式，通过部署多个不同角度的工业相机，覆盖产品的整个表面，在机械装置对轴类产品的旋转过程中，连续抓取产品表面的视觉图像。在图像判断上，通过对于每一帧的图像进行判断和分析，避免了由于光照位置和拍摄角度的不同，从而影响轴类表面缺陷成像质量，进而影响缺陷检出效果的情况。

16、进一步优化方案为，在机械装置所在平面的投影中，每相邻的两个工业相机之间有一个照射光源。

17、进一步优化方案为，所述对样本图片进行预处理，包括方法：

18、先对样本图片进行频域滤波处理滤除低频信号；

19、然后基于图像增强方法去除图像中轴类产品的边缘轮廓，并对图像进行降噪处理；

20、最后计算图像中轴类产品所有缺陷像素的连通域，并按照连通域划分不同的缺陷区域，突出缺陷的成像区域。

21、在图像处理上，本方案采用频域滤波、缺陷增强、缺陷降噪、缺陷分组等方法，对于相机生成的缺陷图片进行预处理，突出缺陷特征，对缺陷进行定位。对于现场采集的图片，成像区域比较大，图像背景复杂，对于缺陷的判断会产生不利影响；且图像中会存在灰尘，铁屑等可接受异物的图像，影响真实缺陷特征的提取。所以，本发明采用如下图像处理方法，对于生成的图片进行预处理，突出缺陷特征。

22、首先，采用频域滤波的图像处理方法。由于缺陷信息在图像中属于高频信号，所以采用频域滤波的方法，可以先过滤掉图像中的低频信号，突出缺陷的特征。其次，采用缺陷增强的图像处理方法。通过此方法，去掉产品固有的边缘轮廓，保留图像中可疑缺陷像素点；再次，采用缺陷降噪的图像处理方法。通过此方法，去掉像素极少的噪声，避免灰尘等对于图像的干扰，保留真正的缺陷像素；最后，采用缺陷分组的方法进行图像处理。通过图像二值化等方法，计算所有缺陷像素的连通域，按照连通域划分不同的缺陷区域，突出缺陷的成像区域。通过以上缺陷图像处理方法，可以有效突出轴类产品表面缺陷，减少灰尘等

23、进一步优化方案为，所述基于标注后的样本图片训练出ai缺陷检测模型，包括方法：

24、g1,创建ai缺陷检测网络；

25、g2,基于自适应锚框方法，在初始锚框的基础上输出预测框，从而和真实框比对，计算预测框和真实框的差值，以自适应方式输出训练集中的最优锚框值，对ai缺陷检测网络的权重参数进行调整；

26、g3,向ai缺陷检测网络输入标注后的样本图片，并复制四份，然后基于切片操作将复制的样本图片裁剪为4个3×320×320的切片；

27、g4,基于concat函数在图像深度上方向上连接4个3×320×320的切片，获得规格为12×320×320的输出图像；

28、g5,基于卷积核数为32的卷积层，生成规格为32×320×320的图像，再通过batch_borm函数和leaky_relu函数将结果输入到下一个卷积层；

29、g6,ai缺陷检测网络的主干网络上基于resnet残差网络结构，经卷积核数为32的卷积层卷积后，通过残差结构和初始输入的样本图片相加，并通过depth_multiple函数调整ai缺陷检测网络的深度；

30、g7,将初始输入的样本图片分成两个分支，分别进行卷积操作使通道数减半，然后其中一个分支进行瓶颈网络倍增操作；

31、g8,对高层特征图进行反卷积和反池化的上采样过程，特征融合采用直接相加的方法，使用自适应特征池化恢复每个候选区域和所有特征层次之间被破坏的信息路径，融合每个特征层次上的每个候选区域，避免被任意分配；

32、g9,在spp层输入特征图像，经过1×1的卷积层后输出，然后经过并列的三个maxpool进行下采样，将下采样结果与初始特征相加，输出结果。

33、进一步优化方案为，还包括对训练好的ai缺陷检测模型进行测试，当缺陷的识别率到达预设阈值后进行模型封装，否则返回重新执行步骤三。

34、对训练好的ai缺陷检测模型进行测试过程包括：(1)输入预处理完成的轴类产品缺陷图像，进行迭代训练；(2)每次迭代过程中，计算损失函数值，召回率值和平均进度map值，绘制折线统计图表；(3)获得最佳权重参数文件，每次迭代后进行最佳参数的迭代保存，获得最佳参数集文件，用于轴类子产品表面缺陷检测。

35、本方案还提供一种轴类产品的表面缺陷检测系统，用于实现上述所述的一种轴类产品的表面缺陷检测方法，包括：

36、采集模块，用于基于视频流采集轴类产品的样本图片；

37、预处理模块，用于对样本图片进行预处理，并对预处理后的样本图片进行标注；

38、标注模块，用于基于标注后的样本图片训练出ai缺陷检测模型；

39、检测模块，用于采集轴类产品的实时图片，对实时图片预处理后输入ai缺陷检测模型得到缺陷检出结果和缺陷分类。

40、本方案还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如上述所述的一种轴类产品的表面缺陷检测方法。

41、本发明与现有技术相比，具有如下的优点和有益效果：

42、本发明提供的一种轴类产品的表面缺陷检测方法、系统及介质；在现有的机器视觉检测技术上进行方法上的改进，基于视频流获取轴类产品的样本图片，对样本图片预处理，并构建出ai缺陷检测模型进行实时判定，实现了产品表面瑕疵的稳定检出和分类；通过机器视觉成像，人工智能，自动化装置结合的方式，实现轴类产品表面缺陷和加工缺陷的全自动检出。

43、本发明提供的一种轴类产品的表面缺陷检测方法、系统及介质；通过自动化光学成像系统与人工智能系统的融合，该系统省去了人工检测并缺陷分类轴类产品的过程，提高了生产效率及缺陷分类的准确性，同时生成的图像数据也可为后续的质量追述提供保障。本方案基于面阵相机的方式，更易于部署，且可以解决产品表面有多个成像台阶的问题；使用视频流的方式，避免了采集角度和光照等不同对于成像效果的影响，进而保证了稳定的检出效果。