一种滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法与流程

align相结合实现汽车轮毂表面缺陷检测，实现了缺陷点和划痕的有效检测。冯毅雄等人提出了轴件表面缺陷实时检测方法，采用yolo v3目标检测网络实现了轴件表面缺陷的检测。金颖等人采用mask r-cnn检测柱塞式制动主缸内槽表面缺陷。
6.综上表明，近年来的缺陷检测技术研究主要是从深度学习及其相关改进算法，基本是提高识别精度和检测速度方面研究，对于目标定位精度、缺陷分割精度涉及不足。通过分析原因发现，近年来的缺陷检测技术利用深度学习目标检测算法进行缺陷识别的技术思路，主要都是直接以缺陷区域整体区域形态作为识别对象进行训练和检测，而受限于训练样本数据的质量和数量有限、深度学习目标检测算法的识别精度对于训练样本数据的强依赖性等因素，对于缺陷区域的边缘轮廓定位、分割精度始终难以得到很好的保证。


技术实现要素：

7.针对现有技术存在的上述不足，本发明需要解决的问题是：如何提供一种滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法，以更有效的保证对缺陷目标区域图像的定位、分割精度。
8.为解决上述技术问题，本发明采用了如下的技术方案：
9.一种滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法，包括如下步骤：
10.s1：采集工件滚动接触区域的待检测图像并进行图像预处理；
11.s2：采用预先训练的卷积神经网络模型作为缺陷目标框选识别模型，从预处理后的待检测图像中定位框选出缺陷区域局部图像；
12.s3：采用区域生长方法从缺陷区域局部图像中进行缺陷目标区域的区域生长，确定出缺陷目标区域的边缘轮廓；
13.s4、根据所述缺陷目标区域的边缘轮廓分割出缺陷目标区域图像。
14.上述滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法中，作为优选，所述步骤s1中，对待检测图像的图像预处理包括图像滤波处理、图像二值化处理和滚动接触区域图像截取处理。
15.上述滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法中，作为优选，所述步骤s2中，所述缺陷目标框选识别模型采用faster r-cnn卷积神经网络模型，其包括rpn网络和fast r-cnn网络；
16.所述rpn网络作为输入图像的感兴趣特征区域提取网络，由rpn网络提取的感兴趣特征区域输出给fast r-cnn网络进行缺陷区域识别；
17.所述fast r-cnn网络包括roi感兴趣区域池化层、特征提取网络和svm分类器；其中，roi感兴趣区域池化层用于对感兴趣特征区域进行池化处理，其处理得到的池化特征图通过全连接层输出传输至特征提取网络的输入层；特征提取网络用于从池化特征图中提取缺陷特征向量，输出至svm分类器，由svm分类器进行缺陷目标的分类识别判断，并对判定存在缺陷目标的区域进行框选定位。
18.上述滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法中，作为优选，所述faster r-cnn网络模型的fast r-cnn网络中，采用resnet50网络作为特征提取网络。
19.上述滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法中，作为优选，所述步骤s2中，faster r-cnn网络模型进行疲劳缺陷识别训练的具体方式为：
20.s201：采用疲劳缺陷训练样本图像数据集对rpn网络进行初始化，并训练rpn网络；
21.s202：将步骤s201训练rpn网络的训练输出结果作为fast r-cnn网络的输入，对fast r-cnn网络进行训练；
22.s203：继续训练rpn网络，将rpn网络和fast r-cnn网络共有的卷积神经网络参数进行初步确定；
23.s204：将步骤s203训练rpn网络的训练输出结果作为fast r-cnn网络的输入，再次对fast r-cnn网络进行训练，将rpn网络和fast r-cnn网络共有的卷积神经网络参数进行最终固定。
24.上述滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法中，作为优选，所述步骤s3具体为：
25.s301：从缺陷区域局部图像中选取属于缺陷目标区域的一个像素点，作为缺陷目标生长区域的初始像素点；
26.s302：采用区域生长方法，根据预设的区域生长原则针对缺陷目标生长区域的初始像素点进行区域生长，并根据预设的边界判定条件确定区域生长的边界轮廓，进而从缺陷区域局部图像中确定出缺陷目标区域的边缘轮廓。
27.上述滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法中，作为优选，所述步骤s301具体为：
28.s3011：从缺陷区域局部图像中进行缺陷目标区域的初始分割，得到缺陷目标初始分割区域；
29.s3012：计算缺陷目标初始分割区域的质心坐标像素位置，作为缺陷区域局部图像中初始的缺陷目标生长区域像素。
30.上述滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法中，作为优选，所述步骤s302具体为：
31.s3021：从缺陷区域局部图像中选取一个像素点作为待测像素点；
32.s3022：判断所述待测像素点是否满足预设的区域生长原则；若满足，则将所述待测像素点划归于缺陷目标生长区域，跳转执行步骤s3024；若不满足，则执行步骤s3023；
33.s3023：判断所述待测像素点是否满足预设的边界判定条件；若满足，则将所述待测像素点判定为缺陷目标区域的一个边界轮廓像素点；若不满足，则判定所述待测像素点为缺陷目标区域外像素点；然后，执行步骤s3024；
34.s3024：对所述待测像素点进行已检测标记；
35.s3025：重复执行步骤s3021至s3024，直至缺陷区域局部图像中的所有像素点均已进行已检测标记，然后将划归于缺陷目标生长区域的全部像素点确定为缺陷目标区域的像素点，并根据检测判定的各边界轮廓像素点确定缺陷目标区域的边缘轮廓。
36.上述滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法中，作为优选，所述步骤s4具体为：
37.s401：提取缺陷目标区域的边缘轮廓；若所述边缘轮廓所围合的图像区域只有一个，则执行步骤s402；若所述边缘轮廓所围合的图像区域有多个，则执行步骤s403；
38.s402：将所述边缘轮廓作为缺陷目标区域的图像分割轮廓，执行步骤s404；
39.s403：比较边缘轮廓所围合的各个图像区域的面积，将其中面积最大的一个图像
区域的围合轮廓作为缺陷目标区域的图像分割轮廓，执行步骤s404；
40.s404：沿所述图像分割轮廓从缺陷区域局部图像中分割出缺陷目标区域图像。
41.相比于现有技术，本发明的有益效果在于：
42.本发明针对滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法，采用了区别于现有技术的定位分割处理策略，并没有直接以缺陷区域整体区域形态作为识别对象进行目标检测算法的训练检测识别，而是先通过简单的缺陷目标框选识别处理来定位框选出缺陷区域局部图像，以框定缺陷目标的搜索范围，然后采用区域生长的策略，从缺陷区域局部图像中通过区域生长确定出缺陷目标区域的边缘轮廓，进而实现对于缺陷目标区域图像的准确定位分割；由此，使得缺陷目标区域图像的边缘轮廓定位、分割精度不再完全依赖于训练样本数据对于目标检测算法的训练识别精度，而是以其作为辅助手段并结合图像区域生长方法来确定出缺陷目标区域的边缘轮廓，从而摆脱了目标检测算法对缺陷区域整体区域形态的识别精度可能不足的影响，借助图像区域生长方法的技术弥补作用，依然能够有效的保证对缺陷目标区域图像的定位、分割精度。
附图说明
43.为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
44.图1为本发明滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法的流程图。
45.图2为滚子试件表面接触区域提取过程示例图。
46.图3为滚子试件表面不同类型缺陷的示例图。
47.图4为标记软件labelimg标记界面示例图。
48.图5为试件表面缺陷标记效果示例图。
49.图6为faster r-cnn网络结构示意图。
50.图7为fast r-cnn网络结构示意图。
51.图8为rpn网络结构示意图。
52.图9为roi align双线性插值操作示意图。
53.图10为不同尺寸边界框示意图。
54.图11为缺陷目标定位框选检测实验中的疲劳损伤目标检测结果示例图。
55.图12为缺陷目标定位框选检测实验中的划痕目标检测结果示例图。
56.图13为缺陷目标定位框选检测实验中的斑块目标检测结果示例图。
57.图14为yolov3网络结构示意图。
58.图15为区域生长结果示例图。
59.图16为疲劳缺陷边界分割的示例图。
60.图17为质心坐标示意图。
61.图18为区域生长算法原理示意图。
62.图19为经典的区域生长算法程序流程图。
63.图20为疲劳曲线轮廓提取实例图。
64.图21为疲劳缺陷分割结果实例图。
65.图22为轮廓跟踪算法中八邻域方向示意图。
66.图23为边缘检测示例图。
67.图24为本发明对比实验分析中不同分割方法的结果对比图。
具体实施方式
68.下面结合附图对本发明进一步的详细说明。
69.由于现有技术中滚动接触疲劳缺陷的缺陷区域图像分割，主要依赖于大量缺陷区域图像的训练样本数据对深度学习目标检测算法进行训练后，利用训练所得的目标检测算法对工件滚动接触区域图像进行缺陷区域整体形态的检测识别，而滚动接触区域易出现的疲劳缺陷往往包括疲劳损伤、划痕、斑块等多种类型，这就需要每种类型都具备大量的缺陷区域图像训练样本数据对目标检测算法加以训练，才能较好的保证对各种疲劳缺陷区域的检测识别精度。这样，不仅导致了目标检测算法的训练任务工作量巨大，非常耗费人力和时间成本，并且往往受限于训练样本数据的质量和数量有限，也容易导致对于缺陷区域的边缘轮廓定位、分割精度难以得到很好的保证。
70.针对于此问题，本发明提供了一种滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法，，以更有效的提高对缺陷目标区域图像的定位、分割精度。如图1所示，本发明方法包括如下步骤：
71.s1：采集工件滚动接触区域的待检测图像并进行图像预处理；
72.s2：采用预先训练的卷积神经网络模型作为缺陷目标框选识别模型，从预处理后的待检测图像中定位框选出缺陷区域局部图像；
73.s3：采用区域生长方法从缺陷区域局部图像中进行缺陷目标区域的区域生长，确定出缺陷目标区域的边缘轮廓；
74.s4、根据所述缺陷目标区域的边缘轮廓分割出缺陷目标区域图像。
75.本发明针对滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法，采用了区别于现有技术的定位分割处理策略，并没有直接以缺陷区域整体区域形态作为识别对象进行目标检测算法的训练检测识别，而是先通过简单的缺陷目标框选识别处理来定位框选出缺陷区域局部图像，以框定缺陷目标的搜索范围，然后采用区域生长的策略，从缺陷区域局部图像中通过区域生长确定出缺陷目标区域的边缘轮廓，进而实现对于缺陷目标区域图像的准确定位分割；由此，使得缺陷目标区域图像的边缘轮廓定位、分割精度不再完全依赖于训练样本数据对于目标检测算法的训练识别精度，而是以其作为辅助手段并结合图像区域生长方法来确定出缺陷目标区域的边缘轮廓，从而摆脱了目标检测算法对缺陷区域整体区域形态的识别精度可能不足的影响，借助图像区域生长方法的技术弥补作用，依然能够有效的保证对缺陷目标区域图像的定位、分割精度。
76.接下来，对本发明滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法进行进一步的说明。
77.1.1缺陷区域局部图像的框选定位检测
78.本发明的缺陷目标区域图像定位分割方法，从整体上可以划分为两大处理部分：第一部分是通过缺陷目标框选识别处理来定位框选出缺陷区域局部图像，以框定缺陷目标的搜索范围；第二部分是采用区域生长的策略，从缺陷区域局部图像中通过区域生长确定出缺陷目标区域的边缘轮廓，实现对于缺陷目标区域图像的准确定位分割。
79.对于其中第一部分，本发明是借助缺陷目标框选识别模型来加以完成的，虽然第一部分的处理相对较为简单，但也需要通过预先训练的卷积神经网络模型来作为本发明中的缺陷目标框选识别模型使用，因此也对缺陷目标框选识别模型的获得过程做一下说明。
80.1.1缺陷数据集构建
81.(1)数据预处理
82.首先，为了更便于进行缺陷目标区域的定位，需要先对采集的工件滚动接触区域的待检测图像进行图像预处理。
83.该图像预处理过程，目的是为了准备针对缺陷目标框选识别模型的训练样本数据。但实际上，在具体进行缺陷目标区域图像定位分割处理的过程中，对于工件滚动接触区域的待检测图像，也是需要进行同样的图像预处理过程。该图像预处理过程，主要包括图像滤波处理、图像二值化处理和滚动接触区域图像截取处理等。
84.以一个滚子试件表面图像作为待检测图像为例，如图2所示。其中，图2(a)为滚子试件表面待检测图像的原始图像，通过对滚子试件表面图像的观察，发现图像大部分区域是滚子试件表面的非接触区背景图像，背景图像与滚子试件表面疲劳缺陷相似度很高，给滚子试件表面疲劳缺陷检测带来了困难。为了准确的实现疲劳缺陷检测，首先需要提取试件的接触区图像。通过观察，图像的接触区的表面亮度总是高于背景图像区域，同时接触区两边总是相互平行且平行于图像边界。首先，采用最大类间方差对原图像进行二值化处理，处理结果如图2(b)所示，然后，采用水平投影法对二值化图像做如下处理：
[0085][0086]
其中vp(i)是水平投影结果，f(i,j)是二值化图像的像素值，i、j分别是行、列坐标。通过二值图水平灰度投影的结果如图2(c)所示，设定工作区域的水平投影边界条件：
[0087][0088]
其中w表示原始图像的宽，通过二值图的水平灰度投影曲线从上往下筛选，当水平灰度投影值大于原始图像宽的2/3时，认定为当前边界为工作区域的上边界，同理，采用从下往上筛选，得出接触区的下边界，上下边界裁剪接触区如图2(d)所示，通过裁剪获取滚子试件接触区如图2(e)所示。
[0089]
(2)缺陷特征分析
[0090]
为了更好的做好模型训练，最好能够针对不同类型的缺陷特征对模型加以针对性的训练。因此，缺陷特征的分析和分类工作也是有必要的。
[0091]
根据对滚子试件表面缺陷的统计与观察，将滚子试件表面的疲劳缺陷特征分为疲劳损伤、划痕、斑块三种类型。
[0092]
1)疲劳损伤
[0093]
滚子试件在运行在高速环境，滚子试件表面受到配试件的循环接触应力作用，当运转一段时间后，滚子试件表面局部开始出现凹痕，点蚀逐渐在周围产生裂纹，裂纹不断扩大直至剥落
[55]
。这种过程称为疲劳损伤的变化过程，根据疲劳损伤的变化过程，疲劳损伤主要有凹痕、裂纹、剥落三种类型。
[0094]
2)划痕
[0095]
滚子试件在加工或使用过程中，在滚子试件表面出现划痕，划痕的产生原因主要包括两个方面：一是在加工、运输或安装过程中，由于操作不当，导致滚子试件与其他物体磕碰形成；二是滚子试件的材料较硬，表面粗糙度较大，滚子试件在工作过程中，滚子试件表面受到硬质颗粒磨损，在表面形成细长的犁痕。
[0096]
3)斑块
[0097]
斑块是滚子试件在保存、安装过程中产生的缺陷，包括锈斑、擦伤两种，同时，滚子试件在喷油环境下运行，表面油滴经过擦拭形成油痕，由于油痕与锈斑、擦伤相似度很高，所以，将油痕、锈斑、擦伤一起划为斑块类缺陷。
[0098]
(3)数据集制作
[0099]
具体实施中，可采用人工标记或标记软件等方式对滚子试件表面缺陷进行标记，为了便于标记，将不同类型滚子试件表面缺陷利用对应的简化标签进行表示：疲劳损伤(fatigue defects，fd)、划痕缺陷(scratch defects，sd)、斑块缺陷(plaque defects，pd)，不同类型的滚子试件表面缺陷如图3所示。
[0100]
基于上述对滚子试件表面不同类型标签定义，作为示例，采用标记软件labelimg标记对样本进行标记，标记界面如图4所示，采用矩形框对样本进行标记，矩形框的边界应尽可能的贴近样本边缘，疲劳损伤(fd)、划痕缺陷(sd)、斑块缺陷(pd)的标记效果如图5所示。
[0101]
1.2网络模型设计
[0102]
缺陷目标框选识别模型的类型选择也较为重要，对于缺陷区域局部图像的定位框选效果会带来影响。
[0103]
具体实施时，在步骤s2中，缺陷目标框选识别模型优选采用faster r-cnn卷积神经网络模型，其包括rpn网络和fast r-cnn网络。rpn网络作为输入图像的感兴趣特征区域提取网络，由rpn网络提取的感兴趣特征区域输出给fast r-cnn网络进行缺陷区域识别。所述fast r-cnn网络包括roi感兴趣区域池化层、特征提取网络和svm分类器。其中，roi感兴趣区域池化层用于对感兴趣特征区域进行池化处理，其处理得到的池化特征图通过全连接层输出传输至特征提取网络的输入层；池化层可以非常有效地缩小参数矩阵的尺寸，从而减少最后全连层中的参数数量。使用池化层即可以加快计算速度也有防止过拟合的作用。特征提取网络用于从池化特征图中提取缺陷特征向量，输出至svm分类器，由svm分类器进行缺陷目标的分类识别判断，并对判定存在缺陷目标的区域进行框选定位。
[0104]
faster r-cnn网络是ross girshick在2015年提出的一种经典的目标检测与识别模型。faster r-cnn在fast r-cnn基础上，引入了区域建议网络(region proposal network，rpn)替换选择性搜索方法，解决了寻找所有候选框，耗时高、计算量大的问题。图6为faster r-cnn的结构示意图。
[0105]
由图6可知，faster r-cnn本质上就是fast r-cnn网络和rpn网络的合体网络，采用rpn在cnn特征图上进行目标检测区域提取。
[0106]
(1)fast r-cnn网络
[0107]
fast r-cnn网络直接引入感兴区域池化层(region of interests pooling，roi pooling)，通过感兴区域直接从特征图中提取固定大小的区域特征图。池化层可以非常有效地缩小参数矩阵的尺寸，从而减少最后全连层中的参数数量。感兴趣区域池化是对候选
区域映射的特征区域进行处理，将一个特征区域划分为几个子区域，子区域尺寸一般为7
×
7，对每个子区域执行最大池化，可以获得尺寸大小相同的特征图。将池化生成固定大小的特征图送入全连接层生成特征向量，然后送入softmax分类器和线性回归器进行目标分类与边界框回归。其具体操作流程如图7所示。
[0108]
fast r-cnn网络能同时实现目标分类与边界框回归，在训练过程中引入多任务损失函数，多任务损失函数可以表示为：
[0109]
l(p,u,tu,v)＝l
cls
(p,u)+λ[u≥1]l
loc
(tu,v)
[0110]
其中，l
cls
(p,u)表示目标分类损失函数，l
cls
(p,u)表示分类损失，v＝v
x
,vy,vw,vh表示类u的真实框位置，表示类u的预测框位置，λ为权重参数，一般令λ＝1。l
loc
(tu,v)为边界框损失函数，其定义为：
[0111][0112][0113]
fast r-cnn模型相比于r-cnn模型和spp-net模型其性能得到较大提升，fast r-cnn引入感兴趣区域池化，简化了训练方式，提高了检测效率，其次，不需要保存分类器计算数据，降低了空间与时间开销。但是fast r-cnn仍然不能同步获取候选区域。
[0114]
(2)区域建议网络rpn
[0115]
rpn网络结构本质是利用尺度大小为n
×
n的卷积核对最后一层卷积层输出特征图做卷积操作，通过局部感知获取特征图与原图的位置映射，在原图上获得不同大小、不同形状的候选框，对每个候选anchor采用分类器进位前/后景的判别，在此基础之上，对后景的anchor利用边界框回归获取精准的目标区域(proposal)，rpn网络结构示意图如图8所示。
[0116]
rpn网络采用大小为3
×
3窗口滑动提取对候选框区域，在每个像素点位置分别按照3种尺寸为128
×
128、256
×
256、512
×
512与3种不同长宽比为1:1、1:2、2:1提取候选框，共生成9个不同的候选框，然后分别对每个候选框进行特征提取，然后将锚框区域的特征图映射为一个d维特征向量，通过特征向量送入并行的两个输出层，一个分支是分类层，输出2k维向量(前景分数与背景分数)，一个分支是边界框回归层，输出4k维向量(回归框坐标)。如果输入的特征图大小为h
×
w，那么生成的候选框为h
×w×
k个。然后需要对生成的候选框进行筛选，选取规则如下：
[0117]
条件1：候选框与输入图像边界关系，只保留输入图像边界内的候选框，超出范围的需要舍弃。
[0118]
条件2：采用非极大值抑制(nms)筛选候选框，通过候选框与真实框的计算iou，当iou》0.7时将记为前景区，iou《0.3时记为背景。
[0119]
通过边界筛选后的候选框约为2000个左右，经过nms进一步筛选出300个候选框，然后将其送入roi pooling层。
[0120]
(3)roi固定尺寸调整
[0121]
在cnns中，特征图经过rpn获取的候选区域尺寸不唯一，然而全连接层只接受固定大小的输入，不能直接与全连接层相连，因此，需要对候选区域的尺寸进行转化。faster r-cnn使用roi pooling将候选框转化固定大小的特征图：假设输出特征图尺寸为2
×
2，则将
候选框分成4份，每份中采用max pooling获取特征值。这种操作虽然能将候选区域转化为固定大小，但是，在处理的过程中，进行了两次量化操作，造成获取的候选框与原始候选框之间出现较大的偏差，直接影响目标的检测与位置检测精度。因此，可以考虑采用roi align替换roi pooling，roi align取消了量化操作，采用双线性插值获取坐标为浮点数的像素点上的图像数值，roi align操作示意图如图9所示。
[0122]
由图9可知，像素点(x,y)的相邻四个像素点坐标分别为q
11
(x1,y1)、q
12
(x1,y2)、q
21
(x2,y1)、q
22
(x2,y2)，图像数值分别f(q
11
)、f(q
12
)、f(q
21
)、f(q
22
)，第一个像素点(x,y)的图像数值为：
[0123][0124]
(4)特征提取网络的选取
[0125]
faster r-cnn网络中通常使用vgg16作为基础特征提取网络，vgg16在特征提取过程中采用简单的堆叠卷积层和池化层的方式，导致目标信息丢失严重。为了提高检测的精度，本发明比较了目前存在的多种特征提取网络，resnet网络在直连网络通道的基础上，实现了跨层连接，融合了浅层和深层信息，相比vgg16特征提取性能更好。所以，在本发明方案中，faster r-cnn网络模型的fast r-cnn网络中，优选采用resnet50网络作为特征提取网络。
[0126]
(5)锚框设计
[0127]
在faster r-cnn中，通常rpn使用尺度分别为8、16、32的三种锚框，基本尺寸为16
×
16，按照长宽比分别为1:1、1:2、2:1生成候选框。滚子试件表面缺陷样本的早期疲劳缺陷的尺寸很小，根据已知图像数据统计，最小的尺寸为32
×
24，为了较好的实现小尺寸目标缺陷检测，在原锚框基础上，增加尺度为2和4的锚框。同时，滚子表面的划痕通常为条形，长宽的变化幅度非常大，最高可达40:1，将长宽比更改为1:1、1:3、3:1以适应划痕缺陷，最终在锚点处生成15种大小的边界框，如图10所示。
[0128]
(6)网络模型参数调整
[0129]
我们的试验是基于caffe平台进行的，在训练之前，需要对网络权值进行初始化，初始化过程是在imagenet数据集上预训练模型上完成。训练过程中使用随机梯度下降法(sgd)更新权值，训练的小批量(mini batch size)为128。
[0130]
具体实施时，步骤s2中，faster r-cnn网络模型进行疲劳缺陷识别训练的具体方式可分为如下的四个阶段进行：
[0131]
阶段一：采用疲劳缺陷训练样本图像数据集对rpn网络进行初始化，并训练rpn网络；
[0132]
阶段二：将阶段一训练rpn网络的训练输出结果作为fast r-cnn网络的输入，对fast r-cnn网络进行训练；
[0133]
阶段三：继续训练rpn网络，将rpn网络和fast r-cnn网络共有的卷积神经网络参数进行初步确定；
[0134]
阶段四：将阶段三训练rpn网络的训练输出结果作为fast r-cnn网络的输入，再次
对fast r-cnn网络进行训练，将rpn网络和fast r-cnn网络共有的卷积神经网络参数进行最终固定。
[0135]
作为一个示例，可以按照表1所示参数，对faster r-cnn网络模型的疲劳缺陷识别训练过程进行参数设置。如果网络经过60k次迭代训练后损失率不再下降，则说明模型已经训练好。
[0136]
表1 faster r-cnn网络训练过程参数
[0137][0138]
1.3缺陷检测结果与分析
[0139]
(1)评价标准
[0140]
为了评估faser r-cnn目标检测模型的检测性能，采用查准率p(precision)，召回率r(recall)和f1 score三个指标对各个缺陷进行评估，计算表达式如下所示。
[0141][0142][0143][0144]
其中tp表示正样本被预测为正样本的数量；fn表示正样本被预测为负样本的数量；fp表示负样本被预测为正样本的数量。
[0145]
(2)缺陷目标定位框选检测的实验结果分析
[0146]
随机选择滚子试件缺陷图像随机选择300张图像进行模型测试。实验中统计测试图像中缺陷个数分别为：疲劳损伤190个、划痕37个及斑块324个。然后根据测试过程中统计的数据，分类统计测试过程中正确检测、漏检、误检个数，分别计算各个缺陷的查准率、查全率及f1 score，计算结果如表2所示。
[0147]
表2实验中算法检测结果
[0148][0149]
由表1.2所知，疲劳损伤的查准率、查全率及f1 score最高，分别为92.8％、87.9％、90.3％，疲劳损伤之间的特征相似，且与划痕、斑块特征差异大，使得疲劳损伤易于学习，因此疲劳损伤识别效果好于划痕、斑块。划痕的查准率为88.2％，但是查全率只有81.1％，造成这种原因主要有两点：一是训练数据集中划痕特征较少，学习不够充分；二是
测试样本中划痕总数较少，仅仅只有37个，容易出现偶然检测结果。斑块的查准率、查全率、f1 score分别为88.9％、86.1％、87.5％，位于疲劳损伤与划痕之间，均高与85％，说明在斑块了识别较好。
[0150]
(3)缺陷目标检测的实验结果
[0151]
使用本实验的缺陷目标检测得到的缺陷检测结果如图11、图12、图13所示，依次是疲劳损伤、划痕、斑块的目标检测检测结果图。
[0152]
1.4与yolov3网络检测比较
[0153]
为了验证本发明采用faster r-cnn卷积神经网络模型作为缺陷目标框选识别模型的可行性，将与单阶段模型中具有代表性的yolov3网络模型进行对比实验，以此作为衡量改进的faster r-cnn检测性能。
[0154]
yolov3作为单阶段模型的代表，yolov3网络结构图如图14所示。由图可知，yolov3网络采用了5次上采样进行特征提取操作，输出8倍、16倍、32倍降采样之后的特征，特征图大小分别为52
×
52、26
×
26和13
×
13，将13
×
13的特征图直接送入作为单独的分支，然后将13
×
13的特征图与上前一层的26
×
26进行通道合并作为另一分支，最后将通道合并生成的新特征图与再上一层的52
×
52进行通道合并作为第三个分支，通过三个分支进行目标预测。
[0155]
选用与faster r-cnn相同的测试集对yolov3模型的性能进行测试，分别采用两种方法对疲劳损伤、划痕、斑块识别检测，统计yolov3测试过程中正确检测、漏检、误检个数，分别计算各个缺陷的查准率、查全率及f1 score，计算结果如表3所示。
[0156]
表3 yolov3算法检测结果
[0157][0158]
结合表3中yolov3算法检测结果与本发明采用的faster r-cnn网络检测结果进行对比，可以看到，在各类缺陷的检测中，无论是单类缺陷识别还是整体识别效果，本发明采用的faster r-cnn网络正确检测数量均高于yolov3算法。同时，根据对各类缺陷检测评估指标中，本发明采用的faster r-cnn网络在疲劳损伤的查准率最高，达到了92.8％，在划痕与斑块的查准率也达到了88.2％与88.9％，而采用yolov3算法检测仅为86.1％、84.8％和86.1％，分别高出了7.1、3.3％、2.8个百分点。同时，本发明采用的faster r-cnn网络在查全率与f1 score均都高于yolov3。faster r-cnn网络采用生成候选区域基本覆盖了所有实例目标，而yolov3采用端到端的检测方式，通过直接生成网格的方式进行检测，这种处理方式可能出现小目标漏检。因此，在检测精度上，特别是较小目标或较为模糊实例检测方面，本发明采用的faster r-cnn网络算法是优于yolov3算法的。
[0159]
2疲劳缺陷分割方法评估与分割方案设计
[0160]
在定位框选出缺陷区域局部图像之后，本发明方案的第二部分处理，就是采用区域生长的策略，从缺陷区域局部图像中通过区域生长确定出缺陷目标区域的边缘轮廓，实现对于缺陷目标区域图像的准确定位分割。
[0161]
在第二部分中，包括步骤s3的边缘轮廓识别处理过程和步骤s4的缺陷目标区域图像分割处理过程。
[0162]
具体实施时，在步骤s3具体为：
[0163]
s301：从缺陷区域局部图像中选取属于缺陷目标区域的一个像素点，作为缺陷目标生长区域的初始像素点；
[0164]
s302：采用区域生长方法，根据预设的区域生长原则针对缺陷目标生长区域的初始像素点进行区域生长，并根据预设的边界判定条件确定区域生长的边界轮廓，进而从缺陷区域局部图像中确定出缺陷目标区域的边缘轮廓。
[0165]
区域生长的关键在于种子点的选择，如果人工干预种子点的选择，选取出适合的种子点在使用基于种子点的区域生长分割方法，则可以取得较好的分割效果。图15是采用人工预选种子点，可以看出分割的疲劳缺陷的边缘基本与原缺陷边缘一致。
[0166]
图像分割是为了将有意义的目标区域提取出来。基于人工选取种子点的区域生长算法虽然能较好的分割出疲劳缺陷，但通常需要人工干预。如果知道了图像中疲劳缺陷的区域，并以此区域选取种子点，进行区域生长分割，就能对疲劳缺陷的准确分割。
[0167]
2.1疲劳缺陷分割方法评估
[0168]
疲劳缺陷是滚子试件表面图像中灰度较小、灰度值相似度较高的区域，在疲劳缺陷与图像背景之间存在明显的分割交叉线，如图16所示，疲劳缺陷分割的主要任务就是分割疲劳缺陷与背景区域的那根红线。
[0169]
不同的分割算法在疲劳缺陷分割过程中有着不同的分割结果，在研究疲劳缺陷分割算法中，通过对比多个分割方法对同一疲劳缺陷进行分割的精确程度，选择最合适的分割算法应用于疲劳缺陷分割。在评价疲劳缺陷分割算法时，通过以下几个方面进行比较：
[0170]
(1)通用性，对不同类型的疲劳缺陷分割的适用性。在疲劳缺陷分割过程中，产生的疲劳缺陷形状多样，需要使用同一分割算法能对不同类型的疲劳缺陷进行分割。如边缘分割算法对于噪声十分敏感，对于疲劳缺陷分割效果较差。
[0171]
(2)复杂度，分割算法是否简单实用。算法实现过程中的难易程度，分割过程中各种环境因素也在考虑的范围中。
[0172]
(3)自动化程度，人机交互过程的难易程度。自动化程度是一个重要衡量标准，也是疲劳缺陷分割的要求，如区域生长算法针对疲劳缺陷区域的边界分割效果较好，但是需要手动完成种子点选择。
[0173]
(4)分割精度，疲劳缺陷分割是否精确。这是疲劳缺陷分割的最终目的，分割精度直接影响疲劳缺陷失效判定结果。如mask r-cnn进行疲劳缺陷分割过程中，能够准确的对疲劳缺陷进行识别并分割，但是分割结果与真实的结果并不是完全一致。
[0174]
2.2疲劳缺陷分割方案设计
[0175]
为了实现疲劳缺陷的准确、高精度分割，可以考虑结合深度学习mask r-cnn网络与区域生长分割算法提出改进，使用mask r-cnn网络进行疲劳缺陷的区域初分割，并生成掩码，通过提取掩码区域求取质心作为区域生长种子点，通过初始种子点进行区域生长，并结合生长准则与边界点判定条件，最终实现疲劳缺陷的更好分割。
[0176]
(1)基于质心的种子点选择
[0177]
质心的求解采用积分法，如下图17所示，假设轮廓的密度为μ(x,y)，轮廓面积为σ，
dσ为点m(x,y)的面积元素。
[0178]
通过对y的质量矩为∫∫
(σ)
xμ(x,y)dσ，对x的质量矩为∫∫
(σ)
yμ(x,y)dσ，轮廓面积为∫∫
(σ)
μ(x,y)dσ，质心坐标为计算过程如下：
[0179][0180][0181]
可以使用积分法求取疲劳缺陷掩码区域的质心，作为区域生长算法的初始种子点。
[0182]
因此，基于上述设计思路，作为优选方案，本发明方案的步骤s301具体为：
[0183]
s3011：从缺陷区域局部图像中进行缺陷目标区域的初始分割，得到缺陷目标初始分割区域；例如，可采用图像掩膜分割法(mask r-cnn网络)进行缺陷目标区域的初始分割；
[0184]
s3012：计算缺陷目标初始分割区域的质心坐标像素位置，作为缺陷区域局部图像中初始的缺陷目标生长区域像素。
[0185]
(2)基于区域生长的疲劳缺边缘轮廓识别
[0186]
区域生长算法是一种基于区域的图像边缘轮廓识别算法，它的思想是将具有相同或相似特性的像素点合并到同一区域，具体的做法如下：
[0187]
1)选择合适的点作为生长初始种子点；
[0188]
2)在初始种子点选定基础上，根据具体的问题设定生长准则，将满足生长准则的像素点进行合并到种子像素所在的区域，若否，则不进行合并。生长原理示意图如图18所示，rk是迭代次数为k的生长区域，s为待测区域，q为待测点的8邻域区域，s(k,l)为当前种子点，q(x,y)为当前待测生长点。
[0189]
设定生长准则如下式所示。
[0190][0191]
其中i(x,y)表示待生长像素点的灰度值，tc表示阈值，表示迭代次数为k时生长区域的灰度均值，其计算表达式如下所示。
[0192][0193]
其中card(s)表示待测区域s的像素点总数，像素点(i,j)属于待测区域。当待测点满足条件，则作为种子点合并到生长区域，若否，则不是生长区域。则需要对该点进行边界点判定。
[0194][0195]
其中tn表示边界判定阈值，μ
(x,y)
是待测点8邻域灰度均值。
[0196][0197]
为了避免种子点重复的搜索，对已经确定为种子点进行标记。
[0198]
经典的区域生长算法流程如图19所示，将整幅图的像素分为两类：已检测的像素
点与未检测的像素点，其中已检测的像素点又由生长区域点、边界点和生长区域外的点组成。首先选取区域目标区域内的一个像素点(种子点)加入生长区域，并将其作为生长起点，计算已生长区域的灰度均值及待测点的邻域灰度均值，接着判断是否满足生长准则，若满足，则将该像素点划入生长区域，若否，再对该像素点进行边界点判断，若满足边界点条件，则作为生长区域边界点，若不满足边界点条件，则划为非生长区域，这样就完成了一次迭代判定过程。重复上述操作，直至种子点堆栈为空时，完成疲劳缺陷区域边缘轮廓识别。
[0199]
因此，基于上述设计思路，作为优选方案，本发明方案的步骤s302具体为：
[0200]
s3021：从缺陷区域局部图像中选取一个像素点作为待测像素点；
[0201]
s3022：判断所述待测像素点是否满足预设的区域生长原则；若满足，则将所述待测像素点划归于缺陷目标生长区域，跳转执行步骤s3024；若不满足，则执行步骤s3023；
[0202]
s3023：判断所述待测像素点是否满足预设的边界判定条件；若满足，则将所述待测像素点判定为缺陷目标区域的一个边界轮廓像素点；若不满足，则判定所述待测像素点为缺陷目标区域外像素点；然后，执行步骤s3024；
[0203]
s3024：对所述待测像素点进行已检测标记；
[0204]
s3025：重复执行步骤s3021至s3024，直至缺陷区域局部图像中的所有像素点均已进行已检测标记，然后将划归于缺陷目标生长区域的全部像素点确定为缺陷目标区域的像素点，并根据检测判定的各边界轮廓像素点确定缺陷目标区域的边缘轮廓。
[0205]
(3)边缘轮廓识别结果
[0206]
疲劳缺陷区域生长边缘轮廓提取如图20所示，图中第一列是区域生长轮廓识别结果；第二列是提取疲劳缺陷轮廓区域；第三列是疲劳缺陷的轮廓区域提取结果在原图上显示的效果。
[0207]
为了验证该算法的正确性，采用本发明方法进行疲劳缺陷的自动边缘轮廓识别，然后从图像数据中随机选择四组图像进行测试，试验结果如图21所示，图中第一列为原始图像；第二列为mask r-cnn初边缘轮廓质心作为区域生长种子点；第三列为疲劳缺陷边缘轮廓识别区域；最后一列是原始图像的疲劳缺陷区域边缘轮廓标记图像。
[0208]
2.3基于边缘轮廓提取的图像区域分割
[0209]
边缘轮廓提取采用轮廓跟踪算法二值图中获取区域边缘算法。
[0210]
如图22所示，轮廓跟踪算法的基本思想如下：
[0211]
1)采用从上到下，从左到右的顺序扫描二值图像，若图像出现像素为1的点，将其作为第一个轮廓跟踪起点，并将其标记为2，初始方向以八邻域的4方向；
[0212]
2)根据跟踪方向逆时针方向旋转查找第一个非零像素点，并将其标记为2，并作为新的跟踪起点；
[0213]
3)判断是否回到跟踪起点，若否，则进入先一步；若是，则跳转到步骤5；
[0214]
4)记当前跟踪点相对于上一个跟踪点的方向为x，则查找新的跟踪点的初始方向为res＝(x+1)mod8，返回步骤2。
[0215]
5)按照上一轮跟踪起点开始，从左到右、从上到下的顺序新的轮廓跟踪起点，若存在，设定初始方向为4，然后转向步骤2；不断执行步骤5，直至搜索到图像右下角，完成整个轮廓的搜索。
[0216]
考虑到边缘检测可能会检测出缺陷目标区域内部一些局部瑕疵点等子区域的局
部轮廓，如图23所示，图23(a)为疲劳缺陷区域原始图，图23(b)为边缘检测结果，可以看到疲劳缺陷区域的整体边缘检测轮内部还存在一些瑕疵点的子区域局部轮廓。
[0217]
而为了切割出缺陷目标区域的整体图像，需要区分出整个缺陷目标区域的所在位置；在具体操作时，可以根据边缘检测的图像区域面积大小加以区分，其中边缘轮廓所围合的图像区域面积最大者，即可认定为是整体的缺陷目标区域图像。
[0218]
因此，基于上述设计思路，作为优选方案，本发明方案的步骤s4具体为：
[0219]
s401：提取缺陷目标区域的边缘轮廓(例如，可采用轮廓跟踪算法进行边缘轮廓的提取)；若所述边缘轮廓所围合的图像区域只有一个，则执行步骤s402；若所述边缘轮廓所围合的图像区域有多个，则执行步骤s403；
[0220]
s402：将所述边缘轮廓作为缺陷目标区域的图像分割轮廓，执行步骤s404；
[0221]
s403：比较边缘轮廓所围合的各个图像区域的面积，将其中面积最大的一个图像区域的围合轮廓作为缺陷目标区域的图像分割轮廓，执行步骤s404；
[0222]
s404：沿所述图像分割轮廓从缺陷区域局部图像中分割出缺陷目标区域图像。
[0223]
2.4实验与分析
[0224]
为了验证本发明方法分割的可行性，设计了与传统的otsu阈值分割算法进行对比试验，分别采用本发明方法、mask r-cnn实例分割和otsu对疲劳损伤进行分割，分割结果如图24所示。图中第一列(a)是roi提取的疲劳缺陷；第二列(b)是mask r-cnn分割疲劳缺陷；第三列(c)获取mask分割疲劳缺陷轮廓；第四列(d)是otsu分割疲劳缺陷轮廓；最后一列(e)是本发明方法分割疲劳缺陷轮廓。从图中看出，otsu和mask r-cnnn对疲劳缺陷的分割过程中，疲劳缺陷的分割边缘存在欠分割、过分割的情况，而采用本发明方法对疲劳缺陷进行分割，分割边缘和疲劳损伤的边缘吻合度较好。
[0225]
通过疲劳缺陷像素点数乘上当量像素计算疲劳缺陷的面积，当量像素为0.00054mm2。分别采用三种方法进行疲劳缺陷分割，并计算疲劳缺陷面积，统计数据如表4所示。其中a0表示在显微镜下测量疲劳缺陷面积真值，a1、a2、a3分别表示mask r-cnn、ostu、本发明方法分割疲劳缺陷的分割面积，δ1、δ2、δ3分别表示三种方法分割疲劳缺陷的相对误差。
[0226]
表4不同分割方法的面积对比试验结果
[0227][0228]
通过表4可知，采用mask r-cnn、otsu进行疲劳缺陷分割的偏差较大，最大相对误差为10.08％、16.15％，同时，两种方法的平均相对误差为6.31％、8.93％，而本发明方法的最大相对误差为4.73％，平均相对误差为3.08％。实验结果表明，本发明方法相比于mask r-cnn和otsu具有更高的分割精度。
[0229]
综上所述，本发明滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法，先通过缺陷目标框选识别处理来定位框选出缺陷区域局部图像，以框定缺陷目标的搜索范围，然后采用区域生长的策略，从缺陷区域局部图像中通过区域生长确定出缺陷目标区域的边缘轮廓，进而实现对于缺陷目标区域图像的准确定位分割；由此，以目标检测算法作为辅助手段并结合图像区域生长方法来确定出缺陷目标区域的边缘轮廓，使得缺陷目标区域图像的边缘轮廓定位、分割精度不再完全依赖于训练样本数据，从而摆脱了目标检测算法对缺陷区域整体区域形态的识别精度可能不足的影响，借助图像区域生长方法的技术弥补作用，能够有效的保证对缺陷目标区域图像的定位、分割精度。
[0230]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。