一种基于改进RetinaNet的RV减速器针齿检测方法

一种基于改进retinanet的rv减速器针齿检测方法
技术领域
1.本发明属于计算机视觉和智能制造技术领域，特别涉及一种基于改进retinanet的rv减速器针齿检测方法。


背景技术：

2.rv(rotary vector，旋转矢量)减速器是工业机器人的核心部件，参考图1，其中针齿是rv减速器摆线针轮行星传动机构中的重要零件，具有体积小和数量多的特点，针齿的安装位置为摆线针轮和外壳之间的槽，嵌入到两个零件之间。
3.在当前的rv减速器装配过程中，针齿为工人手工装配，单纯依靠装配工人的操作经验和技能容易出现漏装针齿的问题，如果不能及时发现问题，将会影响生产效率和产品质量，浪费企业大量的时间和成本。因此，在针齿的安装过程中，应当实时的检测针齿安装数量，确保针齿数量无误，从而保证rv减速器产品的质量。
4.随着计算机视觉技术的发展，越来越多的机械产品采取了视觉检测的方法来保证生产过程无误，深度学习作为计算机视觉领域中的一种重要的方法，由于其具有的泛用性强、鲁棒性高等优点，深度学习模型也在机械领域中逐渐得到了广泛的应用，因此，利用深度学习中的目标检测模型来检测rv减速器中的针齿数量和位置是一种有效可行的方式。
5.在基于retinanet网络进行目标检测的方法中，公开号为“cn113505699a”的中国发明专利提供了一种基于retinanet算法的船舶检测方法，其技术方案如下：s1：基于retinanet算法建立船舶目标检测模型；s2：获取船舶目标待检测图像；s3：将船舶目标待检测图像输入船舶目标检测模型，得到船舶目标检测结果图像。公开号为“cn113159063a”的中国发明专利提供了一种基于改进的retinanet小目标检测方法，其技术方案如下：针对检测场景复杂的问题，在retinanet模型结构中的fpn加入了多层融合模块，多层融合可以一定程度解决特征金字塔结构中顶层语义信息被稀释的问题；针对小目标的问题，由于多尺度检测中小目标在特征层的选择灵活性较低，较大程度上依赖金字塔底层的细节信息，利用超分辨sr技术对底层特征信息进行补偿，使底层的细节信息和纹理信息等更加丰富。
6.但是rv减速器中的针齿嵌入到其它零件中，且数量较多，使用原始的retinanet目标检测模型检测没有提高重要特征的关注程度，存在网络性能低下、检测精确率低、检测效果不佳等技术问题。


技术实现要素：

7.本发明提供一种基于改进retinanet的rv减速器针齿检测方法，旨在解决常规的目标检测模型没有提高重要特征的关注程度、网络性能低下、检测精确率低、检测效果不佳的问题。
8.为解决上述技术问题，本发明对于目标检测网络模型retinanet作出了针对性改进，包括以下步骤：
9.s1：从针齿目标检测数据集中提取所需的图像，输入到改进retinanet目标检测网
络模型中；
10.s2：所述改进retinanet目标检测网络模型的特征提取网络对所述图像中的针齿特征进行提取，得到多个不同尺度的特征图；
11.s3：所述改进retinanet目标检测网络模型的特征融合网络将所述不同尺度的特征图进行融合，用于提升特征的层次性和丰富性，并输出检测头；
12.s4：利用所述检测头分别进行目标框位置回归和针齿分类的任务；
13.s5：利用针齿目标检测数据集中的图像不断迭代执行所述步骤s2至s4，直至达到设定的训练次数，得到多个模型；
14.s6：所述模型经ciou算法和锚框选择算法比对，保存最优模型。
15.优选地，在所述步骤s1中使用相机采集rv减速器针齿装配过程中的图像，将图像作为所述步骤s2的输入。
16.优选地，所述步骤s2中的特征提取网络引入卷积注意力模型，并与resnet50结合，其具体步骤为：
17.s2-1：对输入的图像进行一次7
×
7卷积和一次最大池化，输出第一特征图；
18.s2-2：将所述s2-1输出的第一特征图经过resnet50的卷积之后，输出第二特征图；
19.s2-3：将所述s2-2输出的第二特征图输入卷积注意力模型，输出第三特征图；
20.s2-4：将所述s2-3输出的第三特征图依次经过四层卷积层输出c3、c4和c5三个第四特征图；
21.s2-5：将所述s2-4卷积层的最后一层的输出x4输入卷积注意力模型，经3
×
3卷积得到第五特征图c6。
22.优选地，所述步骤s2-3中的所述卷积注意力模型包括通道注意力模块和空间注意力模块，所述步骤s2-3具体为：
23.s2-3-1：将所述步骤s2-2输出的第二特征图输入到通道注意力模块，输出通道注意力权重；
24.s2-3-2：将所述s2-3-1输出的通道注意力权重与所述步骤s2-2输出的特征图逐元素相乘，输出第六特征图；
25.s2-3-3：将所述s2-3-2输出的第六特征图输入空间注意力模块，输出空间注意力权重；
26.s2-3-4：将所述s2-3-3输出的空间注意力权重与所述s2-3-2输出的第六特征图逐元素相乘，输出第七特征图；
27.s2-3-5：将所述s2-3-4输出的第七特征图依次经过四层卷积层，输出第八特征图，不断迭代执行步骤s2至s4，直至达到设定的训练次数，输出数量基于迭代次数的多个第八特征图。
28.优选地，步骤s3中的特征融合网络的具体为：
29.s3-1：对所述第五特征图c6进行relu激活和3
×
3卷积后得到第九特征图c7；
30.s3-2：所述第五特征图c6和第九特征图c7直接作为特征融合网络的输出检测头p6和p7；
31.s3-3：将所述第四特征图c3、c4、c5分别经1
×
1卷积得到第十特征图m3、m4、m5；
32.s3-4：所述第十特征图m5经过3
×
3卷积得到检测头p5；
33.s3-5：所述第十特征图m5经过上采样与所述第十特征图m4相加后经过3
×
3卷积得到检测头p4；
34.s3-6：所述第十特征图m4经过上采样与所述第十特征图m3相加后经过3
×
3卷积得到检测头p3。
35.优选地，步骤s4对所述检测头p3、p4、p5、p6和p7分别进行目标框回归和分类。
36.优选地，所述目标框回归任务采取的是ciou算法与锚框选择算法相结合。
37.优选地，所述ciou算法设置了一个可以将真实框和预测框包裹住的最小矩形，分别评价两个框之间的距离、两个框互相包裹的情况以及两个框的中心点重合的情况。
38.优选地，所述锚框选择算法：整齐排列的框为预测框，呈圆弧状排列的框为真实框，预测框与真实框的重合程度越高，则认为预测框为正样本，反之则为负样本。
39.与现有技术相比，本发明具有以下技术效果：
40.1.本发明提供的技术方案中将目标检测应用于rv减速器针齿检测中，通过实时检测针齿的已安装位置和数量，可以达到统计针齿数量，监测针齿漏装的目的，提出了一种改进retinanet网络，提高了重要特征的表现力，使其在针齿检测的性能上得到了提升，使用了ciou和锚框选择算法计算真实框和预测框的交并比，有效提升了网络性能，保障了rv减速器产品质量水平。
附图说明
41.图1是针齿在rv减速器中的安装示意图；
42.图2是本发明提供的一种基于改进retinanet的rv减速器针齿检测方法的训练流程图；
43.图3是本发明的一种基于改进retinanet的rv减速器针齿检测方法的训练阶段结构示意图；
44.图4是本发明的一种基于改进retinanet的rv减速器针齿检测方法的卷积注意力模型示意图；
45.图5是本发明的一种基于改进retinanet的rv减速器针齿检测方法的通道注意力模块结构示意图；
46.图6是本发明一种基于改进retinanet的rv减速器针齿检测方法的空间注意力模块结构示意图；
47.图7是本发明的一种基于改进retinanet的rv减速器针齿检测方法的ciou算法示意图；
48.图8是本发明的一种基于改进retinanet的rv减速器针齿检测方法的锚框选择算法示意图。
49.图中：1、针齿；2、已安装针齿；3、rv减速器；4、摆线针轮；5、外壳。
具体实施方式
50.本发明旨在提出一种rv减速器针齿检测方法，通过实时检测针齿的已安装位置和数量，可以达到统计针齿数量，监测针齿漏装的目的。为此，本发明的具体实施方式提供了一种基于改进retinanet的rv减速器针齿检测方法；提供了一种提高重要特征的表现力的
卷积注意力模型；提供了一种锚框选择算法；提供了一种基于改进retinanet的rv减速器针齿检测训练流程。
51.本实施例对rv减速器针齿进行检测具体过程包括：制作数据集阶段、训练阶段和测试阶段，制作数据集阶段制作一定数量的训练样本让网络学习；参考图2，训练阶段让网络学习训练样本中针齿特征，保存最优模型；测试阶段直接对新输入的针齿图像提取特征，根据训练阶段保存的最优模型设定阈值获得针齿检测图像。
52.制作数据集阶段，使用相机采集rv减速器针齿的图像，然后使用标注软件标注图像中的每个针齿，并生成标签文件。最后对采集的图像和标签文件进行旋转、镜像和加噪等数据增强操作，本实施例的针齿目标检测数据集包含不同安装阶段下的不同数量的针齿和标签文件。
53.训练阶段，包括以下步骤：
54.s1：从针齿目标检测数据集中提取所需的图像，输入到改进retinanet目标检测网络模型中；
55.s2：改进retinanet目标检测网络模型的特征提取网络对图像中的针齿特征进行提取，得到多个不同尺度的特征图；
56.s3：改进retinanet目标检测网络模型的特征融合网络将不同尺度的特征图进行融合，用于提升特征的层次性和丰富性，并输出检测头；
57.s4：利用检测头分别进行目标框位置回归和针齿分类的任务；
58.s5：利用针齿目标检测数据集中的图像不断迭代执行步骤s2至s4，直至达到设定的训练次数，得到多个模型；
59.s6：模型经ciou算法和锚框选择算法比对，保存最优模型。
60.在步骤s1中使用相机采集rv减速器针齿装配过程中的图像，将图像作为步骤s2的输入。
61.参考图3，本发明所示的一种基于改进retinanet的rv减速器针齿检测方法的训练阶段包含四个组成部分：特征提取网络、特征融合网络、目标框回归模块和分类模块。
62.特征提取网络负责提取输入图像的特征，本发明引入了卷积注意力模型与resnet50结合，相比原始retinanet目标检测模型的特征提取网络，提高重要特征的表现力并抑制非重要特征，最终提高网络模型训练的效率和针齿的检测效果。其具体步骤为：
63.s2-1：对输入的图像进行一次7
×
7卷积和一次最大池化，输出第一特征图；
64.s2-2：将s2-1输出的第一特征图经过resnet50的卷积之后，输出第二特征图；
65.s2-3：将s2-2输出的第二特征图输入卷积注意力模型，输出第三特征图；
66.s2-4：将s2-3输出的所述第三特征图依次经过四层卷积层输出c3、c4和c5三个第四特征图；
67.s2-5：将s2-4卷积层的最后一层的输出x4输入卷积注意力模型，经3
×
3卷积得到第五特征图c6。
68.进一步，如图4所示，特征提取网络的卷积注意力模型包括通道注意力模块和空间注意力模块，卷积注意力模型在使用时与resnet50特征提取网络结合，在通过resnet50的卷积层之后，将输出特征图输入到通道注意力模块中，然后将输出的通道注意力权重与卷积层的特征图逐元素相乘，得到新的特征图。接着输入空间注意力模块，将输出的空间注意
力权重与原特征图逐元素相乘，再将其送入四个卷积层，将最后一层卷积层的输出x4经过3
×
3卷积得到新的特征图，输如通道注意力模块和空间注意力模块，得到特征提取网络的输出。
69.前述步骤s2-3的卷积注意力模型的具体步骤如下：
70.s2-3-1：将步骤s2-2输出的第二特征图输入到通道注意力模块，输出通道注意力权重；
71.s2-3-2：将步骤s2-3-1输出的通道注意力权重与步骤s2-2输出的特征图逐元素相乘，输出第六特征图；
72.s2-3-3：将步骤s2-3-2输出的第六特征图输入空间注意力模块，输出空间注意力权重；
73.s2-3-4：将步骤s2-3-3输出的空间注意力权重与步骤s2-3-2输出的第六特征图逐元素相乘，输出第七特征图；
74.s2-3-5：将步骤s2-3-4输出的第七特征图依次经过四层卷积层，输出第八特征图，不断迭代执行步骤s2至s4，直至达到设定的训练次数，输出数量基于迭代次数的多个第八特征图。
75.进一步，如图5所示，为本发明实施例的特征提取网络的卷积注意力模型的通道注意力模块。通道注意力模块首先在空间维度上对输入的第二特征图分别使用基于宽的全局最大池化和基于高的全局平均池化，相比原始的retinanet目标检测模型，可提取出更丰富的高层次特征。接着通过由两个全连接层和一个relu激活函数所组成的共享全连接层，提高输入特征图的各个通道之间的相关性。最后将共享全连接层的两个输出相加得到通道注意力权重。
76.如图6所示，为本发明实施例的特征提取网络的卷积注意力模型的空间注意力模块。空间注意力模块的输入为经过通道注意力模块之后的特征图，首先在通道维度上对经过通道注意力模块之后的特征图分别使用全局最大池化和全局平均池化，然后将池化的两个输出结果拼接。接着通过一个7
×
7卷积层将通道数降为1，最后得到空间注意力权重，空间注意力模块作用是寻找特征图上重要的内容的位置，相比原始的retinanet目标检测模型，可有效提高寻找位置的效率。
77.在特征融合网络中，将分辨率更高、经过的卷积更少的低层特征和分辨率很低、语义信息更强的高层特征高效融合，合并成一个比输入图片特征更具有判别能力的特征，具体步骤如下：
78.s3-1：对所述第五特征图c6进行relu激活和3
×
3卷积后得到第九特征图c7；
79.s3-2：所述第五特征图c6和第九特征图c7直接作为特征融合网络的输出检测头p6和p7；
80.s3-3：将所述第四特征图c3、c4、c5分别经1
×
1卷积得到第十特征图m3、m4、m5；
81.s3-4：所述第十特征图m5经过3
×
3卷积得到检测头p5；
82.s3-5：所述第十特征图m5经过上采样与所述第十特征图m4相加后经过3
×
3卷积得到检测头p4；
83.s3-6：所述第十特征图m4经过上采样与所述第十特征图m3相加后经过3
×
3卷积得到检测头p3。
84.本发明实施例的目标框回归模块，采取了ciou算法替换标准iou算法，同时结合锚框选择算法，共同进行目标框回归任务。
85.如图7所示，为本发明实施例的ciou目标框位置回归方法示意图，ciou设置了一个可以将真实框和预测框包裹住的最小矩形，以此评价两个框之间的距离，此矩形的对角线距离为c；引入了真实框和预测框的中心点距离d，以此评价两个框互相包裹的情况；引入了真实框和预测框的宽高比，以此评价两个框的中心点重合的情况，ciou的公式如下：
[0086][0087][0088][0089]
本发明将针齿分布密集的情况考虑在内，使用了ciou算法计算真实框和预测框的交并比，以此衡量真实框和预测框之间的重合程度，有效提升了网络性能。
[0090]
如图8所示，为本发明实施例的锚框选择算法示意图。整齐排列的框为预测框，呈圆弧状排列的框为真实框，预测框与真实框的重合程度越高，则认为预测框为正样本，反之则为负样本。在rv减速器中，针齿的分布是有一定规律的。rv减速器装配体中一共需要安装40个针齿，安装位置分布在一个圆形的边线上，且针齿在安装时一般是按照顺时针或者逆时针的顺序依次安装。在某一个针齿安装的时刻，已安装的针齿所在的位置为图中粗框，距离粗框越近的地方，预测框正样本出现的可能性越大，而距离粗框越远的地方，预测框正样本出现的可能性越小。
[0091]
在通过ciou筛选预测框时，需要同时考虑到预测框是否分布在已安装针齿所组成的圆弧区域内，因此将当前图像中所有真实框的中心点连线，当预测框的中心点距离这条线上的任意一点的距离小于一定值时，即认为这个预测框是质量较高的正样本，此方法即为锚框选择算法。将锚框选择算法得出的正样本集合与ciou筛选出的正样本集合做并集，即得到最终的正样本集合。原始retinanet目标检测模型在进行目标框回归任务时，没有通过被检测目标的分布规律来筛选预测框的正负样本，本发明实施例提出了锚框选择算法与ciou算法结合，共同进行目标框回归任务。该方法可以在提高正样本数量的同时，降低低质量样本被分为正样本的概率。
[0092]
本方法将检测头p3、p4、p5、p6、p7输入框回归模块，结合ciou算法和锚框选择算法进行目标框位置回归。
[0093]
测试阶段，输入一张rv减速器针齿安装过程某一刻的图像，利用训练阶段保存的最优模型，设置固定阈值直接输出针齿检测图像。
[0094]
为了验证本发明提出的一种基于改进retinanet的rv减速器针齿检测方法的有效性，将原始的retinanet目标检测模型与改进retinanet目标检测模型在针齿检测性能上做对比。数据集使用上述制作数据集阶段建立的针齿目标检测数据集，评价指标采用精确率和召回率，所得结果如表1所示：
[0095][0096][0097]
表1
[0098]
精确率是预测结果为正例样本中真实为正例的比例，召回率是真实为正例的样本中预测结果为正例的比例，从表1中可以看出本发明提出的方法的精确率和召回率均比原始retinanet模型高，检测性能更高。
[0099]
以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。