一种轻量化YOLOV7的管片螺栓识别与定位方法

本发明涉及管片自动拼装技术，尤其涉及一种轻量化yolov7的管片螺栓识别与定位方法。

背景技术：

1、随着工业自动化的不断发展，管片拼装作为重要的基础设施建设环节，对于提高生产效率和质量至关重要。目前在城市公路、铁路、桥梁的建设当中占有关键地位。在管片拼装过程中，管片螺栓的识别和定位是一个关键的任务，准确地识别和定位管片螺栓可以帮助工作人员快速、准确地进行装配工作，从而提高安装效率和质量。然而，传统的人工识别方法不仅需要大量的人力投入，耗时耗力，而且容易受到人为误差的影响。

2、近年来，计算机视觉和深度学习技术的快速发展为自动化管片螺栓识别和定位提供了新的解决方案。其中，目标检测技术被广泛应用于工业场景中的物体识别和定位任务。特别是基于深度学习的目标检测方法，如rcnn、yolo(you only look once)系列模型，以其快速的检测速度和较高的准确性，成为研究和应用的热点。

3、管片螺栓的精准定位是实现管片自动拼装的关键。wada提出了将旋转、波动、滑动、俯仰、偏航和滚动六个自由度与激光传感器相结合的方法，以提高管片的测量效率。wang等人设计了一种基于电液比例控制技术的新型液压系统，建立了运动学和动力学模型，确定各执行机构的位移，最后计算出管片的位置。该方法要求控制算法和传感器的精度较高，且抗干扰能力较弱，不适合用于复杂背景下的管片螺栓定位。zhang等，建立了移动目标的数学模型，在整个过程中对目标进行实时定位检测，并利用机器视觉融合位置信息特征，提供实时信息对目标对象的位置信息进行反馈。这种目标位置检测方法可用于管片螺栓的定位。

4、随着深度学习在视觉领域研究的不断推进，对于目标物的检测，涌现出了yolo系列、faster-rcnn目标识别算法。基于深度学习检测到的目标物，可以获知目标物在相机的成像平面上的像素信息。du等人提出了一种翻滚非合作目标的实时识别与检测方法，将检测到的图像与pnp算法相结合，得到目标的6d姿态，利用深度信息选择分割后的图像，并将捕获点的相对位置传输给机械手。最后，在六自由度气浮台上用旋转非合作目标完成不同光照条件下的物理实验；以上思路可以应用于管片的识别，结合其他传感器信息可以测量目标物在三维坐标系下的坐标，完成位姿测量。

5、管片螺栓的检测对整个拼装过程至关重要。由于yolov7的设计简单而有效，通过将目标检测任务转化为回归问题，避免了传统两阶段检测方法中的候选框生成和筛选过程，减少了计算量和复杂度。它使用单个神经网络同时预测目标的位置和类别，具有较好的可解释性和实用性。但是，目前对管片内槽螺栓的识别，存在以下两种关键问题：1)背景复杂，数据集稀缺；2)模型训练速度较慢，准确率较低。

技术实现思路

1、为解决现有技术中存在的不足，本发明的目的在于，提供一种轻量化yolov7的管片螺栓识别与定位方法。

2、为实现本发明的目的，本发明所采用的技术方案是：

3、一种轻量化yolov7的管片螺栓识别与定位方法，包括步骤：

4、(1)构建轻量化yolov7模型，对待拼装管片内槽螺栓进行目标识别检测；采用轻量化yolov7模型作为基础目标检测器，将主干网络替换为mobilenetv3，并引入混合注意力机制；

5、(2)通过改进的轻量化yolov7算法，结合orb特征匹配生成测量目标点，找到目标管片上螺栓的像素位置；然后，利用工业相机获取目标螺栓位置，结合两者所获得的深度信息和像素信息，获取螺栓在三维世界准确位置坐标。

6、进一步地，步骤(1)中，改进的轻量化yolov7网络结构包括输入层、骨干网络、颈部网络、回归输出层，骨干网络包括改进的mobilenetv3模块和sppcspc模块。

7、进一步地，改进的mobilenetv3网络包括倒残差结构、混合注意力模块cbam、中间扩展模块、上采样模块、感知机结构、空洞卷积。

8、进一步地，混合注意力模块包含通道注意力模块和空间注意力模块，分别进行通道与空间上的注意力；然后，通过两个池化操作聚合特征映射的通道信息，再通过标准卷积层将它们连接并卷积，以此生成注意力图，两个模块采用串联的方式。

9、进一步地，倒残差结构包括一个1x1卷积核进行通道数扩展，然后是一个dw卷积核，最后通过一个1x1卷积核进行通道缩减。

10、进一步地，改进的mobilenetv3模块中的多层感知机结构，将bottleneck模块中的5×5卷积后加上1×1卷积层作为感知机的全连接层，并且引入h-swish激活函数，构成感知器嵌入到深层网络中，并且在mobilenetv3模块中引入空洞卷积。

11、进一步地，步骤(2)中，将工业相机安装在管片拼装机上，建立工业相机坐标系oa-xayaza，oa为相机光心点；对相机进行相机的内外参数标定，获取相机的参数矩阵，根据世界坐标系和标定相机坐标之间的关系，获取完整的管片螺栓在三维世界的准确坐标。

12、进一步地，获取工业相机内参数矩阵k形式为：

13、

14、式中，kx、ky为相机在x轴和y轴的尺度因子，(u0，v0)为工业相机光轴中心线与成像平面交点；

15、用内参数矩阵描述螺栓与图像点之间的关系，则其像素坐标(u，v)为：

16、

17、进一步地，相机外参数标定的过程通过以下公式表示：

18、p＝r*x+t

19、其中，p是相机坐标系中的点坐标，r是旋转矩阵，x是世界坐标系中的点坐标，t是平移向量。

20、本发明的有益效果在于，与现有技术相比，本发明采用轻量化yolov7模型作为基础目标检测器，将主干网络替换成mobilenetv3，增加网络的检测速度；并引入混合注意力机制，通过融合空间注意力和通道注意力在检测过程中增加对目标螺栓的关注程度，提高模型在管片螺栓识别和定位任务中的性能；yolov7在浅层基础上增加了新的特征融合层，以最大限度地保留特征信息。

技术特征：

1.一种轻量化yolov7的管片螺栓识别与定位方法，其特征在于，包括步骤：

2.根据权利要求1所述的轻量化yolov7的管片螺栓识别与定位方法，其特征在于，步骤(1)中，改进的轻量化yolov7网络结构包括输入层、骨干网络、颈部网络、回归输出层，骨干网络包括改进的mobilenetv3模块和sppcspc模块。

3.根据权利要求2所述的轻量化yolov7的管片螺栓识别与定位方法，其特征在于，改进的mobilenetv3网络包括倒残差结构、混合注意力模块cbam、中间扩展模块、上采样模块、感知机结构、空洞卷积。

4.根据权利要求3所述的轻量化yolov7的管片螺栓识别与定位方法，其特征在于，混合注意力模块包含通道注意力模块和空间注意力模块，分别进行通道与空间上的注意力；然后，通过两个池化操作聚合特征映射的通道信息，再通过标准卷积层将它们连接并卷积，以此生成注意力图，两个模块采用串联的方式。

5.根据权利要求3所述的轻量化yolov7的管片螺栓识别与定位方法，其特征在于，倒残差结构包括一个1x1卷积核进行通道数扩展，然后是一个dw卷积核，最后通过一个1x1卷积核进行通道缩减。

6.根据权利要求3所述的轻量化yolov7的管片螺栓识别与定位方法，其特征在于，改进的mobilenetv3模块中的多层感知机结构，将bottleneck模块中的5×5卷积后加上1×1卷积层作为感知机的全连接层，并且引入h-swish激活函数，构成感知器嵌入到深层网络中，并且在mobilenetv3模块中引入空洞卷积。

7.根据权利要求1所述的轻量化yolov7的管片螺栓识别与定位方法，其特征在于，步骤(2)中，将工业相机安装在管片拼装机上，建立工业相机坐标系oa-xayaza，oa为相机光心点；对相机进行相机的内外参数标定，获取相机的参数矩阵，根据世界坐标系和标定相机坐标之间的关系，获取完整的管片螺栓在三维世界的准确坐标。

8.根据权利要求7所述的轻量化yolov7的管片螺栓识别与定位方法，其特征在于，获取工业相机内参数矩阵k形式为：

9.根据权利要求7所述的轻量化yolov7的管片螺栓识别与定位方法，其特征在于，相机外参数标定的过程通过以下公式表示：

技术总结
本发明公开了一种轻量化YOLOV7的管片螺栓识别与定位方法，构建轻量化YOLOV7模型，对待拼装管片内槽螺栓进行目标识别检测；采用轻量化YOLOV7模型作为基础，将主干网络替换为MobileNetV3，并引入混合注意力机制；结合orb特征匹配生成测量目标点，找到目标管片上螺栓的像素位置；利用工业相机获取目标螺栓位置，根据世界坐标系和标定相机坐标之间的关系，获取螺栓位置坐标。本发明将主干网络替换成MobileNetV3，增加了网络的检测速度；并引入混合注意力机制，增加了对目标螺栓的关注程度；YOLOV7在浅层基础上增加了新的特征融合层，以最大限度地保留特征信息。

技术研发人员：肖艳秋,贺振东,王一鸣,刘洁,莫海川,王鹏鹏,崔光珍,孙春亚,黄荣杰
受保护的技术使用者：郑州轻工业大学
技术研发日：
技术公布日：2024/1/15