一种基于深度学习的变电站开关室操作机器人末端定位方法与流程

1.本发明涉及变电站开关室操作机器人末端定位技术领域，具体地说是一种基于深度学习的变电站开关室操作机器人末端定位方法。


背景技术：

2.电气设备的生产企业由于开关面板每一个配件的大小、结构都不一样，装配的过程中需要精准的定位以及适当的力度，安装精度要求较高，因此社会上开关室面板的装配仍然以手工装配为主。
3.随着电网规模的逐渐增大，对设备需求也与日俱增，要想合理管理电网设备，不能仅仅将开关室人员数量增多和巡视时间加强作为主要的解决办法，且对工作人员来说，在电力设备的操作过程中，本来就存在一定的危险性，这使得安全隐患进一步增加。
4.随着传感器、单片机、机器学习、机器人等技术的兴起和发展，配电开关柜开始引入先进的机器人，利用一个功能完善、操作灵活的机器人操作配电柜，既能够提高配电开关柜控制精准程度，又可以提高安全操作系数，用来替代工作人员的人力操作，保障电网企业对社会供电的稳定性，同时保证电网及其设备的安全性。
5.现有的开关室操作机器人操作目标作业对工具端的角度有着极高的精度要求，通常以深度相机为载体，结合参照物识别与深度图距离信息，根据算法计算出末端工具欧拉角差偏差值，对末端工具进行多次调整，实现末端工具与操作目标姿态矫正。利用手眼标定算法，计算操作目标与末端工具坐标位置关系，引导末端工具达到操作目标。
6.然而现有变电站开关室操作机器人末端定位方法存在一些局限性和不足：传统视频摄像头以安防为主，无法准确、清晰看到设备状态；在开关柜设备中，其设备现状复杂异常，所以机器人末端的机械臂在操作过程中，必须要提前知晓设备在定位方面的信息，才能促使其精准控制目标的形成，以及实际场景中并不是所有目标都贴有辅助定位信息，如果仅采用辅助定位获取姿态信息，影响操作对象美观，不适用与开关室操作机器人。
7.因此，基于以上原因，本发明设计了一种基于深度学习的变电站开关室操作机器人末端定位方法，结合计算机视觉领域和深度学习模型，解决当前开关室操作机器人无法准确清晰看清设备状态，导致定位精度差或无法定位的问题。


技术实现要素：

8.本发明的目的是克服现有技术的不足，提供一种基于深度学习的变电站开关室操作机器人末端定位方法，结合计算机视觉领域和深度学习模型，解决当前开关室操作机器人无法准确清晰看清设备状态，导致定位精度差或无法定位的问题。
9.为了达到上述目的，本发明提供一种基于深度学习的变电站开关室操作机器人末端定位方法，包括末端识别算法，输入任务参数，车体位置调整，末端姿态调整和操作目标定位；
10.末端识别算法的目的是得到操作机器人和识别目标之间的大概位置，具体包括以
下步骤：
11.s1：控制台输入到要识别的目标，末端识别算法进行请求的解析，同时打开相机加载相机并拍照；
12.s2：采用深度学习的yolo系列的yolov5算法进行目标检测，截取目标框，检测中心点，获取检测框四个坐标平均深度值；
13.s3：计算图像中心与操作孔实际偏差距离值，并把实际距离值与机械臂外参值叠加，返回识别目标的深度值和定位位置；
14.输入任务参数是人为定义一些任务参数，并同步到控制端和操作台。操作机器人工作时，输入对应的操作参数；
15.车体位置调整为采用图像匹配的方法得到目标物体的位置和姿态，根据得到的信息进行车体位置调整，通过asift算法解决sift、orb、surf特征描述算子倾斜匹配，通过superpoint对多尺度、多单应性的方法来提高特征点检测的重复性和执行跨域自适应，具体为首先输入带匹配图像，然后对图像进行缩放，提取特征点和特征描述子，并过滤错误匹配点，最后输出匹配的坐标信息，根据得到的信息进行车体位置调整；
16.末端姿态调整为在车体位置调整后的基础上，进一步对末端机械臂的姿态进行调整，使得末端机器臂与要操作的目标位置一致，采用点云匹配的方式输入y与x轴的角度，保证相机平面和实际物体的平面保持平行，具体包括以下步骤：
17.s10：获取匹配物体的深度点云图；
18.s20：对深度点云图进行深度值滤波、点云降采样及其他点云预处理操作；
19.s30：对点云平面进行分割，分割采用的是hrnet系列的网络，hrnet系列的网络通过并行连接高分辨率到低分辨率卷积来保持高分辨率表示，并通过重复跨并行卷积执行多尺度融合来增强高分辨率表示；
20.s40：对平面模型计算，输出y与x轴角度；
21.操作目标定位为在末端姿态调整的基础上，已完成操作机器人的末端机械臂与操作目标处于平行的关系，再次利用分割网络得到操作目标的准确位置，最后根据输入的指令进行对应的操作。
22.识别目标包括紧急分闸、手车孔、按键面板、旋钮姿态和地刀。
23.任务参数包括机器人移动、车体位置调整、末端姿态调整及其他参数。
24.同现有技术相比，本发明通过superpoint+asift相结合的匹配算法提升图像匹配算法精度，利用点云深度图调平算法消除操作目标平面与机械臂末端姿态偏差对操作的干扰，在待识别图像上提取操作目标的位置和角度满足定位精度，实现了提高了末端定位的精度，提高安全操作系数，保障电网企业对社会供电的稳定性，同时保证电网及其设备的安全性。
25.本技术具备以下有益效果：
26.本技术针对末端定位中使用的深度学习算法进行了改进和优化：
27.选用hrnet系列模型实现末端定位中的图像分割，用superpoint+asift相结合的匹配算法，提升图像匹配算法精度，在yolov5的基础上完成目标检测，解决由于大空间运动时位置偏差导致操作目标时机械臂到达奇异点问题，确保机械臂在操作目标运动范围之内；
28.利用点云深度图调平算法消除操作目标平面与机械臂末端姿态偏差对操作的干扰，确保机械臂末端与操作目标所在柜面平行；
29.在待识别图像上提取操作目标的位置和角度，最终实现车体位置矫正、末端工具矫正、紧急分闸定位、手车孔定位、按键面板定位、旋钮姿态、地刀定位算法开发，并且满足定位精度。
附图说明
30.图1为本发明机器人末端定位流程示意图。
31.图2为本发明末端识别模块流程示意图。
32.图3为本发明车体姿态调整模块的流程示意图。
33.图4为本发明末端姿态调整算法流程示意图。
具体实施方式
34.现结合附图对本发明做进一步描述。
35.参见图1～4，本发明提供了一种基于深度学习的变电站开关室操作机器人末端定位方法，包括末端识别算法，输入任务参数，车体位置调整，末端姿态调整和操作目标定位；
36.末端识别算法的目的是得到操作机器人和识别目标之间的大概位置，具体包括以下步骤：
37.s1：控制台输入到要识别的目标，末端识别算法进行请求的解析，同时打开相机加载相机并拍照；
38.s2：采用深度学习的yolo系列的yolov5算法进行目标检测，截取目标框，检测中心点，获取检测框四个坐标平均深度值；
39.s3：计算图像中心与操作孔实际偏差距离值，并把实际距离值与机械臂外参值叠加，返回识别目标的深度值和定位位置；
40.输入任务参数是人为定义一些任务参数，并同步到控制端和操作台。操作机器人工作时，输入对应的操作参数；
41.车体位置调整为采用图像匹配的方法得到目标物体的位置和姿态，根据得到的信息进行车体位置调整，通过asift算法解决sift、orb、surf特征描述算子倾斜匹配，通过superpoint对多尺度、多单应性的方法来提高特征点检测的重复性和执行跨域自适应，具体为首先输入带匹配图像，然后对图像进行缩放，提取特征点和特征描述子，并过滤错误匹配点，最后输出匹配的坐标信息，根据得到的信息进行车体位置调整；
42.末端姿态调整为在车体位置调整后的基础上，进一步对末端机械臂的姿态进行调整，使得末端机器臂与要操作的目标位置一致，采用点云匹配的方式输入y与x轴的角度，保证相机平面和实际物体的平面保持平行，具体包括以下步骤：
43.s10：获取匹配物体的深度点云图；
44.s20：对深度点云图进行深度值滤波、点云降采样及其他点云预处理操作；
45.s30：对点云平面进行分割，分割采用的是hrnet系列的网络，hrnet系列的网络通过并行连接高分辨率到低分辨率卷积来保持高分辨率表示，并通过重复跨并行卷积执行多尺度融合来增强高分辨率表示；
46.s40：对平面模型计算，输出y与x轴角度；
47.操作目标定位为在末端姿态调整的基础上，已完成操作机器人的末端机械臂与操作目标处于平行的关系，再次利用分割网络得到操作目标的准确位置，最后根据输入的指令进行对应的操作。
48.识别目标包括紧急分闸、手车孔、按键面板、旋钮姿态和地刀。
49.任务参数包括机器人移动、车体位置调整、末端姿态调整及其他参数。
50.实施例：
51.(1)末端识别算法：
52.该操作的目的是得到操作机器人和待操作目标之间的大概位置。需要识别的目标有紧急分闸、手车孔、按键面板、旋钮姿态和地刀。
53.控制台输入到要识别的目标，末端识别算法进行请求的解析，打开相机加载相机并拍照，然后采用深度学习的yolo系列的yolov5算法进行目标检测，截取目标框，检测中心点，获取检测框四个坐标平均深度值，然后计算图像中心与操作孔实际偏差距离值，并把实际距离值与机械臂外参值叠加，返回识别目标的深度值和定位位置(其中相机的内参和外参已经提前标定好)。
54.(2)输入任务参数：
55.人为定义一些任务参数，如a表示：机器人移动，a01表示：车体位置调整，a02表示末端姿态调整。并同步到控制端和操作台。操作机器人工作时，输入对应的操作参数。
56.(3)车体位置调整：
57.输入任务参数后，考虑到操作机器人是在近目标位置，会与目标物体的实际位置存在偏差，需要对机器人的车体位置进行调整。
58.本发明采用图像匹配的方法得到目标物体的位置和姿态。考虑到对于复杂背景下的红外匹配场景，单个算法无法满足要求，调研可得asift算法解决了sift、orb、surf等特征描述算子倾斜匹配的问题，superpoint是一种针对计算机视觉中多视角几何变换问题的特征点提取及描述的自监督架构。它的全卷积模型在全尺寸图像上运行，并在一次前向传播中共同计算像素级关键点位置和相关描述符，更进一步的superpoint引入了一种多尺度、多单应性的方法来提高特征点检测的重复性和执行跨域自适应。因此本发明采用superpoint+asift相结合的匹配算法，提升匹配算法精度。
59.详细过程为输入带匹配图像，然后对图像进行缩放，提取特征点和特征描述子，并过滤错误匹配点，最后输出匹配的坐标信息，根据得到的信息进行车体位置调整。
60.(4)末端姿态调整：
61.在步骤(3)对车体位置进行调整后，再进一步对末端机械臂的姿态进行调整，使得末端机器臂与要操作的目标位置一致。
62.本发明采用点云匹配的方式输入y与x轴的角度，保证相机平面和实际物体的平面保持平行。
63.具体操作为首先获取匹配物体的深度点云图，然后对深度点云图进行深度值滤波、点云降采样等点云预处理操作，然后再对点云平面进行分割，分割采用的是hrnet系列的网络，hrnet系列的网络通过并行连接高分辨率到低分辨率卷积来保持高分辨率表示，并通过重复跨并行卷积执行多尺度融合来增强高分辨率表示。最后对平面模型计算，输出y与
x轴角度。
64.(5)操作目标定位：
65.经过(4)步骤已完成操作机器人的末端机械臂与操作目标处于平行的关系，再次利用分割网络得到操作目标的准确位置，最后根据输入的指令进行对应的操作。
66.以上仅是本发明的优选实施方式，只是用于帮助理解本技术的方法及其核心思想，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
67.本发明从整体上解决了现有技术中对于开关室中复杂背景下的红外匹配场景，单个算法无法满足要求，开关室操作机器人无法准确清晰看清设备状态，导致定位精度差或无法定位的问题，通过superpoint+asift相结合的匹配算法提升图像匹配算法精度，利用点云深度图调平算法消除操作目标平面与机械臂末端姿态偏差对操作的干扰，在待识别图像上提取操作目标的位置和角度满足定位精度，实现了提高了末端定位的精度，提高安全操作系数，保障电网企业对社会供电的稳定性，同时保证电网及其设备的安全性。