一种基于机器视觉的机械臂的作业方法、介质、电子设备与流程

1.本发明涉及电力设备领域，具体涉及一种基于机器视觉的机械臂的作业方法、介质、电子设备。


背景技术：

2.带电作业机械臂的功能是使用机械臂代替现场带电作业工作人员，直接对高压线路上的各部件进行带电更换作业。这样可以大大的降低现场工作人员在高压电场中作业的危险性，并能有效减少工作人员的工作强度，提高劳动效率。
3.由于架空配电线路工作环境极为复杂，属于非结构化的环境，可控制的执行机构较多，带电作业机械臂自由度多，带电作业动作过程复杂，因此现阶段的带电操作机械臂仍然需要操作人员在带电设备附近，通过目视的方式观察机械臂对带电设备的操作情况，在实际工作中也发挥不出预想的效果。


技术实现要素：

4.本发明所要解决的技术问题是操作人员通过机械臂对带电设备进行操作时，仍然需要在带电设备和机械臂附近，目的在于提供一种基于机器视觉的机械臂的作业方法、介质、电子设备，解决了操作人员需要攀高和在带电设备附近操作机械臂的问题。
5.本发明通过下述技术方案实现：
6.一种基于机器视觉的机械臂的作业方法，包括：
7.主控端向操作端发送需操作的目标物体的特征数据库；
8.操作端接收主控端发送的特征数据库后，获取机器视觉的视觉范围内的实时图像；
9.操作端对实时图像进行特征识别，并与接收的特征数据库匹配，判断目标物体是否在视野范围内，若不在视觉范围内，则改变视觉范围；
10.若目标物体在机器视觉的视野范围内，则获取目标物体的位置，确定目标物体的操作位，机械臂爬升至目标物体的操作位；
11.操作端建立机械臂关节坐标系，并确定目标物体在坐标系内的第一坐标；
12.操作端向主控端发送到位信息；
13.主控端接收操作指令，并在根据关节坐标系和第一坐标对机械臂进行路径规划；
14.主控端向操作端发送第一信息，所述第一信息为操作指令对应的路径规划的操作路径；
15.操作端接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作。
16.具体地，所述所述目标物体的特征数据库的建立方法为拍摄多张包含目标物体的图像，并通过hog特征提取、特征匹配以及svm分类训练获取目标物体的特征，并将特征存储至特征数据库；
17.获取实时图像中的目标物体的特征，并对其进行机器学习。
18.具体地，所述确定目标物体的操作位的方法包括：
19.确定机械臂的操作机构的操作范围的中心点；
20.以机械臂的操作机构的中心点为原点进行空间坐标系；
21.获取目标物体在空间坐标系内的第二坐标；
22.使机械臂爬升，获取当第二坐标位于操作范围内时，操作范围的中心点的第三坐标；
23.计算第三坐标与原点的高度差，获得爬升距离。
24.具体地，所述主控端接收操作指令的方法包括自动操作和主动操作；
25.所述自动操作的方法包括：
26.建立操作数据库，并在操作数据库内预设多个操作选项；
27.选择所需的操作选项，利用关节坐标系和第一坐标通过正逆运动学获得机械臂的路径规划；
28.所述主动操作的方法包括：
29.主控端接收操作指令，并确定起始位置和终止位置，获得在关节坐标系内的起始坐标和终止坐标；
30.利用正逆运动学获得起始坐标移动至终止坐标的路径规划。
31.进一步，所述作业方法还包括：
32.操作端获取视野范围内的光照强度；
33.判断能否对实时图像进行特征提取；
34.若不能对实施图像进行特征提取，且光照强度低于设定值，则补光。
35.优选地，操作端持续发送实时图像至主控端，并在主控端进行显示。
36.一种基于机器视觉的机械臂的作业方法，用于主控端中，所述方法包括：
37.发送需操作的目标物体的特征数据库，所述数据库用于操作端获取机器视觉的视觉范围内的实时图像，对实时图像进行特征识别，并与接收的特征数据库匹配，判断目标物体是否在视野范围内；若不在视觉范围内，则改变视觉范围；
38.接收到位信息，所述到位信息包括机械臂爬升至目标物体的操作位、建立机械臂关节坐标系、确定目标物体在坐标系内的第一坐标；所述操作位为当目标物体在机器视觉的视野范围内，获取目标物体的位置后确定的；
39.接收操作指令，并在根据关节坐标系和第一坐标对机械臂进行路径规划；
40.发送第一信息，所述第一信息为操作指令对应的路径规划的操作路径，且用于操作端接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作。
41.一种基于机器视觉的机械臂的作业方法，用于操作端中，所述方法包括：
42.接收特征数据库，获取机器视觉的视觉范围内的实时图像，所述特征数据库为主控端发送的需操作的目标物体的特征数据库；
43.对实时图像进行特征识别，并与接收的特征数据库匹配，判断目标物体是否在视野范围内，若不在视觉范围内，则改变视觉范围；
44.若目标物体在机器视觉的视野范围内，则获取目标物体的位置，确定目标物体的操作位，机械臂爬升至目标物体的操作位；
45.建立机械臂关节坐标系，并确定目标物体在坐标系内的第一坐标；
46.发送到位信息；
47.接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作，所述第一信息为操作指令对应的路径规划的操作路径，所述操作指令为主控端接收的，且用于根据关节坐标系和第一坐标对机械臂进行路径规划。
48.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种基于机器视觉的机械臂的作业方法的步骤。
49.一种电子设备，包括：至少一个处理器；以及，
50.与所述至少一个处理器通信连接的存储器；其中，
51.所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够实现上述的一种基于机器视觉的机械臂的作业方法的步骤。
52.本发明与现有技术相比，具有如下的优点和有益效果：
53.本发明通过建立目标物体的特征数据库，并通过机器视觉实时采集视觉范围内的实施图像，确定目标物体后，建立关节坐标系，并将相关信息发送至主控端，可以通过在主控端实现对机械臂的远程操作，降低基层员工劳动强度和危险性，提高农配网作业的自动化程度，缓解目前基层人员老龄化的现状。
附图说明
54.附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分，并不构成对本发明实施例的限定。
55.图1是根据本发明所述的一种基于机器视觉的机械臂的作业方法的流程图。
具体实施方式
56.为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。
57.另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。
58.在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明。
59.如果将主控端设置在操作端(机械臂)附近，例如机械臂爬升至高压电线杆或者高压输电塔上，将主控端设置在塔下进行操作，此时的主控端可以是可以是手机、平板电脑、便携计算机和台式计算机等等。
60.主控端可以安装有应用程序主控端，或者安装有浏览器，通过浏览器访问应用程序的网页主控端。本发明实施例将应用程序主控端和网页主控端统称为主控端，下文不再特别声明。
61.如果将主控端设置在远程，即通过远程的方式实现对机械臂的操作，此时的主控端在可以为上述装置之外还可以是一台服务器，或者由若干台服务器组成的服务器集群，主控端用于与操作端端交互提供数据输入与输出功能，其之间的数据传输可以通过无线数
据传输的方式进行，此种状态下，一个主操作人员可以在不去现场的情况下，逐个操作多个机械臂，可以有效的减少在各个作业点之间的转场时间，提升作业效率。
62.实施例一
63.本实施例提供一种基于机器视觉的机械臂的作业方法，包括：
64.主控端向操作端发送需操作的目标物体的特征数据库；目标物体的特征数据库的建立方法为拍摄多张包含目标物体的图像，并通过hog特征提取、特征匹配以及svm分类训练获取目标物体的特征，并将特征存储至特征数据库；
65.此步骤中的特征数据库可以提前建立，且可以根据后续的作业情况，对特征数据库进行实时的更新和机器学习，从而提升其后续的识别效率和准确度。
66.目标物体的可以为特定型号的瓷瓶绝缘子、避雷器、隔离开关等配电线路器件，因此需要设置多个特征数据库。
67.操作端接收主控端发送的特征数据库后，获取机器视觉的视觉范围内的实时图像；
68.机器视觉的视觉范围通过摄像机获得，且摄像机需要具备一定的清晰度，并且将摄像机通过云台进行固定，并可以通过控制云台实现对摄像机的取景范围的调整。
69.操作端对实时图像进行特征识别，通过对实时图形进行hog特征提取，并将提取的特征与接收的特征数据库匹配，判断目标物体是否在视野范围内。
70.本实施例中将特征识别放置在操作端进行，其目的是，如果将采集的图像传输至主控端，因为图像需要具备一定清晰度才能进行有效的识别，且如果出现取景范围调整的情况，需要多次传输实时图像，即需要较大的带宽，也因为将图像传输至主控端，主控端进行特征识别匹配后，在将其回传，其中有较大的延迟，不便于操作。
71.而将特征识别放置在操作端，可以直接在操作端进行匹配，匹配识别后直接进行后续操作。
72.若不在视觉范围内，则改变视觉范围，通过控制云台实现视觉范围的改变。
73.若目标物体在机器视觉的视野范围内，后续的操作，且将此个目标物体的特征，传输至主控端，主控端通过机器学习更新特征数据库。
74.确定目标物体在视觉范围内后，获取目标物体的位置，确定目标物体的操作位，然后控制机械臂爬升至目标物体的操作位；其爬升方式可以为多种，例如：可以通过爬杆机器人攀爬电线杆，也可以通过液压举升臂举升。
75.操作端建立机械臂关节坐标系，并确定目标物体在坐标系内的第一坐标；本实施例中采用d-h表示法建立机械臂关节坐标系描述。
76.操作端向主控端发送到位信息，即机械臂爬升至操作位后，且相关的坐标系和第一坐标已经确定后，将该信息发送至操作端，告知操作端已准备就绪，可以进行带电作业操作。
77.操作人员向主控端输入操作指令，主控端接收操作指令后，根据关节坐标系和第一坐标对机械臂进行路径规划；在正逆运动学求解的基础上在关节空间对机械臂进行路径规划，制定基于机器视觉的带电作业机械臂的抓取巧制策略。
78.主控端向操作端发送第一信息，第一信息为操作指令对应的路径规划的操作路径；
79.操作端接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作。
80.操作端持续发送实时图像至主控端，并在主控端进行显示，可以在主控端实现对操作端的实时监控，便于在需要进行手动操作时，进行手动操作。
81.如果不需要进行手动操作，则可以不进行实施监控，且传递图形可以降低其分辨率和帧数，减少对网速的依耐。
82.实施例二
83.本实施例是对实施例一种确定目标物体的操作位的具体方法进行说明，方法包括：
84.确定机械臂的操作机构的操作范围的中心点，机械臂在前后上下左右多个自由度均可以进行操作，为了便于对其位置进行设定，确定一个中心点。
85.以机械臂的操作机构的中心点为原点进行空间坐标系，并根据中心点建立空间坐标系，且此时机械臂应该位于初始位置，即仅处于确定了目标物体的时候。
86.获取目标物体在空间坐标系内的第二坐标；
87.使机械臂爬升，获取当第二坐标位于操作范围内时，操作范围的中心点的第三坐标；第三坐标有多个，只要第二坐标位于操作范围内，第三坐标均可，即第二坐标可以在中心点上方，也可以在中心点下方。
88.计算第三坐标与原点的高度差，获得爬升距离。
89.本实施例较多的是针对爬杆机器人，其在进行爬升时，只改变在z轴上的位置，即在高度方向上进行改变，而不改变x轴和y轴的位置。
90.如果采用举升机，则需要根据第三坐标和原点之间的连线，进行x轴、y轴和z轴方向上的移动。
91.实施例三
92.本实施例提供主控端接收操作指令的方法包括自动操作和主动操作；
93.自动操作的方法包括：
94.建立操作数据库，并在操作数据库内预设多个操作选项；
95.选择所需的操作选项，利用关节坐标系和第一坐标通过正逆运动学获得机械臂的路径规划；
96.即在操作选项内设定多个操作选项，在需要进行操作时，只需要将第一坐标、第二坐标、第三坐标、原点等数据导入至操作选项内，即可以通过操作选项自动导出路径规划，从而实现自动操作。
97.主动操作的方法包括：
98.主控端接收操作指令，并确定起始位置和终止位置，获得在关节坐标系内的起始坐标和终止坐标；
99.利用正逆运动学获得起始坐标移动至终止坐标的路径规划。
100.采用主动操作，即操作人员手动控制机械臂，当确定起始坐标和终止坐标后，在正逆运动学求解的基础上在关节空间对机械臂进行路径规划，控制机械臂的各个关节的移动路径，从而实现机械臂的操作端(即机械臂的最末操作手处)的位置控制。
101.例如：操作员在主控制室，高空作业现场环境通过现场摄像机传输到主控制台，操作员通过主控制显示器上显示的现场视频操作主控制台，用手柄或鼠标控制作业机械臂完
成带电作业。进行位置精确的作业时，短距离高精度的位移和定位，由机器视觉识别进行辅助机械臂进行定位和目标识别。
102.实施例四
103.本实施例提供一种补光方法，即如果目标物体在暗处，或者作业时天气状况不佳，作业中的补光方法包括：
104.操作端获取视野范围内的光照强度，通过光照传感器或者，也可以通过对摄像机的实施图像的亮度进行分析获得。
105.判断能否对实时图像进行特征提取。
106.若不能对实施图像进行特征提取，且光照强度低于设定值，则补光，即当光线暗且无法识别，才判定是因为光照强度过低导致的，则打开补光灯进行补光。
107.实施例五
108.本实施例提供一种基于机器视觉的机械臂的作业方法，用于主控端中，即仅对主控端内的方法进行说明，不对操作端进行限制，方法包括：
109.发送需操作的目标物体的特征数据库，数据库用于操作端获取机器视觉的视觉范围内的实时图像，对实时图像进行特征识别，并与接收的特征数据库匹配，判断目标物体是否在视野范围内；若不在视觉范围内，则改变视觉范围；
110.接收到位信息，到位信息包括机械臂爬升至目标物体的操作位、建立机械臂关节坐标系、确定目标物体在坐标系内的第一坐标；操作位为当目标物体在机器视觉的视野范围内，获取目标物体的位置后确定的；
111.接收操作指令，并在根据关节坐标系和第一坐标对机械臂进行路径规划；
112.发送第一信息，第一信息为操作指令对应的路径规划的操作路径，且用于操作端接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作。
113.实施例六
114.本实施例提供一种基于机器视觉的机械臂的作业方法，用于操作端中，方法包括：
115.接收特征数据库后，获取机器视觉的视觉范围内的实时图像，特征数据库为主控端发送的需操作的目标物体的特征数据库；
116.对实时图像进行特征识别，并与接收的特征数据库匹配，判断目标物体是否在视野范围内，若不在视觉范围内，则改变视觉范围；
117.若目标物体在机器视觉的视野范围内，则获取目标物体的位置，确定目标物体的操作位，机械臂爬升至目标物体的操作位；
118.建立机械臂关节坐标系，并确定目标物体在坐标系内的第一坐标；
119.发送到位信息；
120.接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作，第一信息为操作指令对应的路径规划的操作路径，操作指令为主控端接收的，且用于根据关节坐标系和第一坐标对机械臂进行路径规划。
121.实施例七
122.一种电子设备，包括：至少一个处理器；以及，
123.与至少一个处理器通信连接的存储器；其中，
124.存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以
使至少一个处理器能够实现上述的一种基于机器视觉的机械臂的作业方法的步骤。
125.存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行终端的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的执行程序等。
126.存储数据区可存储根据终端的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件、或其他易失性固态存储器件。
127.一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的一种基于机器视觉的机械臂的作业方法的步骤。
128.不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令数据结构,程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eprom、eeprom、闪存或其他固态存储其技术,cd-rom、dvd或其他光学存储﹑磁带盒﹑磁带﹑磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器和大容量存储设备可以统称为存储器。
129.在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
130.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
131.本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定。对于所属领域的技术人员而言，在上述发明的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本发明的范围内。