一种工件整理方法、介质及系统

1.本技术涉及自动化领域，尤其涉及一种工件整理方法、介质及系统。


背景技术：

2.自动工件整理为对于大量工件进行整理的自动化技术，将大量工件进行分类并分别抓取到工件所对应的收纳箱中。
3.在现有的自动工件整理技术中，需整理的工件放置于固定处，控制器控制机械臂向需整理的工件所固定的地方移动，然后抓取到指定位置；在实现自动工件整理前，需要人工将需整理的工件移动到固定处后才能进行自动工件整理，自动化程度不高。


技术实现要素：

4.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本技术提出一种工件整理方法、介质及系统。
5.第一方面，本技术实施例提供了一种工件整理方法，应用于工件整理系统，所述工件整理系统包括：第一相机、第二相机、主控模块、工件放置平台和机械臂，所述主控模块分别与所述第一相机、所述第二相机、所述机械臂连接；
6.所述工件整理方法包括：进行初始化；
7.控制所述第一相机获取第一相机图像；
8.根据所述第一相机图像，确定是否存在需整理工件；若否，流程结束；
9.若是，确定需整理工件的数量并控制所述机械臂移动到任一所述需整理工件的位置；
10.控制所述第二相机获取第二相机图像；
11.根据所述第二相机图像，确定需整理工件的第一坐标和所述需整理工件对应的收纳箱；
12.根据所述需整理工件的第一坐标，控制所述机械臂抓取所述需整理工件到对应的收纳箱；
13.根据所述需整理工件的数量，确定整理是否完成；若是，控制所述机械臂返回到初始位姿；流程结束；
14.若否，继续控制所述第二相机获取第二相机图像。
15.本技术实施例至少具有以下有益效果：本发明能够通过图像来确定需整理工件的相关信息，得到需整理工件的当前位置，根据需整理工件的当前位置，控制机械臂到需整理工件的当前位置进行抓取；无论需整理的工件的当前位置在哪，本发明都能将需整理的工件自动整理到对应的收纳箱，提高自动化程度。
16.可选地，在本技术的一个实施例中，所述进行初始化包括：
17.开启所述第一相机、所述第二相机、所述机械臂；
18.输入校准棋盘的参数；
19.控制所述第二相机获取校准棋盘图像；
20.根据所述校准棋盘的参数和所述校准棋盘图像，得到初始化参数；
21.根据所述初始化参数，对所述第二相机进行调整。
22.可选地，在本技术的一个实施例中，所述初始化参数包括：x轴初始偏移量、y轴初始偏移量、初始倾斜度和所述第二相机获取图像的大小。
23.可选地，在本技术的一个实施例中，所述根据所述需整理工件的第一坐标，控制所述机械臂抓取所述需整理工件到对应的收纳箱包括：
24.根据所述需整理工件的第一坐标，得到所述需整理工件在所述机械臂坐标系的第二坐标q；
25.根据所述第二坐标q，控制所述机械臂抓取所述需整理工件到对应的收纳箱。
26.可选地，在本技术的一个实施例中，所述根据所述需整理工件的第一坐标，得到所述需整理工件在所述机械臂坐标系的第二坐标q包括：
27.根据所述需整理工件的第一坐标、所述第二相机在所述机械臂坐标系中的第三坐标q0和误差补偿常数，得到所述需整理工件在所述机械臂坐标系中的第二坐标q；
28.其中，所述需整理工件的第一坐标为所述需整理工件在所述第二相机坐标系的坐标。
29.可选地，在本技术的一个实施例中，所述根据所述需整理工件的第一坐标，得到所述需整理工件在所述机械臂坐标系的第二坐标q包括：
30.根据所述需整理工件的第一坐标、所述第二相机在所述机械臂坐标系中的第三坐标q0、误差补偿常数和z轴偏移量，得到所述需整理工件在所述机械臂坐标系中的第二坐标q；
31.其中，所述需整理工件的第一坐标为所述需整理工件在所述第二相机坐标系的坐标。
32.可选地，在本技术的一个实施例中，所述第二相机图像包含所述需整理工件上粘贴的二维码标签的图像。
33.第二方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的方法。
34.第三方面，本技术实施例还提供了一种工件整理系统，包括：二维码标签、工件放置平台、主控模块、第一相机、机械臂、第二相机和收纳箱；所述二维码标签黏贴于工件上，所述工件放置平台上分别放置有所述机械臂、所述工件，所述第一相机设置于所述工件放置平台的上方，所述第二相机设置于所述机械臂上；
35.所述主控模块分别与所述第一相机、所述机械臂、所述第二相机连接；
36.上述主控模块包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的方法；
37.所述第一相机获取所述工件放置平台的图像后将所述工件放置平台的图像发送到所述主控模块，所述主控模块确定有需整理的工件；
38.所述主控模块控制所述机械臂到所述需整理的工件，所述第二相机获取所述需整
理的工件上粘贴的二维码标签的图像后将该图像发送到所述主控模块，所述主控模块确定所述需整理的工件所对应的收纳箱，所述主控模块控制所述机械臂抓取所述需整理的工件到所对应的收纳箱。
39.可选地，在本技术的一个实施例中，所述工件整理系统还包括人机交互屏，所述人机交互屏与所述主控模块连接，所述主控模块接收所述人机交互屏发送的指令，所述主控模块进行所述第二相机的初始化，所述主控模块将初始化参数、所述第一相机获取的图像、所述第二相机获取的图像分别发发送到所述人机交互屏进行显示。
附图说明
40.附图用来提供对本技术技术方案的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术的技术方案，并不构成对本技术技术方案的限制。
41.图1是本技术实施例提供的一种工件整理方法的流程图；
42.图2是本技术实施例提供的一种工件整理系统的示意图。
具体实施方式
43.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
44.需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
45.参考图1和图2，在本发明一实施例中，一种工件整理方法，应用于工件整理系统，工件整理系统包括：第一相机400、第二相机600、主控模块300、工件放置平台200和机械臂500，主控模块300分别与第一相机400、第二相机600、机械臂500连接；
46.工件整理方法包括：步骤s100、进行初始化；
47.步骤s200、控制第一相机400获取第一相机图像；
48.步骤s300、根据第一相机图像，确定是否存在需整理工件；若否，流程结束；
49.若是，执行步骤s400；
50.步骤s400、确定需整理工件的数量并控制机械臂500移动到任一需整理工件的位置；
51.步骤s500、控制第二相机600获取第二相机图像；
52.步骤s600、根据第二相机图像，确定需整理工件的第一坐标和需整理工件对应的收纳箱700；
53.步骤s700、根据需整理工件的第一坐标，控制机械臂500抓取需整理工件到对应的收纳箱700；
54.步骤s800、根据需整理工件的数量，确定整理是否完成；若是，执行步骤s900；流程结束；
55.若否，继续控制第二相机600获取第二相机图像；
56.步骤s900、控制机械臂500返回到初始位姿。
57.本实施例能够通过图像来确定需整理工件的相关信息，得到需整理工件的当前位置，根据需整理工件的当前位置，控制机械臂500到需整理工件的当前位置进行抓取；无论需整理的工件的当前位置在哪，本实施例都能将需整理的工件自动整理到对应的收纳箱700，提高自动化程度。
58.需要说明的是，初始位姿为机械臂500的初始位姿，本领域技术人员根据实际设定。
59.需要说明的是，在步骤s400中，控制机械臂500移动到任一需整理工件的位置实际是通过第一相机400来初步确定任一需整理工件的大概位置，然后控制机械臂500移动到该大概位置，以使第二相机600获取的图像能够包含需整理工件上粘贴的二维码标签100的图像。
60.在一实施例中，在步骤s600中，需整理工件的第一坐标为需整理工件上粘贴的二维码标签100的图像中心；而需整理工件对应的收纳箱700是由读取二维码标签100所得的信息。
61.在本发明一实施例中，第二相机图像包含需整理工件上粘贴的二维码标签100的图像。
62.在本发明一实施例中，在步骤s100中，进行初始化包括：
63.开启第一相机400、第二相机600、机械臂500；
64.输入校准棋盘的参数；在一实施例中，校准棋盘的参数包括：棋盘格子数量和棋盘每个格子面积；校准棋盘的数量是8
×
6格，每个格子面积0.024平方米；
65.控制第二相机600获取校准棋盘图像；
66.根据校准棋盘的参数和校准棋盘图像，得到初始化参数；
67.根据初始化参数，对第二相机600进行调整。
68.需要说明的是，初始化能够有效降低相机参数不同导致的误差，适用于不同精准度的相机，易于更换；并且减小相机畸变带来的影响。
69.在本发明一实施例中，开启第一相机400、第二相机600、机械臂500包括：开启第一相机400和第二相机600分别获取拍摄图像，并且开启4个相关的服务；4个相关的服务分别是：
70.二维码获取服务。此服务包括用于获取第二相机600捕抓到的二维码图像(即第二相机图像)。
71.任务空间坐标控制服务。此服务包括给机械臂500发送任务空间坐标系(即第二相机600的坐标系)中的坐标，机械臂500获得任务控件坐标点(即需整理工件的第一坐标)后，即会把机械臂500的位姿设移动到任务控件坐标点处。需整理工件的第一坐标为需整理工件在第二相机600的坐标系中的坐标。
72.关节空间坐标控制服务。此服务包括给机械臂500发送关节空间坐标(即机械臂500坐标系中的坐标)，机械臂500获得关节空间坐标点的值后，即会把机械臂500的位姿调整到关节空间对应的位置。
73.夹爪控制服务。此服务包括给机械臂500发送夹爪张开的值。机械臂500会根据此值来打开/闭合机械臂500。
74.在本发明一实施例中，初始化参数包括：x轴初始偏移量、y轴初始偏移量、初始倾斜度和第二相机600获取图像的大小。
75.需要说明的是，确定第二相机600所获取的校准棋盘图像是否符合所输入的校准棋盘的参数，具体包括：确定校准棋盘图像中的校准棋盘中心是否与第二相机600像平面中心重合；若否，则分别进行x轴和y轴的偏移直至校准棋盘图像中的校准棋盘中心与第二相机600像平面中心重合；若是，则确定第二相机600所获取的校准棋盘图像的格子数量和棋盘每个格子面积是否分别等于所输入的参数；若否，进行初始倾斜度的调节直至第二相机600所获取的校准棋盘图像的格子数量和棋盘每个格子面积分别等于所输入的参数；若是，则初始化完成。
76.在本发明一实施例中，在步骤s700中，根据需整理工件的第一坐标，控制机械臂500抓取需整理工件到对应的收纳箱700包括：
77.根据需整理工件的第一坐标，得到需整理工件在机械臂500坐标系的第二坐标q；
78.根据第二坐标q，控制机械臂500抓取需整理工件到对应的收纳箱700。
79.在本发明一实施例中，根据需整理工件的第一坐标，得到需整理工件在机械臂500坐标系的第二坐标q包括：
80.根据需整理工件的第一坐标、第二相机600在机械臂500坐标系中的第三坐标q0和误差补偿常数，得到需整理工件在机械臂500坐标系中的第二坐标q；
81.其中，需整理工件的第一坐标为需整理工件在第二相机600坐标系的坐标。
82.在本发明一实施例中，需整理工件在机械臂500坐标系中的第二坐标q的计算公式如下：
[0083][0084]
其中，需整理工件的第一坐标为p(x,y,z)，能够直接通过第二相机600得到；第二相机600在机械臂500坐标系中的第三坐标q0为q0(x0,y0,z0)，是预先设定的；c为本领域技术人员根据实际设定的误差补偿常数。
[0085]
在本发明一实施例中，在步骤s700中，根据需整理工件的第一坐标，得到需整理工件在机械臂500坐标系的第二坐标q包括：
[0086]
根据需整理工件的第一坐标、第二相机600在机械臂500坐标系中的第三坐标q0、误差补偿常数和z轴偏移量，得到需整理工件在机械臂500坐标系中的第二坐标q；
[0087]
其中，需整理工件的第一坐标为需整理工件在第二相机600坐标系的坐标。
[0088]
在本发明一实施例中，需整理工件在机械臂500坐标系中的第二坐标q的计算公式如下：
[0089]
[0090]
其中，需整理工件的第一坐标为p(x,y,z)，能够直接通过第二相机600得到；第二相机600在机械臂500坐标系中的第三坐标q0为q0(x0,y0,z0)，是预先设定的；c为本领域技术人员根据实际设定的误差补偿常数，c
′
为z轴偏移量；
[0091]
需要说明的是，在抓取工件到收纳箱700的过程中，由于收纳箱700具有一定高度，因此收纳箱700可能会阻碍机械臂500抓取到收纳箱700，因此在竖直方向(即z轴，机械臂500坐标系的z轴)需偏移一定距离。
[0092]
本发明实施例还提供了一种存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述的一种工件整理方法。
[0093]
在一实施例中，该存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行。
[0094]
以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0095]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0096]
参照图2，在本发明的一些实施例中，一种工件整理系统，包括：二维码标签100、工件放置平台200、主控模块300、第一相机400、机械臂500、第二相机600和收纳箱700；
[0097]
二维码标签100黏贴于工件上，工件放置平台200上分别放置有机械臂500、工件，第一相机400设置于工件放置平台200的上方，第二相机600设置于机械臂500上；
[0098]
主控模块300分别与第一相机400、机械臂500、第二相机600连接；
[0099]
主控模块300包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述一种工件整理方法；
[0100]
第一相机400获取工件放置平台200的图像后将工件放置平台200的图像发送到主控模块300，主控模块300确定有需整理的工件；
[0101]
主控模块300控制机械臂500到需整理的工件，第二相机600获取需整理的工件上粘贴的二维码标签100的图像后将该图像发送到主控模块300，主控模块300确定需整理的工件所对应的收纳箱700，主控模块300控制机械臂500抓取需整理的工件到所对应的收纳箱700。
[0102]
本实施例能够通过工件上的二维码标签100，使得主控模块300得到工件所对应的
收纳箱700，能够自动整理工件，自动将工件放置于对应的收纳箱700，节约人力、时间成本。
[0103]
参照图2，在本发明的一些实施例中，工件整理系统还包括人机交互屏800，人机交互屏800与主控模块300连接，主控模块300接收人机交互屏800发送的指令，主控模块300进行第二相机600的初始化，主控模块300将初始化参数、第一相机400获取的图像、第二相机600获取的图像分别发送到人机交互屏800进行显示。
[0104]
工件整理系统中的第二相机600在使用前需进行初始化，用户能够通过人机交互屏800给主控模块300发送初始化的指令并且能够获知初始化参数。
[0105]
在本发明的一些实施例中，主控模块300为tx2核心板。tx2核心板具有体积小巧、高度集成等优点。
[0106]
在本发明的一些实施例中，第一相机400为立体视觉相机。
[0107]
立体视觉相机能够在短距离内获得高精度，使得主控模块300能够更准确地识别到工件放置平台200的图像，对于应用场景的光照度要求不高，适用于实训室。
[0108]
在本发明的一些实施例中，第二相机600为单目相机。
[0109]
单目相机具有体积较小、图像处理准确度高的特点，因此能够设置于机械臂500上并获取二维码标签100的图像。
[0110]
在本发明的一些实施例中，主控模块300通过通信串行总线(usb)与机械臂500连接。有线连接更可靠、响应更快。
[0111]
在本发明的一些实施例中，主控模块300通过高清多媒体接口(hdmi)与人机交互屏800通信连接。有线连接更可靠、响应更快，高清多媒体接口(hdmi)能够同时传输图像和声音。
[0112]
本文描述了本发明的实施例，包括发明人已知用于执行本发明的较佳实施例。在阅读了上述描述后，这些所述实施例的变化对本领域的技术人员将变得明显。发明人希望技术人员视情况采用此类变型，并且发明人意图以不同于如本文具体描述的方式来实践本发明的实施例。因此，经适用的法律许可，本发明的范围包括在此所附的权利要求书中叙述的主题的所有修改和等效物。此外，本发明的范围涵盖其所有可能变型中的上述元素的任意组合，除非本文另外指示或以其他方式明显地与上下文矛盾。