一种结合三维视觉识别可实现精确抓取的方法与流程

本发明属于机械臂应用技术领域，更具体地说，涉及一种结合三维视觉识别可实现精确抓取的方法。

背景技术：

机械臂是高精度，多输入多输出、高度非线性、强耦合的复杂系统。在实际工业分拣等场合下，常有对不同规格工件进行分拣的需求。现有的工业分拣技术主要是基于二维码、激光扫描等相关技术。二维码技术一方面要求被测物体附带二维码，应用范围狭窄；另一方面二维码可能会出现磨损、遮挡现象的发生，识别不准确。激光扫描在工业上应用，使用成本较高。而通过深度相机拍摄被测工件，一方面可以直接获取点云数据，其次可以多次重复使用，成本较低。然而，由于工件摆放杂乱问题和标准放置的要求，现有机械臂末端执行器存在以下问题：抓取工件的准确度不高、面对较为复杂的工作环境时不具备较高的灵活性、不能实现工件的精确放置等。例如，在对工件有正反面放置要求时，现有机械臂装置难以实现。因此，需要采用结合三维视觉识别系统可以便捷快速的获取零件的位姿信息，并通过高灵活性夹具的机械臂装置来解决此类问题。

为了解决上述的问题，经过检索，中国专利cn104048607a公开了一种机械手臂的视觉识别抓取方法，包括如下步骤：1)图像采集，由两个ccd视觉传感器构成的双相机系统采集工件图像，将图像转换成数字格式并传入计算机存储器；2)图像处理，处理器对图像进行颜色辨识、图像增强，边缘锐化，降噪，对工件的长度、面积进行测量，并找到图像中工件的中心点的坐标位置；3)坐标传送，将ccd视觉传感器的坐标与机械手臂的坐标校准，使ccd视觉传感器和机械手臂的坐标系重合，将图像中工件的中心点的坐标位置传给机械手臂的控制器，由控制器控制机械手臂来抓取工件。再如中国专利cn103753585a公开了一种机械手及其抓紧力的调节方法，所述机械手还包括视觉图像采集系统及数据库；所述视觉图像采集系统拍集机械手将要抓握的物体的3d实体图像，并同时扫描被采集物体的尺寸信息，获得体积大小，传送至中央处理器；所述数据库存储有各类物品的图像资料及材质的密度、粗糙度、摩擦系数参数；所述中央处理将采集的3d实体图像与数据库中的图像资料比较判断，确定被抓握物体的种类，尺寸和体积，并调出该物体的材质的密度、粗糙度、摩擦系数参数，中央处理器根据上述参数输出抓举力信息至控制单元，所述控制单元控制机械手臂的抓紧力与举起力。再如中国专利cn205787823u公开了一种配合视觉识别应用的控制装置，包括视觉识别系统、控制装置、机械臂，所述视觉识别系统与所述控制装置连接，用于向控制装置发送信号；所述控制装置与所述机械臂连接，用于从视觉识别系统中接收信号，并控制机械臂进行不同动作的操作。

综上所述，以上专利文献虽然可以基本解决一部分问题，但是针对机械臂精确抓取仍待进一步探索。

技术实现要素：

1.要解决的问题

针对现有机械臂无法实现准确抓取的问题，本发明提供一种结合三维视觉识别可实现精确抓取的方法，引导机械臂对随机散乱工件的准确抓取和摆放，灵活性强，适应性高。

2.技术方案

为了解决上述问题，本发明所采用的技术方案如下：

本发明的一种结合三维视觉识别可实现精确抓取的方法，采集视觉识别机构的深度相机的视觉信息，在机械臂移动时进行三维视觉引导，通过系统标定，获取点云数据并对工件进行位姿估计，计算出工件的抓取运动轨迹，控制机械臂实现工件的抓取和摆放；具体的步骤包括：

步骤s101：搭建三维视觉识别可实现精确抓取的机械臂装置；

本发明搭建的是eye-to-hand的结构系统，在工作平台及机器人基座固定不动情况下，将深度相机安装在相固定的位置，机械臂的底座不发生变化，保证动作控制部件的鲁棒性，同时深度相机的识别机构并不会因为机械臂的运动而改变，保证被测工件在相机的拍摄范围内；结合相机获取的三维点云数据并处理得到工件位姿信息，获得工件的位姿信息传送给动作控制系统。

步骤s102：使用三维视觉识别机构获取到目标工件的三维点云数据，作为基准模型；在进行对被测工件的点云数据进行配准之前，需要先获取目标点云的详细点云数据，包括目标工件的位置和姿态，对目标工件进行全方位的点云数据的采集，再通过采集的数据建立基准模型，为后续的实际应用采集到的点云数据进行配准；并用深度相机拍摄工作区内的目标物体，获取场景三维点云数据，对点云数据进行处理，再与模板点云匹配；然后对采集到的场景点云数据进行预处理、分割及配准得到工件的位姿信息；

步骤s103：控制机械臂手标定点位，获取深度相机与机械臂之间的系数转化矩阵；通过三维视觉识别机构，采集标定板的在不同时段，不同角度的位姿信息，将获得的标定点信息进行手眼标定；与此同时记录机械臂当前的位姿数据，得到机械臂的基座标系下末端的位姿，结合标定板坐标系的位姿，从而计算出机械臂末端相对深度相机的系数转换矩阵；

步骤s104：通过步骤s103训练和计算，选择其中点云数据最完备的被测工件，并且通过计算获得被测工件的位置和姿态数据，然后传输到动作控制部件生成运动控制程序，驱动机械臂手完成抓取测试；如果抓取的过程中存在角度不合适、遮挡问题的出现，机械臂末端会重新回到原点并预备下一次的抓取操作；同时动作控制部件根据视觉信息引导机械臂完成对工件的抓取和摆放。

于本发明一种可能的实施方式中，所述的机械臂装置，包括：

机械臂机构，其包括工作台、置于所述工作台上的机器臂、置于所示工作台上的工件框以及气源部件，所述工件框位于所述机器臂一侧，所述气源部件与所述机器臂气连接，所述机器臂设有动作控制部件，动作控制部件与气源部件电连接；

工件传输机构，其包括传送带，所述传送带置于所述工作台上且位于所述机器臂正前方，所述传送带与所述动作控制部件电连接；

三维视觉识别机构，其包括支架、深度相机和视觉控制部件，所述支架固定在所述传送带一侧且与机器臂相对设置；所述深度相机设置在所述支架上且镜头正对传送带，所述视觉控制部件与所述动作控制部件电连接。

于本发明一种可能的实施方式中，所述机器臂包括底座、腰部、大臂、小臂、转动臂、腕关节和末端执行器，所述底座固定在工作台上，其上依次连接腰部、大臂、小臂、转动臂和腕关节，所述末端执行器通过末端法兰盘与所述腕关节连接。

于本发明一种可能的实施方式中，所述气源部件包括真空发生器、电磁阀、主气管和气泵，所述气泵通过主气管连接至所述末端执行器，所述主气管上依次设有电磁阀和真空发生器，且电磁阀靠近气泵。

于本发明一种可能的实施方式中，所述支架上设有报警灯，所述报警灯与所述视觉控制部件电连接。

于本发明一种可能的实施方式中，所述末端执行器包括气管接头、进气管、法兰盘基座、气管转接头、连接板、真空吸盘和内六角螺栓，所述法兰盘基座通过内六角螺栓固定于所述末端法兰盘上，所述真空吸盘固定在所述连接板上，所述法兰盘基座两侧设有螺栓定位孔且通过螺栓固定连接板，所述进气管一端通过气管接头与主气管连接连通，另一端通过气管转接头与所述真空吸盘连接连通。同时采用双吸盘设计，同时根据tcp标定法调整吸盘杆长。

于本发明一种可能的实施方式中，所述工作台侧面设有示教器，所述示教器与所述动作控制部件电连接。

于本发明一种可能的实施方式中，所述步骤s102中，对被测工件的点云数据要进行处理，结合三维视觉识别机构的内容，去除场景点云的冗余点、离散点，之后对去噪后的点云数据进行点云分割，根据实际的点云的分布状况，选择区域增长、特征、边缘等方式进行分割；分割后的点云数据，一般通过面积阈值法进行点云的筛选，将筛选出来的点云数据与目标工件的基准模型进行配准，同样是根据实际情况选择进行粗配准或者精配准。

于本发明一种可能的实施方式中，所述步骤s103中，根据机械臂的示教器读出位姿数据，换算出机械臂末端坐标系到机械臂的底座的转换矩阵，结合相机标定结果完成手眼标定。

3.有益效果

相比于现有技术，本发明的有益效果为：

(1)本发明的结合三维视觉识别可实现精确抓取的方法，采集视觉识别机构的深度相机的视觉信息，在机械臂移动时进行三维视觉引导，通过系统标定，获取点云数据并对工件进行位姿估计，计算出工件的抓取运动轨迹，控制机械臂实现工件的抓取和摆放；灵活性强，适应性高；

(2)通过深度相机拍摄得到目标物体的点云图和rgb图，然后使用maskr-cnn算法(源自：he,kaiming,etal."maskr-cnn."proceedingsoftheieeeinternationalconferenceoncomputervision.2017)获得目标物体的在rgb图像上的像素分布，并将其直接映射到三维的场景点云中去，得到目标物体在场景点云中的点云分布，再使用ransac算法(源自：consensus,randomsample."aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography."mafischler,rcbolles6(1981):381-395)和icp算法(源自：besl,paulj.,andneild.mckay."methodforregistrationof3-dshapes."sensorfusioniv:controlparadigmsanddatastructures.vol.1611.internationalsocietyforopticsandphotonics,1992)将模板点云与场景点云配准就可以得到二者的转换关系，并使用手眼标定得到的转换关系最终就可以得到目标物体与机械臂基坐标系的位置关系，从而控制机械臂准确的抓取和摆放工件。

附图说明

图1为本发明机械臂装置的工作方法流程图；

图2为本发明结合三维视觉识别可实现精确抓取的机械臂装置的结构示意图；

图3为本发明机械臂装置的机器臂结构示意图；

图4为本发明机械臂装置的一种状态示意图；

图5为图4的a部放大图；

图6为本发明机械臂装置的另一种状态示意图；

图7为本发明机械臂装置的工作状态示意图；

图8为图7的b部放大图；

图9为本发明机械臂装置的末端执行器结构示意图。

图中标记为：

100、机械臂机构；110、工作台；120、机器臂；121、底座；122、腰部；123、大臂；124、小臂；125、转动臂；126、腕关节；127、末端执行器；1271、气管接头；1272、进气管；1273、法兰盘基座；1274、气管转接头；1275、连接板；1276、真空吸盘；1277、内六角螺栓；128、末端法兰盘；129、动作控制部件；130、工件框；140、气源部件；141、气泵；142、主气管；143、电磁阀；144、真空发生器；150、示教器；

200、工件传输机构；210、传送带；

300、三维视觉识别机构；310、支架；320、深度相机；330、报警灯；340、视觉控制部件。

具体实施方式

下文对本发明的示例性实施例进行了详细描述。尽管这些示例性实施例被充分详细地描述以使得本领域技术人员能够实施本发明，但应当理解可实现其他实施例且可在不脱离本发明的精神和范围的情况下对本发明作各种改变。下文对本发明的实施例的更详细的描述并不用于限制所要求的本发明的范围，而仅仅为了进行举例说明且不限制对本发明的特点和特征的描述，以提出执行本发明的最佳方式，并足以使得本领域技术人员能够实施本发明。因此，本发明的范围仅由所附权利要求来限定。

本发明的工件可以是3c电子产品，五金加工件等，下面以10*10cm重量约50克的薄型钣金件，末端执行器为真空吸盘，其有效吸附负载为0.2kg为例进行说明。

如图1所示，本实施例的一种结合三维视觉识别可实现精确抓取的方法，采集视觉识别机构的深度相机320的视觉信息，在机械臂移动时进行三维视觉引导，通过系统标定，获取点云数据并对工件进行位姿估计，计算出工件的抓取运动轨迹，控制机械臂实现工件的抓取和摆放。具体的步骤包括：

步骤s101：搭建三维视觉识别可实现精确抓取薄型钣金件的机械臂装置；

步骤s102：使用三维视觉识别机构300获取到目标工件的三维点云数据，作为基准模型；在进行对被测工件的点云数据进行配准之前，需要先获取目标点云的详细点云数据，包括目标工件的位置和姿态，对目标工件进行全方位的点云数据的采集，再通过采集的数据建立基准模型，为后续的实际应用采集到的点云数据进行配准；并用深度相机320拍摄工作区内的目标物体，获取场景三维点云数据，对点云数据进行处理，再与模板点云匹配；然后对采集到的场景点云数据进行预处理、分割及配准得到工件的位姿信息；对被测工件的点云数据要进行处理，结合三维视觉识别机构300的内容，去除场景点云的冗余点、离散点，之后对去噪后的点云数据进行点云分割，根据实际的点云的分布状况，选择区域增长、特征、边缘等方式进行分割；分割后的点云数据，一般通过面积阈值法进行点云的筛选，将筛选出来的点云数据与目标工件的基准模型进行配准，同样是根据实际情况选择进行粗配准或者精配准。

步骤s103：控制机械臂手标定点位，获取深度相机320与机械臂之间的系数转化矩阵；通过三维视觉识别机构300，采集标定板的在不同时段，不同角度的位姿信息，将获得的标定点信息进行手眼标定；与此同时记录机械臂的位姿数据，得到机械臂的底座121标系下末端的位姿，结合标定板坐标系的位姿，从而计算出机械臂末端相对深度相机320的系数转换矩阵；一般情况根据机械臂的示教器150读出位姿数据，换算出机械臂末端tcp坐标系到机械臂的底座121的转换矩阵，再结合相机标定结果即可完成手眼标定，从而计算得到机械臂基坐标系相对于相机坐标系的位姿转换矩阵。

步骤s104：通过步骤s103训练和计算，选择其中点云数据最完备的被测工件，并且通过计算获得被测工件的位置和姿态数据，然后传输到动作控制部件129生成运动控制程序，驱动机械臂手完成抓取测试；如果抓取的过程中存在角度不合适、遮挡问题的出现，机械臂末端会重新回到原点并预备下一次的抓取操作；同时动作控制部件129根据视觉信息引导机械臂完成对工件的抓取和摆放。

如图2至图9所示，三维视觉识别可实现精确抓取的机械臂装置包括：机械臂机构100、工件传输机构200和三维视觉识别机构300。

在图2中可以看出，机械臂机构100包括工作台110、置于所述工作台110上的机器臂120、置于所示工作台110上的工件框130以及气源部件140，所述工件框130位于所述机器臂120一侧，所述气源部件140与所述机器臂120气连接，所述机器臂120设有动作控制部件129，动作控制部件129与气源部件140电连接。工作台110为可移动式的，在工作台110的底面设置有滑轮，同时，在工作台110的底面四角设置有吸盘，当工作台110确定位置后，通过吸盘可以进行固定。

进一步的，所述工件传输机构200包括传送带210，所述传送带210置于所述工作台110上且位于所述机器臂120正前方，所述传送带210与所述动作控制部件129电连接。工件由机器臂120抓取并搬运至工件框130中上，传送带210循环的转动，将工件不断的输送过来。

进一步的，所述三维视觉识别机构300包括支架310、深度相机320和视觉控制部件340，所述支架310固定在所述传送带210一侧且与机器臂120相对设置，即支架310和机器臂分别位于传送带210的两侧；所述深度相机320设置在所述支架310上且镜头正对传送带210，所述视觉控制部件340与所述动作控制部件129、深度相机320电连接。深度相机320的型号采用知微d130，通过深度相机320的对正设置，尽可能的将工件的运动轨迹囊括在镜头的范围内，确保工件不会被遗漏。视觉控制部件340为一平板电脑或台式电脑，该视觉控制部件340自带有图片处理软件，这里不局限上述的几种电脑，其他的可以完成图片处理功能的pc端也是选择之内。

在实际使用过程中，可能会出现突发事件，因此，在所述支架310上设有报警灯330，所述报警灯330与所述视觉控制部件340电连接。报警灯330会及时报警，提醒现场的工作人。

在本实施例中，如图2所示，所述机器臂120包括底座121、腰部122、大臂123、小臂124、转动臂125、腕关节126和末端执行器127，所述底座121固定在工作台110上，其上依次连接腰部122、大臂123、小臂124、转动臂125和腕关节126，所述末端执行器127通过末端法兰盘128与所述腕关节126连接。该机器臂120的结构为现有的机器臂120设计，在机器臂120的末端设置末端执行器127，通过该执行器完成对工件的转移，效率更高，不易出现损坏等问题。

结合图1和图8所示，本实施例中的末端执行器127包括气管接头1271、进气管1272、法兰盘基座1273、气管转接头1274、连接板1275、真空吸盘1276和内六角螺栓1277，所述法兰盘基座1273通过内六角螺栓1277固定于所述末端法兰盘128上，所述真空吸盘1276固定在所述连接板1275上，所述法兰盘基座1273两侧设有螺栓定位孔且通过螺栓固定连接板1275，所述进气管1272一端通过气管接头1271与主气管142连接连通，另一端通过气管转接头1274与所述真空吸盘1276连接连通。同时采用双吸盘设计，同时根据tcp标定法调整吸盘杆长。

其中，真空吸盘1276需要配合气源部件140实现抽真空，因此所述气源部件140包括真空发生器144、电磁阀143、主气管142和气泵141，所述气泵141通过主气管142连接至所述末端执行器127，所述主气管142上依次设有电磁阀143和真空发生器144，且电磁阀143靠近气泵141。

进一步的，所述工作台110侧面设有示教器150，所述示教器150与所述动作控制部件129电连接。根据机械臂的示教器150读出位姿数据，换算出机械臂末端坐标系到机械臂的底座121的转换矩阵，再结合相机标定结果即可完成手眼标定，从而计算得到机械臂基坐标系相对于相机坐标系的位姿转换矩阵。

最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进或同等替换，而不脱离本技术方案的宗旨和范围，均应涵盖再本发明的权利要求范围中。