一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法与流程

本发明涉及机器人测量与控制领域，尤其涉及一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法。

背景技术：

目前机器人视觉伺服技术一般为单目视觉，多用于2d及2.5d装配作业，且通常针对小零件的抓取和装配作业。首先，利用单目视觉测量待装配零件在平面内的位置。然后，控制机械臂和抓手抓取待装配零件完成装配操作。由于单目视觉对深度信息不敏感，所以只能用来测量平面的位移信息和绕垂直平面轴的一个旋转信息，当前的机器人视觉伺服技术很难解决大型工件在三维空间中的位姿测量与抓取。

技术实现要素：

为了解决大型工件三维空间位姿测量和抓取的难题，本发明的目的在于提供一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法。

一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法，其特征在于，该装置包括：机械臂底座，工业机械臂，双目视觉，蓝光面光源，工控机，末端夹持器，电磁阀连接线，动力气路，相机连接线，光源连接线，其特征在于，所述工业机械臂安装在机械臂底座上，双目视觉安装在机械臂末端，末端夹持器安装在机械臂末端，使双目视觉位于机械臂末端与夹持器之间。

优选的，所述双目视觉的视野方向与末端夹持器的抓取方向成90°，该结构使末端夹持器在设计时，不必考虑视觉系统的安装布置问题，便于设计抓取重型工件的夹持器。

优选的，所述双目视觉使用大面积的面光源，双目相机从面光源的开孔处获取视野。

优选的，所述末端夹持器由气路提供动力，由电磁阀控制夹爪的释放与抓紧。

进一步地，该方法包括离线和在线两个过程：

离线过程：

步骤s1：将待抓取工件以任意位姿摆放，作为示教位姿。人为示教工件在该位姿下，机械臂的抓取位姿tg；

步骤s2：机械臂带动双目视觉运动到拍照位姿tc，使待抓取工件的粗匹配特征和精定位特征在双目视觉的视野中；

步骤s3：根据双目视觉重建的精定位特征点，确定工件的位姿tm，并根据坐标变换关系计算出抓取姿态下，机械臂与工件的相对位姿tmg，该相对位姿在工件抓取时是保持不变的；

在线过程：

步骤s4：机械臂带动双目视觉运动到工件上方的拍照位姿tc’，双目视觉系统采集工件的实时图像，并进行粗匹配定位和精定位，确定工件的当前位姿tm’。

步骤s5：根据离线过程求得的抓取姿态下机械臂与工件的相对位姿tmg，求得当前工件位姿下，机械臂的抓取位姿tg’，给机械臂发送指令，让机械臂运动到抓取位姿，对工件进行抓取。

本发明不需要对机械臂进行多次示教，只需要示教一个抓取位姿，就能够对任意姿态摆放的工件进行精确抓取；本发明采用工件模板匹配粗定位和几何特征拟合精定位相结合的方法，既能提高工件定位的稳定性，又能对工件的位姿进行高精度的测量，实现高精度抓取作业。

实验生产证明，本发明能够实现大尺寸重型工件的精确位姿测量与抓取作业，并大大减少不同位姿摆放工件的示教工作。

附图说明

图1为本发明基于双目视觉和机械臂的大型工件位姿测量与抓取的装置示意图。

图2为本发明基于双目视觉和机械臂的大型工件位姿测量与抓取的方法流程图。

其中：1-机械臂底座，2-工业机械臂，3-双目视觉，4-蓝光面光源，5-末端夹持器，6-电磁阀连接线，7-动力气路，8-相机连接线，9-光源连接线，10-工控机，11-机械臂通讯连接线。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

本发明提出一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的装置与方法，其特征在于，该装置包括：机械臂底座1，工业机械臂2，双目视觉3，蓝光面光源5，工控机10，末端夹持器5，电磁阀连接线6，动力气路7，相机连接线8，光源连接线9，其特征在于，所述工业机械臂2安装在机械臂底座1上，双目视觉3安装在机械臂末端，末端夹持器5安装在机械臂末端，使双目视觉3位于机械臂末端与夹持器之间，所述双目视觉3的视野方向与末端夹持器的抓取方向成90°，该结构使末端夹持器在设计时，不必考虑视觉系统的安装布置问题，便于设计抓取重型工件的夹持器，所述双目视觉3使用大面积的面光源，双目相机从面光源的开孔处获取视野，所述末端夹持器5由气路提供动力，由电磁阀控制夹爪的释放与抓紧。

本方法包括离线和在线两个过程：

离线过程：

步骤s1：将待抓取工件以任意位姿摆放，作为示教位姿。人为示教工件在该位姿下，机械臂的抓取位姿tg；

步骤s2：机械臂带动双目视觉运动到拍照位姿tc，使待抓取工件的粗匹配特征和精定位特征在双目视觉的视野中；

步骤s3：根据双目视觉重建的精定位特征点，确定工件的位姿tm，并根据坐标变换关系计算出抓取姿态下，机械臂与工件的相对位姿tmg，该相对位姿在工件抓取时是保持不变的；

在线过程：

步骤s4：机械臂带动双目视觉运动到工件上方的拍照位姿tc’，双目视觉系统采集工件的实时图像，并进行粗匹配定位和精定位，确定工件的当前位姿tm’。

步骤s5：根据离线过程求得的抓取姿态下机械臂与工件的相对位姿tmg，求得当前工件位姿下，机械臂的抓取位姿tg’，给机械臂发送指令，让机械臂运动到抓取位姿，对工件进行抓取。

本发明不需要对机械臂进行多次示教，只需要示教一个抓取位姿，就能够对任意姿态摆放的工件进行精确抓取；本发明采用工件模板匹配粗定位和几何特征拟合精定位相结合的方法，既能提高工件定位的稳定性，又能对工件的位姿进行高精度的测量，实现高精度抓取作业。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上面所述的实施例仅仅是对本发明的实施方式进行描述，并非对本发明的构思和范围进行限定。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围。