一种基于双目视觉引导的物体抓取与放置系统的制作方法
【专利摘要】本发明具体涉及一种基于双目视觉引导的物体抓取与放置系统。一种基于双目视觉引导的物体抓取与放置系统，由双目视觉单元、机器人单元和图像处理与控制计算机组成，图像处理与控制计算机通过1394接口与双目立体摄像机连接，通过千兆以太网与机械臂控制柜连接；双目视觉单元由双目立体摄像机和图像采集板卡组成。本发明使用图像处理和控制计算机对图像采集卡和双目立体摄像机获得的双目图像进行图像处理，对图像中的物体进行识别和定位，使用定位结果引导机械臂完成对目标物体的抓取与放置动作。
【专利说明】
一种基于双目视觉引导的物体抓取与放置系统
技术领域
[0001]本发明具体涉及一种基于双目视觉引导的物体抓取与放置系统。
【背景技术】
[0002]随着“中国制造2025”、“机器换人”等高科技战略的提出，工业生产过程中对机器人的智能程度要求越来越高。虽然目前工业机器人已广泛应用在工业生产线上，但大多说机器人都是工作在示教模式下完成事先设定的动作，如果工件周围环境发生变化很可能会导致对指定工件操作任务失败。由于机械臂无法感知周围环境变化的缺点很大的限制了工业机械臂在工业生产过程中的应用。
[0003]参考人类获取的大部分的外部信息来源与双眼，进而通过大脑做出各种决策和动作。把双目立体摄像机引入到机械臂的控制当中，使机械臂具有人一样的视觉功能，通过一系列的图像处理技术来提取图像中的目标特征，从而实现目标物体的识别与定位。
[0004]在未知位姿的物体抓取与放置过程中，把图像处理技术和机械臂控制技术相结合，通过一系列的图像处理技术识别双目立体摄像机视野内的物体并对其三维位置进行测量，引导机械臂完成对物体的抓取与放置，对扩大机械臂的应用范围和提高机械臂的智能程度都具有重大意义。
【发明内容】
[0005]本发明的目的在于提供提供了一种解决目标物体三维位置未知且周围环境持续变化的情况下，使用双目立体视觉完成目标物体识别与定位，从而引导机械臂完成对目标物体的抓取与放置动作的基于双目视觉的目标抓取与放置系统。
[0006]本发明的目的是通过以下方案实现的:
[0007]—种基于双目视觉引导的物体抓取与放置系统，由双目视觉单元、机器人单元和图像处理与控制计算机组成，图像处理与控制计算机通过1394接口与双目立体摄像机连接，通过千兆以太网与机械臂控制柜连接;双目视觉单元由双目立体摄像机和图像采集板卡组成，其中双目摄像机左右两摄像机中心线的距离为120mm，双目立体摄像机安装在机械臂末端手爪上与机械臂组成眼在手上视觉系统；图像采集卡安装在图像处理与控制计算机PC1-E插槽中，图像采集卡与双目立体摄像机通过1394接口连接。
[0008]机器人单元由六自由度机械臂、机械臂控制柜和末端手爪组成，末端手爪安装在机械臂第六轴末端法兰处;机械臂控制柜通过网线与图像处理与控制计算机连接。
[0009]本发明的有益效果在于:本发明包括双目视觉单元、机器人单元和图像处理和控制计算机，图像处理和控制计算机通过1394接口和双目视觉单元连接、通过千兆以太网与机器人控制柜连接。使用图像处理和控制计算机对图像采集卡和双目立体摄像机获得的双目图像进行图像处理，对图像中的物体进行识别和定位，使用定位结果引导机械臂完成对目标物体的抓取与放置动作。
【附图说明】
[0010]图1是一种基于双目视觉引导的目标抓取与放置系统的组成图；
[0011 ]图2是一种基于双目视觉引导的物体抓取与放置系统识别、定位和抓取流程图；
[0012]图3是一种基于双目视觉引导的目标抓取与放置系统的图像处理与控制软件截图。
【具体实施方式】
[0013]下面结合附图对本发明做进一步描述。
[0014]本发明提供的是一种基于双目视觉引导的物体抓取与放置系统。该系统由双目视觉单元、机器人单元和图像处理与控制计算机组成。图像处理与控制计算机通过1394接口与双目视觉单元连接，通过网线与机器人控制柜连接。双目视觉单元主要由双目立体摄像机、图像采集卡组成，用于图像的采集和传输。机器人单元由六自由度机械臂、机械臂控制柜和末端手爪组成，用于实现目标物体的抓取与放置。图像处理与控制计算机主要用来对双目视觉单元获得的图像进行处理，稳定识别、定位目标物体并引导机械臂完成物体的抓取与放置动作。
[0015]在图像处理与控制软件启动时对双目立体摄像机和六自由度机械臂初始化，分别建立图像处理与控制计算机和双目立体摄像机、机器人控制柜的联系。
[0016]分别对获得的左右两摄像机图像进行目标特征提取与识别，并结合双目立体视差测量原理对目标物体进行立体定位。如果，目标特征提取与识别失败则机械臂保持原来状态，直到左右两眼图像中同时检测出目标特征再进行下一步动作。
[0017]根据双目立体摄像机坐标系和机械臂末端手爪坐标系之间的变换矩阵，把测量得到的目标物体三维位置通过两坐标系之间的齐次变换矩阵告知机械臂。
[0018]根据双目立体摄像机“告知”的目标物体的位姿信息引导机械臂完成对目标物体的抓取与放置动作。
[0019]整个双目视觉对目标物体进行立体定位的过程、双目采集和处理过的图像都显示在图像处理与控制软件中。另外，机械臂当前运动状态、各机械臂关节角度以及机械臂末端坐标系相对于基坐标系的位置和姿态都显示在图像处理与控制软件中。
[0020]本发明根据以上分析给出了基于双目视觉引导的目标抓取与放置系统流程图，如图2所示。
【主权项】
1.一种基于双目视觉引导的物体抓取与放置系统，由双目视觉单元、机器人单元和图像处理与控制计算机组成，图像处理与控制计算机通过1394接口与双目立体摄像机连接，通过千兆以太网与机械臂控制柜连接;其特征在于:双目视觉单元由双目立体摄像机和图像采集板卡组成，其中双目摄像机左右两摄像机中心线的距离为120mm，双目立体摄像机安装在机械臂末端手爪上与机械臂组成眼在手上视觉系统；图像采集卡安装在图像处理与控制计算机PC1-E插槽中，图像采集卡与双目立体摄像机通过1394接口连接。2.根据权利要求1所述的一种基于双目视觉引导的物体抓取与放置系统，其特征在于:机器人单元由六自由度机械臂、机械臂控制柜和末端手爪组成，末端手爪安装在机械臂第六轴末端法兰处;机械臂控制柜通过网线与图像处理与控制计算机连接。
【文档编号】B25J9/16GK106003036SQ201610428750
【公开日】2016年10月12日
【申请日】2016年6月16日
【发明人】朱齐丹, 陈文桥, 封大伟, 蔡成涛, 夏桂华, 张智, 吕晓龙, 谢心如, 李超
【申请人】哈尔滨工程大学