一种机器人手眼立体视觉测量方法
【专利摘要】一种机器人手眼立体视觉测量方法，通过安装在工业机器人末端执行器上的工业摄像机从两个不同方向对目标场景拍摄图像。在进行完摄像机标定和图像预处理之后，寻找两幅图像的共轭匹配点，最后根据共轭匹配点进行三维重建从而得到工件表面点的三维坐标。相比目前常用的固定式工业机器人手眼视觉测量，本发明可以获取工件的三维信息而非单纯的二维坐标，大大拓展了视觉系统在工业机器人装配、分拣等系统中的应用，具有巨大的应用价值与广泛的应用领域。
【专利说明】一种机器人手眼立体视觉测量方法
【技术领域】
[0001] 本发明涉及机器人视觉测量领域，尤其涉及一种机器人手眼立体视觉测量方法。【背景技术】
[0002] 在传统的机器人生产线上，执行抓取搬运任务的工业机器人绝大多数是以精确示 教或者离线编程的方式进行工作的。目标物体的初始位姿和终止位姿都是严格限定的，机 器人只能完成点到点的工作。但很多情况下特别是流水线的场合工件位姿常常是不固定 的，实际目标物体的位姿与理想目标物体位姿总是有偏差的，这种偏差哪怕很小都会导致 机器人操作任务的失败。这种由于环境的变化而导致机器人不能很好地完成任务的情况极 大地限制了机器人的实际应用范围。随着现代生产制造技术的进步，进一步提高生产线的 柔性的要求也日益迫切，对工业机器人系统应用领域、灵活性和自主性要求也越来越高。
[0003] 小批量多品种的生产模式是未来制造业的发展趋势。为保证工业机器人实时高效 的完成生产任务，将机器视觉引入到机器人作业系统，从而大大提高了生产线的柔性和智 能水平。
[0004] 当前机器视觉的实现主要采用平面视觉系统。王修岩等在《机械设计与制造》 (2011年第4期155页至157页）上发表的"基于单目视觉的工业机器人目标识别技术研 究"，该文提出使用一台固定在机器人上方的CCD摄像机拍摄工件环境中的目标并通过相关 运算达到定位目标的目的。其不足在于：只能获得工件的二维信息，无法获得其深度或者高 度信息。无法满足工业机器人装配、码垛等更高要求的作业任务。
【发明内容】
[0005] 鉴于以上内容，有必要提出一种可以获取目标工件的三维立体信息、有较强实用 性和可靠性的机器人视觉测量方法。
[0006] -种机器人手眼立体视觉测量方法，包括有一拍摄装置和一机器人，其特征在于， 该方法包括如下步骤：
[0007]所述拍摄装置实时获取目标物体的图像；
[0008]通过滤波的方式对图像进行预处理，得到目标物体的清晰图像；
[0009]提取目标物体清晰图像中的特征点，并进行立体匹配，获取共轭匹配点；
[0010] 根据共轭匹配点进行三维重建，获取目标物体的三维信息；
[0011] 根据所述三维信息控制所述机器人末端执行器对目标物体进行抓取。
[0012] 进一步地，在所述拍摄装置获取图像之前，要先对所述拍摄装置进行标定，标定采 用小孔成像的方式。
[0013]进一步地，所述提取目标物体清晰图像中的特征点，并进行立体匹配，获取共轭匹 配点，具体为：首先采用Harris角点检测方法获取清晰图像中所有局部兴趣值最大的点， 然后根据高斯差分进行特征点的立体匹配。
[0014]进一步地，所述首先采用Harris角点检测方法获取清晰图像中所有局部兴趣值 最大的点具体为：计算各像素元的兴趣值IV;得到局部极值点；
[0015] 根据计算后的兴趣值，提取清晰图像中所有局部兴趣值最大的点。
[0016] 进一步地，所有局部兴趣值最大的点利用高斯差分进行特征点的立体匹配，确定 最终共轭匹配特征点，具体步骤如下：利用高斯卷积构建金字塔结构的尺度空间；对金字 塔中间各层图像求Harris角点；对所提取的Harris角点与其上下层图像对应的像素点计 算高斯差分，高斯差分取得极值并大于阈值的Harris角点被选为最终共轭匹配特征点。 [0017] 相比于现有技术，本发明达到的有益效果如下：
[0018] 本发明的提出一种工业机器人手眼式立体视觉测量方法，可以得到生产线上目标 工件的三维立体信息，此方法具有较强的实用性与可靠性。大大拓展了视觉系统在工业机 器人装配、分拣等系统中的应用，具有巨大的应用价值与广泛的应用领域。
【专利附图】
【附图说明】
[0019] 图1是本发明一种机器人手眼立体视觉测量方法的一较佳实施方式流程图；
[0020] 图2是本发明一种机器人手眼立体视觉测量方法的三维重建空间图。
【具体实施方式】
[0021] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明做进一步详细说明。
[0022] 请参照图1，一种机器人手眼立体视觉测量方法，包括有一拍摄装置和一机器人， 该方法包括如下步骤：
[0023] SlO :所述拍摄装置实时获取目标物体的图像。
[0024] 拍摄装置固定在机器人手臂的末端执行器上，与末端执行器一起运动，以使所述 拍摄装置在多个不同位置(此实施例中为两个）对同一目标物体获取图像，在此实施例中， 获取的图像为两幅。在本实施例中，所述拍摄装置为一摄像机。
[0025] 在所述拍摄装置获取图像之前，要先对所述拍摄装置进行标定，摄像机标定采用 小孔成像的方式。
[0026]S20:通过滤波的方式对图像进行预处理，得到目标物体的清晰图像。
[0027] 此处选用中值滤波来消除图像中的噪声信号，即采用当前像素点所在邻域中所有 像素按灰度级排序，取其中间值来替代该像素的灰度值。以获取目标物体的清晰图像。中 值滤波可由下式表示：
[0028]g(m,n)=Median{f(m-k,n-1),(k,I)Gff}
[0029] 其中，g(m，n)为中值滤波后的结果图像，f(m_k，n-1)为原始图像。取窗口为奇数， 有g(m，n)=f(n+1)/2。常用的窗□为线形、十字形、方形、菱形、圆形等。
[0030]S30:提取目标物体清晰图像中的特征点，并进行立体匹配，获取共轭匹配点。
[0031] 通常一幅图像中的某个特征点在另一幅图像中可能会有很多的匹配对象，此外， 图像中还存在诸如光照条件、景物形状、干扰噪声和畸变等不利因素，可能会引起歧义匹 配。为避免歧义匹配的出现，此处采用Harris角点检测及高斯差分检测对各视点的图像进 行特征提取。
[0032] 首先，根据Harris角点检测方法求出一定数目的特征点：Harris算子是一种基于 信号的点特征提取算子，当像素所在位置沿任意方向的曲率都比较大时，则判定该像素点 为角点。Harris算子只涉及图像的一阶导数，其方法步骤如下：
[0033] S301 :计算各像素元的兴趣值IV:
【权利要求】
1. 一种机器人手眼立体视觉测量方法，包括有一拍摄装置和一机器人，其特征在于，该 方法包括如下步骤： 所述拍摄装置实时获取目标物体的图像； 通过滤波的方式对图像进行预处理，得到目标物体的清晰图像； 提取目标物体清晰图像中的特征点，并进行立体匹配，获取共轭匹配点； 根据共轭匹配点进行三维重建，获取目标物体的三维信息； 根据所述三维信息控制所述机器人末端执行器对目标物体进行抓取。
2. 如权利要求1所述的一种机器人手眼立体视觉测量方法，其特征在于：在所述拍摄 装置获取图像之前，要先对所述拍摄装置进行标定，标定采用小孔成像的方式。
3. 如权利要求1所述的一种机器人手眼立体视觉测量方法，其特征在于：所述提取目 标物体清晰图像中的特征点，并进行立体匹配，获取共轭匹配点，具体为：首先采用Harris 角点检测方法获取清晰图像中所有局部兴趣值最大的点，然后根据高斯差分进行特征点的 立体匹配。
4. 如权利要求3所述的一种机器人手眼立体视觉测量方法，所述首先采用Harris角点 检测方法获取清晰图像中所有局部兴趣值最大的点具体为： 计算各像素元的兴趣值IV; 得到局部极值点； 根据计算后的兴趣值，提取清晰图像中所有局部兴趣值最大的点。
5. 如权利要求4所述的一种机器人手眼立体视觉测量方法，所有局部兴趣值最大的点 利用高斯差分进行特征点的立体匹配，确定最终共轭匹配特征点，具体步骤如下： 利用高斯卷积构建金字塔结构的尺度空间； 对金字塔中间各层图像求Harris角点； 对所提取的Harris角点与其上下层图像对应的像素点计算高斯差分，高斯差分取得 极值并大于阈值的Harris角点被选为最终共轭匹配特征点。
【文档编号】G01C11/00GK104515502SQ201310451831
【公开日】2015年4月15日 申请日期:2013年9月28日 优先权日:2013年9月28日
【发明者】徐方, 曲道奎, 邹风山, 王帅, 李邦宇, 褚明杰 申请人:沈阳新松机器人自动化股份有限公司