专利名称：一种适用于工业机器人的操作物位置姿态识别方法
技术领域：
本发明涉及一种适用于工业机器人的操作物位置姿态识别方法，属于工业机器人领域。
背景技术：
目前，工业机器人主要应用于结构化环境中，采用试教再现方式完成相应的功能，即首先由人工导引机器人末端执行器使机器人完成预期的动作，机器人将该动作序列进行存储，然后机器人凭记忆不断重复该动作，完成作业功能。为使机器人能够胜任复杂的非结构化环境中的工作，不但要有更好的控制系统，还需要更多地感知环境的变化。其中机器人视觉以其信息量大、信息完整成为最重要的机器人感知功能，因此机器人视觉伺服系统应运而生。视觉伺服系统按照摄像机的数目的不同，可分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统；按照摄像机放置位置的不同，可以分为手眼系统和固定摄像机系统；按照系统反馈控制量的不同，视觉伺服系统分为基于位置的视觉伺服系统和基于图像的视觉伺服系统。目前，国内外对该领域的相应研究相对较少，且主要集中在基于图像的单目手眼系统，其中主要研究成果包括:国家知识产权局2011年10月15日公开的专利号为201020685635.7的“基于视觉伺服的移动机器人精确定位云台系统”发明中公开了一种基于视觉伺服的移动机器人精确定位云台系统，该发明为典型的基于图像的视觉伺服系统，发明通过单目相机获取图像，通过相应的算法提取图像特征，并与模板图像比较，实现伺服功能。国家知识产权局2005年3月30公告的专利号为CN200410067328.1的“焊接机器人伺服双目视觉传感器”发明中公开了一种应用于焊接机器人的双目视觉传感器，该发明为典型的基于位置的视觉伺服系统，发明采用双目视觉算法实现操作物的三维信息的获取，将该位置信息反馈机器人系统实现伺服功能。上述研究都取得了一定程度上的有益效果，但仍存在如下问题:“基于视觉伺服的移动机器人精确定位云台系统”中由于采用单目相机，只能获取操作物的二维信息，无法获取深度信息，控制精度不高。“焊接机器人伺服双目视觉传感器”中由于双目算法的复杂度较高，算法运算时间长，无法实现机器人系统的实时控制。
发明内容
本发明的目的在于解决上述问题，提供一种适用于工业机器人的操作物位置姿态识别方法，该方法可以应用于基于位置的视觉伺服系统中，采用双目立体相机，通过立体视觉算法、目标跟踪算法、卡尔曼滤波算法，实时为系统提供操作物的位置和姿态信息，方法运算时间短，精度高，能适应室内室外等不同光照条件，为工业机器人在非结构化环境内的使用提供技术支撑。
为实现上述目的，本发明采用如下技术方案:一种适用于工业机器人的操作物位置姿态识别方法，步骤如下:步骤1，初始化操作，将左右相机和操作物初始进行标定，然后利用左右相机获取图像数据；步骤2，利用图像采集过程中前后两帧图像的对运动的操作物进行跟踪；步骤3，通过卡尔曼滤波平滑前后两帧图像中操作物跟踪窗口的变化；步骤4，采用图像数据降维方式，将双目相机采集的整幅图像的立体视觉数据即位置和姿态数据限定在步骤3的跟踪窗内进行处理，从而降低数据处理的维数；步骤5，计算操作物的立体位置和姿态，并将数据反馈给机器人伺服控制系统实现伺服控制。所述步骤I中,左右相机图像采集频率应大于每秒8帧；所述左右相机的标定包括左右相机的内参标定和左右相机相对位置的标定，其中左右相机内参的畸变校正；左右相机相对位置标定为确定左右相机的相对位置；所述操作物初始位置标定为人工在左相机采集到的图像中对操作物初始位置进行标定。所述步骤2中，跟踪过程为:2-1)在前一帧图像中初始化操作物跟踪窗；
2-2)计算跟踪窗 内图像的颜色概率分布；2-3)运用均值漂移算法，获得图像中操作物新的大小和位置；2-4)在后一帧视频图像中用2-3)中的值重新初始化跟踪窗的大小和位置，再跳转到2-2)继续进行。所述跟踪窗为图像中的包含操作物的矩形区域，初始位置由步骤I中所述操作物初始位置标定操作来确定。所述颜色概率分布为所述均值漂移算法的输入数据，其主要实现过程如下:I)首先将图像从RGB空间转换到HSV空间；2 )然后对其中的H分量作统计直方图，直方图数据代表了不同H分量值在图像中出现的概率；3)将图像中每个像素的值用其H分量出现的概率替换，就得到了颜色概率分布。所述均值漂移算法是一种密度函数梯度估计的非参数方法，该算法通过迭代寻优找到概率分布的极值来定位目标，其实现过程如下:a在图像颜色概率分布中选取跟踪窗；b计算跟踪窗内图像零阶距M。。、一阶距M1Q，MQ1和跟踪窗质心，其中I(x，y)为图像方程，X为图像横坐标，y为图像纵坐标，(x。，yc)为跟踪窗质心；
权利要求
1.一种适用于工业机器人的操作物位置姿态识别方法，其特征是，步骤如下: 步骤1，初始化操作，将左右相机和操作物初始进行标定，然后利用左右相机获取图像数据； 步骤2，利用图像采集过程中前后两帧图像的对运动的操作物进行跟踪； 步骤3，通过卡尔曼滤波平滑前后两帧图像中操作物跟踪窗口的变化； 步骤4，采用图像数据降维方式，将双目相机采集的整幅图像的立体视觉数据即位置和姿态数据限定在步骤3的跟踪窗内进行处理，从而降低数据处理的维数； 步骤5，计算操作物的立体位置和姿态，并将数据反馈给机器人伺服控制系统实现伺服控制。
2.如权利要求1所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述步骤I中,左右相机图像采集频率应大于每秒8帧； 所述左右相机的标定包括左右相机的内参标定和左右相机相对位置的标定，其中左右相机内参的畸变校正；左右相机相对位置标定为确定左右相机的相对位置； 所述操作物初始位置标定为人工在左相机采集到的图像中对操作物初始位置进行标定。
3.如权利要求1所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述步骤2中，跟踪过程为: 2-1)在前一帧图像中初始化操作物跟踪窗；2-2)计算跟踪窗内图像的颜色概率分布； 2-3)运用均值漂移算法，获得图像中操作物新的大小和位置； 2-4)在后一帧视频图像中用2-3)中的值重新初始化跟踪窗的大小和位置，再跳转到2-2)继续进行。
4.如权利要求3所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述跟踪窗为图像中的包含操作物的矩形区域，初始位置由步骤I中所述操作物初始位置标定操作来确定。
5.如权利要求3所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述颜色概率分布为所述均值漂移算法的输入数据，其主要实现过程如下: 1)首先将图像从RGB空间转换到HSV空间； 2)然后对其中的H分量作统计直方图，直方图数据代表了不同H分量值在图像中出现的概率； 3)将图像中每个像素的值用其H分量出现的概率替换，就得到了颜色概率分布。
6.如权利要求3所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述均值漂移算法是一种密度函数梯度估计的非参数方法，该算法通过迭代寻优找到概率分布的极值来定位目标，其实现过程如下: a在图像颜色概率分布中选取跟踪窗； b计算跟踪窗内图像零阶距Mtltl、一阶距Mltl,Mtll和跟踪窗质心，其中I (x，y)为图像方程，X为图像横坐标，y为图像纵坐标，(X。，y。)为跟踪窗质心；
7.如权利要求1所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述步骤5中，计算操作物位置和姿态的过程为: 5-1)图像校正； 5-2)位差图获取； 5-3)三维点云获取； 5-4)操作物位置姿态获取。
8.如权利要求7所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述步骤5-1)中，图像校正是通过步骤I中获取的左右相机的内参和左右相机的相对位置关系，对左右相机获取的图像进行畸变校正和双目校正，其中畸变校正用于消除相机自身存在的畸变，而双目校正的就是要把消除畸变后的两幅图像严格地行对应，使得两幅图像的极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，在所述步骤2中只需在该行进行一维搜索即可匹配到对应点。
9.如权利要求7所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述步骤5-2)位差图获取是在所述步骤5-1)所得的校正后的左右图像中的相同行中进行匹配点搜索；匹配点搜索是在规定匹配窗口内采用平方和距离方法搜索相应的匹配点，其原理公式如下，其中gl为左图像方程；g2为右图像方程；gl(r，c)为左图像在坐标(r，c)位置的灰度值；g2(r，c)为右图像在坐标(r，c)位置的灰度值；规定匹配窗口宽度为2m+l，高度为2n+l,m和n取3，5，7，9，11 ；d为位差，即左右图像中匹配点的像素距离,其取值范围为O到图像宽度；s为位差函数；s(r，c，d)为左图像中在坐标(r，c)位置不同位差d情况下的值；
10.如权利要求7所述的适用于工业机器人的操作物位置姿态识别方法，其特征是，所述步骤5-3)三维点云获取是通过左右相机的内参和位差图，获取图像中各点三维坐标信息进行计算；所述操作物位置姿态获取即通过三维点云信息获取操作物的位置和姿态，其中位置通过计算三维点云的重心得到，位置使用三维点云中与重心距离最远的点与重心间的矢量表示为操作物的位姿。
全文摘要
本发明涉及一种适用于工业机器人的操作物位置姿态识别方法，该方法可以应用于基于位置的视觉伺服系统中，实时为系统提供操作物的位置和姿态信息，方法运算时间短，精度高，能适应室内室外等不同光照条件，为工业机器人在非结构化环境内的使用提供技术支撑。其步骤如下步骤1，初始化操作，将左右相机和操作物初始进行标定，然后利用左右相机获取图像数据；步骤2，利用图像采集过程中前后两帧图像的对运动的操作物进行跟踪；步骤3，通过卡尔曼滤波平滑前后两帧图像中操作物跟踪窗口的变化；步骤4，采用图像数据降维方式，从而降低数据处理的维数；步骤5，计算操作物的立体位置和姿态，并将数据反馈给机器人伺服控制系统实现伺服控制。
文档编号B25J19/04GK103112015SQ20131003422
公开日2013年5月22日 申请日期2013年1月29日 优先权日2013年1月29日
发明者王振利, 鲁守银, 赵玉良, 吕曦晨, 李健 申请人:山东电力集团公司电力科学研究院, 国家电网公司