专利名称：机器人足目标定方法和标定装置的制作方法
技术领域：
本发明属于机器人视觉导航技术领域，涉及对摄像机与机器人位置关系标定方法的改进。
背景技术：
在工业机器人应用研究中，手爪平台坐标系和与之固联的摄像机坐标系之间的位置关系需要事先确定，为此，手眼定标技术得到了深入的研究。文献“Calibration of Wrist Mounted Robotic Sensors bySolving Homogeneous Transform Equations of the Form AX＝XB”(Shiu，1989)给出了经典算法，要求控制手爪平台作两次非纯平移运动，而且两次运动旋转轴不平行，这样才能获取(R，T)的唯一解。Tsai等人也对机器人手眼定标进行了研究，仍然把标定问题归结于方程AX＝XB的求解，可参见文献“A New Technique for Fully Autonomous and Efficient 3DRobotics Hand/Eye Calibration”(Tsai，1989)。
在移动机器人视觉导航系统中，通常把机器人坐标系建立在里程计航位推算中心上，因此传感器与机器人两个坐标系不统一。二者之间的旋转平移关系也需标定，这类问题可称为足目标定。足目标定类似于手眼定标，但与之不同，不能用手眼定标方法解决。这是因为，对于工业机器人末端执行器，即摄像机所在平台，一般具有较多的旋转自由度，满足“两次运动旋转轴不平行”这一条件，而移动机器人一般在某一平面上运动，其旋转方向始终垂直于运动平面，不满足手眼定标条件。目前足目标定的大多数解决方案是把标定问题简化，因此限制了其应用。例如在文献“一种新颖实用的基于视觉导航的三维重建算法”(林强，2004)中，作者借助平面靶标为中间桥梁，以摄像机的精确安装和靶标垂直于地面为假设前提，把摄像机坐标系与车体坐标系之间的三个自由度的旋转关系简化为俯仰方向一个自由度，再用视觉方法标定出俯仰角大小，该方法的主要问题在于过多的简化。目前，该问题在移动机器人应用中一直未能较好解决。
发明内容
本发明的目的是提出一种简便有效的视觉标定方法和标定装置，该方法可用于标定摄像机与单旋转运动自由度的移动平台相对位置关系，而且不需以摄像机的精确安装为前提。
本发明的技术方案是机器人足目标定方法，基于以下的标定装置，一个带有车载计算机的可移动车体，在该可移动车体上固定着摄像机，其特征在于，在可移动车体上分布着10～30个位置固定的特征点，这些特征点是车体棱边的交点或者固定在车体上的机械构件棱边的交点或者固定在车体上的摄像机支架棱边的交点，上述特征点在机器人坐标系下的坐标是已知的，构成特征点集Θ；在机器人前方放置有一面平面反射镜靶标M，使车体上特征点的镜像点集Θ′能够在摄像机中成像，在平面镜靶标M上有四个已知特征点，它们是一个矩形的四个顶点；标定的步骤如下 1、建立坐标系； 符号说明下文出现的下标字母代表不同的坐标系c-摄像机坐标系，m-平面镜坐标系，om-辅助坐标系，ri-镜像坐标系，r机器人坐标系； 1.1、建立机器人坐标系Or-xryrzr；以可移动车体前后轮轴中心连线的中点为原点Or，yr，zr轴分别与车轴平行和垂直，按右手规则规定xr的方向； 1.2、建立摄像机坐标系Oc-xcyczc；以摄像机光心为原点Oc，xc，yc轴分别与成像面的横、纵轴平行，zc轴即光轴； 1.3、建立镜像坐标系Ori-xriyrizri；以车体坐标系原点Or的镜像点Ori为原点，yri与zri轴分别和yr与zr轴关于平面镜中心对称，xri与xr轴方向相反； 1.4、建立平面镜坐标系Om-xmymzm；以平面镜左上角的特征点为坐标原点，xm与ym轴在镜平面Ω上，与镜平面Ω上四个特征点构成的矩形的两边重合，按右手规则规定zm轴的方向； 1.5、在平面镜的反面Ω′上建立辅助坐标系Oom-xomyomzom；其原点与平面镜坐标系Om-xmymzm的原点重合，xom和zom分别与xm和zm相反，yom与ym重合； 2、标定过程；下面文字中的Xi＝(xiyizi)T(i＝c，m，…)表示坐标系i下的三维点坐标，i表示上述建立的5个坐标系的下标其中之一；Rij(i＝c，m，…，j＝m，om，…)与Tij(i＝c，m，…，j＝m，om，…)分别表示坐标系j到坐标系i的旋转和平移矩阵，j也表示上述建立的5个坐标系的下标其中之一，但是i不同于j； 2.1、标定摄像机坐标系与平面镜坐标系之间的欧氏变换关系； 根据已标定的摄像机内部参数，确定摄像机坐标系Oc-xcyczc与平面镜坐标系Om-xmymzm间的Rcm和Tcm，使得 Xc＝RcmXm+Tcm[1] 2.2、标定摄像机坐标系与镜像坐标系之间的欧氏变换关系； 以平面镜中的反射镜像点集Θ′为标定点，使用摄像机标定方法，确定Oc-xcyczc与Ori-xriyrizri间的Rcri和Tcri，使得 Xc＝RcriXri+Tcri[2] 2.3、标定平面镜坐标系与镜像坐标系之间的欧氏变换关系； 由[1]和[2]式，得出Ori-xriyrizri到Om-xmymzm的欧氏变换关系为 2.4、标定机器人坐标系与平面镜坐标系之间的欧氏变换关系； 在平面镜两侧，Ori-xriyrizri和Om-xmymzm之间的关系与Or-xryrzr和Oom--xomyomzom的关系关于平面镜中心对称，因此可由(Rmri，Tmri)得到(Romr，Tomr) 设由镜面反射成像关系得出 Oom-xomyomzom绕yom轴逆时针旋转180°即是Om-xmymzm，因此两个坐标系之间相差一个旋转矩阵
以Oom-xomyomzom为中介坐标系，由式[4]～[5]得到Or-xryrzr与Om-xmymzm的欧氏变换关系为 Rmr＝Rmom·Romr，Tmr＝Rmom·Tomr[6] 2.5、标定足眼关系； 由以上2。1～2。4各标定步骤，机器人坐标系到摄像机坐标系间的中间坐标系转换关系都已确定，根据中介坐标统一方法，机器人坐标系到摄像机坐标系之间的欧氏变换矩阵Rcr和Tcr即可确定 Rcr＝Rcm·Rmr，Tcr＝Rcm·Tmr+Tcm[7] 而摄像机坐标系到机器人坐标系的欧氏变换矩阵Rrc和Trc为 如上面所述方法所使用的机器人足目标定装置，包括一个带有车载计算机的可移动车体，在该可移动车体上固定着摄像机，其特征在于，在可移动车体上分布着10～30个位置固定的特征点，这些特征点是车体棱边的交点或者固定在车体上的机械构件棱边的交点或者固定在车体上的摄像机支架棱边的交点，上述特征点在机器人坐标系下的坐标是已知的，构成特征点集Θ；在机器人前方放置有一面平面反射镜M，使车体上特征点的镜像点集Θ′能够在摄像机中成像，在平面镜M上有四个已知特征点，它们是一个矩形的四个顶点。
本发明的优点是 1、解决了移动机器人系统的足目标定问题，不需要简化待标定参数，对摄像机固联平台的运动自由度没有要求，也可用于手眼定标。
2、在标定出摄像机内部参数的前提下，则只需在合适位置拍摄一幅平面镜图像即可完成标定任务，简单实用，可实现现场标定。
3、本发明的标定装置，结构简单，加工、维护和使用方便，标定过程不需复杂的安装、调整过程。
图1是本发明足目标定方法和装置的原理图。
图2是本发明中的平面反射镜靶标的结构示意图。
图3是本发明中标定过程中所使用的标定图像。
具体实施例方式 下面对本发明做进一步详细说明。参见图1～3，足目标定过程即确定摄像机坐标系(Oc-xcyczc)和移动机器人车体坐标系(Or-xryrzr)之间的位置关系。本发明的机器人足目标定方法，基于以下的标定装置，一个带有车载计算机的可移动车体，在该可移动车体上固定着摄像机，其特征在于，在可移动车体上分布着10～30个位置固定的特征点，这些特征点是车体棱边的交点或者固定在车体上的机械构件棱边的交点或者固定在车体上的摄像机支架棱边的交点，上述特征点在机器人坐标系下的坐标是已知的，构成特征点集Θ。在机器人前方放置有一面平面反射镜靶标M，使车体上特征点的镜像点集Θ′能够在摄像机中成像。参见图2，在平面镜靶标M上有四个已知特征点A、B、C、D，它们是一个矩形的四个顶点。由这四个已知特征点确定了两条对角线及其交点，基于交比不变原理(可参考Calibration approach for structured-light-stripevision sensor based on the invariance of double cross-ratio，Zhenzhong Wei，2003)生成两条直线上的若干标定点，例如P点，因而平面镜可用作二维靶标。其标定点位置可变，数量可扩展。标定的步骤如下 1、建立坐标系； 符号说明下文出现的下标字母代表不同的坐标系c-摄像机坐标系，m-平面镜坐标系，om-辅助坐标系，ri-镜像坐标系，r机器人坐标系； 1.1、建立机器人坐标系Or-xryrzr；以可移动车体前后轮轴中心连线的中点为原点Or，yr，zr轴分别与车轴平行和垂直，按右手规则规定xr的方向； 1.2、建立摄像机坐标系哦Oc-xcyczc；以摄像机光心为原点Oc，xc，yc轴分别与成像面的横、纵轴平行，zc轴即光轴； 1.3、建立镜像坐标系Ori-xriyrizri；以车体坐标系原点Or的镜像点Ori为原点，yri与zri轴分别和yr与zr轴关于平面镜中心对称，xri与xr轴方向相反； 1.4、建立平面镜坐标系om-xmymzm；以平面镜左上角的特征点为坐标原点，xm与ym轴在镜平面Ω上，与镜平面Ω上四个特征点构成的矩形的两边重合，按右手规则规定zm轴的方向； 1.5、在平面镜的反面Ω′上建立辅助坐标系Oom-xomyomzom；其原点与平面镜坐标系Om-xmymzm的原点重合，xom和zom分别与xm和zm相反，yom与ym重合； 2、标定过程；下面文字中的Xi＝(xiyizi)T(i＝c，m，…)表示坐标系i下的三维点坐标，i表示上述建立的5个坐标系的下标其中之一；Rij(i＝c，m，…，j＝m，om，…)与Tij(i＝c，m，…，j＝m，om，…)分别表示坐标系j到坐标系i的旋转和平移矩阵，j也表示上述建立的5个坐标系的下标其中之一，但是i不同于j； 2.1、标定摄像机坐标系与平面镜坐标系之间的欧氏变换关系； 带有标志点的平面镜是一面二维靶标，因此，根据已标定出的摄像机内部参数，可确定摄像机坐标系Oc-xcyczc与平面镜坐标系om-xmymzm间的欧氏变换关系Rcm，Tcm，使得 Xc＝RcmXm+Tcm [1] 具体方法可参考文章“A Flexible New Technique for CameraCalibration”(Zhang，1999)。
2.2、标定摄像机坐标系与镜像坐标系之间的欧氏变换关系； 以平面镜中的反射镜像点集Θ′为标定点，使用摄像机标定方法，确定Oc-xcyczc与Ori-xriyrizri间欧氏变换关系Rcri，Tcri，使得 Xc＝RcriXri+Tcri[2] 具体方法参见“A versatile camera calibration technique forhigh-accuracy 3D machine vision metrology using off-the-shelf TVcameras and lenses”(Tsai，1987)。
2.3、标定平面镜坐标系与镜像坐标系之间的欧氏变换关系； 由[1]和[2]式，得出Ori-xriyrizri到Om-xmymzm的欧氏变换关系为 2.4、标定机器人坐标系与平面镜坐标系之间的欧氏变换关系； 在平面镜两侧，Ori-xriyrizri和Om-xmymzm之间的关系与Or-xryrzr和Oom-xomyomzom的关系关于平面镜中心对称，因此可由(Rmri，Tmri)得到(Romr，Tomr) 设由镜面反射成像关系得出 Oom-xomyomzom绕yom轴逆时针旋转180°即是Om-xmymzm，因此两个坐标系之间相差一个旋转矩阵
以Oom-xomyomzom为中介坐标系，由式(4)～(5)得到Or-xryrzr与Om-xmymzm的欧氏变换关系 Rmr＝Rmom·Romr，Tmr＝Rmom·Tomr[6] 上述推导方法的原理参见“光电测试技术”(张广军，2003)。
2.5、标定足眼关系； 由以上2.1～2.4各标定步骤，机器人坐标系到摄像机坐标系间的中间坐标系转换关系都已确定，根据中介坐标统一方法，机器人坐标系到摄像机坐标系之间的欧氏变换矩阵Rcr和Tcr可确定 Rcr＝Rcm·Rmr，Tcr＝Rcm·Tmr+Tcm[7] 而摄像机坐标系到机器人坐标系的欧氏变换矩阵Rrc和Trc为 有关中介坐标统一方法可参考“多传感器机器视觉测量系统的研究与应用”(罗明，天津大学博士研究生论文，1996)。
如上面所述方法所使用的机器人足目标定装置，包括一个带有车载计算机的可移动车体，在该可移动车体上固定着摄像机。其特征在于，在可移动车体上分布着10～30个位置固定的特征点，这些特征点是车体棱边的交点或者固定在车体上的机械构件棱边的交点或者固定在车体上的摄像机支架棱边的交点，上述特征点在机器人坐标系下的坐标是已知的，构成特征点集Θ。在机器人前方放置有一面平面反射镜M，参见图2，使车体上特征点的镜像点集Θ′能够在摄像机中成像。在平面镜M上有四个已知特征点，它们是一个矩形的四个顶点。
实施例 本发明标定装置的一个实施例如图1所示，所说的可移动车体的外壳是一个六面体，其上表面的周边有导角。其前表面上固定着一个小六面体，在小六面体的前表面上固定着2～6个六面体。上述各个六面体的顶点都是坐标已知的特征点。所说的平面镜M上有四个已知特征点，它们是一个366×256mm矩形的四个顶点。
在上述标定装置的基础上进行了标定实验。
已知的摄像机内部参数为 内参矩阵两阶径向畸变系数k1＝-0.28900，k2＝-0.06639，两个切向畸变系数k3＝0.0005，k4＝0.00072。
标定装置放置好以后，车载摄像机拍摄到图3中的标定图像。
由式[1]计算平面镜坐标系到摄像机坐标系的旋转与平移矩阵 Tcm＝[-194.9056-193.4822 1648.6289]T 同理，求解镜像坐标系到摄像机坐标系的旋转与平移矩阵 Tcri＝[-23.2453 163.1634 3506.1842]T 按照本发明的各标定步骤，最终确定摄像机坐标系到机器人坐标系的旋转与平移关系 Trc＝[583.7428-8.9876 269.5506]T。
权利要求
1、机器人足目标定方法，基于以下的标定装置，一个带有车载计算机的可移动车体，在该可移动车体上固定着摄像机，其特征在于，在可移动车体上分布着10～30个位置固定的特征点，这些特征点是车体棱边的交点或者固定在车体上的机械构件棱边的交点或者固定在车体上的摄像机支架棱边的交点，上述特征点在机器人坐标系下的坐标是已知的，构成特征点集Θ；在机器人前方放置有一面平面反射镜靶标M，使车体上特征点的镜像点集Θ′能够在摄像机中成像，在平面镜靶标M上有四个已知特征点，它们是一个矩形的四个顶点；标定的步骤如下
1.1、建立坐标系；
符号说明下文出现的下标字母代表不同的坐标系c-摄像机坐标系，m-平面镜坐标系，om-辅助坐标系，ri-镜像坐标系，r机器人坐标系；
1.1.1、建立机器人坐标系Or-xryrzr；以可移动车体前后轮轴中心连线的中点为原点Or，yr、zr轴分别与车轴平行和垂直，按右手规则规定xr的方向；
1.1.2、建立摄像机坐标系Oc-xcyczc；以摄像机光心为原点Oc，xc、yc轴分别与成像面的横、纵轴平行，zc轴即光轴；
1.1.3、建立镜像坐标系Ori-xriyrizri；以车体坐标系原点Or的镜像点Ori为原点，yri与zri轴分别和yr与zr轴关于平面镜中心对称，xri与xr轴方向相反；
1.1.4、建立平面镜坐标系Om-xmymzm；以平面镜左上角的特征点为坐标原点，xm与ym轴在镜平面Ω上，与镜平面Ω上四个特征点构成的矩形的两边重合，按右手规则规定zm轴的方向；
1.1.5、在平面镜的反面Ω′上建立辅助坐标系Oom-xomyomzom；其原点与平面镜坐标系Om-xmymzm的原点重合，xom和xom分别与xm和zm相反，yom与ym重合；
1.2、标定过程；下面文字中的Xi＝(xiyizi)T(i＝c，m，…)表示坐标系i下的三维点坐标，i表示上述建立的5个坐标系的下标其中之一；Rij(i＝c，m，…，j＝m，om，…)与Tij(i＝c，m，…，j＝m，om，…)分别表示坐标系j到坐标系i的旋转和平移矩阵，j也表示上述建立的5个坐标系的下标其中之一，但是i不同于j；
1.2.1、标定摄像机坐标系与平面镜坐标系之间的欧氏变换关系；
根据已标定的摄像机内部参数，确定摄像机坐标系Oc-xcyczc与平面镜坐标系Om-xmymzm间的Rcm和Tcm，使得
Xc＝RcmXm+Tcm[1]
1.2.2、标定摄像机坐标系与镜像坐标系之间的欧氏变换关系；
以平面镜中的反射镜像点集Θ′为标定点，使用摄像机标定方法，确定Oc-xcyczc与Ori-xriyrizri间的Rcri和Tcri，使得
Xc＝RcriXri+Tcri[2]
1.2.3、标定平面镜坐标系与镜像坐标系之间的欧氏变换关系；
由[1]和[2]式，得出Ori-xriyrizri到Om-xmymzm的欧氏变换关系为
1.2.4、标定机器人坐标系与平面镜坐标系之间的欧氏变换关系；
在平面镜两侧，Ori-xriyrizri和Om-xmymzm之间的关系与Or-xryrzr和Oom-xomyomzom的关系关于平面镜中心对称，因此可由(Rmri，Tmri)得到(Romr，Tomr)
设由镜面反射成像关系得出
Oom-xomyomzom绕yom轴逆时针旋转180°即是Om-xmymzm，因此两个坐标系之间相差一个旋转矩阵
以Oom-xomyomzom为中介坐标系，由式[4]～[5]得到Or-xryrzr与Om-xmymzm的欧氏变换关系
Rmr＝Rmom·Romr，Tmr＝Rmom·Tomr[6]
1.2.5、标定足眼关系；
由以上1.2.1～1.2.4各标定步骤，机器人坐标系到摄像机坐标系间的中间坐标系转换关系都已确定，根据中介坐标统一方法，机器人坐标系到摄像机坐标系之间的欧氏变换矩阵Rcr和Tcr即可确定
Rcr＝Rcm·Rmr，Tcr＝Rcm·Tmr+Tcm[7]
而摄像机坐标系到机器人坐标系的欧氏变换矩阵Rrc和Trc为
2、如权利要求1所述方法所使用的机器人足目标定装置，包括一个带有车载计算机的可移动车体，在该可移动车体上固定着摄像机，其特征在于，在可移动车体上分布着10～30个位置固定的特征点，这些特征点是车体棱边的交点或者固定在车体上的机械构件棱边的交点或者固定在车体上的摄像机支架棱边的交点，上述特征点在机器人坐标系下的坐标是已知的，构成特征点集Θ；在机器人前方放置有一面平面反射镜靶标M，使车体上特征点的镜像点集Θ′能够在摄像机中成像，在平面镜靶标M上有四个已知特征点，它们是一个矩形的四个顶点。
全文摘要
本发明属于机器人视觉导航技术领域，涉及对摄像机与机器人位置关系标定方法的改进。基于一个带有车载计算机的可移动车体和摄像机，其特征在于，在可移动车体上分布着10～30个位置固定的特征点，在机器人前方放置有一面平面反射镜靶标M，标定的步骤如下1.建立坐标系；2.以平面镜为中介，建立摄像机坐标系与机器人坐标系的位置关系。本发明解决了移动机器人系统的足目标定问题，不需要简化待标定参数，对摄像机固联平台的运动自由度没有要求，也可用于手眼定标。在标定出摄像机内部参数的前提下，则只需在合适位置拍摄一幅平面镜图像即可完成标定任务，简单实用，可实现现场标定。
文档编号B25J13/00GK101096101SQ200610086639
公开日2008年1月2日 申请日期2006年6月26日 优先权日2006年6月26日
发明者张广军, 李秀智, 魏振忠, 周富强 申请人:北京航空航天大学