一种相机与机械手的标定方法及系统与流程

1.本发明涉及工业机器人标定技术领域，尤其涉及一种相机与机械手的标定方法及系统。


背景技术：

2.工业机器人作为工业自动化领域中最常见的设备，以其安全高效、自动化程度高等优点，广泛应用于诸多生产制造行业。如汽车、家电、物流等行业，通过采用工业机器人来代替人工实现工件的搬运或上下料等，特别在具有一定危险性、或者恶劣的生产环境下，采用工业机器人来代替人工生产可以提高生产效率，降低人工成本。
3.传统的工业机器人通过提前示教好位置后，机器人按照示教的位置进行往复运动，在此情况下需要保证机器人在抓取工件之前，工件的摆放位置应该尽量保持不变，否则导致工件抓取失败。随着工业生产制造过程多样化、复杂化，当生产过程中，来料工件的位置随机发生变化，在此情形下，则不能仅靠提前示教好机器人位置来实现对工件的抓取。近些年，随着机器视觉快速发展，通过视觉引导工业机器人实现物体精确抓取，已成为工业自动化领域研究热点。所谓的视觉引导，则是先采用工业相机来确定工件位置，然后将该位置反馈给工业机器人，实现对工件的精确抓取。而要想实现工件的精确抓取，首先要保证相机坐标系与工业机器人坐标系之间的标定精度，即相机坐标系转换为机器人坐标系下的标定精度，该精度要在工业机器人抓取所要求的精度之上，否则将直接影响后续工业机器人对工件抓取结果。根据相机在机械手上的安装方式，可分为固定相机(eye to hand)和手部相机(eye in hand)两种方式。其中，固定相机是指相机固定安装在工业机器人手臂之外的某个固定位置。手部相机是指相机安装在工业机器人手臂上，即相机固连在工业机器人末端处。
4.针对固定相机的手眼标定方式，当前所采用标定方法主要包括：
5.(1)在机械手末端中心处，固连一根针，然后在相机的视野内放一张纸，每当机械手移动到一个新的位置，则将机械手末端处的针在纸上扎对应的孔，并用相机识别该孔的图像坐标，通过将机械手移动到不同的位置，并记录图像坐标和机械手位置坐标，实现相机与机械手之间的标定。采用该方法要想保证标定精度，需确保针的安装位置与机械手末端中心相重合，因此对机构有较高的安装要求。
6.(2)当标定物中心与机械手末端中心非同轴，即标定物中心与机械手末端中心具有一定臂长的时候，采用平移和旋转相结合来实现相机与机械手标定，具体的方法是当标定物固连在机械手末端之后，机械手首先平移系列位置，并记录标定物在不同位置下的图像坐标，并得出平移标定的结果，然后机械手移动到起始点，并在起始点位置开始作一系列旋转运动，记录旋转到不同位置时图像坐标，利用平移标定结果将旋转后图像坐标转为机械手坐标，并采用圆拟合的方法计算出标定物中心与机械手末端的距离d，最后将之前平移时机械手坐标点与距离d叠加后，计算出标定物在机械手坐标系下真实位置，根据标定物坐标和所对应的图像坐标，即可确定相机与机械手的标定关系，而采用该方法要想保证标定
精度，要确保机械手在相机视野内的旋转角度范围尽可能的大，只有这样才能确保拟合出来圆的精度，因为拟合圆的半径大小直接决定所计算出的标定物中心与机械手末端距离是否与真实值一样。而对于相机视野小，或者标定物距离机械手末端较远的情况下，机械手可旋转的角度通常都比较小，否则将会超出视野范围。若采用上述方法，所拟合出来圆的精度较差，造成标定结果有很大的误差。
7.针对手部相机的手眼标定方式，所采用的标定方式也可以用上述方法(2)进行标定，但采用该方法进行标定时，如果相机距离机械手末端的距离较远，或者相机视野范围较小，那么相机与机械手标定的精度将会降低，甚至标定错误导致在现场无法使用。


技术实现要素：

8.本发明要解决的技术问题在于，针对上述背景技术中提及的相关技术存在的至少一个缺陷：目前手眼标定过程中，标定场景存在相机视野范围小，或者相机、标定物中心与机械手末端中心距离较长的大臂长结构，导致手眼标定精度差的问题，提供一种相机与机械手的标定方法及系统。
9.本发明解决其技术问题所采用的技术方案是：构造一种相机与机械手的标定方法，所述相机固定安装在所述机械手之外的一固定位置，标定物通过连接臂固定安装在所述机械手的末端处；或，所述相机通过所述连接臂固定安装在所述机械手的末端处，所述标定物固定安装在所述机械手之外的一固定位置，所述方法包括以下步骤：
10.s1：控制所述机械手移动至不同位置，且所述标定物在所述相机的视野范围内；
11.s2：记录不同位置下的机械手坐标(x，y，r)以及标定物图像坐标(ui，vi)；
12.s3：根据与所述相机的安装方式对应的标定公式，来对不同位置下的所述机械手坐标(x，y，r)及其对应的所述标定物图像坐标(ui，vi)进行计算，得到相机坐标系与机械手坐标系的映射关系，完成标定。
13.优选地，在本发明所述的相机与机械手的标定方法中，步骤s1包括：
14.s11：控制所述机械手移动至不同位置；
15.s12：判断所述标定物是否在所述相机的视野范围内，若否，则执行s13；若是，则执行s2；
16.s13：控制所述机械手平移，并返回执行s12。
17.优选地，在本发明所述的相机与机械手的标定方法中，以所述连接臂的长度作x轴，并分别作平行于地面的y轴和垂直于地面的z轴；
18.所述移动包括所述机械手在x轴和/或y轴上的平移，以及所述机械手末端绕z轴的旋转中的至少一种。
19.优选地，在本发明所述的相机与机械手的标定方法中，所述机械手移动的次数为4次以上。
20.优选地，在本发明所述的相机与机械手的标定方法中，所述机械手末端绕z轴旋转的旋转角度r为10
°
以上。
21.优选地，在本发明所述的相机与机械手的标定方法中，所述记录不同位置下的标定物图像坐标(ui，vi)包括：
22.根据所述相机采集的标定物图像，通过预设的图形识别工具识别和定位所述标定
物图像中预设特征的图像坐标，并进行记录。
23.优选地，在本发明所述的相机与机械手的标定方法中，本方法还包括：
24.s0：根据所述相机采集的标定物图像，在所述标定物图像上选取特征，建立所述图形识别工具，用于识别和定位所述标定物图像中所述特征的图像坐标。
25.优选地，在本发明所述的相机与机械手的标定方法中，步骤s3包括：
26.根据与所述相机固定安装在所述机械手之外的一固定位置对应的标定公式，来对不同位置下的所述机械手坐标(x，y，r)及其对应的所述标定物图像坐标(ui，vi)进行最小二乘法计算，得到相机坐标系与机械手base坐标系的映射关系，完成标定；
27.其中，与所述相机固定安装在所述机械手之外的一固定位置对应的标定公式为：
[0028][0029][0030]
为所述机械手移动至位置i时所对应的所述标定物图像坐标；inv为矩阵求逆运算；为机械手坐标(x，y，r)转换为矩阵，r为旋转角度；为相机坐标系与机械手base坐标系的映射关系。
[0031]
优选地，在本发明所述的相机与机械手的标定方法中，步骤s3包括：
[0032]
根据与所述相机通过所述连接臂固定安装在所述机械手的末端处对应的标定公式，来对不同位置下的所述机械手坐标(x，y，r)及其对应的所述标定物图像坐标(ui，vi)进行最小二乘法计算，得到相机坐标系与机械手tool坐标系的映射关系，完成标定；
[0033]
与所述相机通过所述连接臂固定安装在所述机械手的末端处对应的标定公式为：
[0034][0035][0036]
为所述机械手移动至位置i时所对应的所述标定物图像坐标；inv为矩阵求逆运算；为机械手坐标(x，y，r)转换为矩阵，r为旋转角度；为相机坐标系与机械手tool坐标系的映射关系。
[0037]
本发明还构造了一种相机与机械手的标定系统，所述相机固定安装在所述机械手之外的一固定位置，标定物通过连接臂固定安装在所述机械手的末端处；或，所述相机通过所述连接臂固定安装在所述机械手的末端处，所述标定物固定安装在所述机械手之外的一
固定位置，包括：
[0038]
控制模块，用于控制所述机械手移动至不同位置，且所述标定物在所述相机的视野范围内；
[0039]
记录模块，用于记录当前位置下的机械手坐标(x，y，r)以及标定物图像坐标(ui，vi)；
[0040]
标定模块，用于根据与所述相机的安装方式对应的标定公式，来对所述机械手坐标(x，y，r)及其对应的所述标定物图像坐标(ui，vi)进行计算，得到相机坐标系与机械手坐标系的映射关系，完成标定。
[0041]
通过实施本发明，具有以下有益效果：
[0042]
本发明标定过程简单，标定精度高，且适用于不同的标定场景，特别是相机固定安装在机械手之外的一固定位置，标定物通过连接臂固定安装在机械手的末端处的场景，或者相机通过连接臂固定安装在机械手的末端处，标定物固定安装在机械手之外的一固定位置的场景。
附图说明
[0043]
下面将结合附图及实施例对本发明作进一步说明，附图中：
[0044]
图1是本发明相机与机械手的标定方法的流程示意图；
[0045]
图2是本发明相机固定安装在机械手之外的一固定位置，标定物通过连接臂固定安装在机械手的末端处的示意图；
[0046]
图3是本发明相机通过连接臂固定安装在机械手的末端处，标定物固定安装在机械手之外的一固定位置的示意图；
[0047]
图4是本发明相机与机械手的标定系统的模块框图。
具体实施方式
[0048]
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
[0049]
需要说明的是，附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0050]
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0051]
如图1和2所示，本发明的第一实施例公开了一种相机与机械手的标定方法，该方法适用于相机3固定安装在机械手1之外的一固定位置，标定物4通过连接臂2固定安装在机械手1的末端处的场景，该场景存在相机3视野范围小，或者标定物4中心与机械手1末端中心距离较长的连接臂2，导致手眼标定精度差的问题。在其他一些实施例中，该方法还可适用于常规标定，即没有连接臂2的场景，标定物4直接固定安装在机械手1的末端处。
[0052]
该方法包括以下步骤：
[0053]
s0：根据相机3采集的标定物图像，在标定物图像上选取特征，建立图形识别工具，
用于识别和定位标定物图像中特征的图像坐标。
[0054]
其中，标定物4为具有显著特征的工件，例如标定板。选取的特征可以为图像中标定物4的相邻两条边交点，或者图像中标定物4中心等。
[0055]
s1：控制机械手1移动至不同位置，且标定物4在相机3的视野范围内。
[0056]
具体地，步骤s1包括：
[0057]
s11：控制机械手1移动至不同位置，当机械手1移动到不同位置时，标定物4的位置也随之发生改变；
[0058]
s12：判断标定物4是否在相机3的视野范围内，若否，则执行s13；若是，则执行s2；
[0059]
s13：控制机械手1平移，并返回执行s12。
[0060]
其中，以连接臂2的长度作x轴，并分别作平行于地面的y轴和垂直于地面的z轴，因此移动包括机械手1在x轴和/或y轴上的平移，以及机械手1末端绕z轴的旋转中的至少一种。机械手1移动一系列位置时，可以先进行平移运动，实现标定物图像坐标和机械手坐标的采集，然后再进行旋转运动，实现标定物图像坐标和机械手坐标的采集。
[0061]
并且，为了确保计算标定结果的精度，机械手1移动的次数为4次以上。
[0062]
另外，机械手1在移动过程中，机械手1末端的旋转角度范围选择尽量大，例如机械手1末端绕z轴旋转的旋转角度r为10
°
以上，旋转角度范围越大，方程拟合计算出来的结果越准确，并且该旋转角度范围超过实际来料的最大角度的话，可以防止由于来料角度过大，造成机械手1抓取失败等异常情况发生。如果出现因旋转角度过大，导致标定物4超出相机3视野范围内，则可以采用平移的方式将标定物4拉回相机3视野范围内。
[0063]
s2：记录不同位置下的机械手坐标(x，y，r)以及标定物图像坐标(ui，vi)。其中，机械手坐标(x，y，r)为机械手base坐标系下的坐标，标定物图像坐标(ui，vi)为相机坐标系下的坐标。
[0064]
具体地，所述记录不同位置下的标定物图像坐标(ui，vi)，包括：根据相机3采集的标定物图像，通过预设的图形识别工具识别和定位标定物图像中预设特征的图像坐标(ui，vi)，并进行记录。
[0065]
s3：根据与相机3的安装方式对应的标定公式，来对不同位置下的机械手坐标(x，y，r)及其对应的标定物图像坐标(ui，vi)进行计算，得到相机坐标系与机械手坐标系的映射关系，完成标定。
[0066]
具体地，步骤s3包括：
[0067]
根据与相机3固定安装在机械手1之外的一固定位置对应的标定公式，来对不同位置下的机械手坐标(x，y，r)及其对应的标定物图像坐标(ui，vi)进行最小二乘法计算，得到相机坐标系与机械手base坐标系的映射关系，完成标定。
[0068]
在此需要说明的是，不是每个位置都要标定一次，通过先采集一系列不同位置的机械手坐标(x，y，r)及其对应的标定物图像坐标(ui，vi)，将这些坐标代入公式(1)和(2)，运用最小二乘方法拟合求解出最后标定结果。
[0069]
其中，与相机3固定安装在机械手1之外的一固定位置对应的标定公式为：
[0070]
[0071][0072]
i＝0、1、2
…
；为机械手1移动至位置i时所对应的标定物图像坐标；inv为矩阵求逆运算；为机械手坐标(x，y，r)转换为矩阵，r为旋转角度；为相机坐标系与机械手base坐标系的映射关系，即标定结果，其形式为
[0073]
如图1和3所示，本发明的第二实施例公开了一种相机与机械手的标定方法，该方法适用于相机3通过连接臂2固定安装在机械手1的末端处，标定物4固定安装在机械手1之外的一固定位置的场景，该场景存在相机3视野范围小，或者标定物4中心与机械手1末端中心距离较长的连接臂2，导致手眼标定精度差的问题。在其他一些实施例中，该方法还可适用于常规标定，即没有连接臂2的场景，相机3直接固定安装在机械手1的末端处。
[0074]
该方法包括第一实施例中s1至s3的步骤，在此不再赘述。不同的是，该实施例中步骤s3包括：
[0075]
根据与相机3通过连接臂2固定安装在机械手1的末端处对应的标定公式，来对不同位置下的机械手坐标(x，y，r)及其对应的标定物图像坐标(ui，vi)进行最小二乘法计算，得到相机坐标系与机械手tool坐标系的映射关系，完成标定。
[0076]
在此需要说明的是，不是每个位置都要标定一次，通过先采集一系列不同位置的机械手坐标(x，y，r)及其对应的标定物图像坐标(ui，vi)，将这些坐标代入公式(3)和(2)，运用最小二乘方法拟合求解出最后标定结果。
[0077]
其中，与相机3通过连接臂2固定安装在机械手1的末端处对应的标定公式为：
[0078][0079][0080]
i＝0、1、2
…
；为机械手1移动至位置i时所对应的标定物图像坐标；inv为矩阵求逆运算；为机械手坐标(x，y，r)转换为矩阵，r为旋转角度；为相机坐标系与机械手tool坐标系的映射关系，即标定结果，其形式为
[0081]
如图2和4所示，本发明的第三实施例公开了一种相机3与机械手1的标定系统，该
系统适用于相机3固定安装在机械手1之外的一固定位置，标定物4通过连接臂2固定安装在机械手1的末端处的场景，该场景存在相机3视野范围小，或者标定物4中心与机械手1末端中心距离较长的连接臂2，导致手眼标定精度差的问题。在其他一些实施例中，该系统还可适用于常规标定，即没有连接臂2的场景，标定物4直接固定安装在机械手1的末端处。
[0082]
该系统包括：
[0083]
建立模块，用于根据相机3采集的标定物图像，在标定物图像上选取特征，建立图形识别工具，用于识别和定位标定物图像中特征的图像坐标。
[0084]
其中，标定物4为具有显著特征的工件，例如标定板。选取的特征可以为图像中标定物4的相邻两条边交点，或者图像中标定物4中心等。
[0085]
控制模块，用于控制机械手1移动至不同位置，且标定物4在相机3的视野范围内；
[0086]
具体地，控制模块包括：
[0087]
第一控制单元，用于控制机械手1移动至不同位置，当机械手1移动到不同位置时，标定物4的位置也随之发生改变。
[0088]
判断单元，用于判断标定物4是否在相机3的视野范围内，若否，则跳转至第二控制单元；若是，则跳转至记录模块。
[0089]
第二控制单元，用于控制机械手1平移，并跳转至判断单元。
[0090]
其中，以连接臂2的长度作x轴，并分别作平行于地面的y轴和垂直于地面的z轴，因此移动包括机械手1在x轴和/或y轴上的平移，以及机械手1末端绕z轴的旋转中的至少一种。机械手1移动一系列位置时，可以先进行平移运动，实现标定物图像坐标和机械手坐标的采集，然后再进行旋转运动，实现标定物图像坐标和机械手坐标的采集。
[0091]
并且，为了确保计算标定结果的精度，机械手1移动的次数为4次以上。
[0092]
另外，机械手1在移动过程中，机械手1末端的旋转角度范围选择尽量大，例如机械手1末端绕z轴旋转的旋转角度r为10
°
以上，旋转角度范围越大，方程拟合计算出来的结果越准确，并且该旋转角度范围超过实际来料的最大角度的话，可以防止由于来料角度过大，造成机械手1抓取失败等异常情况发生。如果出现因旋转角度过大，导致标定物4超出相机3视野范围内，则可以采用平移的方式将标定物4拉回相机3视野范围内。
[0093]
记录模块，用于记录当前位置下的机械手坐标(x，y，r)以及标定物图像坐标(ui，vi)。其中，机械手坐标(x，y，r)为机械手base坐标系下的坐标，标定物图像坐标(ui，vi)为相机坐标系下的坐标。
[0094]
具体地，所述记录不同位置下的标定物图像坐标(ui，vi)，包括：根据相机3采集的标定物图像，通过预设的图形识别工具识别和定位标定物图像中预设特征的图像坐标(ui，vi)，并进行记录。
[0095]
标定模块，用于根据与相机3的安装方式对应的标定公式，来对机械手坐标(x，y，r)及其对应的标定物图像坐标(ui，vi)进行计算，得到相机坐标系与机械手坐标系的映射关系，完成标定。
[0096]
具体地，标定模块，进一步用于根据与相机3固定安装在机械手1之外的一固定位置对应的标定公式，来对不同位置下的机械手坐标(x，y，r)及其对应的标定物图像坐标(ui，vi)进行最小二乘法计算，得到相机坐标系与机械手base坐标系的映射关系，完成标定。
[0097]
在此需要说明的是，不是每个位置都要标定一次，通过先采集一系列不同位置的
机械手坐标(x，y，r)及其对应的标定物图像坐标(ui，vi)，将这些坐标代入公式(1)和(2)，运用最小二乘方法拟合求解出最后标定结果。
[0098]
其中，与相机3固定安装在机械手1之外的一固定位置对应的标定公式为：
[0099][0100][0101]
i＝0、1、2
…
；为机械手1移动至位置i时所对应的标定物图像坐标；inv为矩阵求逆运算；为机械手坐标(x，y，r)转换为矩阵，r为旋转角度；为相机坐标系与机械手base坐标系的映射关系，即标定结果，其形式为
[0102]
如图3和4所示，本发明的第四实施例公开了一种相机3与机械手1的标定系统，该系统适用于相机3通过连接臂2固定安装在机械手1的末端处，标定物4固定安装在机械手1之外的一固定位置的场景，该场景存在相机3视野范围小，或者标定物4中心与机械手1末端中心距离较长的连接臂2，导致手眼标定精度差的问题。在其他一些实施例中，该系统还可适用于常规标定，即没有连接臂2的场景，相机3直接固定安装在机械手1的末端处。
[0103]
该系统包括第三实施例中的建立模块、控制模块、记录模块和标定模块，在此不再赘述。不同的是，该实施例中标定模块进一步用于根据与相机3通过连接臂2固定安装在机械手1的末端处对应的标定公式，来对不同位置下的机械手坐标(x，y，r)及其对应的标定物图像坐标(ui，vi)进行最小二乘法计算，得到相机坐标系与机械手tool坐标系的映射关系，完成标定。
[0104]
在此需要说明的是，不是每个位置都要标定一次，通过先采集一系列不同位置的机械手坐标(x，y，r)及其对应的标定物图像坐标(ui，vi)，将这些坐标代入公式(3)和(2)，运用最小二乘方法拟合求解出最后标定结果。
[0105]
其中，与相机3通过连接臂2固定安装在机械手1的末端处对应的标定公式为：
[0106][0107][0108]
i＝0、1、2
…
；为机械手1移动至位置i时所对应的标定物图像坐标；inv为矩
阵求逆运算；为机械手坐标(x，y，r)转换为矩阵，r为旋转角度；为相机坐标系与机械手tool坐标系的映射关系，即标定结果，其形式为
[0109]
在此需要说明的是，第一实施例和第二实施例为或的关系，第三实施例和第四实施例也为或的关系。
[0110]
通过实施本发明，具有以下有益效果：
[0111]
本发明标定过程简单，标定精度高，且适用于不同的标定场景，特别是相机固定安装在机械手之外的一固定位置，标定物通过连接臂固定安装在机械手的末端处的场景，或者相机通过连接臂固定安装在机械手的末端处，标定物固定安装在机械手之外的一固定位置的场景。
[0112]
可以理解的，以上实施例仅表达了本发明的部分实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，可以对上述实施例或技术特点进行自由组合，还可以做出若干变形和改进，这些都属于本发明的保护范围，即“在一些实施例”所描述的实施例可与上下任一实施例进行自由组合；因此，凡跟本发明权利要求范围所做的等同变换与修饰，均应属于本发明权利要求的涵盖范围。