一种可配置的手眼标定方法及装置与流程

1.本发明涉及手眼标定领域，具体涉及一种可配置的手眼标定方法及装置。


背景技术：

2.随着科技的迅速发展，工业机器人的应用愈发普及，在工业机器人的研究中，手眼标定技术是视觉引导系统的重要组成部分。它的目的是测算搭载在机械臂末端执行元件上的相机坐标系到末端执行器坐标系的姿态变换矩阵，是保证视觉伺服机械臂准确定位、抓取目标的重要前提。
3.在现代化智能工厂中，为了生产设备的高效利用，我们希望机器人可以参与多个工位的工作，或者需要定期更换执行机构。这就需要经常对工业机器人的手眼系统进行标定。在此类应用场景下，手眼标定应该是快速的，且可以自动化地进行。
4.手眼标定问题在数学上可以表示为求解齐次方程ax＝xb，其中a、b和x均表示齐次形式的旋转平移矩阵，a和b是已知的观测量，x是待求解的手眼变换矩阵。有很多经典的算法可以求解这个方程，他们可以被归结为两个阶段：第一阶段，通过一种线性的方法根据a和b矩阵的旋转轴和转角求解x矩阵的旋转轴和转角；第二阶段，利用第一阶段求得的x矩阵旋转部分的结果线性地求解x矩阵中的平移部分。这类方法可以把复杂的非线性问题转化为形式简单、计算速度更快的线性方程求解。但是第一阶段旋转部分计算产生的误差会在第二阶段平移部分的求解进行扩散，因此标定结果容易受观测数据噪声的影响。当然，如果可以采集足够多的观测数据，就可以一定程度上消除观测误差的影响。
5.要方便的得到机器人和视觉系统之间的相对位姿关系，不仅需要可行的手眼变换矩阵求解算法，更需要一套可以自动化执行的系统，以便获取足够多的观测数据。自动化执行过程中，需要采集一系列的机器人位姿与对应的标定板图像，比较重要的一环就是采集图像位姿的运动规划。为提高手眼标定结果的精度，要遵循四个重要准则：一是尽可能增大相对运动旋转轴之间的夹角；二是尽可能增大相对运动旋转角度；三是尽可能减小标定板到相机光轴中心的距离；四是尽可能减小末端中心在不同姿态之间的距离。
6.以往的手眼标定方案中，一类是纯人工采集数据，对操作人员的专业知识要求较高，记录数据容易出错，标定一次耗费时间较长。另外一类是自动采集数据，在这类方案中，大都采用直接在线规划机器人的运动路径的方法，容易出现两个问题：
7.(1)碰撞或路径不可达问题，与工位上的其他装置发生干涉；
8.(2)由于标定结果受限于标定时采集的数据，在不同的应用场景下，实际精度不像计算出的那么理想。


技术实现要素：

9.本发明为了解决上述问题，提出一种新的手眼标定方法及装置，以避免碰撞和路径不可达问题，提高实际定位、抓取的精度。
10.为达到上述目的，本发明的技术方案为：
11.一种可配置的手眼标定方法，包括离线配置阶段和在线自动标定阶段；
12.离线配置包括如下步骤：
13.离线示教可以采集到清晰图像的多个机器人位姿，并记录到待采集位姿队列；
14.根据需要生成不少于两张具有不同位姿的标定板图像；
15.在线自动标定包括有粗标定和精标定；
16.粗标定包括以下步骤：
17.步骤a、机器人移动到离线配置结果初始化待采集位姿队列的第一个；
18.步骤b、采集标定板图像，并将位姿从队列移除；
19.步骤c、判断标定板图像质量，若满足要求，保存当前实际位姿和标定板图像，否则执行步骤a；
20.步骤d、判断待采集队列是否为空，若是，则机器人运动结束，执行步骤e，否则执行步骤a；
21.步骤e、判断是否至少有n个有效图像，若是，根据已采集的机器人位姿、标定板图像数据计算手眼关系矩阵及其重投影误差，同时标定出相机内参、计算出标定板在机器人坐标系下的位姿，否则，标定失败，重新进行离线配置；
22.精标定包括以下步骤：
23.步骤f、根据粗标定的相机内参、手眼标定结果、标定板在机器人坐标系下的位姿，计算出对应的机械臂末端位姿，依次加入机器人位姿队列；
24.步骤g、机器人移动到该位姿，并采集标定板图像；
25.步骤h、判断是否能正确识别标定板图像，若是，保存当前实际位姿和实际标定板图像，否则执行步骤g；
26.步骤i、判断标定板图像队列是否为空，若是，则执行步骤j，否则执行步骤g；
27.步骤j、判断有效图像数是否大于等于n，若是，则计算相机内参、手眼变换矩阵及其重投影误差，否则直接结束精标定。
28.优选的，离线配置示教机器人位姿包括以下步骤；
29.s1、初始化位姿队列、位姿队列最小长度；
30.s2、机器人移动到一个位姿，采集标定板图像；
31.s3、判断图像是否清晰，若是，则将当前位姿添加到位姿队列，否则执行步骤s2；
32.s4、判断位姿队列长度是否等于最小长度，若是，则离线配置示教机器人结束，否则执行步骤s2。
33.优选的，生成具有不同位姿的标定板图像包括以下步骤：
34.步骤一、初始化相机内参、九宫格区域及标志；
35.步骤二、随机生成一个相机姿态；
36.步骤三、生成标定板图像；
37.步骤四、判断标定板中心是否落在九宫格的中心区；若是，则保存该标定板图像，否则执行步骤二；
38.步骤五、判断每个区域是否已有至少两张不同位姿的图像覆盖，若是，则结束，否则执行步骤二。
39.优选的，在精标定阶段，步骤f中计算机械臂末端位姿的公式如下：
[0040][0041]
式中，是工具末端在机器人基座坐标系下的位姿；是标定板在机器人基座坐标系下的位姿；是标定板在相机坐标系下的位姿，根据相机内参和标定板的物理模型计算；是工具末端在相机坐标系下的位姿。
[0042]
优选的，n的取值为大于等于9。
[0043]
为了实现上述手眼标定方法，本发明还提出一种可配置的手眼标定装置，包括有图像采集模块、显示屏一、显示屏二、带背光光源标定板、光源控制器、机械臂、嵌入式控制系统、基于pc的控制系统；
[0044]
图像采集模块、嵌入式控制系统与基于pc的控制系统通过以太网进行连接；带背光光源标定板与光源控制器连接；机械臂与嵌入式控制系统连接；显示屏一与嵌入式控制系统连接，通过显示屏一进行参数设置；显示屏二与基于pc的控制系统连接，通过显示屏二进行参数设置。
[0045]
与现有技术相比，本发明中的有益效果为：
[0046]
本发明一是可以减少人工干预、避免人工记录数据带来的误差，节省了在线手眼标定流程的时间，在离线配置好后，完成一次在线手眼标定时间可控制在三分钟内；二是可以避免完全自动路径规划引起的碰撞和路径不可达问题，并解决不同应用场景的普遍适用性差的问题。
附图说明
[0047]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0048]
图1离线配置示教机器人位姿流程图；
[0049]
图2随机生成标定板图像流程图；
[0050]
图3为粗标定流程图；
[0051]
图4为精标定流程图；
[0052]
图5为可配置的自动手眼标定装置结构示意图。
[0053]
图中：100、图像采集模块；110、显示屏一；120、显示屏二；130、带背光光源标定板；140、源控制器；150、机械臂；160、嵌入式控制系统；170、基于pc的控制系统。
具体实施方式
[0054]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0055]
如图1
‑
图4所示，本实施例中公开了一种可配置的手眼标定方法，包括离线配置阶段和在线自动标定阶段；
[0056]
一、离线配置包括如下步骤：
[0057]
(1)按照附图1的流程，示教可以采集到清晰图像的一组机器人位姿，位姿选取18～24个，并且位姿之间互不相同，所对应的图像应该覆盖整个视野的九宫格分区，且每个分
区内有不同的旋转角度，示教好后将位姿记录到待采集位姿队列离线。具体的，离线配置示教机器人位姿包括以下步骤：
[0058]
s1、初始化位姿队列、位姿队列最小长度。
[0059]
s2、机器人移动到一个位姿，采集标定板图像。
[0060]
s3、判断图像是否清晰，若是，则将当前位姿添加到位姿队列，否则执行步骤s2。
[0061]
s4、判断位姿队列长度是否等于最小长度，若是，则离线配置示教机器人结束，否则执行步骤s2。
[0062]
(2)根据实际应用场景需要，按附图2流程，已知标定板物理尺寸生成一组位姿差异较大的标定板图像，标定板图像不少于两张。具体的，生成具有不同位姿的标定板图像包括以下步骤：
[0063]
步骤一、初始化相机内参、九宫格区域及标志。
[0064]
步骤二、随机生成一个相机姿态。
[0065]
步骤三、生成标定板图像。
[0066]
步骤四、判断标定板中心是否落在九宫格的中心区；若是，则保存该标定板图像，否则执行步骤二。
[0067]
步骤五、判断每个区域是否已有至少两张不同位姿的图像覆盖，若是，则结束，否则执行步骤二。
[0068]
在上述步骤一中，初始化的内参不需要跟实际相同，根据内参设定一组外参，先通过投影变换计算好标定板在相机坐标系下的坐标，然后根据内参计算出像素坐标，计算公式如下：
[0069][0070]
其中，是相机外参，是标定板某点的世界齐次坐标，是标定板某点的相机齐次坐标。
[0071][0072]
其中，dx、dy分别代表x、y方向的像元大小，u0、v0为图像中心点的像素坐标，f为焦距，γ是扭曲因子，此处按照理想模型设为0。
[0073]
上述过程是程序自动完成的，作为一种延展，也可配置一组符合要求的手动摆拍标定板图像。
[0074]
二、在线自动标定包括有粗标定和精标定；
[0075]
(1)粗标定包括以下步骤：
[0076]
步骤a、机器人移动到离线配置结果初始化待采集位姿队列的第一个。
[0077]
步骤b、采集标定板图像，并将位姿从队列移除。
[0078]
步骤c、判断标定板图像质量，若满足要求，保存当前实际位姿和标定板图像，否则执行步骤a。
[0079]
步骤d、判断待采集队列是否为空，若是，则机器人运动结束，执行步骤e，否则执行步骤a。
[0080]
步骤e、判断是否至少有n个有效图像，若是，根据已采集的机器人位姿、标定板图像数据计算手眼关系矩阵及其重投影误差，同时标定出相机内参、计算出标定板在机器人坐标系下的位姿，否则，标定失败，重新进行离线配置。手眼关系矩阵的计算过程即求解ax＝xb的过程，在此不做赘述。
[0081]
(2)精标定包括以下步骤：
[0082]
步骤f、根据粗标定的相机内参、手眼标定结果、标定板在机器人坐标系下的位姿，计算出对应的机械臂末端位姿，依次加入机器人位姿队列，计算公式如下：
[0083][0084]
上述公式中，是工具末端在机器人基座坐标系下的位姿；是标定板在机器人基座坐标系下的位姿；是标定板在相机坐标系下的位姿，根据相机内参和标定板的物理模型计算；是工具末端在相机坐标系下的位姿，即手眼变换关系。
[0085]
步骤g、机器人移动到该位姿，并采集标定板图像。
[0086]
步骤h、判断是否能正确识别标定板图像，若是，保存当前实际位姿和实际标定板图像，否则执行步骤g。
[0087]
步骤i、判断标定板图像队列是否为空，若是，则执行步骤j，否则执行步骤g。
[0088]
步骤j、判断有效图像数是否大于等于n，若是，则计算相机内参、手眼变换矩阵及其重投影误差，否则直接结束精标定。
[0089]
为了实现上述手眼标定方法，本发明还提出一种可配置的手眼标定装置，包括有图像采集模块100、显示屏一110、显示屏二120、带背光光源标定板130、光源控制器140、机械臂150、嵌入式控制系统160、基于pc的控制系统170；
[0090]
图像采集模块100、嵌入式控制系统160与基于pc的控制系统170通过以太网进行连接；带背光光源标定板130与光源控制器140连接；机械臂150与嵌入式控制系统160连接；显示屏一110与嵌入式控制系统160连接，通过显示屏一110进行参数设置；显示屏二120与基于pc的控制系统170连接，通过显示屏二120进行参数设置。
[0091]
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。