工业机器人末端相机在线标定方法与流程
本发明涉及机器人工业相机标定技术领域，尤其是涉及一种工业机器人末端相机在线标定方法及装置。
背景技术：
在工业机器人的机械臂末端安装工业相机，通过视觉图像技术使工业机器人获得一定的智能和柔性工作能力，使工业自动化和智能制造工程中常用的解决方案。为确定空间物体表面某点的三位几何位置与其在相机成像中对应点之间的相互关系，必须建立工业机器人末端执行器上的工业相机成像的几何模型，通过实验与计算获得这些几何模型的参数，这个求解几何模型参数的过程叫相机标定。
现有的相机标定方法需要使用高精度的尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应关系，利用一定的算法获得相机模型的内外参数。这些传统相机标定法需要人工参与，标定效率低，在标定过程中始终需要标定物，且标定物的制作精度会影响标定结果。同时有些场合不适合放置标定物，比如自动化产线上的工业机器人末端相机在作临时调整的情况下，传统相机标定方法无法实时地对相机进行标定，对这类场景的相机标定就要用到相机在线标定的技术。
技术实现要素：
本发明的目的在于为了克服传统相机标定方法的应用局限性，提高相机标定的效率、精度以及稳定性，针对常见的机械臂末端安装工业相机的情况，本发明提出一种工业机器人末端相机在线自动标定的方法，亦称手眼在线标定，手表示工业机器人的末端执行器，眼表示工业相机。这种方法不需要高精度标定物的配合，可以在工业机器人作业场景下，实现全自动地根据特征点重投影建立相机在线标定非线性优化模型，再利用非线性迭代优化方法求解，获得相机在线标定的最优参数。
本发明提供的一种工业机器人末端相机在线标定方法，所述方法适用于工业机器人，所述工业机器人包括末端执行器和工业相机，所述末端执行器与所述工业相机连接，所述包括如下步骤：
通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件，确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数；
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块。
进一步的，所述至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小的方法包括：通过非线性参数模型至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，所述非线性参数模型为：
其中，i为末端执行器控制工业相机第i次运动，n为末端执行器控制工业相机运动的总次数，u和v为相机成像平面的坐标轴，wiu为特征点的实际像点和重投影像点在u轴上的坐标差值，wiv为特征点的实际像点和重投影像点在v轴上的坐标差值；
其中，特征点在标定物坐标系co的物理坐标值为oi，特征点在相机图像坐标系的实际像点坐标值为pi，piu和piv分别为pi在相机图像坐标系中u、v轴上的分量，fu(oi)和fv(oi)分别为oi经重投影变换后的重投影像点在u、v轴上的分量。
进一步的，所述重投影变换坐标模型为：
p＝f(o)＝mjc＝mjtectwetowo
其中，o为标定特征点在标定物坐标系co的物理坐标值，tow为标定物坐标系到基座世界坐标系的变换矩阵，twe为基座世界坐标系到末端执行器坐标系的变换矩阵，tec为末端执行器坐标系到相机坐标系的变换矩阵，tec即手眼变换坐标x，矩阵m为相机内参数矩阵，j为相机畸变参数矩阵。
进一步的，所述手眼变换坐标x为：
其中，r为手眼变换矩阵的旋转矩阵，即r为第一参数，t为手眼变换矩阵的平移向量，即t为第二参数。
进一步的，所述相机畸变参数矩阵包括镜头径向畸变公式，所述镜头径向畸变公式为：
式中，un和vn表示畸变模型下的实际像点，u和v表示无畸变理想像点，u0和v0表示像素坐标系主点，k1、k2为径向畸变比例系数，(x,y)为像点物理坐标实际值。
进一步的，所述通过末端执行器控制工业相机在多个位置采集标定物的图像的方法包括：
工业相机在成像平面上获取特征点的成像坐标(u，v)：
其中，random表示按照括号内的给定范围取随机值，umax为相机u轴方向分辨率，vmax为相机v轴方向分辨率，k为比例系数。
进一步的，所述通过末端执行器控制工业相机在多个位置采集标定物的图像的方法包括：
所述通过末端执行器依据姿态规划结果控制工业相机在多个位置采集标定物的图像。
进一步的，所述姿态规划的方法包括：
特征点在标定物坐标系的物理坐标通过相机投射模型和手眼变换模型得到末端执行器的相对位置，根据该相对位置设置末端执行器的运动。
进一步的，所述相机投射模型为：
其中，fx和fy为相机归一化焦距，cx和cy为光心所在像平面位置，(xc,yc,zc)为相机坐标系下的像点坐标；
所述手眼变换模型为：
其中，(xe,ye,ze)为像点在执行器坐标下的坐标。
一种工业相机的标定装置，包括：
初始参数采集模块，用于通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
初始参数定义模块，用于根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
迭代参数采集模块，用于通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
迭代优化模块，用于将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件：
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块；
确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数。
本发明提供的工业机器人末端相机在线标定方法，整合了工业机器人的姿态规划、工业相机的特征点采集和手眼标定参数优化的流程，能够实现工业机器人末端安装相机的在线自动标定。通过对工业机器人进行姿态规划，让工业相机到达预定位置拍照获取标定物的特征点的成像坐标，通过采集的多组特征点的成像坐标代入根据重投影变换坐标模型建立的误差和最小的非线性优化模型，采用非线性迭代方法迭代出最优的手眼变换矩阵参数，将包含最优参数的手眼变换矩阵作为标定的手眼变换矩阵。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的工业机器人末端相机在线标定方法的流程示意图；
图2为本发明另一实施例提供的工业机器人末端相机在线标定方法的流程示意图；
图3为本发明实施例提供的工业机器人末端相机在线标定方法中相机成像模型示意图；
图4为本发明实施例提供的工业机器人末端相机在线标定方法中工业机器人各坐标系的示意图；
图5为本发明实施例提供的工业相机的标定装置的示意框图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
为了克服传统相机标定方法的应用局限性，提高相机标定的效率、精度以及稳定性，本实施例提供了一种工业机器人末端相机在线标定方法。在工业机器人末端相机在线标定方法主要是求解其标定方程ax＝xb，其中a表示工业机器人位姿变换后相机的相对运动，b表示工业机器人末端执行器的相对运动，x为需要求解的相机坐标系与末端执行器坐标系之间的变换关系。求解这类变换矩阵的方法分为线性求解和非线性求解。其中线性求解变换矩阵方法，其实质是将变换矩阵x解耦为旋转矩阵与平移向量两部分求解，这类方法计算量小，但存在误差传递的情况，精度难以保证。而采用非线性方法求解这类手眼变换矩阵时，通常基于大量数据采用非线性迭代方法完成参数优化，如何选择优化的非线性参数模型是保证优化结果精度及优化速度的关键。
如图1所述，本实施例提供一种工业机器人末端相机在线标定方法，所述方法适用于工业机器人，所述工业机器人包括末端执行器和工业相机，所述末端执行器与所述工业相机连接，所述包括如下步骤：
s110：通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
上述特征点的成像坐标及特征点的像素坐标，如480*320的图像，特征点位置是100*100，则特征点的像素坐标为(100,100)，特征点的成像坐标也为(100,100)。
s120：根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；s130：通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
s140：将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件，确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数；
s150：标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块。
上述标定物的实际像点和重投影像点之间距离和最小具体可以用下面公式表达：
其中，i为末端执行器控制工业相机第i次运动，n为末端执行器控制工业相机运动的总次数，u和v为相机成像平面的坐标轴，wiu为特征点的实际像点和重投影像点在u轴上的坐标差值，wiv为特征点的实际像点和重投影像点在v轴上的坐标差值。
上述重投影变换坐标模型指标定物特征点从标定物坐标系向像素坐标系的转换关系，本申请中采用了标定物坐标系转换至基座世界坐标系，再转换至工业机器人的末端执行器坐标系，经手眼变换关系及相机内参数矩阵得到像素坐标(成像坐标)。
本工业机器人末端相机在线标定方法满足了工业机器人末端相机根据生产任务在做临时调整的情况下，对相机标定高精度、高效率、低成本以及实时性的需求，通过工业机器人的姿态规划、相机图像特征点采集和手眼标定参数优化的流程，根据标定特征点的重投影特性，由标定特征点实际像点与理论像点的误差和最小建立非线性优化模型，并通过非线性迭代方法求得手眼变换矩阵最优参数解，通过模型迭代求得最优解，保证了标定的精度，不需要外在高精度标定物的配合，可实现工业机器人末端安装相机的在线全自动标定。
实施例二
本实施具体提供一种工业相机标定方法的简要步骤，如图2所示。
s210：确定初始重投影变换坐标模型的初始第一参数和初始第二参数并估算手眼变换坐标x；
s220：规划期望像点与姿态；
s230：机器人的末端执行器到位采集标定物的实际像点坐标；
s240：判断实际像点坐标是否满足要求；
s250：记录标定物的实际像点坐标；
s260：根据重投影变换坐标模型计算重投影像点坐标；
s270：通过非线性参数模型迭代优化；
s280：判断是否满足停止条件；
s290：自动手眼标定完成。
实施例三
本实施例具体公开了一种工业机器人末端相机在线标定方法，包括如下步骤：
通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
如图3所示，为保证工业机器人末端相机在线自动标定能得到精确的结果，并具有最佳的效率，每次采集的标定特征点应处在相机成像范围内，并均匀分布在相机的成像平面上。为实现上述效果，工业机器人需要不断进行标定数据采集的姿态规划。
所述通过末端执行器依据姿态规划结果控制工业相机在多个位置采集标定物的图像，工业相机在成像平面上获取特征点的成像坐标(u，v)：
其中，random表示按照括号内的给定范围取随机值，umax为相机u轴方向分辨率，vmax为相机v轴方向分辨率，k为比例系数。所述多个位置的标定物的图像中包括的成像坐标(u，v)为特征点的实际像点坐标；
所述姿态规划的方法包括：
特征点在标定物坐标系的物理坐标通过相机投射模型和手眼变换模型得到末端执行器的相对位置，根据该相对位置设置末端执行器的运动。
所述相机投射模型为：
其中，fx和fy为相机归一化焦距，cx和cy为光心所在像平面位置，(xc,yc,zc)为相机坐标系下的像点坐标；
所述手眼变换模型为：
其中，(xe,ye,ze)为像点在执行器坐标下的坐标。
将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件，确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数；
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，通过非线性参数模型至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块。
所述非线性参数模型为：
其中，i为末端执行器控制工业相机第i次运动，n为末端执行器控制工业相机运动的总次数，u和v为相机成像平面的坐标轴，wiu为特征点的实际像点和重投影像点在u轴上的坐标差值，wiv为特征点的实际像点和重投影像点在v轴上的坐标差值；
其中，特征点在标定物坐标系co的物理坐标值为oi，特征点在相机图像坐标系的实际像点坐标值为pi，piu和piv分别为pi在相机图像坐标系中u、v轴上的分量，fu(oi)和fv(oi)分别为oi经重投影变换后的重投影像点在u、v轴上的分量。
如图4所示，所述重投影变换坐标模型为：
p＝f(o)＝mjc＝mjtectwetowo
其中，o为标定特征点在标定物坐标系co的物理坐标值，tow为标定物坐标系到基座世界坐标系的变换矩阵，twe为基座世界坐标系到末端执行器坐标系的变换矩阵，tec为末端执行器坐标系到相机坐标系的变换矩阵，tec即手眼变换坐标x，矩阵m为相机内参数矩阵，j为相机畸变参数矩阵。
所述手眼变换坐标x为：
其中，r为手眼变换矩阵的旋转矩阵，即r为第一参数，t为手眼变换矩阵的平移向量，即t为第二参数。
所述相机畸变参数矩阵包括镜头径向畸变公式，所述镜头径向畸变公式为：
式中，un和vn表示畸变模型下的实际像点，u和v表示无畸变理想像点，u0和v0表示像素坐标系主点，k1、k2为径向畸变比例系数，(x,y)为像点物理坐标实际值。
实施例四
如图5所示，一种工业相机的标定装置，包括：
初始参数采集模块100，用于通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
初始参数定义模块200，用于根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
迭代参数采集模块300，用于通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
迭代优化模块400，用于将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件：
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块；
确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数。
实施例五
为了验证本发明提出的工业机器人末端相机的在线自动标定方法的可行性和实用性，将本发明方法代入变压器生产线进行实验，整个装配系统由工控机，四轴工业机器人，工业ccd相机，料盘，输送机以及待装配零件构成，所采集特征点的物体采用某公司快换接头，其重复精度为±0.02mm。
该生产线使用四轴工业机器人完成装配工作，其中，手眼变换矩阵x中旋转矩阵r可以表示为
式中，un和vn表示畸变模型下的实际像点，u和v表示无畸变理想像点，u0和v0表示像素坐标系主点，k1、k2为径向畸变比例系数，(x,y)为像点物理坐标实际值。
将线纹尺水平放置于相机视场内，可以标定出当前工作距离下的像素当量dx和dy，根据参数优化模型，需要针对θ，tx，ty，k1，k2进行优化。
迭代方式采用dfp拟牛顿迭代法，这种方法只须选取合适的初值，根据求得的迭代函数的梯度，设定误差要求后即可进行迭代优化，其对参数初值选取的准确度要求不高，同时具有较快的迭代速度。
参数初值需要在离线状态下进行估计，首先让工业机器人在选定的位置放置快换接头，记录末端姿态和世界坐标，同时末端移动到位后采集标定特征点图像。图像处理后获得快换接头圆心的亚像素级坐标值，利用手眼变换矩阵的线性解法，求得手眼变换矩阵相关参数，作为自动标定与迭代优化的参数初值。
随后采用自动标定方法完成标定工作。整套自动标定过程采集的部分数据，如表1所示。
表1在线手眼标定数据采集部分结果
所使用的实验平台中相机安装板与工业机器人小臂平行，故旋转矩阵中的θ初值设为0。由于镜头畸变系数很小，故将k1、k2初值设为0。tx、ty已采用线性方法求得初值。
手眼变换矩阵各参数迭代优化结果如表2所示。
表2手眼标定参数迭代结果
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
- 还没有人留言评论。精彩留言会获得点赞！