一种鲁棒的面向复杂形状目标物的轮廓视觉伺服控制方法

1.本发明属于机器人视觉伺服控制领域，具体涉及一种鲁棒的面向复杂形状目标物的轮廓视觉伺服控制方法。


背景技术：

2.视觉伺服作为一类重要的控制方式极大地提升了机器人系统的灵活性与智能度。其中，基于图像的视觉伺服(ibvs)利用来自图像空间的特征误差来控制机器人运动。ibvs中一个重要的问题是选择合适的图像特征。在很多实际应用场景中，目标物通常具有复杂的形状，此时最常用的点特征、直线特征可能无法从图像中准确提取。由于轮廓反映了目标物的整体形状，因此可以利用目标物的轮廓信息来构造图像特征进而实现视觉伺服控制，这称之为轮廓视觉伺服。
3.描述轮廓信息的图像特征主要分为两类：图像矩与参数曲线特征。图像矩虽然易于提取计算，但是选择合适的高阶矩通常比较困难，并且图像矩难以处理非封闭的轮廓。参数曲线因其强大的造型能力很适合描述复杂的轮廓曲线，可以处理非封闭的轮廓，同时相比图像矩更加直观。因此，通过参数曲线特征执行视觉伺服控制有利于提升机器人系统对环境的适应性。然而，现有的参数曲线特征难以在复杂形状的表达能力与计算复杂度之间达到很好的平衡。
4.此外，由于光照变化、相机运动等环境噪声，从图像中提取到的参数曲线特征往往是不稳定的。更严重的是，由于某些不当的系统配置，视觉伺服过程可能会出现目标物被遮挡的情况。这些因素都会导致视觉伺服的性能下降，特别是发生遮挡时可能直接导致视觉伺服任务失败。


技术实现要素：

5.本发明的目的是克服现有技术的不足，提出一种鲁棒的面向复杂形状目标物的轮廓视觉伺服控制方法，该方法引入准均匀b样条曲线描述目标物的复杂轮廓并利用曲线的控制顶点构造视觉伺服的图像特征，同时设计了基于扩展卡尔曼滤波与李代数优化的图像特征实时估计模块，实现了鲁棒的轮廓视觉伺服控制。
6.本发明创造的具体技术方案如下：
7.s1、在手眼视觉伺服系统下，给定相机内参、手眼矩阵以及给定机器人期望位姿下的目标物轮廓图像，给定即预先设定已知。利用准均匀b样条曲线对目标物轮廓图像处理，从目标物轮廓图像中提取轮廓并构造出用于控制机器人运动的期望图像特征及其图像坐标；
8.所述的复杂形状目标物通常是指截面不能以基本几何图形描述、且厚度小于5mm的物体。
9.所述的手眼视觉伺服系统包括了相机、机器人和平台，目标物放置在平台上，相机固定在机器人末端，机器人带动相机移动。
10.s2、从机器人当前位姿下实时获取的当前图像中提取出目标物的待伺服图像轮廓，针对待伺服图像轮廓用准均匀b样条曲线提取出当前图像的初步图像特征及其图像坐标；
11.s3、根据图像特征实时估计模块对当前图像的初步图像特征及其图像坐标处理，实现当前图像的准确图像特征和特征深度的最优估计；
12.s4、根据当前图像的准确图像特征和特征深度计算当前图像对应的交互矩阵；
13.s5、根据当前图像的图像特征及其图像坐标与期望图像特征及其图像坐标之间的偏差以及s4中得到的交互矩阵，处理获得用于控制相机运动的矢量输出速度，结合手眼矩阵将矢量输出速度转化为机器人末端的矢量控制速度，进而驱动机器人运动；
14.s6、重复执行s2～s5，直到s5中的偏差收敛至预设范围内，则认为机器人到达期望位姿。
15.所述的步骤s1中，用一条具有n个控制顶点的准均匀b样条曲线对目标物轮廓图像中的轮廓进行拟合，获得n个控制顶点，以n个控制顶点作为视觉伺服的期望图像特征，称其为准均匀b样条特征，并将n个控制顶点的图像坐标作为准均匀b样条特征的图像坐标。
16.此外，控制顶点的数量做如下限制，以控制机器人的6个自由度并避免产生非奇异解：
17.对于非封闭轮廓，控制顶点的数量n不得小于4；
18.对于封闭轮廓，由于首末控制顶点重合，控制顶点的数量n不得小于5。
19.所述步骤s2中，通过canny边缘检测算法和rosenfeld骨架细化算法从相机拍摄到的当前图像中获取目标物的图像轮廓，再用准均匀b样条曲线对目标物轮廓图像拟合获得当前图像的初步图像特征及其图像坐标。
20.所述步骤s3中，图像特征实时估计模块具体处理为：
21.根据s2得到的当前图像中目标物的图像轮廓的完整性，判断目标物是否被遮挡，并对应执行准确图像特征和特征深度的实时最优估计：
22.a、如果目标物没有被遮挡，则直接采用拓展卡尔曼滤波(ekf)对初步图像特征的图像坐标进行最优估计滤波处理，获得准确图像特征的图像坐标及其特征深度；
23.所述的特征深度是指控制顶点离相机成像面之间的距离。
24.b、如果目标物发生遮挡，则：
25.首先，根据当前图像中初步图像特征对应的不完整的图像轮廓，对当前图像的相机位姿mk进行预测，具体是通过求解以下目标函数得到：
[0026][0027]
δm＝exp(δξ
^
)
[0028]
其中，δm为上一时刻与当前时刻间的相机相对位姿，δm通过李代数的形式表示为exp(δξ
^
)，kc为相机内参，m
k-1
为第k-1时刻的相机位姿，为第k时刻下当前图像中被部分遮挡的不完整图像轮廓的采样点，p(ui)为采样点在目标物的cad模型中的对应点；δξ表示李代数表示的相机位姿变换向量，δξ
^
表示将李代数表示的位姿变换向量δξ转换为一个齐次变换矩阵；m表示相机的位姿，k表示时刻的序号，i表示控制顶点的序号，m表示控制顶点的总数。
[0029]
对上述目标函数进行优化求解，优化完成后，获得最优的李代数表示的相机位姿变换向量δξ，在通过公式m
k-1
exp(δξ
^
)计算获得当前图像下预测得到的预测相机位姿mk；
[0030]
然后，利用预测相机位姿mk并根据预设相机的投影关系和已知的目标物的cad模型预测得到当前图像中的目标物完整轮廓，对目标物完整轮廓用准均匀b样条曲线进行拟合获得初步图像特征及其图像坐标，再对初步图像特征的图像坐标采用拓展卡尔曼滤波(ekf)进行最优估计滤波处理，获得准确图像特征的图像坐标及其特征深度。
[0031]
所述步骤s4中，先按照以下公式处理获得当前图像对应的准均匀b样条曲线中单个控制顶点的交互矩阵：
[0032][0033]
其中，(xi,yi)为第i个控制顶点的图像坐标，zi为第i个控制顶点的特征深度，li表示第i个控制顶点的交互矩阵；
[0034]
再由各个控制顶点的交互矩阵构建图像特征中所有控制顶点整体的交互矩阵：
[0035]
l
bf
＝[l
1 l
2 ... ln]
t
[0036]
其中，l
bf
表示图像特征的交互矩阵，ln表示图像特征中第n个控制顶点的交互矩阵，t表示矩阵转置。
[0037]
本发明针对复杂形状目标物的视觉伺服任务，首先利用准均匀b样条曲线描述目标物的复杂轮廓，然后根据曲线的控制顶点构造视觉伺服的图像特征并给出了对应的交互矩阵形式，实现基于轮廓的视觉伺服控制，最后针对目标物可能被遮挡的动态环境，设计了基于扩展卡尔曼滤波与李代数优化的图像特征实时估计模块，该模块可以得到当前图像特征值与特征深度的最优估计，提高了机器人视觉伺服系统的鲁棒性。
[0038]
本发明的有益效果在于：
[0039]
(1)本发明利用准均匀b样条曲线来描述复杂形状目标物的轮廓信息，准均匀b样条曲线兼具强大的形状表达能力与简洁的数学表达形式，在保证视觉伺服性能的基础上降低了轮廓视觉伺服的模型复杂度。
[0040]
(2)本发明通过基于扩展卡尔曼滤波与李代数优化的图像特征实时估计模块，实现了目标物可能被遮挡的动态环境中当前图像特征值与特征深度的最优估计，提高了机器人视觉伺服系统的鲁棒性。
[0041]
(3)本发明提供的轮廓视觉伺服控制方法可直接拓展至复杂形状目标物的机器人视觉伺服任务中，用于指导机器人辅助操作、装配、焊接等实际场景中的机器人初始定位与视觉跟踪，具有较好的工程实用价值。
[0042]
综合而言，本发明通过准均匀b样条曲线特征实现了基于复杂目标物轮廓的机器人视觉伺服控制，同时设计了基于扩展卡尔曼滤波与李代数优化的图像特征实时估计模块，提高了视觉伺服系统对动态遮挡干扰环境的鲁棒性，具有较好的工程实用价值。
附图说明
[0043]
图1是本发明方法的流程图。
[0044]
图2是本发明方法中图像特征实时估计模块的流程图。
[0045]
图3是本发明实施例中机器人视觉伺服系统的示意图。
[0046]
图4是本发明实施例中针对非封闭轮廓目标物的视觉伺服实验结果图。
[0047]
图5是本发明实施例中针对封闭轮廓目标物的视觉伺服实验结果图。
[0048]
图6是本发明实施例中目标物被部分遮挡时的图像特征预测结果图。
[0049]
图中：机器人本体1、服务器2、单目相机3、封闭轮廓目标物4、非封闭轮廓目标物5。
具体实施方式
[0050]
下面以一个6自由度机械臂视觉伺服系统作为实例对本发明作进一步说明。
[0051]
本实施例以一个6自由度机械臂视觉伺服系统进行说明：图3是一个6自由度机械臂视觉伺服系统的总体示意图，包括机器人本体1、服务器2、单目相机3、封闭轮廓目标物4、非封闭轮廓目标物5。机器人本体1是一个6自由度机械臂，单目相机3固定在机械臂末端，目标物包括两种形式，非封闭轮廓目标物5和封闭轮廓目标物4。视觉伺服任务的目标为：根据当前图像轮廓与期望轮廓之间的偏差控制机器人运动，使得当前的图像轮廓与期望轮廓重合。本实施例的实施过程以非封闭轮廓目标物5为例进行详细说明，并给出最终的实验结果。由于封闭轮廓目标物实施过程基本一致，因此仅直接给出其最终的实验结果。
[0052]
如图1所示，实施例的实施过程包括以下步骤：
[0053]
s1、在手眼视觉伺服系统下，给定相机内参、手眼矩阵以及给定机器人期望位姿下的目标物轮廓图像，给定即预先设定已知。利用准均匀b样条曲线对目标物轮廓图像处理，从目标物轮廓图像中提取轮廓并构造出用于控制机器人运动的期望图像特征及其图像坐标；
[0054]
目标物的图像轮廓通过一条具有n个控制顶点的准均匀b样条曲线表示，将n个控制顶点作为视觉伺服的图像特征，并称其为准均匀b样条特征。此外，为了控制机器人的6个自由度并避免产生非奇异解，控制顶点的数量做如下限制：对于非封闭轮廓，n不得小于4；对于封闭轮廓，由于首末控制顶点重合，n不得小于5。
[0055]
本实施例中，准均匀b样条曲线的次数设置为3次，非封闭轮廓目标物的控制顶点数n取8，封闭轮廓目标物的控制顶点数n取20。相机内参的标定结果为：f
x
＝379.89pixels，fy＝379.60pixels，u0＝313.79pixels，v0＝242.24pixels。手眼矩阵的标定结果为：
[0056]
s2、从机器人当前位姿下实时获取的当前图像中提取出目标物的待伺服图像轮廓，针对待伺服图像轮廓用准均匀b样条曲线对其拟合提取出当前图像的初步图像特征及其图像坐标；
[0057]
通过canny边缘检测算法以及rosenfeld骨架细化算法从相机拍摄到的原始图像中获取目标物的图像轮廓，准均匀b样条图像特征的初始值通过曲线拟合得到。
[0058]
s3、根据图像特征实时估计模块对当前图像的初步图像特征的图像坐标处理实现当前图像的准确图像特征和特征深度的最优估计；
[0059]
图2是准均匀b样条图像特征实时估计模块的流程图。在得到当前图像特征初始值的基础上，首先对目标物是否被遮挡进行判定，如果没有遮挡，则直接基于拓展卡尔曼滤波对图像特征值及特征深度进行最优估计，否则先执行基于李代数非线性优化的遮挡特征预
测，然后再进行拓展卡尔曼滤波最优估计，最后得到当前准均匀b样条图像特征与特征深度的最优估计值。
[0060]
a、如果目标物没有被遮挡，则直接采用拓展卡尔曼滤波(ekf)对初步图像特征的图像坐标进行最优估计滤波处理，获得准确图像特征的图像坐标及其特征深度；
[0061]
b、如果目标物发生遮挡，则：
[0062]
首先，根据当前图像中初步图像特征对应的不完整的图像轮廓，对当前图像的相机位姿mk进行预测，具体是通过求解以下目标函数得到：
[0063][0064]
δm＝exp(δξ
^
)
[0065]
采用非线性优化算法对上述目标函数进行优化求解，优化完成后，获得最优的李代数表示的相机位姿变换向量δξ，在通过公式m
k-1exp(δξ
^
)计算获得当前图像下预测得到的预测相机位姿mk；
[0066]
本实施例中，图像轮廓采样点的数量m为40，优化过程通过levenberg
–
marquardt(lm)算法求解。
[0067]
然后，利用预测相机位姿mk并根据预设相机的投影关系和已知的目标物的cad模型预测得到当前图像中的目标物完整轮廓，对目标物完整轮廓用准均匀b样条曲线进行拟合获得初步图像特征及其图像坐标，再对初步图像特征的图像坐标采用拓展卡尔曼滤波(ekf)进行最优估计滤波处理，获得准确图像特征的图像坐标及其特征深度。
[0068]
s4、根据当前图像的准确图像特征和特征深度计算当前图像对应的交互矩阵；
[0069]
先按照以下公式处理获得当前图像对应的准均匀b样条曲线中单个控制顶点的交互矩阵：
[0070][0071]
再由各个控制顶点的交互矩阵构建图像特征中所有控制顶点整体的交互矩阵：
[0072]
l
bf
＝[l
1 l
2 ... ln]
t
[0073]
s5、根据当前图像的图像特征的图像坐标与期望图像特征的图像坐标之间的偏差以及s4中得到的交互矩阵，处理获得用于控制相机运动的矢量输出速度，结合手眼矩阵将矢量输出速度转化为机器人末端的矢量控制速度，进而驱动机器人运动；
[0074]
本实施例中，采用比例控制器计算控制相机运动的输出速度，增益设置为0.2。
[0075]
s6、重复执行s2～s5，直到s5中的偏差收敛至预设范围内，则认为机器人到达期望位姿。
[0076]
实验结果如图4-图6所示。
[0077]
图4所示为针对非封闭轮廓目标物的视觉伺服实验结果，其中图4(a)为图像中目标物的初始和期望位置，图4(b)是相机运动过程中的特征轨迹与最终的收敛情况，图4(c)是图像误差的收敛情况，图4(d)是相机速度。
[0078]
图5所示为针对封闭轮廓目标物的视觉伺服实验结果，其中图5(a)为图像中目标
物的初始和期望位置，图5(b)是相机运动过程中的特征轨迹与最终的收敛情况，图5(c)是图像误差的收敛情况，图5(d)是相机速度。
[0079]
综合图4、图5可以看出，图像特征误差收敛至接近零，最终的图像轮廓与期望轮廓重合，视觉伺服任务顺利完成。
[0080]
此外，在视觉伺服过程中通过设置随机的人为干扰对目标进行部分遮挡。图6所示为目标物被部分遮挡时图像特征的预测结果，其中图6(a)、图6(b)为非封闭轮廓目标物的预测结果，图6(c)、图6(d)为封闭轮廓目标物的预测结果。可以看出，当目标物发生遮挡时，当前的图像特征曲线被准确预测出来，视觉伺服正常执行。
[0081]
综合以上实施例的结果可以看出，本发明提供的方法对于复杂形状目标物的轮廓视觉伺服控制是有效的，对目标物可能发生的遮挡是鲁棒的。
[0082]
本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。