基于双目视觉伺服的空间高精度装配方法和系统

1.本发明涉及一种基于双目视觉伺服的空间高精度装配方法和系统，属于机器人技术领域。


背景技术：

2.实现3c(计算机类、通信类、消费电子类)行业的装配自动化对于整个工业领域具有极大的工业应用价值。在3c小部件的装配过程中，待装配的两个部件需保持严格的相对位姿，而且3c部件的装配尺寸小，一般是亚毫米级别的精度要求。在现有的工业装配应用场合，“先看后动”的开环装配方法对机器人定位精度高于重复定位精度，且对手眼标定精度误差也要尽可能小，同时在不具备实时反馈的条件下，任何不确定性都会导致装配过程失败。
3.视觉伺服技术在机器人定位过程中能实时地提供视觉反馈信息，一方面能够有效的减少对机器人标定精度、手眼标定精度的依赖，同时能够保证机器人定位的精度。目前3c部件的装配场多的技术挑战。比如，在利用3t1r
‑
3r并联双臂机器人进行协同装配的过程中，3t1r上臂机构和3r下臂机构均属于欠自由度机构，难以得到高精度手眼标定结果，因此使用基于位姿估计的开环装配方法无法满足装配要求。


技术实现要素：

4.本发明提供基于双目视觉伺服的空间高精度装配方法和系统，旨在至少解决现有技术中存在的技术问题之一。
5.本发明的技术方案基于一种七自由度并联双模块机器人，包括：框架组件，该框架组件在底部具有基座；支撑在所述的框架组件上部的三移动一转动并联机构(上臂机构)，所述三移动一转动并联机构包括支撑在框架组件的多个不同位置的多个驱动支链和具有自转轴的动平台，其中，每个驱动支链包括滑块和连杆组件，所述多个驱动支链的滑块都被设置成沿互相平行的直线方向运动，该连杆组件的第一端通过球面副与所述的滑块连接，所述动平台分别与每个驱动支链的连杆组件的第二端通过球面副连接；支撑在所述的框架组件下部的纯转动三自由度机构(下臂机构)，所述纯转动三自由度机构包括：纯转动平台；安装在所述基座上的中心转动支链，该中心转动支链的上端通过万向联轴节与所述的纯转动平台底部的中间位置连接，该中心转动支链的下端通过球面副与基座上安装的支柱连接；安装在基座上的多个直线驱动支链，所述的多个直线驱动支链中的每一个直线驱动支链通过球面副与所述的纯转动平台底部的边缘位置连接。
6.本发明的技术方案一方面涉及一种基于双目视觉伺服的空间高精度装配方法，用于在上述的双模块机器人中对零部件的装配，其中，在所述上臂机构的末端动平台上设有双目视觉系统和装配夹具，待装配的零部件至少由所述下臂机构的末端动平台限定位置。在本方面，根据本发明的方法包括以下步骤：
7.s1、触发双目视觉系统中的左目相机和右目相机同时检测待装配零部件中的目
标，从相机捕捉的图像中实时提取所述目标中当前特征点的像素坐标；
8.s2、基于特征点之间的直线约束，对左目相机和右目相机中的任一相机所捕捉的不完整的目标，实施双目视野的三维重建；
9.s3、根据特征点的像素误差，通过图像雅可比矩阵建立特征点和相机速度的关系，获得基坐标系下的目标的速度，并且在上臂机构和下臂机构之间进行自由度限制下的速度分配。
10.进一步，所述步骤s1包括：
11.s11、对所述左目相机和所述右目相机所捕获的图像进行均值滤波平滑，并且将图像转至hsv颜色空间，进行颜色阈值分割；
12.s12、通过轮廓检测和椭圆中心点拟合算法，检测所述目标中的多个特征点及计算坐标；
13.s13、在检测到的多个特征点中，计算特征点之间的距离，从而选取距离超过一阈值的至少四个特征点建立连接线，其中，多个的特征点的连线之间具有平行、共线和垂直中的多个几何约束关系。
14.进一步，所述步骤s13还包括：选取所述左目相机和所述右目相机所捕获的图像的重叠部分中的特征点作为实施双目视野的三维重建的公共参考点。
15.进一步，所述步骤s2包括：
16.s21、分别对于左目相机和右目相机所捕捉的图片，从多个特征点中，通过第一几何约束关系分别求解左目相机和右目相机所采集的图像中的目标特征点的三维坐标；
17.s22、分别对于左目相机和右目相机所捕捉的图片，求解所述目标特征点相对于公共参考点的距离和连线；
18.s23、引入第二几何约束关系，所述第二几何约束关系为左目相机和右目相机所捕捉的目标特征点与公共参考点之间的几何关系，并且在实施双目视野的三维重建时，通过所述第二几何约束关系，将所述左目相机和所述右目相机的三维重建图像数据合并。
19.进一步，所述第一几何约束关系为垂直关系，所述第二几何约束关系为共线关系，所述目标特征点包括待装配零部件中沿矩形四角分布的四个角点。
20.优选地，所述步骤s2进一步包括：通过以下方程组求解所采集的图像中的像素点在双目视觉系统的相机坐标系对应深度值
[0021][0022][0023]
其中，
[0024]
s
l
、s
r
分别是左目相机和右目相机所采集的图像的像素点在相机坐标系下的深度值，
[0025]
k
l
、k
r
分别是左目相机和右目相机的内参标定矩阵，为右相机到左相机的空间变换旋转矩阵，
[0026]
分别是左目相机和右目相机所采集的图像平面上的像素齐次坐标，
[0027]
是右目相机到左目相机的空间变换旋转矩阵，
[0028]
a＝y2‑
y1，b＝x1‑
x2，c＝x2y1‑
x1y2，其中，(x1，y1)和(x2，y2)分别是左目相机所采集的图像中的两个特征点的像素坐标；
[0029]
然后根据双目视觉系统中的左目相机和右目相机的相机数学模型，计算多个所述目标特征点在所述相机坐标系下的坐标，以基于所述相机坐标系实施双目视野的三维重建。
[0030]
进一步，所述步骤s3包括：配置所述上臂机构为从运动机构，并且配置所述下臂机构为主运动机构；基于主从运动分配的方式，并通过以下等式和雅可比矩阵求解主运动机构和从运动机构中各自的机械臂速度
[0031][0032]
其中，
[0033]
w表示世界坐标系，
[0034]
pb表示所述从运动机构的基坐标系，b表示所述从运动机构的末端坐标系，
[0035]
pa表示所述主运动机构的基坐标系，a表示所述主运动机构的末端坐标系，
[0036]
v表示线速度，
[0037]
ω表示角速度，
[0038]
r表示坐标系旋转转换矩阵，
[0039]
r表示特征点的坐标，
[0040]
p
xyz
是角速度和线速度转换矩阵，
[0041]
pa
r
aorg
是末端坐标系a在基坐标系pa下的坐标表示。
[0042]
进一步，所述零部件为3c零件，所述零部件中的目标包括圆形结构轮廓、椭圆结构轮廓、线条结构轮廓和矩形结构轮廓中的任一者或多者。
[0043]
本发明的技术方案还涉及一种计算机可读存储介质，其上储存有计算机程序指令，所述计算机程序指令被处理器执行时实施上述的方法。
[0044]
本发明的技术方案还涉及一种基于双目视觉伺服的空间高精度装配系统，包括：设置在所述动平台上的双目视觉系统，所述双目视觉系统包括用于装配环节的左目相机和右目相机以及用于拾取环节的嵌入式相机，其中所述动平台的底部固定设置有接驳件，所述接驳件的横杆的两端分别安装所述左目相机和右目相机，所述接驳件的竖杆的末端安装所述嵌入式相机，使得所述左目相机和所述右目相机向动平台的下方内倾；以及与所述双目视觉系统连接的计算机装置，该计算机装置包括所述的计算机可读存储介质。
[0045]
本发明的有益效果如下。
[0046]
本发明所提出的基于双目视觉伺服的空间装配方法和系统是将两个相机设置在上臂机构的末端动平台，能够同时观察到正在拾取的部件和待装配件，且期望目标点随上臂机构运动，使得双臂机构都运动的情况下拥有不变的目标位置，简化了伺服控制难度。同时，本发明的将视觉伺服解算出的实时目标多维速度通过空间几何关系分配至上下两个欠自由度机械臂上，实现了双臂机器人的协同装配。另外，与普通的基于图像的视觉伺服方法(ibvs)方法不同，本发明采用基于几何约束的三维重建方法估计缺失特征的位置，获得良
好的装配识别效果。
附图说明
[0047]
图1是七自由度并联双模块机器人的示意图，其中安装了根据本发明的装配系统。
[0048]
图2是根据本发明的基于双目视觉伺服的空间高精度装配方法的基本流程图。
[0049]
图3是根据本发明的实施例中的装配时的部件的示意图。
[0050]
图4是根据本发明的实施例中的待装配部件特征点的分布图。
[0051]
图5是根据本发明的实施例中的基于直线约束下的三维重建解释图。
[0052]
图6是根据本发明的实施例中的装配件的装配过程的仿真图。
[0053]
图7是根据本发明的实施例中的装配件完成装配时的仿真图。
[0054]
图8a和图8b是根据本发明的实施例中分别由左和右目相机所采集的图像中计算的特征点的运动轨迹数据。
[0055]
图9a和图9b分别是图8a和图8b所示的特征点的像素误差收敛图。
具体实施方式
[0056]
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。
[0057]
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。本文所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
[0058]
参照图1，本发明的技术方案基于一种七自由度并联双模块机器人，包括：具有基座的框架组件、支撑在所述的框架组件上部的三移动一转动并联子机器人1和支撑在所述的框架组件下部的纯转动三自由度子机器人3。所述三移动一转动并联子机器人1包括：支撑在框架组件的多个不同位置的多个驱动支链和具有自转轴的动平台，其中，每个驱动支链包括滑块和连杆组件，所述多个驱动支链的滑块都被设置成沿互相平行的直线方向运动，该连杆组件的第一端通过球面副与所述的滑块连接，所述动平台分别与每个驱动支链的连杆组件的第二端通过球面副连接。所述纯转动三自由度子机器人3包括：纯转动平台；安装在所述基座上的中心转动支链，该中心转动支链的上端通过万向联轴节与所述的纯转动平台底部的中间位置连接，该中心转动支链的下端通过球面副与基座上安装的支柱连接；安装在基座上的多个直线驱动支链，所述的多个直线驱动支链中的每一个直线驱动支链通过球面副与所述的纯转动平台底部的边缘位置连接。七自由度并联双模块机器人的其他结构细节在本技术人的在先发明公布文件(cn112621728a)中进行了详细的描述。由于本发明的技术方案与所述双模块机器人的结构关联，因此以全文引用的方式将该公布文件并入本文。为了描述方便，在下文，将三移动一转动并联子机器人简称为“3t1r”，将纯转动三自由度子机器人简称为“3r”。此外，在所述框架固定有送料机构2，其中，所述送料机构2包
括转动电机和与所述转动电机的输出轴连接的载物平台。治具4可拆卸地安装在所述纯转动三自由度子机器人3的纯转动平台上。
[0059]
继续参照图1，在一些实施例中，根据本发明的基于双目视觉伺服的空间高精度装配系统，包括设置在上臂机构的动平台上的双目视觉系统5和计算机装置。
[0060]
所述双目视觉系统5包括用于装配环节的左目相机和右目相机以及用于拾取环节的嵌入式相机，其中所述动平台的底部固定设置有接驳件，所述接驳件的横杆的两端分别安装所述左目相机和右目相机，所述接驳件的竖杆的末端安装所述嵌入式相机，使得所述左目相机和所述右目相机向动平台的下方内倾。优选地，所述左单目相机和右单目相机对称布置，使得两个相机轴线内倾地交汇于动平台的下方，并且该交互点与嵌入式相机的相机轴线重合。因此，这样的3个相机的对称布置方式，可以简化视觉建模和运算。
[0061]
所述计算机装置中运行应用程序，以实施根据本发明的方法。
[0062]
参照图2，在一些实施例中，根据本发明的方法包括以下步骤：
[0063]
s1、触发双目视觉系统中的左目相机和右目相机同时检测待装配零部件中的目标，从相机捕捉的图像中实时提取所述目标中当前特征点的像素坐标；
[0064]
s2、基于特征点之间的直线约束，对左目相机和右目相机中的任一相机所捕捉的不完整的目标，实施双目视野的三维重建；
[0065]
s3、根据特征点的像素误差，通过图像雅可比矩阵建立特征点和相机速度的关系，获得基坐标系下的目标的速度，并且在上臂机构和下臂机构之间进行自由度限制下的速度分配。
[0066]
下面，通过具体的3c部件的装配实例来描述上述步骤的具体实施例。在本实例中，将智能手表的手表壳和电池板的装配作为对象，其符合3c装配的特征。如图3所示，本实例为手机壳和手机电池板的装配，以上臂机构(3t1r)拾取电池板至待装配零件的正上方，欲实现将电池板固定于手表壳上，该手表壳由下臂机构(3r)末端冶具装夹和定位。在装配过程中，上臂机构和下臂机构能够进行联动。
[0067]
步骤s1的具体实施方式
[0068]
由视觉系统中的相机采集的图片可以通过hsv颜色阈值分割、椭圆拟合获得提取手表壳的点特征作为伺服期望特征。使用同样的特征提取方法获得待装配部件(电池板)的特征点。特征点的分布如图4所示。其中，电池板上绿色特征的圆心与手表壳上的方形特征块的中心的连线与纵向相邻的绿色特征圆心的直线相垂直。其次，手表壳上的相同特征块轮廓线共线。考虑到，通过椭圆拟合的方式也会检测到其他无用特征点，为了防止无用特征点的干扰，优选地计算点特征之间的距离关系，进行干扰的特征点的排除。例如，在检测到的多个特征点中，计算特征点之间的距离，从而选取距离超过一阈值的至少四个特征点建立连接线，其中，限定多个的特征点的连线之间具有平行、共线和垂直中的多个几何约束关系。
[0069]
步骤s2的具体实施方式
[0070]
对于视觉伺服的装配，需要相机系统提供相机的内参、外参、机器人的相对位姿关系以及源点的图像坐标和三维坐标，还需要目标点的图像坐标。对于相机系统的内外参数，通过标定获得，对于机器人的相对姿态，也可以通过标定与正运动学获得。而对于图像中源点与目标点的图像坐标及源点的三维坐标，需要额外的算法进行获得。同时，在本发明的装
配方案中，当末端抓取物体后，由于物体的尺寸与夹持具的遮挡，双目相机无法观察到相同的特征点。如图5所示，本发明使用了一种新型的缺失双目视野的三维重建方法。具体实现方式包括以下细节步骤。
[0071]
s201)利用垂直特征求解目标点，以左侧相机为例，其只能看到左边的四个特征。将图2所示的靠左的绿色特征点记为p(x1，y1)、p(x2，y2)，可以得到直线方程如公式1所示。
[0072][0073]
其中a＝y2‑
y1，b＝x1‑
x2，c＝x2y1‑
x1y2，由于目标点所在直线过绿色特征点，且与两个特征点的直线垂直，所以此时右相机中对应的目标点(x，y)为
[0074][0075][0076]
其中在左相机中为
‑
，在右相机中为+。l为在完成装配状态下测量得到的源点与绿色特征点之间的距离，该距离作为已知的常量。
[0077]
s202)在本发明的装配方案中，当末端抓取物体之后，由于物体的尺寸与所夹持具的遮挡，双目相机无法观察到相同的特征点，当把将待装配物体的四个角点作为特征点的时候，左相机只能看到角点r1和角点r2，右相机只能看到角点r3和r4，因此，传统的三维重建无法直接获得四个角点的三维坐标，需要额外的信息增加约束来获得这些点。
[0078]
这里先给出传统的三维重建原理：如图5所示，根据小孔相机模型，可以得到左相机下的三维点坐标与两个相机图像坐标之间的关系为：
[0079][0080][0081]
其中，s
l
，s
r
分别是左右相机的尺度比例因子，是相机l中图像平面上的像素齐次坐标，是相机l下的特征点的空间齐次三维坐标，k
l
，k
r
分别是左相机右相机的内参标定矩阵，为右相机到左相机的空间变换旋转矩阵，为平移向量。转换到焦距归一化平面，即：
[0082][0083]
将其代入式(4)和(5)，联立整理得：
[0084][0085]
其中，s
l
，s
r
即为像素点在相机坐标系下的深度值。上式可以通过最小二乘法求解，在获得深度值后就可以求解得到空间点的三维坐标，而等式(5)(6)的联立就是直线约束方程，联立之后的数学关系如式(8)所示。直线约束的几何意义为一个相机图像上的一点，在另一个相机上是一根过极点的直线。
[0086][0087]
203)在重建的过程中需要知道空间点在两个相机图像中的位置，但是根据上面的描述可知，特征点无法同时出现在图像中，此时采用特征设计中第二个约束来进行增加约束求解，以左相机可以观察到的特征点为例，式(8)所示极线约束中的无法出现在右相机的图像中，但是可以观察到所在的直线方程为
[0088][0089]
为了求解该方程组，在两边同时左乘[a b c]k
r
并整理可以得到式(10)。
[0090][0091]
在获得深度值之后，就可以根据相机模型获得相关特征点的坐标以进行三维重建。
[0092]
步骤s3的具体实施方式
[0093]
具体实现方式包括以下几个部分：
[0094]
s301)对于本发明的安装方式，控制点的运动是由于相机的运动产生的。所以这里将建立相机运动与相机坐标系中的空间点之间的模型。相机的运动会使得空间中的控制点产生相对运动，这个运动由两部分组成，一部分为相机平移带来的反向相对运动，另一部分由相机旋转带来的伴随速度构成，但是因为相对运动的关系，其也是反向的，所以两者之间的关系为
[0095][0096]
其中
c
r表示重建出来的在相机坐标系下表示的特征点三维坐标，代表特征点在相机c(c＝l或者r)坐标系下的空间速度，
c
v
c
和
c
ω
c
代表相机c相对于相机(自身)坐标系下的平移运动和旋转运动。sk(
c
r)是该点生成的反对称矩阵。
[0097]
由于相机和机械臂工具法兰盘已经经过标定，两者之间的变换关系已知，法兰盘坐标系t与相机坐标系为刚体连接，进而，可以得到相机速度和机械臂工具的速度。其关系为
[0098]
c
v
t
＝
c
v
c
+
c
ω
c
×
c
r
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0099]
c
ω
c
＝
c
ω
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0100]
c
v
t
表示工具在相机坐标系下的速度，其它上下标具有同等表示含义。将上述两式写成矩阵形式，可以得到相机坐标系下的相机运动与相机坐标系下的工具运动的关系为
[0101][0102]
进一步，一般需要的是从基坐标系下(控制运动只能从机器人基座标系出发)的运动信息，所以需将速度进一步转换到基坐标系下。相机坐标系到机械臂末端坐标系的转换矩阵为
[0103][0104]
其可以通过手眼标定得到(已知)，所以基于机械臂原点坐标系
‑
相机坐标系的机械臂末端速度转换矩阵为
[0105][0106]
其c＝l或者r，(16)是空间速度在不同坐标系下的变换法则。
[0107]
有了前面所述内容，可以通过坐标转换，得到特征点误差与相机末端速度的微分表达式为：
[0108][0109]
其中，u为相机在基座标系下的速度；其将特征点在相机坐标系下的速度映射到像素点在图像平面上的速度；m
c
＝[
‑
i
3 sk(
c
r
i
)]将相机坐标系下的相机的平移速度向量和旋转速度向量映射到相机坐标系下特征点的速度；将相机坐标系下的平移速度向量和旋转速度向量映射到工具坐标系的平移速度向量和旋转速度向量；将机械臂基坐标系下的法兰盘的平移速度向量和旋转速度向量映射到相机坐标系下的法兰盘的平移速度向量和旋转速度向量。
[0110]
将其简写为
[0111][0112]
通过对相机模型进行分析，获得了像素误差的一阶微分方程，但是一个误差点只有两个自由度，所以其无法实现六自由度的速度满秩映射计算，这会使得整个系统是不稳定的。所以本发明使用最小二乘对两个相机中的四个特征点同时进行计算。将四个点组合一起可得：
[0113][0114]
此时，矩阵h列满秩，所以可以通过伪逆来确定控制速度，即为
[0115][0116]
其中λ为图像增益，相当于反馈控制率中的比例因子。h＝[h
left1 h
left2 h
right1 h
right2
]
t
。得到的速度就是相机在机械臂基坐标系下的速度表示。此时，误差的特解为
[0117]
error＝e
‑
λt
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(21)
[0118]
此时，伺服的误差可以沿着指数级收敛。且空间中的六自由度空间都能被限制。且冗余的一个点使得算法对于误差更加鲁棒。
[0119]
s302)已经在前面提出了在单个机械臂下eye
‑
in
‑
hand伺服方法，对于3t1r
‑
3r并联双臂模型，对其进行改进和速度分配，实现两个欠自由度机械臂机构共同实现六自由度相对速度。并使用主从办法解决自由度分配问题。图1展示了协作机器人位置关系的分布情况。
[0120]
已经在s301)得到了上臂末端相对于参考坐标系(上臂基坐标)的速度。将参考世界坐标系坐标系定义在下臂的末端，基坐标系是用来计算两个机械臂机构的正逆运动学，而参考世界坐标系是为了分配速度而建立的。这样，下机械臂
‑
参考世界坐标系
‑
上机械臂的模型就建立完成。此时装配伺服的微分模型可以写为：
[0121][0122]
其中t1为下机械臂的末端坐标系，t2为上机械臂的末端坐标系，且
[0123]
对于该机械臂机构，将3t1r机械臂机构的基坐标系记为{pb}，末端坐标系记为{b}，3r机械臂机构的基坐标系记为{pa}，末端坐标系记为{a}，世界坐标系{w}与3r机械臂机构的基坐标系{pa}相重合。在获得了坐标系b相对于坐标系a的速度后，可以将坐标系b相对与世界坐标系的速度通过3r机械臂机构的传递表示为
[0124][0125]
相同的，通过3t1r机械臂机构传递的表示为
[0126][0127]
其中，对于3r机械臂机构在输出一个旋转之后，其会有一个额外的平移运动的伴随运动，这些运动是由于自由度方向上的运动引起的。在本文中的机器人，这两者的关系
为：
[0128]
p
xyz
＝r[0 0 h]
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(25)
[0129][0130]
其中，s代表sin()，c代表cos()。因为这种耦合关系，在当给定一个
w
ω
a
时，就会附加产生一个
w
v
a
，其关系为
[0131]
w
v
a
＝
w
ω
a
×
p
xyz
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(27)
[0132]
除此之外，对于上面的机械臂机构，其只有四个沿着xyz的平移与绕着y轴的转动这4个自由度。所以的目标是在这些限制条件下求得速度。
[0133]
s303)主从速度分配：对于本发明中使用的3t1r机械臂机构和3r机械臂机构组成的协作机器人，其两个机械臂机构都是少自由度的，两个机械臂机构整合起来时七自由度的，所以为了实现伺服，就要对相关速度进行分配。
[0134]
对于本发明中的伺服方法，为了方便起见，使用主从运动分配的策略来解决自由度的分配，即将自由度少的机械臂机构当作主机构，将所有的旋转分配给下机械臂机构。同时，将剩余的自由度给上面的四自由度。在这样的想法下，对如式所示的机械臂机构速度约束进行求解。
[0135]
w
v
a
+
w
ω
a
×
pa
r
aorg
+
w
r
aa
v
b
‑
w
r
a
×
w
r
aa
ω
b
＝
w
r
pbpb
v
b
‑
w
r
pb
×
w
r
pbpb
ω
b
[0136]
w
r
aa
ω
b
+
w
ω
a
＝
w
r
pbpb
ω
b
[0137]
w
v
a
＝
w
ω
a
×
p
xyz
[0138]
pb
ω
b
＝[0 ω
y 0]
t
[0139]
对于上面的策略，可以求得
[0140]
pa
ω
a
＝
‑
w
r
aa
ω
b
[0141][0142]
在得到速度的数值后，就可以使用雅可比矩阵求得上下两个机械臂的速度。
[0143]
本发明对视觉伺服装配方法进行实际测试，将智能手表作为本发明的装配目标。对实验所用的手表在仿真环境中进行建模，将其导入在基于ros的仿真环境gazebo中，在抓取的电池板与手表座上分别设计四个引导块与目标点，如图6和图7所示。并将上面所述的特征检测、三维重建和视觉伺服算法进行装配。考虑到抓取可能引入的误差，给机械臂法兰盘坐标系上增加随机运动与旋转。对于该仿真实验，分析类似于原理验证实验中的图像平面上的源点与目标点之间的像素误差.
[0144]
目标运动轨迹和特征点像素误差如图8a、8b和图9a、9b所示。图中的坐标系中的单位为mm。
[0145]
因此，在本发明提出的方案中，将两个高分辨率相机对称安装在上机械臂机构的末端，不同于其他一般的需要提前确定期望特征点的视觉伺服系统。一旦末端吸盘抓取到部件，其就能动态确定期望特征点位置，同时实时感知固定在3r机构上的另一部件，利用基于图像的视觉伺服方法(ibvs)计算机械臂期望运动速度，再利用空间速度分配策略控制上
下双臂协同运动，不断进行闭环迭代直至图像特征误差稳定收敛至0，以实现高精度的协同装配。
[0146]
应当认识到，本发明所有实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
[0147]
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
[0148]
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还可以包括计算机本身。
[0149]
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
[0150]
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。