一种基于视觉的机器人引导装配机器人方法与流程

1.本发明涉及中大负载机器人装配技术领域。


背景技术：

2.目前，越来越多的自动化生产线推行智能化装配，用工业机器人和视觉、力觉等传感器配合代替人工装配，质检，完成流水线产品的生产操作。为了满足复杂的行业应用，工业机器人的体型、关节件等也种类繁多，但根据实际的应用需求，关键部件已经采用模块化设计，以降低改制的次数，生产更多的机型，以满足市场需求。但是6轴中大负载机器人本体关节件作为大型铸件，本身的重量很大，通过行吊等方式与人工配合，操作难度比较大且对厂房占地设备空间有很大的要求，生产效率比较低，生产机器人的速度满足不了市场对机器人需求速度。并且因为操作经验的不同，机器人的出场质量也有一定的差异。
3.为了解决上述问题，有两种解决办法，一种是人工配合行吊等设备半自动装配。一种是利用机器人配合智能设备完成机器人装配。人工配合行吊等设备半自动装配这种方式是国内外常用的传统自动化设备生产方式，无法满足市场的机器人量需求且对生产设备、场地、人工要求都非常高。利用机器人配合智能设备完成机器人装配目前还在单工位的装配阶段，没有形成一种流水式的装配，效率和产品精度、稳定性依旧满足不了市场需求。
4.2021年6月15日公布分一份名为“一种工业机器人装配误差补偿系统及方法”、公开号为“cn112959364a”的中国发明专利申请中采用局部视觉配合激光传感器等方式引导机器人装配，但是由于大惯量机器人本身的绝对精度误差比较大，且过程中产生的误差因素比较多，一次误差补偿不能达到标准，且装配点的操作空间的局限性，导致实际的装配的成功率非常低，不具备实际生产意义。


技术实现要素：

5.本发明针对以上问题，提出了一种基于视觉的机器人引导装配机器人方法，采用自动化流水线模式视觉与机器人配合方式组装生产机器人，从能够满足中大负载机器人高精度智能装配，降低对场地、人工的要求，同时通用性、灵活性、可靠性更强。
6.本发明的技术方案为：按以下步骤进行：
7.步骤1、机器人位置示教；
8.步骤1.1、标准装配位置示教；
9.步骤1.1.1、机器人一示教出待装配减速机和待装配机械臂的贴合标准位置，机器人一示教出待装配机械臂来料的标准位置,机器人二示教出打螺丝的标准位置；
10.步骤1.1.2、利用多点法计算相机一与机器人一之间的关系；
11.步骤1.1.3、利用多点法计算相机二和机器人一之间的用户坐标系；
12.步骤1.1.4、利用多点法计算相机二和机器人二之间的用户坐标系；
13.步骤1.1.5、利用多点法计算相机二坐标系和世界坐标系的比例换算关系；
14.步骤2、相机标准位置的处理；
15.机器人一的夹爪抓取待装配的机械臂，运动到拍照位置，相机一采集机械臂的图像，相机二采集减速机的图像，对图像进行二值化、腐蚀、膨胀、填充处理；计算标准位置；
16.步骤3、视觉引导机器人自动装配；
17.机器人一抓取机械臂拍照，计算待装配的机械臂的偏差，计算待装配的底座与标准位置的偏差；
18.对比综合偏差是否在阈值范围内，如果超出阈值，执行运动补偿，机器人偏差补偿；
19.相机一再次拍照，计算偏差误差，如果误差小于阈值，执行后续逻辑，否则重新进行步骤3；
20.步骤4、机器人的贴合与打螺丝：
21.步骤4.1、机器人一执行贴合操作；
22.步骤4.2、计算螺丝孔的位置，并推算位置偏差，机器人二执行打螺丝的程序。
23.进一步的，步骤1.1.2具体为：
24.步骤1.1.2.1、计算相机一坐标系和世界坐标系的比例换算dx1,dy1：
25.机器人一抓取待装配机械臂，以位置p
11
为基准，以x+，y+为基准步长为d
step
执行n个点；视觉系统记录对应的相机一坐标值和机器人一对应的坐标值计算任意两点之间的偏差，求比例系数；
[0026][0027]
对点进行遍历，求取比例系数的平均值；
[0028][0029][0030]
其中：(dp
xij
,dp
yij
)表示机器人一基准点与点(i,j)对应机器人距离偏差。(dc
xij
,dc
yij
)表示相机一基准位置坐标与与点(i,j)对应的像素偏差。(dx
1ij
,dy
1ij
)表示相机一与机器一之间基准点与点(i,j)的像素与距离之间的比例系数。dx1，dy1表示相机一与机器人一之间像素与机器人距离之间的比例系数；
[0031]
步骤1.1.2.2、计算相机一坐标系和机器人一坐标系之间的关系c
r1
：
[0032]
以n点中的其中一个点作为相机一和视觉之间的对应关系点；选择x+方向的两个视觉识别点差计算相机一坐标系和机器人一坐标系之间的旋转关系；
[0033]
[0034]
利用多次迭代计算，计算平均值：
[0035][0036]
根据角度和对应点关系得出：
[0037][0038]
其中：θ表示相机一与机器人一坐标系之间的角度。cosθ表示相机一与机器人一坐标系之间的余弦。sinθ表示相机一与机器人一坐标系之间的正弦。表示基准点对应的相机一坐标值；
[0039]
步骤1.1.2.3、机器人一回到拍照点，以抓取物料的姿态为标准，顺时针或逆时针抓着工件旋转一定的角度，转动t次，计算机器人一的工具坐标系tool：
[0040]
φ
t
＝ant((c
rijt1
+c
rijt2-p
xijt1-p
xij2
)/(c
rijt1-c
rijt2
))/(sinδ
t
/cosδ
t
)
ꢀꢀ
(1-7)
[0041][0042]
radius
t
＝((c
xt1
*c
xij1
+c
xt1
*c
xijt2-2*p
xijt
)+(c
yt1
*c
yijt1
+c
xt1
*c
yijt2-2*p
yijt
))
1/2
/2
ꢀꢀꢀ
(1-9)
[0043][0044]
其中：φ表示工具与法兰之间的角度，radius表示工具的半径长度值。(c
xijt1
，c
yijt1
)(c
xijt2
，c
yijt2
)表示第t次转动前后的相机位置，δ
t
表示第t机器人转动的角度，(p
xijt1
,p
xijt1
),(p
xijt2
,p
xijt2
)表示第t次转动前后的机器人坐标。
[0045]
进一步的，步骤2按以下步骤计算标准位置：
[0046]
通过卡尺法在相机一采集的图像中拟合出机械臂边缘所在的圆以及其中一个螺丝孔所在的圆，计算出机械臂边缘所在的圆的中心位置(x1，y1，a1)；
[0047]
通过卡尺法在相机二采集的图像中拟合出减速机边缘所在的圆以及其中一个螺丝孔所在的圆，计算出该螺丝孔所在的圆的中心位置(x2，y2，a2)，并利用cad推演计算出所有螺丝孔的位置
[0048][0049][0050]
x
si
＝ri*dx2*c
c22
[0051]ysi
＝ci*dy2*c
c22
ꢀꢀꢀ
(2-1)
[0052]
其中r1,c1表示相机一识别特征的行列坐标。r2,c2表示相机二识别特征的行列坐标xi,yi表示第i个螺丝的位置，ri，ci表示相机二识别的第i个螺丝的特征，螺丝孔的特征位
置通过cad图纸推演计算得到。
[0053]
进一步的，步骤3具体为：
[0054]
机器人一的夹爪抓取待装配的机械臂，运动到拍照位置p
11
；
[0055]
计算机械臂新的拍照位置(x
‘1，y
‘1，a
‘1)和底座新的拍照位置(x
‘2，y
‘2，a
‘2)，计算待装配的机械臂的偏差dx1，dy1，da1；
[0056]
计算待装配的底座与标准物料的偏差dx2，dy2，da2；
[0057]
对比综合偏差是否在阈值范围内，如果超出阈值|dx|》t
threy
，|dy|》t
threy
，|da|》t
threa
，执行运动补偿，机器人偏差补偿，运动到p
′
11
。
[0058]
dx＝x
‘1－x1+x
‘2－x2[0059]
dy＝y
‘1－y1+y
‘2－y2[0060]
da＝a
‘1－a1+a
‘2－a2[0061]
p
′
11
.x＝p
11
.x+dx
[0062]
p
′
11
.y＝p
11
.y+dy
[0063]
p
′
11
.a＝p
11
.a+da
[0064]
p
11
＝p
′
11
ꢀꢀꢀ
(3-1)
[0065]
机器人运动到p
′
11
后，相机一再次拍照，计算偏差误差dx,dx，da，如果误差小于阈值，即dx《dxthre,dy《dythre,da《dathre，执行后续逻辑，否则重新进行步骤3。
[0066]
进一步的，步骤4.2具体为：
[0067]
步骤4.2.1、利用卡尺圆识别和cad地推法计算螺丝孔的位置并推算出的偏差
[0068]
dx
si
＝x'
si-x
si
[0069]
dy
si
＝y'
si-y
si
ꢀꢀꢀ
(4-2)
[0070]
其中，i表示第i个螺丝孔，1≤i≤n；
[0071]
步骤4.2.2、机器人二根据偏差值执行打螺丝的运动轨迹；
[0072]
p2'
si
.x＝p2
si
.x+dx
si
[0073]
p2'
si
.y＝p2
si
.y+dy
si
ꢀꢀꢀ
(4-3)
[0074]
其中：p2
si
.x,p2
si
.y表示螺丝在机器人坐标系示教中的标准位置，p2
′
si
.x,p2
′
si
.y表示新的螺丝位置，dx
si
,dy
si
表示螺丝的位置偏差值。
[0075]
本发明的有益效果为：
[0076]
一、不需要精准的机械定位结构，由视觉引导机器人装配机器人关节，降低机械结构设计复杂的。
[0077]
二、满足多产品混合生产，提升机械结构的兼容性，提高了流水线产品的综合性和使用价值。
[0078]
三、装配标准的一致性，提高产品生产的良品率，提升装配的效率，减少生产人员的投入，尤其是负载大的机型，提升了生产过程的安全性。
[0079]
总的来说，本发明可适用于6轴机器人的自动化装配，对场地、人工的要求低，同时通用性、灵活性、可靠性更强。并且，本发明采用全局二维视觉的方案，一套视觉处理器配两套全局相机，引导2台机器人抓取装配机器人，完成机器人关节件的装配。
附图说明
[0080]
图1是本案的工作方法流程图；
[0081]
图2是本案的流水线装配图；
[0082]
图3是本案的待装配机械臂的特征识别图；
[0083]
图4是本案的螺丝孔识别图。
具体实施方式
[0084]
为能清楚说明本专利的技术特点，下面通过具体实施方式，并结合其附图，对本专利进行详细阐述。
[0085]
本发明如图1-4所示，按以下步骤进行：
[0086]
步骤1、机器人位置示教。
[0087]
步骤1.1、标准装配位置示教。
[0088]
步骤1.1.1、机器人一示教出待装配减速机和待装配机械臂的贴合标准位置p
10
(包括x、y、z的三个坐标位置以及沿x轴、y轴、z轴的偏转角度a、b、c)、机器人一示教出待装配机械臂来料的标准位置p
11
，p
110 p
10
(包括x、y、z的三个坐标位置以及沿x轴、y轴、z轴的偏转角度a、b、c)，即拍照位置，其中p
11
＝p
110
，机器人二示教出打螺丝的标准位置
[0089]
机器人一示教三个标准位置：
[0090]
p
10
[-510.395,-745.448,-2055.73,179.289,-45.36,87.4559]；
[0091]
p
11
[-510.395,-749.448,-2055,73176.28,-45.36,87.455]，p
110
；
[0092]
机器人二示教打螺丝的18个位置其中n＝18。
[0093]
步骤1.1.2、利用多点法计算相机一与机器人一之间的关系：
[0094]
建立工具坐标系tool，用户坐标系c
r1
，相机坐标系和世界坐标系的比例换算dx1,dy1。
[0095]
步骤1.1.2.1、计算相机一坐标系和世界坐标系的比例换算dx1,dy1：
[0096]
机器人一抓取待装配机械臂，以位置p
11
为基准，以x+，y+为基准步长为d
step
执行n个点；视觉系统记录对应的相机一坐标值和机器人一对应的坐标值计算任意两点之间的偏差，求比例系数；
[0097][0098]
对点进行遍历，求取比例系数的平均值；
[0099][0100][0101]
其中：(dp
xij
,dp
yij
)表示机器人一基准点与点(i,j)对应机器人距离偏差。(dc
xij
,
dc
yij
)表示相机一基准位置坐标与与点(i,j)对应的像素偏差。(dx
1ij
,dy
1ij
)表示相机一与机器一之间基准点与点(i,j)的像素与距离之间的比例系数。dx1，dy1表示相机一与机器人一之间像素与机器人距离之间的比例系数；
[0102]
得出相机一标定关系换算dx1＝0.055,dy1＝0.055，即相机中像素和世界坐标中毫米的换算关系。
[0103]
步骤1.1.2.2、计算相机一坐标系和机器人一坐标系之间的关系c
r1
：
[0104]
以n点中的其中一个点作为相机一和视觉之间的对应关系点；选择x+方向的两个视觉识别点差计算相机一坐标系和机器人一坐标系之间的旋转关系；
[0105][0106]
利用多次迭代计算，计算平均值：
[0107][0108]
根据角度和对应点关系得出：
[0109][0110]
其中：θ表示相机一与机器人一坐标系之间的角度。cosθ表示相机一与机器人一坐标系之间的余弦。sinθ表示相机一与机器人一坐标系之间的正弦。表示基准点对应的相机一坐标值。
[0111]
步骤1.1.2.3、机器人一回到拍照点，以抓取物料的姿态为标准，顺时针或逆时针抓着工件旋转一定的角度，转动t次，计算机器人一的工具坐标系tool：
[0112]
φ
t
＝ant((c
rijt1
+c
rijt2-p
xijt1-p
xij2
)/(c
rijt1-c
rijt2
))/(sinδ
t
/cosδ
t
)
ꢀꢀꢀ
(1-7)
[0113][0114]
radius
t
＝((c
xt1
*c
xij1
+c
xt1
*c
xijt2-2*p
xijt
)+(c
yt1
*c
yijt1
+c
xt1
*c
yijt2-2*p
yijt
))
1/2
/2
ꢀꢀꢀ
(1-9)
[0115][0116]
其中：φ表示工具与法兰之间的角度，radius表示工具的半径长度值。(c
xijt1
，c
yijt1
)(c
xijt2
，c
yijt2
)表示第t次转动前后的相机位置，δ
t
表示第t机器人转动的角度。(p
xijt1
,p
xijt1
),(p
xijt2
,p
xijt2
)表示第t次转动前后的机器人坐标。
[0117]
步骤1.1.3、利用多点法中的公式1-4、1-5、1-6计算相机二和机器人一之间的用户
坐标系：用户坐标系c
r21
。
[0118]
步骤1.1.4、利用多点法中的公式1-4、1-5、1-6计算相机二和机器人二之间的用户坐标系：用户坐标系c
r22
。
[0119]
步骤1.1.5、利用多点法中的公式1-2、1-3计算相机二坐标系和世界坐标系的比例换算dx2,dy2，得到相机二标定关系换算dx2＝0.07,dy2＝0.0697。
[0120]
步骤2、相机标准位置的处理。
[0121]
机器人一的夹爪抓取待装配的机械臂，运动到拍照位置p
11
，相机一采集机械臂的图像，相机二采集减速机的图像，对图像进行二值化、腐蚀、膨胀、填充处理；计算标准位置；
[0122]
通过卡尺法在相机一采集的图像中拟合出机械臂边缘所在的圆以及其中一个螺丝孔所在的圆，计算出机械臂边缘所在的圆的中心位置(x1，y1，a1)；
[0123]
通过卡尺法在相机二采集的图像中拟合出减速机边缘所在的圆以及其中一个螺丝孔所在的圆，计算出该螺丝孔所在的圆的中心位置(x2，y2，a2)，并利用cad推演计算出所有螺丝孔的位置
[0124][0125][0126]
x
si
＝ri*dx2*c
c22
[0127]ysi
＝ci*dy2*c
c22
ꢀꢀꢀ
(2-1)
[0128]
其中r1,c1表示相机一识别特征的行列坐标。r2,c2表示相机二识别特征的行列坐标xi,yi表示第i个螺丝的位置，ri，ci表示相机二识别的第i个螺丝的特征，螺丝孔的特征位置通过cad图纸推演计算得到，可以提高计算速度，提升节拍。
[0129]
步骤3、视觉引导机器人自动装配。
[0130]
机器人一抓取机械臂拍照，计算偏差，具体来说：
[0131]
机器人一的夹爪抓取待装配的机械臂，运动到拍照位置p
11
；
[0132]
计算机械臂新的拍照位置(x
‘1，y
‘1，a
‘1)和底座新的拍照位置(x
‘2，y
‘2，a
‘2)，计算待装配的机械臂的偏差dx1，dy1，da1，得到dx1＝0.845,dy1＝0.654,da1＝0.901,；
[0133]
计算待装配的底座与标准位置的偏差dx2，dy2，da2，得到dx2＝1.845,dy2＝1.254,da2＝1.901；
[0134]
对比综合偏差是否在阈值范围内，如果超出阈值|dx|》dxther，|dy|》dyther，|da|》dather，执行运动补偿，机器人偏差补偿，运动到p
′
11
。
[0135]
dx＝x
‘1－x1+x
‘2－x2[0136]
dy＝y
‘1－y1+y
‘2－y2[0137]
da＝a
‘1－a1+a
‘2－a2[0138]
p
′
11
.x＝p
11
.x+dx
[0139]
p
′
11
.y＝p
11
.y+dy
[0140]
p
′
11
.a＝p
11
.a+da
[0141]
p
11
＝p
′
11
ꢀꢀꢀ
(3-1)
[0142]
机器人一运动到p
′
11
后，相机一再次拍照，计算偏差误差dx,dx，da，如果误差小于阈值，即dx《dxthre,dy《dythre,da《dathre，其中：dxthre＝0.05,dythre＝0.05,dathre＝0.05，单位都是毫米，执行后续逻辑，否则重新进行步骤3。
[0143]
步骤4、机器人的贴合与打螺丝。
[0144]
步骤4.1、机器人一执行贴合操作：机器人一执行偏差补偿之后，运动到目标装配位置，即由p
′
11
移动到p'
10
。
[0145][0146]
步骤4.2、计算螺丝孔的位置，并推算位置偏差，机器人二执行打螺丝的程序：
[0147]
步骤4.2.1、利用卡尺圆识别和cad地推法计算螺丝孔的位置并推算出的偏差
[0148]
dx
si
＝x
′
si-x
si
[0149]
dy
si
＝y
′
si-y
si
ꢀꢀꢀ
(4-2)
[0150]
其中，i表示第i个螺丝孔。1≤i≤n。
[0151]
步骤4.2.2、机器人二根据偏差值执行打螺丝的运动轨迹。
[0152]
p2
′
si
.x＝p2
si
.x+dx
si
[0153]
p2
′
si
.y＝p2
si
.y+dy
si
ꢀꢀꢀ
(4-3)
[0154]
其中：p2
si
.x,p2
si
.y表示螺丝在机器人坐标系示教中的标准位置，p2
′
si
.x,p2
′
si
.y表示新的螺丝位置，dx
si
,dy
si
表示螺丝的位置偏差值。
[0155]
待装配减速机的螺丝个数n＝18，螺丝标准位置如下表1所示，计算每个螺丝的偏差位置并将值给发给机器人二，机器人二偏差补偿后执行打螺丝的程序。
[0156]
表1，螺丝的标准位置
[0157]
[0158][0159]
此后，在不同产品的切换时，可根据产品变更的具体参数，二次示教关键点和标准位置，切换的时间周期短，不影响生产。
[0160]
本发明所提供的基于视觉的机器人装配方法关键在于：
[0161]
一、通过全局视觉，利用多点法计算视觉与机器人之间的工具坐标系、参考坐标系之间的关系，计算相机坐标系和世界坐标系之间的换算关系。
[0162]
二、利用在线式和离线式结合的方式，采集相机图像计算目标点的位置并与cad图纸配合，推演计算更多的目标特征位置，计算来料位置与标准位置的偏差。
[0163]
三、采用迭代式测量偏差是否在设置的误差阈值内，引导机器人基于视觉测量的偏差结果进行偏差补偿，引导机器人全自动装配。
[0164]
最后，需要说明的是，图2中机器人一、机器人二、相机一、相机二为一组设备，机器人三、机器人四、相机三、相机四为另一组设备，两组设备均可按本案记载的方法运行。
[0165]
本发明具体实施途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。