一种高动态范围下汇聚式双目视觉引导的机器人定位方法

1.本发明属于机器视觉检测引导机器人加工定位技术领域，涉及一种扩展成像动态范围下的汇聚式双目视觉算法，具体涉及一种高动态范围下汇聚式双目视觉引导的机器人定位方法。


背景技术：

2.通常目标工件所处复杂场景的动态范围在108左右，人眼通过自身视觉系统调节可使动态范围达到107左右。然而，普通工业相机获取图像的有效动态范围仅为256，可见其显示目标工件信息的有限性，易导致相机成像后部分细节信息缺失，降低机器人定位精度。为提高相机成像动态范围，国内外学者通过附加光学镜头硬件扩展或芯片级传感器成像硬件扩展方法，设计重建光学单元成像路径并调节ccd/cmos传感器单元多次曝光，增加其感光组件动态范围，以获取更丰富的工件信息，提高定位精度。但是，改进硬件设备前期投入成本大，限制了视觉引导机器人定位加工装备规模化应用。部分学者结合多传感器辅助定位加工误差补偿技术，引入激光雷达测距、结构光扫描、数字光微镜处理等精密测量方法，通过多传感器配合修正，可以在现有动态范围内补偿因相机成像细节不清晰造成的定位误差问题，有效提升视觉引导机器人定位精度。但是，上述方法成像视场范围小，对扫描测量工况要求高，增加了机器人定位的局限性。另有学者相继采用被动式图像预处理方法，对双目相机获取后的图像进行阈值分割、几何变换、图像增强或线性插值处理，在一定程度上增强了成像工件表面细节信息，有益于提高定位精度。但是，预处理的对象依然是低动态范围下获取的图像，无法从根源上解决普通工业相机动态范围不够的问题。


技术实现要素：

3.有鉴于此，本发明融合视觉传感技术，提出一种高动态范围下汇聚式双目视觉引导的机器人定位方法，有效提升了相机成像视场范围，从算法上解决了相机动态范围不够和图像颜色损失严重的难题，进一步提高了双目视觉引导机器人定位精度。首先通过对畸变矫正后的序列低动态图像进行相机响应曲线快速标定，建立像素值和曝光量间映射关系，合成高动态范围图像；然后对合成后的图像做基于颜色校正模型的梯度域自适应色调映射处理，并通过调节颜色校正因子恢复图像色度信息，输出目标工件图像；进而通过汇聚式双目相机标定和手眼标定算法修正工件cad三维模型；最终对修正位姿后的模型自动规划加工路径，引导机器人对工件表面待加工区域进行精准定位加工作业。
4.为了实现上述目的，本发明采用的技术方案是：一种高动态范围下汇聚式双目视觉引导的机器人定位方法，该方法采用的设备包括加工型机器人和汇聚式双目相机，加工机器人上携带打磨头，汇聚式双目相机包括作为主相机的左相机和作为辅相机的右相机，其特征在于，机器人定位方法包括以下步骤：步骤1、选取两台cmos相机作为双目相机，分别定为左相机和右相机，调整好两台cmos相机的拍摄姿态和交叉视角，同步触发采集同一交叉视角不同曝光时间下的棋盘格标
定板图像对；步骤2、对采集得到的序列低动态图像做畸变矫正处理；步骤3、对畸变矫正后的低动态序列图像拟合相机响应函数g(v
ij
)，利用相机响应函数计算所有像素点对应真实照度值，合成高动态范围图像，其中v
ij
为第j个图像中第i个像素的图像像素值；步骤4、将高动态范围图像由rgb颜色空间转换到cie 1931 xyz空间，得到颜色均衡、感观度良好、细节清晰的高质量图像；步骤5、将步骤4得到的高质量图像用于汇聚式双目视觉标定，以棋盘格标定板上的角点作为汇聚式双目相机的匹配点，输入角点之间的物理距离和cmos相机参数信息，建立汇聚式双目相机的内部参数矩阵，其中f
x
为左相机有效焦距，f
y
为右相机有效焦距，u0，v0为像素坐标系原点的横纵坐标；步骤6、对完成双目相机标定后的成像模型，通过手眼标定中的九点法将特定点空间三维坐标值转换到机器人基坐标系下，用于矫正cad三维模型相对于加工型机器人的实际位姿，并生成加工路径引导加工作业。
5.进一步地，其特征在于：步骤1中，选用三角支架和旋转云台调节cmos相机的空间位姿，实现扩大成像视场范围的目标；采集的图像对共3对，曝光时间分别为1/20s、0.5s和5s。
6.进一步地，步骤2中，畸变矫正处理采用的畸变矫正模型如下：
ꢀꢀ
公式(1)公式(1)中第一行为径向畸变矫正，第二行为切向畸变矫正，(x
0 , y0)表示像素平面理想坐标，(x , y)表示成像畸变后实际坐标，k1、k2、k3分别为径向畸变矫正的系数，p1、p2分别为切向畸变矫正的系数，r为成像畸变后实际坐标点(x , y)距成像中心的距离，通过矫正公式求得cmos相机的图像畸变矩阵k = [k
1 , k
2 , p
1 , p
2 , k3]。
[0007]
进一步地，步骤3中合成合成高动态范围图像具体步骤如下：步骤3.1、结合s型函数模型建立相机曝光量h和图像像素值v之间映射关系，v和h间函数关系如下： 公式(2)公式（2）中，h
ij
为低动态序列图像中第j个图像中第i个像素的相机曝光量，v
ij
为低动态序列图像中第j个图像中第i个像素的图像像素值，a、b为常数，e为自然对数的底；步骤3.2、对公式(2)求反函数并两边取对数，结合照度值e和曝光时间δt表示曝光量h的关系式h = eδt，建立公式(3)；
ꢀꢀ
公式(3)公式（3）中，e
i
为低动态序列图像中每个图像的第i个像素的照度值，δt
j
为低动态序列图像中第j个图像的曝光时间；步骤3.3、当v
ij
和lnδt
j
已知时，对公式(4)的求解转换成最小二乘法求解目标函数o，如公式(4)所示； 公式(4)公式（4）中，p为低动态序列图像中每个图像的采样点个数，q为图像序列幅数，v
ij
已知，a、b待求常数；在每幅图像上的相同位置随机选取多组采样点数据，最终拟合求得常数a和b；步骤3.4、将公式（3）变形得到：
ꢀꢀ
公式（5）令得公式(6)：
ꢀꢀ
公式（6）上式中g(v
ij
)为所求得的相机响应函数，lne
i
为每幅图像中现实场景第i个像素的真实照度，为了减小误差，融合所有q幅图像求解合成后高动态范围图像每个像素点对应的照度值，计算方法如公式（7）：
ꢀꢀ
公式（7）为合成高动态范围图像的每个像素点对应的照度值。
[0008]
进一步地，步骤4中，rgb颜色空间到cie 1931 xyz空间的转换矩阵m
y
和两者间线性关系如下公式(8) 公式(8)公式（8）中，x、y、z表示cie 1931 xyz空间的三个参数，其中y表示图像亮度，对亮度通道进行基于颜色校正模型的梯度域色调映射处理。
[0009]
进一步地，步骤4中，基于颜色校正模型的梯度域色调映射处理具体步骤如下：步骤4.1、在亮度通道，首先通过高斯滤波和线性下采样操作，建立图像高斯金字塔w0，w1…
w
d ，每一级采用中心差分计算梯度，每一级的梯度方式如公式（9）所示，在每一级k中，定义缩放因子，α为梯度检测的阈值取平均梯度的10%，β决定衰减程度取范围为0.8
‑
0.9； 公式(9)公式(9)中k为高斯金字塔层数索引，x , y为图像中亮度位置的坐标；步骤4.2、得到各级缩放因子后，计算梯度衰减函数和图形散度divp，如公式(10)所示；
ꢀꢀ
公式(10)公式（10）中，divp为图像散度，为梯度衰减函数的线性上采样值，l
out
为色调映射后的图像亮度，
▽
表示泊松方程；原图像的梯度由前向差分公式计算；图像散度由后向差分计算，用于补偿梯度值，且图像散度需满足泊松方程；步骤4.3、映射后图像亮度l
out
与原始图像亮度l
in
满足关系式，为修正色调映射过程中的颜色扭曲现象，引入线性颜色校正模型，在色差和消色差之间加入线性插值。线性表示如下公式(11)：
ꢀꢀ
公式(11)公式（11）中c代表颜色通道(r,g,b)，c
out
代表映射后颜色通道，c
in
代表映射前颜色通道，颜色校正因子m∈[0,1]；步骤4.4、根据图像中不同明暗区域的亮度信息，设计一种具有自适应调节功能的校正因子m；设t为亮度比值，λ为映射常数，对t进行归一化处理，并使用幂函数建立归一化结果t
norm
与校正因子m间的函数关系，结合步骤4.3，得最终颜色校正模型为公式(12)；
ꢀꢀ
公式(12)公式（12）中，t
max
和t
min
分别为亮度比值t的最大值和最小值，η为常数。
[0010]
进一步地，步骤5中，双目相机标定对象为扩展后高动态图像，具体运算步骤如下：步骤5.1、根据针孔成像原理并结合三角形相似性，得公式(13)： 公式(13)公式（13）中，f表示透镜中心与感光元件间的距离视为焦距，m表示物体到焦点间的距离看作物距，ao
l
、bo
l
和ab为空间特定点a与相机光轴围成δabo
l
的三条边，a’o
l
、b’o
l
和a’b’为像平面上投影a’与相机光轴围成δa’b’o
l
的三条边，δabo
l
和δa’b’o
l
关于像平面对称全等；步骤5.2、实际标定前将左相机视为主相机，则左相机坐标系o
‑
xyz原点可以视作世界坐标系原点，f
l
为左相机的有效焦距，f
r
为右相机的有效焦距，建立齐次方程如公式(14)：
ꢀꢀ
公式(14)步骤5.3、公式(14)中，为左的内参数矩阵，为右相机的内参数矩阵；o
l
‑
x
l
y
l
z
l
为左相机坐标系，o
r
‑
x
r
y
r
z
r
为右相机坐标系，坐标系o
l
‑
x
l
y
l
z
l
与坐标系o
r
‑
x
r
y
r
z
r
间的位置关系直接通过空间转换矩阵表示为公式(15)： 公式(15)
步骤5.4、公式(15)中，表示右相机相对于左相机的外参数旋转矩阵，表示右相机相对于左相机的外参数平移向量；若已知相机内外参数和空间特定点a转换到左右相机投影平面上的图像坐标（x
l
,y
l
）和（x
r
,y
r
），再根据步骤6中手眼标定方法即求得a点在空间中的三维坐标（x
l
,y
l
,z
l
）与左右图像坐标间的关系矩阵如公式(16)所示：
ꢀꢀ
公式(16)z
r
表示齐次坐标相对于右相机的缩放比，z
l
表示齐次坐标相对于左相机的缩放比。
[0011]
进一步地，步骤6中，具体步骤如下：步骤6.1、对完成相机标定后的成像模型，通过手眼标定中的九点法将特定点空间三维坐标值转换到机器人基坐标系下，关系矩阵运算过程如公式(17)： 公式(17)公式(17)中，为机器人基坐标，（x,y）为相机像素坐标，为相机坐标到机器人坐标的旋转矩阵，为相机坐标到机器人坐标的平移矩阵，a0，b0，c0，a1，b1，
c1， a2，b2，c2分别为矩阵运算后得到的参数；步骤6.2、联立公式(15)和(16)建立相机坐标系和机器人基坐标系间的关系矩阵，如公式(18)所示。
[0012]
ꢀꢀ
公式(18)步骤6.3、将经过双目相机标定和相机
‑
机器人间矩阵转换后得到的三维坐标数据输入到机器人仿真软件中进行三维模型标记点校正处理，得到工件在真实环境中相对于机器人基坐标的位姿关系，进而利用机器人仿真软件离线编程加工路径，实现最终的定位加工作业。
[0013]
本发明针对平行式双目相机成像视场和动态范围有限，无法清晰地获取目标工件表面特征点细节信息的行业现状，提出一种扩展成像动态范围下的汇聚式双目视觉算法，处理优化双目相机源图像质量，提升双目相机标定精度和引导机器人定位精度，可从根源上解决相机硬件设备动态范围低的难题，用于引导加工型机器人进行精准定位。
[0014]
与现有技术相比，本发明的有益效果是：本发明融合视觉传感技术，提出一种高动态范围下汇聚式双目视觉引导的机器人定位方法，有效提升了相机成像视场范围，从算法上解决了相机动态范围不够和图像颜色损失严重的难题，进一步提高了双目视觉引导机器人定位精度。主要通过对畸变矫正后的序列低动态图像进行相机响应曲线快速标定，建立像素值和曝光量间映射关系，合成高动态范围图像；然后对合成后的图像做基于颜色校正模型的梯度域自适应色调映射处理，并通过调节颜色校正因子恢复图像色度信息，输出目标工件图像；进而通过汇聚式双目相机标定和手眼标定算法修正工件cad三维模型；最终对修正位姿后的模型自动规划加工路径，引导机器人对工件表面待加工区域进行精准定位加工作业。实验证明，本发明所提方法充分考虑了成像过程中存在的特征点遮挡、遗失等实际问题，并从根源上解决了相机硬件设备动态范围低的难题，提升了相机成像质量，改善了双目视觉引导机器人定位加工精准，具有很强的实用性。
附图说明
[0015]
图1为本发明方法实施例中高动态范围下汇聚式双目视觉引导的机器人定位方法的流程示意图；图2为本发明实施例中所述的相机响应曲线拟合结果示意图；图3为本发明实施例中所述的色调映射处理后输出结果示意图，其中图3（a）为相机拍摄的低曝光度初始图像，图3（b）为相机拍摄的高曝光度初始图像，图3（c）是映射处理后的高质量图像；图4为本发明实施例中所述的汇聚式双目立体视觉模型示意图。
具体实施方式
[0016]
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0017]
请参阅图1，本发明实施例提供的一种高动态范围下汇聚式双目视觉引导的机器人定位方法的流程示意图，包括如下步骤：步骤1、选取两台cmos相机作为双目相机，分别定为主(左)相机和辅(右)相机，调整好两台cmos相机的拍摄姿态和交叉视角，同步触发采集同一交叉视角不同曝光时间下的棋盘格标定板图像对；特别地，本实施例中选用三角支架和旋转云台等硬件设备调节cmos相机的空间位姿，实现扩大成像视场范围的目标；采集的图像对共3对，曝光时间分别为1/20s、0.5s和5s。
[0018]
步骤2、对采集得到的序列低动态图像做畸变矫正处理，畸变矫正模型如下公式(1)
ꢀꢀ
公式(1)上式中第一行为径向畸变矫正，第二行为切向畸变矫正，(x
0 , y0)表示像素平面理想坐标，(x , y)表示成像畸变后实际坐标，k1、k2、k3分别为径向畸变矫正的系数，p1、p2分别为切向畸变矫正的系数，r为该点距成像中心的距离。通过矫正公式求得cmos相机的图像畸变矩阵k = [k
1 , k
2 , p
1 , p
2 , k3]；步骤3、对畸变矫正后的低动态序列图像拟合相机响应函数g(v
ij
)，利用相机响应函数计算所有像素点对应真实照度值，合成高动态范围图像，具体步骤如下：a、结合s型函数模型建立相机曝光量h和图像像素值v之间映射关系，v和h间函数关系如下公式(2)所示 公式(2)上式中，i为图像中像素位置索引，j为图像索引，a、b为待定系数，可通过已知的散点数据求解，h
ij
为低动态序列图像中第j个图像中第i个像素的相机曝光量，v
ij
为低动态序列图像中第j个图像中第i个像素的图像像素值，a、b为常数，e为自然对数的底；。
[0019]
b、对公式(2)求反函数并两边取对数，结合照度值e和曝光时间δt表示曝光量h的关系式h = eδt，可建立公式(3)；
ꢀꢀ
公式(3)公式（3）中，e
i
为低动态序列图像中每个图像的第i个像素的照度值，δt
j
为低动态序列图像中第j个图像的曝光时间。
[0020]
c、当v
ij
和lnδt
j
已知时，可对公式(4)的求解转换成最小二乘法求解目标函数o，如公式(4)所示：
ꢀꢀ
公式(4)上式中p为采样点个数，q为图像序列幅数，v
ij
已知，a、b待求常数；在每幅图像上的相同位置随机选取多组采样点数据，最终拟合求得常数a和b ，求得a、b后，可最终拟合生成该相机响应曲线，如下图2所示。
[0021]
d、将公式（3）变形得到：
ꢀꢀ
公式（5）令得公式(6)：
ꢀꢀ
公式（6）上式中g(v
ij
)为所求得的相机响应函数，lne
i
为每幅图像中现实场景第i个像素的真实照度，为了减小误差，融合所有q幅图像求解合成后高动态范围图像每个像素点对应的照度值，计算方法如公式（7）：
ꢀꢀ
公式（7）为合成高动态范围图像的每个像素点对应的照度值。
[0022]
步骤4、由于普通显示设备动态范围有限，无法显示高动态范围图像，将其由rgb颜色空间转换到cie 1931 xyz空间，转换矩阵m
y
和两者间线性关系如下公式(8)。式中y表示图像亮度，对亮度通道进行基于颜色校正模型的梯度域色调映射处理； 公式(8)公式（8）中，x、y、z表示cie 1931 xyz空间的三个参数，其中y表示图像亮度，对亮度通道进行基于颜色校正模型的梯度域色调映射处理。
[0023]
a、在亮度通道，首先通过高斯滤波和线性下采样操作，建立图像高斯金字塔w0，w1…
w
d ，每一级采用中心差分计算梯度，如公式(9)中k为高斯金字塔层数索引，x , y为亮度位置索引。在每一级k中，定义缩放因子，α为梯度检测的阈值取平均梯度的10%，β决定衰减程度取0.8
‑
0.9之间效果最好； 公式(9)公式(9)中k为高斯金字塔层数索引，x , y为图像中亮度位置的坐标，为图像高斯金字塔中第k级的梯度；b、得到各级缩放因子后，计算梯度衰减函数和图形散度divp，如公式(10)所示：
ꢀꢀ
公式(10)公式（10）中，divp为图像散度，为梯度衰减函数的线性上采样值，l
out
为色调映射后的图像亮度，
▽
表示泊松方程。原图像的梯度可由前向差分公式计算；图像散度由后向差分计算，用于补偿梯度值，且图像散度需满足泊松方程。
[0024]
c、映射后图像亮度l
out
与原始图像亮度l
in
满足关系式，为修正色调映射过程中的颜色扭曲现象，引入线性颜色校正模型，在色差和消色差之间加入线性插值。线性表示如下公式(11)
ꢀꢀ
公式(11)上式中c代表颜色通道(r,g,b)，颜色校正因子m∈[0,1]；d、根据图像中不同明暗区域的亮度信息，设计一种具有自适应调节功能的校正因子m。设t为亮度比值，λ为映射常数，对t进行归一化处理，并使用幂函数建立归一化结果t
norm
与校正因子m间的函数关系，结合步骤c，可得最终颜色校正模型为公式(12) 公式(12)上式中t
max
和t
min
分别为t的最大值和最小值，η为常数。
[0025]
步骤5、色调映射处理后输出图像为颜色均衡、感观度良好、细节清晰的高质量图像，如图3所示，用于汇聚式双目视觉标定，以棋盘格标定板上的角点作为双目相机的匹配点，输入角
点之间的物理距离和cmos相机参数信息，建立双目相机的内部参数矩阵，其中f
x
为左相机有效焦距，f
y
为右相机有效焦距，u0，v0为像素坐标系原点的横纵坐标；a、汇聚式双目相机间标定主要通过针孔成像原理分别建立世界坐标系、相机坐标系o
l
‑
x
l
y
l
z
l
/o
r
‑
x
r
y
r
z
r
、像素坐标系o
l
‑
u
l
v
l
/o
r
‑
u
r
v
r
和图像坐标系o
l
‑
x
l
y
l
/o
r
‑
x
r
y
r
间的关系，利用齐次矩阵表示的方法将空间位置中的任一特定点a (x，y，z)转换到左右相机像素坐标系下a
l
(u
l
v
l
)/a
r
(u
r
v
r
)。本实施例中，汇聚式双目立体视觉模型如图4所示。
[0026]
b、根据针孔成像原理并结合三角形相似性，可得公式(13)。
[0027] 公式(13)上式中，f
l
表示透镜中心与感光元件间的距离视为焦距，m表示物体到焦点间的距离看作物距，ao
l
、bo
l
和ab为空间特定点a与相机光轴围成δabo
l
的三条边，a’o
l
、b’o
l
和a’b’为像平面上投影a’与相机光轴围成δa’b’o
l
的三条边，δabo
l
和δa’b’o
l
关于像平面对称全等。
[0028]
c、实际标定前将左相机视为主相机，则左相机坐标系o
‑
xyz原点可以视作世界坐标系原点，f
l
为左相机的有效焦距，f
r
为右相机的有效焦距，建立齐次方程如公式(14)：
ꢀꢀ
公式(14)d、公式(14)中，和分别为左右相机的内参数矩阵。坐标系o
l
‑
x
l
y
l
z
l
与坐标系o
r
‑
x
r
y
r
z
r
间的位置关系可以直接通过空间转换矩阵表示为公式(15)：
ꢀ
公式(15)e、公式(15)中，表示右相机相对于左(主)相机的外参数旋转矩阵，表示右相机相对于左(主)相机的外参数平移向量。若已知相机内外参数和空间特定点a转换到左右相机投影平面上的图像坐标（x
l
,y
l
）和（x
r
,y
r
），再结合公式(17)、(19)和(20)即可求得a点在空间中的三维坐标（x
l
,y
l
,z
l
）与左右图像坐标间的关系矩阵如公式(16)所示： 公式(16)步骤6、对完成双目相机标定后的成像模型，通过手眼标定中的九点法将特定点空间三维坐标值转换到机器人基坐标系下，用于矫正cad三维模型相对于加工型机器人的实
际位姿，并生成加工路径引导加工作业。
[0029]
a、对完成相机标定后的成像模型，通过手眼标定中的九点法将特定点空间三维坐标值转换到机器人基坐标系下，关系矩阵运算过程如公式(17)：
ꢀꢀ
公式(17)b、公式(17)中，为机器人基坐标，（x,y）为相机像素坐标，为相机坐标到机器人坐标的旋转矩阵，为相机坐标到机器人坐标的平移矩阵，a0，b0，c0，a1，b1，c1， a2，b2，c2分别为矩阵运算后得到的参数，联立公式(14)和(15)建立相机坐标系和机器人基坐标系间的关系矩阵，如公式(18)所示。
[0030]
ꢀꢀ
公式(18)c、将经过双目相机标定和相机
‑
机器人间矩阵转换后得到的三维坐标数据输入到机器人仿真软件中进行三维模型标记点校正处理，得到工件在真实环境中相对于机器人基坐标的位姿关系，进而利用机器人仿真软件离线编程加工路径，实现最终的定位加工作业。
[0031]
本发明方法主要创新点是：1）在机器视觉检测引导机器人智能定位加工领域内建立了一种扩展成像动态范围下的汇聚式双目视觉引导机器人定位方法；2）充分利用汇聚式双目相机成像范围大，标定精度高等特点，节约硬件升级成像动态范围成本，简化三维重构模型流程，提高了立体视觉定位的自由度和效率；3）通过拟合相机响应曲线，合成高动态范围图像，并在图像色差和消色差之间进行线性插值处理，映射生成色彩感观度良好的预处理图像。在信息熵、对比度和平均梯度三方面均有不同程度的优化效果，从根源上提升图像质量，解决相机硬件设备动态范围低的难题。
[0032]
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。