一种水下双目标定方法

1.本发明属于水下双目视觉技术领域，具体涉及一种水下双目标定方法。


背景技术：

2.在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数，这个求解参数的过程就称之为相机标定(或摄像机标定)，无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。
3.其中，相机参数包括内参，内参包括内参矩阵和畸变矫正矩阵，常用的标定方法为通过相机拍取棋盘格或同心圆标靶的多个位姿，之后解算棋盘格或标靶中角点的世界坐标和像素坐标之间的关系，最后可通过张正友标定方法解算出相机的内参。
4.近年来摄像机标定作为光学测量的一项重要技术，得到了广泛的研究。传统的标定方法是通过标定方法建立三维世界与二维摄像机图像之间的关系，并采用针孔模型来描述关系图。在针孔模型的基础上，已经有许多经典的方法，如tsai、heikkila、张氏标定法等。
5.但是，在实现本发明的过程中发现,直接进行水下双目标定会因为光的折射导致相机的明显增大，这是由于水下直接标定将光的折射转换为有效焦距作为补偿，此外，重投影函数的计算是一个常数迭代过程，非常耗时。


技术实现要素：

6.本发明的目的在于提供一种水下双目标定方法。
7.本发明的目的通过如下技术方案来实现：
8.一种水下双目标定方法，包括以下步骤：
9.步骤1：获得水下棋盘图左右相机图像，建立水下折射成像模型，利用双目相机获取棋盘图不同位置分别在左右相机的图像；
10.步骤2：对步骤1得到的转换过后的图像进行特征提取，得到图像中标定板角点在像素坐标系下的坐标集合，在标定板上建立世界坐标系，获得世界坐标系下的标定板角点坐标集，将得到的坐标集转换到相机坐标系下；
11.步骤3；基于步骤2得到的坐标集，构建了一个前向投影误差函数进行非线性优化，通过最小化前向投影误差获得相机的内在参数；
12.步骤4：得到相机的内在参数与左右相机的转和平移矩阵后，基于质心距离增量矩阵计算旋转和平移矩阵。
13.进一步地，步骤2具体如下：
14.步骤2.1：根据标定板的物理尺寸，得到标定板中各个角点的世界坐标，定义世界坐标系下的标定板角点坐标集为p
ij
，每个角点都位于同一平面上；
15.步骤2.2：对步骤1得到的图像进行特征提取，得到标定板角点在像素坐标系下的坐标集合，定义在像素坐标系下的坐标集合为m
ij
，其中，i表示在图像集中所述图像的序号，j表示在图像中角点的序号；
16.步骤2.3：将步骤2.2得到的标定板角点在像素坐标系下的坐标从像素坐标系转换到图像坐标系，得到坐标集合为n
ij
，然后再将其转换到相机坐标系下，得到相机坐标系下的坐标集合p
ij
；将步骤2.1得到的角点在世界坐标系下坐标转换到相机坐标系下，得到相机坐标系下的角点坐标pc；
[0017][0018][0019][0020]
pc×
p
ij
·
r+t
[0021]
其中，r为左、右相机的旋转矩阵，t为左、右相机的迁移矩阵；j为相机的焦距，u0为相机光心在像素坐标系下的横坐标，v0为相机光心在像素坐标系下的纵坐标。
[0022]
进一步地，步骤3具体如下：
[0023]
不考虑镜片厚度，则光心为折射点，由q0表示光路的方向向量，由pi表示像点在相机坐标系下的坐标，pw表示物点在相机坐标系下的坐标，则p
iw
表示两点的向量：
[0024][0025]
p
iw
＝p
w-pi＝p
c-p
ij
[0026]
把向量p
iw
沿着n
ax
方向和n
bx
方向进行分解：
[0027]
p
iw
＝dot(p
iw
,n
ax
)n
ax
+p
iw
⊥
[0028]
p
iw
⊥
＝d
ow
tan(θ1)sd+(dot(p
iw
,n
ax
)-d
ow
)tan(θ2)sd[0029]
其中，θ1为光线的入射角，θ2为光的反射角；
[0030]
结合这两个公式得到代价函数；
[0031]
p
iw
＝d
ow tan(θ1)sd+(dot(p
iw
,n
ax
)-d
ow
)tan(θ2)sd+dot(p
iw
,n
ax
)n
ax
[0032]
将求解参数的过程转变为一个非线性优化过程，通过最小化代价函数得到相机的内在参数，每对图像左相机的外在参数以及右相机的外在参数
[0033]
arg min||d
ow tan(θ1)sd+(dot(p
iw
,n
ax
)-d
ow
)tan(θ2)sd+dot(p
iw
,n
ax
)n
ax-p
iw
||。
[0034]
进一步地，步骤4具体如下：
[0035]
根据步骤3得到的每对图像左相机的外在参数以及右相机的外在参数构建双目视觉系统模型为：
[0036][0037]
其中，p
icl
与p
icr
分别为物点pi在左相机和右相机坐标系下的坐标，如果选择了m对图像和n个角点，对于左右坐标的第i对图像中的第j个角点，其分别在左相机和右相机坐标系下的坐标为：
[0038][0039]
则坐标集合的质心点与由下面计算得：
[0040][0041]
将各坐标系的原点转换为相应的质心，新坐标与可以由以下公式计算得出：
[0042][0043]
结合双目视觉系统模型可以得到：
[0044][0045]
平移矩阵t被消去。rt的目标函数可以写成：
[0046][0047]
旋转矩阵r可以通过最小化f
ex
得到；
[0048][0049]
得到旋转矩阵r后，可以根据下式计算出平移矩阵t，
[0050][0051]
本发明的有益效果在于：
[0052]
本发明考虑了水下机器人在双目标定过程中，由于水下光的折射带来的重投影问题以及重投影函数的计算的耗时问题，提出了新的标定方法，满足水下水下双目测量需要。本发明建立了水下折射成像模型，为了减小重投影误差，采用了一个更精确、更有效的前向投影误差函数进行非线性优化。
附图说明
[0053]
图1本发明双目标定流程图；
[0054]
图2为左右相机在水下采集的标定板图片；
[0055]
图3为水下像点位置与空气中像点位置关系。
具体实施方式
[0056]
下面结合附图对本发明做进一步描述。
[0057]
本发明的提供了一种双目标定方法，如图1所示，本发明的整体流程如下：
[0058]
步骤1：进行水池试验，通过双目摄像机获得水下棋盘图左右相机图像，如图2所示，把世界坐标系原点定义在棋盘图左上角第一个角点，以棋盘图平面作为世界坐标系的z＝0平面；
[0059]
步骤2：建立水下折射成像模型，建立水下成像点与理想空气中成像点位置关系，如图3所示；
[0060]
步骤3：根据标定板的物理尺寸，对左右相机获取的图像进行的特征计算，得到标定板中各个角点的世界坐标，定义世界坐标系下的标定板角点坐标集为p
ij
，每个角点都位于同一平面上；
[0061]
步骤4：对步骤1得到的图像进行特征提取，得到标定板角点在像素坐标系下的坐标集合，定义在像素坐标系下的坐标集合为m
ij
，其中，i表示在图像集中所述图像的序号，j表示在图像中角点的序号；
[0062]
步骤5：将步骤4得到的标定板角点在像素坐标系下的坐标从像素坐标系转换到图像坐标系，得到坐标集合为n
ij
，然后再将其转换到相机坐标系下，得到相机坐标系下的坐标集合p
ij
；将步骤3得到的角点在世界坐标系下坐标转换到相机坐标系下，得到相机坐标系下的角点坐标pc；
[0063][0064][0065][0066]
pc＝p
ij
·
r+t
[0067]
其中，r为左(右)相机的旋转矩阵，t为左(右)相机的迁移矩阵，j为相机的焦距，u0为相机光心在像素坐标系下的横坐标，v0为相机光心在像素坐标系下的纵坐标；
[0068]
步骤6：不考虑镜片厚度，则光心为折射点，由q0表示光路的方向向量，由pi表示像点在相机坐标系下的坐标，pw表示物点在相机坐标系下的坐标，则p
iw
表示两点的向量：
[0069][0070]
p
iw
＝p
w-pi＝p
c-p
ij
[0071]
步骤7：把向量p
iw
沿着n
ax
方向和n
bx
方向进行分解，
[0072]
p
iw
＝dot(p
iw
,n
ax
)n
ax
+p
iw
⊥
[0073]
p
iw
⊥
＝d
ow
tan(θ1)sd+(dot(p
iw
,n
ax
)-d
ow
)tan(θ2)sd[0074]
其中，θ1为光线的入射角，θ2为光的反射角；
[0075]
结合这两个公式得到代价函数；
[0076]
p
iw
＝d
ow tan(θ1)sd+(dot(p
iw
,n
ax
)-d
ow
)tan(θ2)sd+dot(p
iw
,n
ax
)n
ax
[0077]
将求解参数的过程转变为一个非线性优化过程，通过最小化代价函数得到相机的内在参数，每对图像左相机的外在参数以及右相机的外在参数
[0078]
arg min||d
ow tan(θ1)sd+(dot(p
iw
,n
ax
)-d
ow
)tan(θ2)sd+dot(p
iw
,n
ax
)n
ax-p
iw
||
[0079]
步骤8；根据步骤7得到的每对图像左相机的外在参数以及右相机的外在参数构建双目视觉系统模型为：
[0080][0081]
其中，p
icl
与p
icr
分别为物点pi在左相机和右相机坐标系下的坐标，如果选择了m对图像和n个角点，对于左右坐标的第i对图像中的第j个角点，其分别在左相机和右相机坐标系下的坐标为：
[0082][0083]
则坐标集合的质心点与由下面计算得：
[0084][0085]
将各坐标系的原点转换为相应的质心，新坐标与可以由以下公式计算得出：
[0086][0087]
结合双目视觉系统模型可以得到：
[0088][0089]
平移矩阵t被消去。rt的目标函数可以写成：
[0090]
[0091]
旋转矩阵r可以通过最小化f
ex
得到：
[0092][0093]
得到旋转矩阵r后，可以根据下式计算出平移矩阵t：
[0094][0095]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。