一种远距离大视场的双目相机标定方法和三维测量方法与流程

1.本发明涉及基于视觉的三维测量技术领域，尤其涉及一种远距离大视场的双目相机标定方法和三维测量方法。


背景技术：

2.基于视觉的三维测量常用到双目视觉的方法，其中相机标定是立体视觉测量的前提和基础。双目标定通过求解相机内参数与外参数，获得相机几何模型及左右相机之间的相对位置关系，在摄影测量、计算机视觉中起到至关重要的作用。在远距离大视场的环境下，双目视觉测量往往比较困难，相机标定精度难以保证。
3.现有的标定方法包括传统标定法、自标定法、主动视觉标定法。其中，传统标定法需要借助制造精密的标定板，在近距离小视场中标定简单，精度高，但在远距离大视场标定时，由于视场幅面很大，采用标定板标定实施困难；自标定法仅通过多帧图像间的匹配关系，便可标定相机的内外参数，不需要外部标定物，该方法灵活方便，精度不高，适用于在线标定；主动视觉标定法需要调整相机进行旋转平移运动，操作过程复杂，成本高。
4.因此，现有的标定方法存在以下缺点：(1)传统的方法和设备大多适用于近距离场景测量，远距离大视场环境下不能适用；(2)大型标定板制作昂贵，操作困难，使用费时费力；(3)需要借助一些昂贵的测量仪器或设备，比如全站仪、经纬仪、无人机等。
5.以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本技术的新颖性和创造性。


技术实现要素：

6.针对传统方法无法适用于远距离三维测量场景，以及成本高、技术过程复杂等缺陷，本发明提供一种远距离大视场的双目相机标定方法和三维测量方法。
7.为解决上述问题，本发明采用以下技术方案：
8.本发明公开了一种远距离大视场的双目相机标定方法，包括以下步骤：
9.s1：在远距离测量场景内配置双目相机，并对所述双目相机的两个相机的内参数分别进行标定；
10.s2：在所述远距离测量场景内选定至少一个标定物，所有所述标定物上共设有多个特征点，通过所述双目相机的两个相机分别采集多幅标定物图像，其中所述双目相机与所述至少一个标定物之间的距离至少为100m；
11.s3：在两个相机分别采集的多幅所述标定物图像中获取多组特征点对；
12.s4：结合两个相机的内参数，计算所述多组特征点对在对应的相机坐标系下的三维坐标；
13.s5：结合所述多组特征点对在对应的相机坐标系下的三维坐标，采用相对定向算法，计算两个相机之间的旋转矩阵和平移向量；
14.s6：在两个相机之间的平移向量中加入比例因子，得到两个相机之间的平移矩阵。
15.优选地，步骤s1中对所述双目相机的两个相机的内参数分别进行标定包括：两个相机在距离标定板10米范围内采集至少8组不同方位的标定板图像，采用光束平差算法对相机进行标定，计算两个相机的内参数。
16.优选地，步骤s2中所述多个特征点中每两个所述特征点之间的距离大于5m，且采集的标定物图像中多个所述特征点的分布所占幅面至少占所述标定物图像的幅面的1/3。
17.优选地，步骤s4包括：结合两个相机的内参数，采用下式计算所述多组特征点对在对应的相机坐标系下的三维坐标：
[0018][0019]
式中，(xc,yc,zc)表示特征点在对应的相机坐标系下的三维坐标，dx为像元大小，(u,v)为特征点在相机拍摄的图像上对应的图像点的像素坐标，(u0,v0)为相机主点的像素坐标，(c
x
,cy)为相机主点的偏差，(δx,δy)为畸变参数，f为相机内参数焦距。
[0020]
优选地，步骤s5包括：结合所述多组特征点对在对应的相机坐标系下的三维坐标，采用迭代算法求解下述两式得到旋转矩阵r和平移向量t＝(b
x
,by,bz)
t
：
[0021][0022][0023]
式中，(x
cl
,y
cl
,z
cl
)
t
表示特征点在所述双目相机中的第一相机拍摄的图像上的图像点在第一相机的相机坐标系下的坐标，(x
cr
,y
cr
,z
cr
)
t
表示特征点在所述双目相机中的第二相机拍摄的图像上的图像点在第二相机的相机坐标系下的坐标，(x
′
cr
,y
′
cr
,z
′
cr
)
t
表示特征点在所述双目相机中的第二相机拍摄的图像上的图像点在变换的第二相机的相机坐标系下的坐标，变换的第二相机的相机坐标系是根据第二相机的相机坐标系按照旋转矩阵r进行旋转变换得到的。
[0024]
优选地，步骤s6包括：采用测距仪测量任意两个所述特征点之间的距离l，采用下式计算比例因子s：
[0025][0026]
式中，(xa,ya,za)和(xb,yb,zb)分别是根据两个相机的内参数和两个相机之间的旋转矩阵、平移向量求解得到的所述测距仪测量的两个所述特征点的三维坐标；
[0027]
根据平移向量和比例因子计算得到平移矩阵。
[0028]
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令
促使处理器实现上述的双目相机标定方法的步骤。
[0029]
本发明还公开了一种远距离大视场的三维测量方法，包括根据上述的双目相机标定方法标定得到所述双目相机的内参数和外参数，外参数包括两个相机之间的旋转矩阵和平移矩阵，以及：
[0030]
s7：对待测物进行特征检测，结合所述双目相机的内参数和外参数对所述待测物进行三维测量。
[0031]
优选地，步骤s7中利用所述双目相机的内参数和外参数对所述待测物进行三维测量具体包括：采用最小二乘法求解下式，计算得到物体点的三维坐标(x,y,z)：
[0032][0033]
式中，(u
l
,v
l
)表示物体点在所述双目相机中的第一相机拍摄的图像上的图像点的像素坐标，(ur,vr)表示物体点在所述双目相机中的第二相机拍摄的图像上的图像点的像素坐标，表示所述双目相机中的第一相机的内参数和外参数组成的矩阵，表示所述双目相机中的第二相机的内参数和外参数组成的矩阵。
[0034]
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现上述的三维测量方法的步骤。
[0035]
与现有技术相比，本发明的有益效果在于：本发明提出的远距离大视场的双目相机标定方法，简单易行、灵活方便，标定精度高，其中没有采用昂贵的测量仪器或设备，因此成本较低。本发明提出的远距离大视场的三维测量方法，解决了远距离大视场条件下三维测量困难、成本高的问题。
附图说明
[0036]
图1是本发明优选实施例的远距离大视场的双目相机标定方法流程图；
[0037]
图2是相机中心投影示意图；
[0038]
图3是双目相机的两个相机的共面关系图；
[0039]
图4是本发明优选实施例的远距离大视场的三维测量方法流程图。
具体实施方式
[0040]
以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，
而不是为了限制本发明的范围及其应用。
[0041]
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路/信号连通作用。
[0042]
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0043]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0044]
如图1所示，本发明优选实施例公开了一种远距离大视场的双目相机标定方法，包括以下步骤：
[0045]
s1：在远距离测量场景内配置双目相机，并对双目相机的两个相机的内参数分别进行标定；
[0046]
在一个具体的实施例中，在远距离测量场景内配置2个cmos相机、2个三脚架、2台计算机、1个激光测距仪，其中2个cmos相机固定在2个三脚架上，2台计算机分别连接2个cmos相机，其中两个相机的基距大于20m。
[0047]
对双目相机的两个相机的内参数分别进行标定具体包括：两个相机在距离标定板10米范围内采集15组不同方位的标定板图像，采用光束平差算法对相机进行标定，计算两个相机的内参数。
[0048]
具体而言，标定板一物体点p经过相机光心s投影到图像点p的过程中存在如下坐标系转换关系。如图2所示，o
w-x
wywzw
为世界坐标系，o
c-xcyczc为相机坐标系，o-xy为像平面坐标系，o
′‑
uv为图像坐标系。
[0049]
1)世界坐标系到相机坐标系的转换关系为：
[0050]
世界坐标系下的物体点到相机坐标系的变换可由旋转矩阵和平移矩阵表示为：
[0051][0052]
式中，(xc,yc,zc)为物体点p在相机坐标系下的坐标，(xw,yw,zw)为物体点p在世界坐标系下的坐标，(xs,ys,zs)为相机光心s点在世界坐标系下的坐标。
[0053]
2)相机坐标系到像平面坐标系的转换关系为：
[0054][0055]
式中，(xc,yc,zc)为物体点p在相机坐标系下的坐标，(x,y)为图像点p的图像坐标，f为焦距。
[0056]
3)像平面坐标系到图像像素坐标系的转换关系为：
[0057][0058]
式中，(x,y)为图像点p的图像坐标，(u0,v0)为主点的像素坐标(图像中心的像素坐标)，(dx,dy)为相机像元大小，(u,v)为图像点p的像素坐标。
[0059]
在考虑实际相机主点偏差与镜头畸变后，得到相机实际成像的共线方程为：
[0060][0061]
式中，(x,y)为图像点p的图像坐标，(c
x
,cy)为主点偏差，f为焦距，(δx,δy)为镜头畸变偏差。
[0062]
采用迭代算法求解非线性方程(式(4))，计算相机内参数。
[0063]
s2：在远距离测量场景内选定至少一个标定物，所有标定物上共设有多个特征点，通过双目相机的两个相机分别采集多幅标定物图像，其中双目相机与至少一个标定物之间的距离至少为100m；
[0064]
在一具体实施例中，选择某些具有特征点信息或者纹理信息的静止物作为标定物，比如大型建筑物；若环境中的标定物特征点或者纹理信息极少，增加一些只有一个特征点的大幅面标定物，再采用两个相机采集多幅标定物图像。其中，双目相机与远距离标定物的距离为150m左右(例如100m～200m)，标定物特征点之间的距离大于5m(更优选地，标定物特征点之间的距离大于10m)，标定物特征点分布所占幅面大于图像幅面的1/3。
[0065]
s3：在两个相机分别采集的多幅标定物图像中获取多组特征点对；
[0066]
在一实施例中，在计算机软件中通过人工拾取与特征点检测的方法，得到左右图像中至少15个特征点对；具体而言，采用图像检测算法进行目标特征点识别，同时在软件界面中进行人工检查，得到偏差较小的特征点对。
[0067]
s4：结合两个相机的内参数，计算多组特征点对在对应的相机坐标系下的三维坐标；
[0068]
在一实施例中，根据相机内参数，对特征点的图像坐标去畸变，采用投影几何原理，计算相机坐标系下多组特征点对应的像点的三维坐标。
[0069]
具体而言，如图2所示，物体点p在相机的图像点为p(即图像点p为物体点p在相机拍摄的图像上对应的图像点)，假设图像点p的像素坐标为(u,v)，相机主点的像素坐标为(u0,v0)，像元大小为dx，相机内参数焦距为f，畸变参数为(δx,δy)，主点偏差为(c
x
,cy)。
那么，图像点p在o
c-xcyczc的三维坐标(xc,yc,zc)为：
[0070][0071]
s5：结合多组特征点对在对应的相机坐标系下的三维坐标，采用相对定向算法，计算两个相机之间的旋转矩阵和平移向量；
[0072]
具体而言，如图3所示，空间中一点p在左右相机拍摄的左右2张图像上的图像点分别为p
l
、pr，两个相机坐标系分别为s
cl-x
clyclzcl
和s
cr-x
crycrzcr
，图像点p
l
在s
cl-x
clyclzcl
中的坐标为(x
cl
,y
cl
,z
cl
)
t
，图像点pr在s
cr-x
crycrzcr
中的坐标为(x
cr
,y
cr
,z
cr
)
t
，设投影中心s
cr
在s
cl-x
clyclzcl
坐标系下的坐标为(b
x
,by,bz)
t
，s
cr-x
crycrzcr
到s
cl-x
clyclzcl
的旋转矩阵为r。图像点pr在s
cr-x
′
cry′
crz′
cr
坐标系中的坐标为(x
′
cr
,y
′
cr
,z
′
cr
)
t
，s
cr-x
′
cry′
crz′
cr
通过s
cr-x
crycrzcr
按照旋转矩阵r进行旋转变换得到，由对极几何中的共面关系，且有：
[0073][0074]
其中，
[0075][0076]
相对定向的共面方程为：
[0077][0078]
采用迭代算法求解式(6)和式(7)，计算相对定向元素，得到旋转矩阵r和平移向量t＝(b
x
,by,bz)
t
。
[0079]
s6：在两个相机之间的平移向量中加入比例因子，得到两个相机之间的平移矩阵；
[0080]
在一实施例中，通过激光测距仪测得一组特征点距离，加入比例因子，计算平移矩阵。
[0081]
具体而言，利用激光测距仪测量任意两个特征点a、b之间的距离l，采用相机内参数和旋转矩阵、平移向量求解特征点a、b的三维坐标分别为(xa,ya,za)和(xb,yb,zb)；计算平移矩阵加入比例因子s得到最终的相机外参数。s通过式(8)计算得到，平移矩阵t通过式(9)计算得到。
[0082][0083]
[0084]
通过上述步骤，完成了远距离大视场的双目相机的标定，简单易行、灵活方便，采用光束平差的相机标定方法，标定精度高，其中没有采用昂贵的测量仪器或设备，因此成本较低。
[0085]
本发明的另一实施例公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现上述的双目相机标定方法的步骤。
[0086]
如图4所示，本发明优选实施例还公开了一种远距离大视场的三维测量方法，包括：先通过上述步骤s1～s6得到双目相机的内参数和外参数(包括两个相机之间的旋转矩阵和平移矩阵)，以及：
[0087]
s7：对待测物进行特征检测，结合双目相机的内参数和外参数对所述待测物进行三维测量。
[0088]
在一个具体实施例中，在远距离150m处布置4个待测物，在待测物表面布置一个直径800mm
×
800mm圆形标记点；采用特征点检测算法计算待测物标记点的图像坐标。
[0089]
利用三角测量原理，采用最小二乘法求解式(10)，计算待测物标记点的三维坐标(x,y,z)。
[0090][0091][0092]
式中，(u
l
,v
l
)为左图像点(即物体点在左相机拍摄的图像上的图像点)的像素坐标，(ur,vr)为右图像点(即物体点在右相机拍摄的图像上的图像点)的像素坐标，m为相机内参数和外参数组成的矩阵，m的上标l表示左相机，m的上标r表示右相机。
[0093]
最后可以根据式(11)计算待测物点在世界坐标系下的点距，通过激光测距仪测量进行结果对比。
[0094][0095]
式中，(x,y,z)为一待测物标记点的三维坐标，(x
′
,y
′
,z
′
)为另一待测物标记点的三维坐标。
[0096]
通过上述步骤，实现了远距离大视场的三维测量方法，解决了远距离大视场条件下三维测量困难、成本高的问题。
[0097]
本发明的另一实施例公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现上述的三维测量方法的步骤。
[0098]
本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不是由其他人描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。
[0099]
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。