一种车辆环视系统中的相机外参标定方法

1.本发明涉及数据识别；数据表示；记录载体；记录载体的处理的技术领域，特别涉及一种车辆辅助驾驶领域的车辆环视系统中的相机外参标定方法。


背景技术：

2.近年来，随着计算机视觉的发展，全景图像被广泛应用于医学成像技术、遥感图像技术、虚拟现实世界和车载安全等方面。在车载安全方面，车辆四周的盲区无疑增加了车载安全隐患，为了使驾驶员较为方便地关注到车辆盲区视野，360全景环视系统avm(around view monitor)应运而生；全景辅助驾驶系统弥补了驾驶员视觉上存在盲区的不足，能够为驾驶员提供车辆周围360
°
范围视野，大大提高了车载安全性；全景环视系统通过车辆周围四路鱼眼摄像头采集全方位图像信息，将四路图像通过畸变校正、透视变换、融合拼接最终生成车辆周围360
°
范围的无缝完整的俯视图像，是真正意义上的“盲区终结者”，其作为辅助驾驶系统的基本组件，在盲区检测、车辆防撞预警、车道偏离预警和自动泊车系统等方面的应用十分广泛。
3.在全景环视系统中，相机标定的参数影响最终图像拼接的效果和全景图的完整性。除了内参标定外，一般在相机外参标定时常用的方法是在车周围摆放对齐的标定板，对齐放置是为了方便获得标定板各个角点的坐标，且此时标定板角点坐标也需要人工测量；虽然该方法能够得到高精度的标定板角点坐标，但大大增加了人力和时间成本，非常不利于全景环视系统的发展。


技术实现要素：

4.本发明解决了现有技术中存在的问题，提供了一种优化的车辆环视系统中的相机外参标定方法，基于非对齐放置标定板进行相机标定，以提高外参标定的效率。
5.本发明所采用的技术方案是，一种车辆环视系统中的相机外参标定方法，所述方法包括以下步骤：
6.步骤1：在任一车辆四周随机放置4块标定板，使得车辆环视系统的每个相机的视野中存在至少2块标定板；获取车辆的基本参数；
7.步骤2：选中任一相机c1及对应的1块标定板b，建立此标定板b的标定板坐标系；
8.步骤3：获取相机c1的图像，已知标定板b中4个角点在标定板坐标系的坐标及4个角点在相机c1中的像素坐标，求得相机c1相对于标定板坐标系的外参矩阵r'和t'；由r'和t'得到相机c1在标定板b的标定板坐标系下的坐标；
9.步骤4：对标定板b，选中另一对应的相机c2，按照步骤3的方法获得相机c2在标定板b的标定板坐标系下的坐标；
10.步骤5：基于相机c1和c2在标定板b的标定板坐标系下的坐标及相机c1和c2在车中心坐标系下的坐标，得到标定板b的标定板坐标系和车中心坐标系的转换关系，进而得到标定板b的角点在车中心坐标系下的坐标的估计值；
11.步骤6：重复步骤2至步骤5，直至获得所有标定板的角点在车中心坐标系下的坐标的估计值；判断坐标的估计值与图像检测的像素坐标的差值是否超过阈值，若超过则优化角点坐标和相机位姿，进行下一步，否则，直接进行下一步；
12.步骤7：根据每个相机观测到的两个标定板，计算每个相机相对于车中心坐标系的外参r和t矩阵。
13.优选地，车辆四周的标定板为4块，任一所述相机的视野中存在其中的2块标定板，任意2个所述相机的视野中的标定板至少有一块不同。
14.优选地，车辆的所述基本参数包括车辆的长度、宽度及车辆环视系统的每个相机在车辆上的相对安装位置信息。
15.优选地，所述步骤3中，将标定板的4个角点对应的标定板坐标系的坐标和在相机中的像素坐标通过pnp算法计算得到相机相对于当前标定板坐标系的外参矩阵r'和t'，满足r'pw+t'＝pc，其中，pw表示角点的世界坐标，pc表示角点的相机坐标；
16.令pc为(0,0,0)，则pw＝-r'-1
*t'，pw为当前相机在标定板坐标系下的坐标。
17.优选地，所述步骤5中，以svd分解得到标定板坐标系和车中心坐标系的转换关系；
18.令相机c1和c2在标定板坐标系的坐标各自为pi，在车中心坐标系下各自为p'i，分别对应有
[0019][0020]
对误差使用svd分解，得到外参r＝vu
t
，其中v和u分别表示奇异值分解的特征矩阵，外参t＝p-rp'。
[0021]
优选地，所述步骤6中，若坐标的估计值的误差较大，则将坐标通过每个相机的外参和内参转换到像素坐标系下，比较像素坐标系的像素坐标和图像中检测到的角点像素坐标，更新并优化角点坐标和相机位姿。
[0022]
优选地，所述优化重投影误差采用ba算法。
[0023]
优选地，使用g2o图优化库，引入标定板的边长和对角线长度作为优化重投影误差的约束条件；
[0024]
g2o的顶点为四个标定板角点的世界坐标及四个相机的位姿，g2o的边为四个相机的重投影误差、标定板的边长及标定板的对角线长度。
[0025]
优选地，g2o优化完成后，得到优化过的四个标定板的角点坐标和四个相机位姿，以位姿作为对应的相机的外参，或以标定板的角点坐标和对应的像素坐标，通过pnp计算相机的位姿。
[0026]
优选地，所述标定板为回字形标定板。
[0027]
本发明提供了一种优化的车辆环视系统中的相机外参标定方法，使用非对齐放置的标定板进行相机外参标定，且标定板角点的世界坐标无需人工测量，只需摆放好四个标定板，确保每路相机都可以同时看到两个标定板，最后输入相机安装位置和车辆基本参数就可自动完成相机外参标定工作。
[0028]
本发明大幅提高了相机外参标定的效率和环视系统的智能性，能够在非对齐放置标定板的情况下自动外参标定，无需人工测量，实施过程简单，自动化程度高，极大地提高了相机外参标定的效率。
附图说明
[0029]
图1为本发明的无畸变相机的成像示意图；
[0030]
图2为本发明的鱼眼相机径向畸变示意图；
[0031]
图3为本发明的重投影误差示意图；
[0032]
图4为本发明的外参标定场景示意图；
[0033]
图5为本发明的g2o优化模型示意图；
[0034]
图6为本发明的自动外参标定方法流程示意图。
具体实施方式
[0035]
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
[0036]
本发明涉及一种车辆环视系统中的相机外参标定方法，有别于现有技术的标定方法中采用对齐放置的标定板，再通过人工测量得到每个标定板角点的世界坐标，结合标定板角点的像素坐标来得到每个相机相对于世界坐标系的旋转向量r和平移向量t；本发明提出的方法无需人工测量角点的世界坐标，只需先估计出每个角点的世界坐标和每个相机的r和t，再使用重投影误差结合g2o库同时优化相机位姿和三维特征点坐标。
[0037]
本发明中，世界坐标系下和像素坐标系的转换关系为，
[0038][0039]
其中，(xw，yw,zw)是世界坐标系下的某点坐标，r和t表示相机外参，f表示相机焦距，dx、dy表示像素坐标系每单位像素的长度(单位mm)，x0,y0表示相机成像面中心在像素坐标系下的坐标，(u,v)表示该点在像素坐标系下的坐标。
[0040]
本发明中，(鱼眼)相机除了符合上述转换关系外还存在桶型畸变效果，鱼眼图像的畸变图与无畸变图的转换关系为，
[0041]
ud＝uu(1+k1r2+k2r4+k3r6)
[0042]
vd＝vu(1+k1r2+k2r4+k3r6)
[0043]
其中，(uu,vu)表示无畸变图像上某点坐标，(ud,vd)表示畸变图像上该点的坐标；k1,k2,k3表示畸变系数，可以通过张正友内参标定法获取鱼眼相机的畸变系数。
[0044]
所述方法包括以下步骤：
[0045]
步骤1：在任一车辆四周随机放置4块标定板，使得车辆环视系统的每个相机的视野中存在至少2块标定板；获取车辆的基本参数；
[0046]
车辆四周的标定板为4块，任一所述相机的视野中存在其中的2块标定板，任意2个所述相机的视野中的标定板至少有一块不同。
[0047]
车辆的所述基本参数包括车辆的长度、宽度及车辆环视系统的每个相机在车辆上
的相对安装位置信息。
[0048]
所述标定板为回字形标定板。
[0049]
步骤2：选中任一相机c1及对应的1块标定板b，建立此标定板b的标定板坐标系；
[0050]
步骤3：步骤3：获取相机c1的图像，已知标定板b中4个角点在标定板坐标系的坐标及4个角点在相机c1中的像素坐标，求得相机c1相对于标定板坐标系的外参矩阵r'和t'；由r'和t'得到相机c1在标定板b的标定板坐标系下的坐标；
[0051]
所述步骤3中，将标定板的4个角点对应的标定板坐标系的坐标和在相机中的像素坐标通过pnp算法计算得到相机相对于当前标定板坐标系的外参矩阵r'和t'，满足r'pw+t'＝pc，其中，pw表示角点的世界坐标，pc表示角点的相机坐标；
[0052]
令pc为(0,0,0)，则pw＝-r'-1
*t'，pw为当前相机在标定板坐标系下的坐标。
[0053]
本发明中，由于4个标定板是随机摆放的，故无法直接在一个统一的坐标系下得知所有的标定板角点坐标；需要分别以四个标定板的某角点为原点建立坐标系，在一个标定板坐标系下该标定板角点坐标都可直接得到；此时以一个标定板和一个相机为单位，已知该标定板四个角点的世界坐标，又知角点在该摄像头下的像素坐标，根据上述世界坐标和像素坐标的转换方法可以求出该相机相对于该坐标系的外参矩阵r和t；最后由r和t得到相机在该坐标系下的坐标。
[0054]
本发明中，设标定板长宽为1500mm，则第一块标定板的四个角点坐标依次为(0,0,0)、(1500,0,0)、(1500,1500,0)和(0,1500,0)，像素坐标可以通过人工检测或者自动检测方法获取；将标定板的4个角点对应的标定板坐标系的坐标和在相机中的像素坐标通过pnp算法可以得到标定板坐标系的坐标和相机坐标，进而得到该相机相对于该标定板坐标系的外参矩阵r'和t'，由r'pw+t'＝pc，当pc＝[0,0,0]
t
时得到pw＝-r'-1
*t'，也即为该相机在在标定板坐标系下的坐标。
[0055]
步骤4：对标定板b，选中另一对应的相机c2，按照步骤3的方法获得相机c2在标定板b的标定板坐标系下的坐标；
[0056]
步骤5：基于相机c1和c2在标定板b的标定板坐标系下的坐标及相机c1和c2在车中心坐标系下的坐标，得到标定板b的标定板坐标系和车中心坐标系的转换关系，进而得到标定板b的角点在车中心坐标系下的坐标的估计值；
[0057]
所述步骤5中，以svd分解得到标定板坐标系和车中心坐标系的转换关系；
[0058]
令相机c1和c2在标定板坐标系的坐标各自为pi，在车中心坐标系下各自为p'i，分别对应有
[0059][0060]
对误差使用svd分解，得到外参r＝vu
t
，其中v和u分别表示奇异值分解的特征矩阵，外参t＝p-rp'。
[0061]
本发明中，针对已知两个坐标系下相同两点的坐标，求取两坐标系的转换关系的方法可以看作3d-3d的点集转换，需要求得合适的r和t使得rp'i+t≈pi，故将问题转化为最小二乘问题，对上述误差使用svd分解即可。
[0062]
步骤6：重复步骤2至步骤5，直至获得所有标定板的角点在车中心坐标系下的坐标的估计值；判断坐标的估计值与图像检测的像素坐标的差值是否超过阈值，若超过则优化
角点坐标和相机位姿，进行下一步，否则，直接进行下一步；
[0063]
所述步骤6中，若坐标的估计值的误差较大，则将坐标通过每个相机的外参和内参转换到像素坐标系下，比较像素坐标系的像素坐标和图像中检测到的角点像素坐标，更新并优化角点坐标和相机位姿。
[0064]
所述优化重投影误差采用ba算法
[0065]
使用g2o图优化库，引入标定板的边长和对角线长度作为优化重投影误差的约束条件；
[0066]
g2o的顶点为四个标定板角点的世界坐标及四个相机的位姿，g2o的边为四个相机的重投影误差、标定板的边长及标定板的对角线长度。
[0067]
g2o优化完成后，得到优化过的四个标定板的角点坐标和四个相机位姿，以位姿作为对应的相机的外参，或以标定板的角点坐标和对应的像素坐标，通过pnp计算相机的位姿。
[0068]
本发明中，ba算法中，当相机对标定板拍摄时，获得多个坐标点，其投影的理论表达式为
[0069]
siui＝kexp(ξ
^
)pi[0070]
其中，r和t使用李代数表示为exp(ξ^)，si表示尺度大小，可以改变图像的缩放程度，一般为1.0即可；k表示相机内参矩阵，包括畸变系数，以ui表示每个点的像素坐标，以pi表示每个点的世界坐标；
[0071]
将所有坐标点的投影的理论表达式的误差求和，构建最小二乘问题，寻找最优的相机位姿和观测点坐标使该误差最小
[0072][0073]
其中，j表示重投影误差的最小值，n表示共有n个特征点。
[0074]
本发明中，由于标定板角点坐标和相机位姿是估计值，误差较大，故估计的角点坐标通过每个相机的外参和内参转换到像素坐标系下，将该像素坐标和图像中检测到的角点像素坐标比较来更新并优化角点坐标和相机位姿，优化重投影误差采用ba算法，其中使用g2o图优化库进行约束，使重投影误差减小；再者根据标定板的形状为正方形，故引入了标定板的边长和对角线长度作为约束条件，可以达到更好的优化效果。
[0075]
本发明中，当相机对该点拍摄时，该点将会在图像上有一个像素坐标，通过比较该坐标和计算得到的像素坐标(ud,vd)之间的差值来更新并优化相机各项参数；在获得多个坐标点后，其投影的表达式为(其中r和t使用李代数表示为exp(ξ^))：
[0076][0077]
简化为
[0078]
siui＝kexp(ξ
^
)pi，
[0079]
由于相机位姿未知以及观测点存在噪声，该等式存在一个误差；如附图3中p表示世界坐标系中一个特征点，在右侧像素平面中的像素坐标为p2，也是拍摄出的图像中的坐标；表示通过上式计算得到的像素坐标；e表示两像素坐标的差值，也即点p的重投影误差；在实际工作中一个相机可以拍摄到多个特征点，故可以将所有观测点的误差求和构建最小二乘问题，寻找最优的相机位姿和观测点坐标使该误差最小，由此可以求得单个相机在世界坐标系下的位姿；又同一个三维特征点又可以被多个相机拍摄到，故可以计算出多个相机之间的关系。
[0080]
步骤7：根据每个相机观测到的两个标定板，计算每个相机的相对于车中心坐标系的外参r和t矩阵。