一种基于三维重建的平行式双目相机标定方法与流程

本发明属于涉及一种相机标定方法，具体为一种基于三维重建的双目相机标定方法。

背景技术：

机器视觉技术是一种利用摄像头高分辨率、高帧率、实时传输、工作环境要求宽松的特点对目标进行检测以及测量、可以通过非接触方式实现的技术，而这种技术随着科学的不断发展，在人工智能的大背景下，获得了无可替代的地位。其中，相机标定对于视觉测量以及检测至关重要。通过世界坐标系与图像坐标系的投影关系，可得到镜头的初始参数。但是这些参数无法代表镜头的物理属性，导致视觉应用产生偏差。所以需要一种用于参数优化的数学模型，来实现参数的全局优化，从而提高视觉技术精度。

目前，标定方法主要分为两类：单目标定与双目标定。由于双目标定利用的是仿生学原理，体现出单目标定无可比拟的优势，使得双目标定法应用更加广泛。双目标定法主要分为三种：一、主动视觉相机标定法，它具有不需要标定物、算法简单、鲁棒性高的优点，但成本高、设备昂贵是它的短板。出于实际工程代价考虑，很少应用于实际。二、相机自标定法。它具有灵活性强、可在线标定的优点，但精度低、鲁棒性差是它的短板，而这种短板是工程应用中忌讳的领域，因此很少应用于实际。三、传统相机标定法，典型代表为张正友相机标定法，它具有可使用任意相机模型来标定的优势，但算法的质量决定着它的精度。大部分算法都是通过最小化重投影误差来更新相机参数，从而提高双目相机参数精度。但重投影误差是基于二维平面产生的，因此，基于三维平面几何制约来提高双目相机参数精度是可行的。

针对三维平面双目相机标定方法多为通过最小化三维重建点与世界坐标系下真实三维坐标间欧式距离来更新双目相机参数，而通过质心距离增量来优化外参，最小化三维重建点与世界坐标系下真实三维坐标间欧式距离的双目标定方法收敛性提高通过极线约束以及最小化对极距离来实现尤为稀缺。

技术实现要素：

本发明克服现有技术存在的不足，提出了一种基于三维重建的平行式双目相机标定方法，目的是为了提高最小化特征点三维重建点与世界坐标系下真实三维坐标间欧式距离的双目标定方法收敛性，从而提高双目相机标定参数精度。

本发明是通过如下技术方案实现的。

一种基于三维重建的平行式双目相机标定方法，具体包括以下步骤：

1)将双目相机正对标定板并固定，旋转标定板，拍摄多组标定板不同方位照片，特征点为标定板角点。

2)利用特征点检测法获得特征点在左右图像坐标系平面中的畸变投影点与

3)将照片通过张正友相机标定法分别获得左相机内参矩阵il、左相机畸变参数dl、左相机的外参矩阵el、右相机内参矩阵ir、右相机畸变参数dr、右相机外参矩阵er、右相机坐标系相对于左相机坐标系的旋转矩阵r以及平移向量t，以上数据均作为左右相机初始参数。

4)引入质心距离增量公式，得到旋转矩阵r与平移向量t之间的关系。构建代价函数，通过最小二乘法正则化来获取旋转矩阵r的值，从而求得平移向量t。

5)由投影点与通过二阶径向畸变的畸变模型采用以下公式获得去畸变图像点ml与mr：

其中，rl、rr为投影点到对应图像坐标系原点的距离，(k1l，k2l)为左相机畸变参数，(k1r，k2r)为右相机畸变参数。

6)以左相机坐标系为参考坐标系，由去除畸变后的左相机图像点ml与右相机图像点mr通过空间相交法，得到交点在左相机坐标系下的三维坐标mcln，根据左相机系统坐标系与世界坐标系关系，求得交点在世界坐标系下坐标

7)通过三维重建误差j3d、极线约束je、对极距离约束jd建立优化代价函数，求解得到最佳相机参数，完成双目相机标定精度提升。

进一步优选的，步骤1所述标定板为黑白棋盘格图形，双目相机是指两个相同镜头的光轴几乎平行，且保持相机位置不变，标定板改变方位和角度，获得多组左右图像。

更进一步的，所述步骤2为：特征点检测法为2012年论文《automaticcameraandrangesensorcalibrationusingasingleshot》中提到的特征点检测法。

进一步优选的，步骤2所述特征点在世界坐标系下坐标已知，根据以下公式可获得对应左右相机坐标系下三维坐标：

其中，代表特征点在左相机坐标系下坐标，代表特征点在右相机坐标系下坐标，表示左相机旋转矩阵，表示右相机旋转矩阵，表示特征点在世界坐标系下坐标，表示左相机平移向量，表示右相机平移向量。

进一步优选的，步骤4所述获取深度图具体过程为：质心增量公式通过质心公式可得，质心公式为：

其中，为对应图像的质心坐标，s为标定板特征点个数，n为测试图像组数。

质心增量公式为：

其中，为左相机质心增量，为右相机质心增量。

通过以下公式构建代价函数：

最小二乘法正则化计算出旋转矩阵r。

根据以下公式计算出平移向量t:

进一步优选的，步骤7所述步骤具体为：

计算所有特征点在世界坐标系下理论值与计算值的欧氏距离，表达式为：

其中，为特征点在世界坐标系下的真实坐标值，为特征点在世界坐标系下的理论坐标值，(kl,kr)为相应相机的内参矩阵，(k1l,k2l,k1r,k2r)为相应相机的径向畸变参数。

计算极线约束，其表达式为：

其中，的表达式为：

其中，f为基础矩阵。

计算标定板实际宽度与理论计算宽度代价函数，用作距离约束，用直尺对标定板上下宽度进行测量，取平均值作为实际宽度ld，代价函数为：

其中，为标定板左下角特征点在世界坐标系下的理论坐标，为标定板右下角特征点在世界坐标系下的理论坐标。

构建优化代价函数：

minj＝j3d+je+jd

通过levenberg-marquardt(lm)算法对代价函数求解得更新相机参数。

更进一步的，所述步骤7为：更新相机参数为左相机内参矩阵il、左相机畸变参数dl、左相机的外参矩阵el、右相机内参矩阵ir、右相机畸变参数dr、右相机外参矩阵er、右相机坐标系相对于左相机坐标系的旋转矩阵r以及平移向量t。

本发明相对于现有技术所产生的有益效果为：

1)本发明通过质心增量公式的引入，避免了旋转矩阵r与平移向量t之间的耦合性影响。

2)本发明所述代价函数通过最小二乘法正则化来克服求解旋转矩阵r过程中的过拟合现象。

3)在最小化3d重建点理论值与世界坐标系下对应真实坐标值间距离时，增加了极线约束以及对极距离的约束条件来提高所求参数的收敛性，提高了标定参数的精度。从而使得视觉测量应用误差减小，具有一定的实际意义。

附图说明

图1是本发明中基于三维重建的双目相机标定算法流程图。

图2是本发明中左相机标定板图。

图3是本发明中右相机标定板图。

图4是特征点检测图。

图5是本发明中张正友标定法投影误差图。

图6是本发明中所提标定算法投影误差图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，结合实施例和附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。下面结合实施例和附图详细说明本发明的技术方案，但保护范围不被此限制。

本发明通过一个分辨率为1280*480、基线距离固定为5cm的双目相机和一个方格边长为2.7cm的黑白棋盘标定板构成双目视觉标定系统，标定板形状如图2。

将双目相机固定且正对标定板，旋转标定板，双目相机对特征点数量为48的标定板进行4个不同方位拍摄，且保证标定板图像可以在左右相机里完整呈现，获得4组标定板左右图像。

利用特征点检测法获得特征点在左右图像坐标系平面中的畸变投影点与特征点检测法为2012年发表论文《automaticcameraandrangesensorcalibrationusingasingleshot》中提到的特征点检测法，特征点检测如图4。

将左右图像通过张正友相机标定法分别获得左相机内参矩阵il、左相机畸变参数dl、左相机的外参矩阵el、右相机内参矩阵ir、右相机畸变参数dr、右相机外参矩阵er、右相机坐标系相对于左相机坐标系的旋转矩阵r以及平移向量t，以上数据均作为左右相机初始参数。特征点在世界坐标系下坐标已知，根据以下公式可获得对应左右相机坐标系下三维坐标：

其中，代表特征点在左相机坐标系下坐标，代表特征点在右相机坐标系下坐标，表示左相机旋转矩阵，表示右相机旋转矩阵，表示特征点在世界坐标系下坐标，表示左相机平移向量，表示右相机平移向量。

引入质心距离增量公式，得到旋转矩阵r与平移向量t之间的关系。构建代价函数，通过最小二乘法正则化来获取旋转矩阵r的值，从而求得平移向量t。质心增量公式通过质心公式可得，质心公式为：

其中，为对应图像的质心坐标，s为标定板特征点个数，n为测试图像组数。

质心增量公式为：

其中，为左相机质心增量，为右相机质心增量。

通过以下公式构建代价函数：

最小二乘法正则化计算出旋转矩阵r。

根据以下公式计算出平移向量t:

由投影点与通过二阶径向畸变的畸变模型采用以下公式获得去畸变图像点ml与mr：

其中，rl、rr为投影点到对应图像坐标系原点的距离，(k1l，k2l)为左相机畸变参数，(k1r，k2r)为右相机畸变参数。

以左相机坐标系为参考坐标系，由去除畸变后的左相机图像点ml与右相机图像点mr通过空间相交法，得到交点在左相机坐标系下的三维坐标mcln，根据左相机系统坐标系与世界坐标系关系，求得交点在世界坐标系下坐标

通过三维重建误差j3d、极线约束je、距离约束jd建立优化代价函数，求解得到最佳相机参数，完成双目相机标定精度提升。计算所有特征点在世界坐标系下理论值与计算值的欧氏距离，表达式为：

其中，为特征点在世界坐标系下的真实坐标值，为特征点在世界坐标系下的理论坐标值，(kl,kr)为相应相机的内参矩阵，(k1l,k2l,k1r,k2r)为相应相机的径向畸变参数。

计算极线约束，其表达式为：

其中，的表达式为：

其中，f为基础矩阵。

计算标定板实际宽度与理论计算宽度代价函数，用作距离约束，用直尺对标定板上下宽度进行测量，取平均值作为实际宽度ld，代价函数为：

其中，为标定板左下角特征点在世界坐标系下的理论坐标，为标定板右下角特征点在世界坐标系下的理论坐标。

构建优化代价函数：

minj＝j3d+je+jd

通过levenberg-marquardt(lm)算法对代价函数求解得更新相机参数。

为了验证本发明方法的有效提高了标定精度，设置了一组投影误差对比图，张正友标定法投影误差图为图5，本发明标定方法投影误差为图6。

区别于现有技术，本发明提出了一种基于三维重建的平行式双目相机标定方法，其优势在于：

1)通过质心增量公式的引入，避免了了旋转矩阵r与平移向量t之间的耦合性影响。

2)代价函数通过最小二乘法正则化来克服求解旋转矩阵r过程中的过拟合现象。

3)在最小化3d重建点理论值与世界坐标系下对应真实坐标值间距离时，增加了极线约束以及对极距离的约束条件来提高所求参数的收敛性，提高了标定参数的精度。从而使得视觉测量应用误差减小，具有一定的实际意义。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。