基于人脸图像的交互式摄像机标定方法与流程

本发明属于摄相机标定技术领域，具体是指基于人脸图像的交互式摄像机标定方法。

背景技术：

在诸多计算机视觉应用中，如运动检测以及三维重建，摄相机标定是其中非常重要的一项基本任务。目前流行的相机标定方法主要分为两类，一类是利用各种维度的标定物进行相机标定，二是直接利用目标对象的运动或场景中隐含的几何约束进行自动相机标定。在基于物体的标定方法中，大多数的标定方法需要使用高精度、特制的标定板图像，比如等大小的棋格、圆等。在一般的重建任务中，对于普通用户来说，打印标定板图像，并在摄像机前面摆放出各个不同的方位使得相机标定的过程非常繁琐和耗时。因此利用普通常见物体来完成相机标定非常必要。

技术实现要素：

为解决上述现有难题，本发明提供了一种基于人脸图像的交互式摄像机标定方法，用来解决在没有标定板的情况下，用人脸作为摄像机标定物自动标定摄像机内部以及外部参数的问题。该方法通过调整位于人脸前面的摄相机位置，使摄像机刚好位于人脸左右脸的中心分割平面上，利用人脸呈现的左右对称性，获得中心分割平面的消失线以及法向方向的消失点，从而得到关于摄像机内参矩阵和绝对二次曲线的一对共轭约束。更进一步的，该方法通过改变摄相机相对于人脸方向，同时也调整摄相机位置使得摄像机刚好位于人脸左右脸的中心分割平面上，从而得到关于摄像机内参矩阵和绝对二次曲线更多对共轭约束。在得到大于等于三对以上共轭约束下，可以唯一标定摄像机内部参数。该方法在获得摄像机的内部参数后，外部参数可以通过极线几何获得，因此利用该方法还可以重建三维人脸模型。

本发明采用的技术方案如下：

(1)对于内部参数不变，方位改变的手持相机，在固定位置的人脸面前拍摄人脸视频；

(2)在视频中实时获得人脸对称特征，如内外眼角、眼睛轮廓、内外鼻尖、左右眉毛起始点、眉上双切点、嘴左右角点、嘴轮廓等，对于轮廓特征，计算双切线和双切点获得平行线消失点的初始估计，随机选两组对称点x1,x2,y1,y2，可得到线x1x2和线y1y2的交点vx，通过ransac的方法，连接人脸左右对称点保留正确的对应点，去除不正确的对应点，以获得最优化的消失点vx估计；

(3)利用保留的正确对称点，随机选两组点x1,x2,y1,y2，可得到线x1x2和线y1y2的交点vx以及左右对称点中心线l1，其中l1可以通过连接x1y2和x2y1的交点和x1y1和x2y2的交点而得到

l1＝((x1×y1)×(x2×y2))×((x1×y2)×(x2×y1))；(1)

(4)重复以上步骤，随机再选取多组对称点可获得多条左右对称点中心线lⁱ，其中i＝1，2，...；

(5)观察到多条左右对称中心线相互重合时，相机的位置处于中心分割平面，这也意味着相互重合的左右对称中心线是中心分割平面的消失线，因此可以交互移动相机，实时计算以上步骤(2)到步骤(3)的结果，使得多条左右对称中心线相互重合；

可通过以下方法来判断各条左右对称中心线是否相互重合，将左右对称中心线li(i＝1，2，...)作为行向量，构造矩阵

使得因为矩阵l的前两列为关于线交点(x，y)的系数矩阵，l为增广矩阵，当系数矩阵和增广矩阵的秩相等，并小于2时，可以得到方程有无穷多个解，左右对称中心线重合；

(6)当多条左右对称中心线相互重合时，记录左右对称中心线即为中心分割面的消失线l的最优估计，通过步骤(2)计算该图像中的平行线消失点v的最优估计，而平行线消失点为中心面的法向消失点，因此为相机标定带来一对正交的独立线性约束

l＝ωw，(3)

其中，ω＝k^-tk^-1是关于相机内参的绝对二次曲线图像；

(7)多次调整相机方位可以获得关于相机标定的多对共轭约束，在得到大于等于三对以上共轭约束下，可以获得六个以上的独立线性约束，从而，相机的内部参数矩阵k可以由对绝对二次曲线ω的cholesky分解获得。

采用上述方案本发明取得有益效果如下：本发明基于人脸图像的交互式摄像机标定方法，是一种很简单的相机内参标定算法，不需要通过打印相机标定板，只需要拍摄人脸图像视频，并通过人脸左右对称性调整相机方位，当左右对应点的对称中心线和中心线消失线恰好吻合时，获得关于相机标定的一对共轭约束，从而多次调整相机方位可以获得关于相机标定的多对共轭约束，从而获得相机标定。本方法方便迅速，对普通用户在实践中简单易用，便于大规模推广应用。

附图说明

图1为人脸对称特征及平行线消失点示意图；

图2为通过人脸左右对称点获得多条左右对称点中心线示意图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

基于人脸图像的交互式摄像机标定方法，包括如下步骤：

(1)对于内部参数不变，方位改变的手持相机，在固定位置的人脸面前拍摄人脸视频；

(2)在视频中实时获得人脸对称特征，如内外眼角、眼睛轮廓、内外鼻尖、左右眉毛起始点、眉上双切点(bi-tangentpoints)、嘴左右角点、嘴轮廓等，对于轮廓特征，计算双切线和双切点获得平行线消失点的初始估计，随机选两组对称点x1,x2,y1,y2(如图1)，可得到线x1x2和线y1y2的交点vx，通过ransac的方法，连接人脸左右对称点保留正确的对应点(inliers)，去除不正确的对应点(outliers)，以获得最优化的消失点vx估计；

(3)利用保留的正确对称点(inliers)，随机选两组点x1,x2,y1,y2(如图1)，可得到线x1x2和线y1y2的交点vx以及左右对称点中心线l1，其中l1可以通过连接x1y2和x2y1的交点和x1y1和x2y2的交点而得到

l1＝((x1×y1)×(x2×y2))×((x1×y2)×(x2×y1))；(1)

(4)重复以上步骤，随机再选取多组对称点可获得多条左右对称点中心线li(图2)，其中i＝1，2，...；

(5)观察到多条左右对称中心线相互重合时，相机的位置处于中心分割平面，这也意味着相互重合的左右对称中心线是中心分割平面的消失线，因此可以交互移动相机，实时计算以上步骤(2)到步骤(3)的结果，使得多条左右对称中心线相互重合；

可通过以下方法来判断各条左右对称中心线是否相互重合，将左右对称中心线li(i＝1，2，...)作为行向量，构造矩阵

使得因为矩阵l的前两列为关于线交点(x，y)的系数矩阵，l为增广矩阵，当系数矩阵和增广矩阵的秩相等，并小于2时，可以得到方程有无穷多个解，左右对称中心线重合；

(6)当多条左右对称中心线相互重合时，记录左右对称中心线即为中心分割面的消失线l的最优估计，通过步骤(2)计算该图像中的平行线消失点v的最优估计，而平行线消失点为中心面的法向消失点，因此为相机标定带来一对正交的独立线性约束

l＝ωv，(3)

其中，ω＝k^-tk^-1是关于相机内参的绝对二次曲线图像；

(7)多次调整相机方位可以获得关于相机标定的多对共轭约束，在得到大于等于三对以上共轭约束下，可以获得六个以上的独立线性约束，从而，相机的内部参数矩阵k可以由对绝对二次曲线ω的cholesky分解获得。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。