专利名称：基于双目立体视觉的四目摄像机正面人脸重建方法
技术领域：
本发明属于图像处理技术领域，更具体地说，涉及一种正面人脸重建方法。
背景技术：
人脸识别技术经过几十年的发展，得到了广泛应用。目前的人脸识别算法对于正面图像有很高的识别率，但却不能很好的适应姿态的变化。一系列实验表明，当输入人脸姿态发生变化时，识别率急剧下降。双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由不少于两幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。
发明内容
本发明的目的是为克服已有技术的不足之处，提出一种基于双目立体视觉的四目摄像机正面人脸重建方法，该方法可增强人脸识别对姿态的鲁棒性，提高不同姿态人脸识别的准确性。本发明提出一种基于双目立体视觉的四目摄像机正面人脸重建方法，包括以下步骤I)获取双目摄像机的参数；2)拍摄人脸图像；
`
3)根据步骤I)得到的畸变参数Rl，R2，对图像Il和图像Jl进行校正，得到图像ΙΓ和图像J1’ ；4)人脸定位以及双眼定位；5)对人脸矩形区域进行匹配，求出深度图；6)根据步骤I)得到的投影矩阵M1，M2，求出人脸三维坐标；7)根据人眼的双眼坐标，求出人脸的偏转角度Θ ；8)根据步骤7)求出的人脸偏转角度Θ，对人脸进行旋转；9)将旋转后的人脸三维坐标投影到摄像机成像平面，得到正面人脸图像；10)对图像12、J2进行步骤3)-步骤9)操作，生成正面人脸图像2 ;11)将步骤9)和步骤10)所得正面人脸图像进行融合，得到最终正面人脸图像。本发明方法通过一对双目摄像机从两个不同角度对人脸的拍摄，获得人脸的偏左姿态和偏右姿态四幅图像，采用双目立体视觉的方法将不同姿态的人脸图像恢复出高质量的正面人脸图像，从而提高不同姿态人脸识别的准确性。
图1为实现本发明方法的四目摄像机布置示意图；图2为对待拍摄人进行人脸图像拍摄的两幅偏左姿态图像I1、Jl和偏右姿态图像12、J2 ；图3为本发明采用SGM方法进行匹配，得到初始深度图；图4为本发明通过二次匹配过程，得到的一个完全匹配没有空洞的人脸；图5为本发明得到的正面人脸图像I ;图6为本发明生成正面人脸图像2 ；图7为将正面人脸图像I和正面人脸图像2拼接，得到正面人脸图像。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一种实施方式，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明提出的基于双目立体视觉的四目摄像机正面人脸重建方法实施例，包括以下步骤I)获取双目摄像机的参数确定双目摄像机的参数是本发明的预处理部分。摄像机参数包含投影矩阵Ml，M2，畸变参数Rl，R2 (Rl，R2为1*6维的向量)。如果使用的是封装好的摄像机，摄像机参数可以从产品说明书中查出；如果是自己搭建的双目摄像机，摄像机参数可以通过摄像机标定的方法求出。2)拍摄人脸图像使用两台双目摄像机1、2如图1所示放置，同时从左右两个角度(左右摄像机夹角通常在30-90°之间，本实施例设置为60° )对待拍摄人3进行人脸图像拍摄，分别取得人脸的两幅偏左姿态图像I1、J1 :和偏右姿态图像12、J2，如图2所示；3)根据步骤I)得到的畸变参数Rl，R2，对图像Il和图像Jl进行校正，得到图像ΙΓ和图像J1’由于摄像机制造和工艺等方面的原因，图像的像点会发生畸变，在需要精确图像匹配时，这些畸变会影响匹配的精度，因此是不容忽视的。根据步骤I)获得的畸变参数町，1 2，对图像11、11中的每个像素点的位置(x，y)进行调整，求出每个像素点新的位置坐标(X'，y,)，如公式(I)所示，以消除图像点的畸变；对于图像Il :x' = R1(1)x+R1(2)x2+R1 (3)x3y' =1^4)7+1^(5)/+1^(6)73对于图像Jl :x' = R2 ⑴ x+R2 (2) x2+R2 (3) X3
γ' = R2 ⑷ y+R2 (5) y2+R2 (6) y3 ⑴式中R1 (I)为畸变参数Rl的第一个 分量，R1 (2)为畸变参数Rl的第二个分量，以此类推。4)人脸定位以及双眼定位对步骤3)所得校正后的图像ΙΓ和图像J1’进行人脸定位，确定图像ΙΓ和图像J1’的人脸矩形区域；通过双眼定位，确定图像11’和图像J1’的双眼坐标Xll，yll，Xl2，yl2和 x21, y21, x22, y22 ；5)对人脸矩形区域进行匹配，求出深度图首先求出图像11’和图像J1’左眼横坐标差值dl.dl=x21-xll(2)以dl为匹配初始值，在[dl-nl，dl+nl] (nl为象素值，取值范围与图像大小有关，本实施例图像大小为640*480，nl为30)范围内进行匹配，采用SGM方法进行匹配，得到初始深度图，如图3所示。从图3可以看出，初始匹配结果包含很多空洞(图中的深色区域为空洞，白色区域为错误区)，空洞区域和错误区域说明匹配失败，需要进行二次匹配。根据人脸的平滑性，局部区域可以近似为平面。因此，可以利用二次方程来寻找最佳匹配结果，具体二次匹配过程如下a)确定图像ΙΓ和图像J1’对应初始深度图空洞区域的端点，图像ΙΓ的端点为Π，f2,图像J1’的端点为gl，g2;gl, g2,端点之间对应的线段存在如下关系g = disparity (f)+f(3)式中，disparity (f)表示f像素对应的坐标差值。b)假设端点之间的对应线段满足二次方程g = af2+bf+c(4)式中，a, b, c表示二次方程的系数。c)同时，假设该函数还应满足单调性，因此系数a必须满足如下关系
权利要求
1.一种基于双目立体视觉的四目摄像机正面人脸重建方法，其特征在于，用两个双目相机快速恢复出逼真正面人脸图像，所述方法包括以下步骤 1)获取双目摄像机的参数； 2)拍摄人脸图像； 3)根据步骤I)得到的畸变参数Rl，R2，对图像Il和图像Jl进行校正，得到图像ΙΓ和图像J1’ ； 4)人脸定位以及双眼定位； 5)对人脸矩形区域进行匹配，求出深度图； 6)根据步骤I)得到的投影矩阵Ml，M2，求出人脸三维坐标； 7)根据人眼的双眼坐标，求出人脸的偏转角度Θ； 8)根据步骤7)求出的人脸偏转角度Θ，对人脸进行旋转； 9)将旋转后的人脸三维坐标投影到摄像机成像平面，得到正面人脸图像； 10)对图像12、J2进行步骤3)-步骤9)操作，生成正面人脸图像2； 11)将步骤9)和步骤10)所得正面人脸图像进行融合，得到最终正面人脸图像。
全文摘要
本发明涉及基于双目立体视觉的正面人脸重建方法，属于图像处理技术领域。本方法包括确定双目摄像机的参数；拍摄人脸图像；根据得到的畸变参数R1，R2，将图像进行校正；人脸定位以及双眼定位；对人脸矩形区域进行匹配，求出深度图；根据得到的投影矩阵M1，M2，求出人脸三维坐标；根据人眼的三维坐标，求出人脸的偏转角度θ；根据偏转角度θ，对人脸进行旋转；将旋转后的人脸三维坐标投影到摄像机成像平面，得到正面人脸图像1；对另一个双目摄像机进行重复操作，生成正面人脸图像2；将两幅正面人脸图像进行融合，得到最终正面人脸图像。该方法可增强人脸识别对姿态的鲁棒性，提高不同姿态人脸识别的准确性。
文档编号G06K9/00GK103065289SQ20131002413
公开日2013年4月24日 申请日期2013年1月22日 优先权日2013年1月22日
发明者苏光大, 王晶, 苏楠, 任小龙, 夏聪 申请人:清华大学