专利名称：一种用于拍照手机的高分辨率三维人脸扫描方法
技术领域：
本发明涉及计算机视觉和计算机图形学领域，尤其涉及一种使用普通拍照手机完成高分辨率三维人脸扫描的方法。
背景技术：
三维人脸扫描在诸如人机交互、影视制作、游戏娱乐、视频通信等领域具有广泛的应用。但目前，该任务的完成需要借助于大型、昂贵的设备或高复杂度、高交互操作要求的重建算法。普通消费者在日常生活中还不能便捷地实现三维人脸扫描。
当前的三维人脸扫描方法主要有两大类，第一类是借助激光扫描仪或深度相机等设备，直接采集扫描对象的三维信息，第二类是从一幅或多幅二维人脸图像中重建出三维信息。通过激光扫描仪采集的三维人脸具有图像精确的特征，但实际使用上也存在不少问题，问题之一是设备庞大且昂贵，很难进入日常生活。此外，扫描需要用户全程做长时间配合，并且头部必须保持不动。
在公开号为CN101996416A，名称为“3D人脸捕获方法和设备”的中国专利中公开了一种使用CCD相机和深度相机完成三维人脸扫描的方法，同激光扫描仪相比，深度相机的体积和费用都减少很多。但其功能单一，且价格仍比较高，普通消费者也难以接受的。另外，TOF(Time-0f-Flight，光照时间)相机在室外环境或玻璃背景等情况下很难采集到非常准确的数据。同时，TOF相机的分辨率也比较低。
在专利公开号为US2009052748的美国专利中公开了一种从2D表示构建人脸的3D 表示的方法和系统，其揭示了从单幅中性表情正面人脸图像中重建三维人脸。但由单幅图重建三维信息是不适定问题，其结果导致重建的三维人脸往往不稳健。同时，单幅正面图像也不能较好的解决被遮挡区域的纹理映射问题。
在公开号为CN102222363A的中国专利中，公开了一种从人脸图像快速构建高精度个性化人脸模型的方法，其揭示了使用从固定角度拍摄的5张图像实现三维人脸的重建。固定角度拍摄对用户提出了较高的交互要求。同时，重建过程中还需要用户手工标定 41个特征点位置和特征点对应关系。此外，该方法仅仅依赖于41个特征点实现重建，而忽略了光照信息和反射率信息。这导致前期手工标定的误差会对重建结果产生非常大的影响，进而导致高精度的三维扫描在实际使用中很难被实现。发明内容
本发明的目的是为克服现有技术的不足，提供一种新的用于手机的高分辨率三维人脸扫描方法，其通过日常拍照手机实现三维人脸的高分辨率的扫描，且具有成本低、分辨率高、速度快的优点。
为实现上述目的，本发明提出如下技术方案一种用于拍照手机的高分辨率三维人脸扫描方法，包括以下步骤
第一步，依据三维人脸数据库构建三维人脸参考模板；L0010J 弟ニ步，通过拍照中机芫放扫描对家的数据米集；第三歩，对输入的图像进行预处理，包括特征点定位和伽马校正；第四歩，粗重建三維人脸，以完成姿态归ー化和光照、形状、反射率的初始值估 计；第五步，以粗重建结果为初始值，细重建三維人脸，对光照、形状、反射率进行更为 精细的优化；第六步，细重建完成后，以顶点法向量的形式存储形状信息。其中，所述第一歩中三维人脸參考模板的构建包括1)从三维人脸数据库中筛选出用于计算參考模板的数据集；2)将将笛卡尔坐标系下的三維人脸数据集展开到柱面坐标系下，得到每个三維人 脸三通道的纹理图像和单通道的形状图像；3)将三维描述的人脸数据集转换成ニ维描述，在ニ维数据集上使用光流技术，完 成各人脸的像素级稠密对齐；4)在对齐后的ニ維人脸数据集上，计算平均人脸图像并标定出特征点。所述三维描述的人脸数据集转换成ニ维描述是通过三通道纹理图像和单通道形 状图像合并得到一幅四通道图像而完成的。所述平均人脸图像的计算是在对齐后的ニ維人脸数据集上，计算平均图像，然后， 将四通道平均图像重新分解为三通道纹理图像和单通道形状图像，最后，将柱面坐标系下 的纹理图像和形状图像投影回笛卡尔坐标系，从而得到平均人脸的三维描述。所述第四步中的姿态归ー化是姿态參数通过仿射摄像机模型描述为
权利要求
1.一种用于拍照手机的高分辨率三维人脸扫描方法，其特征在于包括以下步骤第一步，依据三维人脸数据库构建三维人脸参考模板；第二步，通过拍照手机完成扫描对象的数据采集；第三步，对输入的图像进行预处理，包括特征点定位和伽马校正；第四步，粗重建三维人脸，以完成姿态归一化和光照、形状、反射率的初始值估计；第五步，以粗重建结果为初始值，细重建三维人脸，对光照、形状、反射率进行更为精细的优化；第六步，细重建完成后，以顶点法向量的形式存储形状信息。
2.根据权利要求1所述的用于拍照手机的高分辨率三维人脸扫描方法，其特征在于 所述第一步中三维人脸参考模板的构建包括1)从三维人脸数据库中筛选出用于计算参考模板的数据集；2)将将笛卡尔坐标系下的三维人脸数据集展开到柱面坐标系下，得到每个三维人脸三通道的纹理图像和单通道的形状图像；3)将三维描述的人脸数据集转换成二维描述，在二维数据集上使用光流技术，完成各人脸的像素级稠密对齐；4)在对齐后的二维人脸数据集上，计算平均人脸图像并标定出特征点。
3.根据权利要求2所述的用于拍照手机的高分辨率三维人脸扫描方法，其特征在于 三维描述的人脸数据集转换成二维描述是通过三通道纹理图像和单通道形状图像合并得到一幅四通道图像而完成的。
4.根据权利要求2所述的用于拍照手机的高分辨率三维人脸扫描方法，其特征在于 所述平均人脸图像的计算是在对齐后的二维人脸数据集上，计算平均图像，然后，将四通道平均图像重新分解为三通道纹理图像和单通道形状图像，最后，将柱面坐标系下的纹理图像和形状图像投影回笛卡尔坐标系，从而得到平均人脸的三维描述。
5.根据权利要求1所述的用于拍照手机的高分辨率三维人脸扫描方法，其特征在于所述第四步中的姿态归一化是姿态参数通过仿射摄像机模型描述为 χ*·ιι·· · *t · · M · ν* · * * · 1ν12·3 , · · V ·· ^2 ·.Ζ.其中· X，y，Ζ ·为参考模板上的特征点，· U，V ·为输入图像上的特征点，· t1; t2 ·为平移向量，M2.3是包含旋转、缩放和投影的2X3线性映射矩阵。
6.根据权利要求1所述的用于拍照手机的高分辨率三维人脸扫描方法，其特征在于 所述第四步中的光照、形状、反射率的初始值估计是由姿态归一化的5幅正面图像构建 5Xp的矩阵I，其中ρ为每幅图像的像素数目，并通过主成分分析得到I· 1'aCj其中7行对应于平均图像，a为5X4的光照系数初始值，C1为4Xp的形状和反射率初始值。
7.根据权利要求6所述的用于拍照手机的高分辨率三维人脸扫描方法，其特征在于 所述第五步中更为精细的优化包括最小化重建误差，保持粗重建的a不变，对C1的每一列求解如下优化问题，
8.根据权利要求ι所述的用于拍照手机的高分辨率三维人脸扫描方法，其特征在于 所述第五步中更为精细的优化包括最小化重建人脸同人脸参考模板间的距离。
9.根据权利要求1所述的用于拍照手机的高分辨率三维人脸扫描方法，其特征在于在保持重建误差t· CmcMI不变的基础上，引入调节矩阵以进一步减小重建人脸同人脸参考模板间的距离。
10.根据权利要求9所述的用于拍照手机的高分辨率三维人脸扫描方法，其特征在于 减小重建人脸同人脸参考模板间的距离是通过Levenberg-Marquardt方法完成。
全文摘要
本发明揭示了一种用于拍照手机的高分辨率三维人脸扫描方法，其通过构建三维人脸参考模板、通过拍照手机进行扫描对象的数据采集，对输入的图像进行特征点定位和伽马校正的预处理后，进行三维人脸的粗重建与细重建，最后以顶点法向量的形式存储形状信息，从而完成用拍照手机获得高分辨率的三维人脸扫描，且本发明具有成本低、分辨率高、速度快的优点。
文档编号G06T17/00GK102521586SQ20111040481
公开日2012年6月27日 申请日期2011年12月8日 优先权日2011年12月8日
发明者彭振云, 朱怡, 沈晔湖, 貊睿, 高巍, 魏磊 申请人:中国科学院苏州纳米技术与纳米仿生研究所