专利名称：基于单张照片的人脸动画方法
技术领域：
本发明涉及图形图像处理与计算机视觉领域，特别是基于图像的三维人脸建模和动画方法。
背景技术：
基于单张照片的人脸动画是指从二维人脸图像出发，合成出该人的表情动画。它是计算机图形学、图像处理、计算机视觉等领域的研究热点和难点，吸引了大量的科研人员对其进行研究。人脸动画具有广阔的应用前景，主要包括三维游戏、影视制作、人机交互界面、远程呈现、教育等。基于单张图像的人脸表情动画方法可以分为直接基于图像处理的2D 表情动画和基于人脸建模的3D表情动画。其中，基于图像处理的2D表情动画适合于静态表情图像的生成，动态的人脸姿态和眼睛动作模拟比较困难。鉴于2D表情动画的限制，越来越多的研究人员将人脸动画的实现转换成三维网格的处理。对于基于图像的三维人脸重建，根据输入图像的数据不同，可分为基于单张图像、基于两张图像、基于多张图像、基于视频的人脸重建，在使用时选用哪种方式主要由应用场合的要求和可获得的图像数量决定。 其中，基于单张图像的三维人脸重建由于所需数据少、人机接口简单等特点，更宜于应用在商业产品中，如三维游戏中的个性化置入，通过采集玩家的单张人脸图像，重建其三维人脸模型并置入到游戏角色上，可以增强玩家的沉浸感。目前从单张人脸图像重建三维人脸的方法，使用最多的有两大类。一类是基于标准模型变形的方法，即从图像中提取人脸的个性化信息(多为关键点信息)，根据这些个性化信息将一个标准人脸模型变形为个性化的人脸模型。在模型变形时没有人脸的先验知识，因而这种方法的真实感不强，容易导致非人脸的产生。第二类方法是基于形变模型的方法，即从真实扫描的人脸模型建立人脸的形变模型，通过拟合输入图像，得到人脸的形状与纹理。这种方法可以得到具有真实感的重建结果，缺点是计算量很大，而且无法完全自动化。为了驱动三维人脸模型进行表情动画，比较常见的方法有三类。第一大类是基于 MPEG-4标准的表情动画方法，其定义了几种常见表情下特征点的运动路径，虽然简单，但缺陷是生成的表情不够真实。为了生成真实感很强的表情，第二大类是基于表情克隆的方法， 通过扫描获得带表情的三维人脸模型，将该表情映射到目标人脸模型上；这类方法能够生成细微的表情，缺点是每个顶点均需要映射处理，计算量大导致无法实时处理。第三大类是基于关键帧的插值技术，这在影视制作中比较常见，预先设计人脸的三维表情，过渡帧通过插值来获得；对于每一个人脸模型均需要重新设计其关键帧表情，并且需要专业美工人员的配合。
发明内容
本发明提供了一种基于单张照片的人脸动画方法，从单张正面人脸照片，可以基本自动、鲁棒、快速地重建具有真实感的三维人脸模型，然后自动生成个性化的人脸动画。
为了实现上述目的，本发明提出如下的技术方案(1)利用三维扫描仪采集真实的三维人脸数据，进行规整化处理，对规整化的形状进行主成分分析，得到人脸的形变模型(本步离线完成)；(2)利用Adaboost自动检测人脸在图像中的位置，利用主动外观模型自动定位人脸上的关键点；(3)根据人脸关键点和形变模型，恢复人脸的形状参数和姿态参数，从而得到人脸的三维形状；(4)添加眼睛和牙齿网格，对重建人脸网格进行扩展使其包含背景信息，从而获得包含完整照片信息的三维网格；(5)纹理映射后得到完整的三维人脸模型；(6)利用人脸样本模型制作一段人脸动画数据，定义样本模型上73个关键点的运动轨迹作为源稀疏动画数据(本步离线完成)；(7)利用径向基函数调整源动画数据的运动幅度和方向，获得与重建人脸相匹配的动画数据；(8)利用球面参数化计算顶点的重心坐标，插值获得每个顶点的动画数据；(9)自动模拟眼球的转动和眨眼的动作。本发明的优点是1.通用性强，易操作。只需要提供单张正面人脸照片，用户基本无需其他操作，因此具有良好的适用性。2.可以实现自动的人脸建模。大部分情况下，主动外观模型可以得到足够准确的关键点，对于少数特殊脸型，主动外观模型定位的关键点不够准确，只需对关键点做少量的手工调整。3.人脸重建过程鲁棒、真实感强、速度快。对于Pentium4 2. 8G的计算机，人脸重建可在2秒钟内完成。4.人脸建模完成后，可以实现全自动的人脸动画，特别是可以获得逼真的眼睛动画效果。
图1为本发明的人脸模型示意图，图中1.平均人脸的网格，2.眼球网格，3.牙齿网格。图2为本发明的眼球转动模拟示意图，图中1.眼球，2.当前注视方向/"；,3.下一帧注视方向ζ，4.平面上的移动注视点ρ。图3为本发明实施例的人脸动画示意图，图中1.输入的人脸照片，2.生成的高兴表情，3.眨眼动作。
具体实施例方式下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。本发明通过如下实施例进行说明输入单张正面的人脸照片，经过人脸检测、人脸关键点定位、人脸几何重建、模型扩展等步骤得到重建结果，经过动画数据制作、动画数据映射、基于球面参数化的插值、眼睛动作处理等步骤得到个性化的人脸动画效果，具体实施过程如下1.形变模型的建立。利用三维扫描仪采集真实的三维人脸数据，进行规整化处理，对规整化的模型形状进行主成份分析，得到人脸的平均形状^和人脸形状的变化分量Xi (1 < i < M)(本步离
线完成)。任意一个三维人脸模型的形状可以表达为
权利要求
1.一种基于单张照片的人脸动画方法，其特征在于，包括如下步骤步骤1 利用三维扫描仪采集真实的三维人脸数据，进行规整化处理，对规整化的形状进行主成份分析，得到人脸的形变模型(本步离线完成)；步骤2 利用Adaboost自动检测人脸在图像中的位置，利用改进的主动外观模型自动定位人脸上的关键点；步骤3 根据人脸关键点和形变模型，恢复人脸的形状参数和姿态参数，从而得到人脸的三维形状网格；步骤4 添加眼睛和牙齿网格，对重建人脸网格进行扩展使其包含背景信息，从而获得包含完整图像信息的三维网格；步骤5 纹理映射后得到完整的三维人脸模型；步骤6 利用人脸样本模型制作一段人脸动画数据，定义样本模型上73个关键点的运动轨迹为源稀疏关键点动画数据(本步离线完成)；步骤7:利用径向基函数调整源动画数据的运动幅度和方向，获得与重建人脸相匹配的稀疏关键点动画数据；步骤8 利用球面参数化计算顶点的重心坐标，插值获得每个顶点的动画数据； 步骤9 自动模拟眼球的转动和眨眼的动作。
2.根据权利要求1所述的基于单张照片的人脸动画方法，其特征在于，步骤1中的人脸模型的规整化按如下过程进行步骤11 定义一个平面规则网格，并在该网格和目标模型上标注若干对应的关键点； 步骤12 基于对应的关键点，利用径向基函数将平面规则网格变形到目标模型； 步骤13 从变形后的模型上的每一顶点出发做法向量投影，得到顶点的新坐标。
3.根据权利要求1所述的基于单张照片的人脸动画方法，其特征在于，步骤2中的人脸关键点定位按如下过程进行步骤21 采集和标定人脸样本，训练主动外观模型(本步离线完成)； 步骤22 利用Adaboost自动定位人脸位置和大小，初始化主动外观模型的全局仿射变换参数；步骤23 设置主动外观模型的能量函数表达式，通过迭代获得最小能量函数值，从而得到关键点位置。
4.根据权利要求1所述的基于单张照片的人脸动画方法，其特征在于，步骤3按如下过程进行步骤31 在形变模型的平均脸上标注与图像关键点相对应的三维关键点(本步离线完成)；步骤32 利用弱透视投影对三维关键点进行变换，得到三维关键点在二维平面上的投影；步骤33 对人脸的形状参数和姿态参数进行初始化；步骤34:设置代价函数，使三维关键点的投影点与二维关键点之间的偏差最小，得到人脸的形状参数和姿态参数；步骤35 利用形状参数将形变模型的形状分量加权，得到人脸模型的几何形状。
5.根据权利要求1所述的基于单张照片的人脸动画方法，其特征在于，步骤4按如下过程进行步骤41 建立眼睛和牙齿的三维模型(本步离线完成)，并将其放置在所建立的人脸三维形状的对应位置；步骤42 对所建立的人脸三维形状网格添加顶点和三角面，使其投影到图像平面后覆盖完整的图像区域。
6.根据权利要求1所述的基于单张照片的人脸动画方法，其特征在于，步骤7按如下过程进行步骤71 在样本模型和建立的人脸模型上标记相对应的三维关键点(本步离线完成)；步骤72 根据对应关键点的坐标，利用一个径向基函数建立两者之间的映射关系；步骤73 计算映射函数在关键点处的雅可比矩阵，样本动画数据的运动矢量乘以雅可比矩阵获得目标模型的对应关键点出的运动矢量。
7.根据权利要求1所述的基于单张照片的人脸动画方法，其特征在于，步骤8按如下过程进行步骤81 参数化重建的人脸模型使其投影到一个球面；步骤82 根据动画数据定义的关键点获取球面三角形的信息；步骤83 判断顶点落在哪个球面三角形内，并计算对应的重心坐标；步骤84 通过重心坐标和关键点处的运动矢量，插值获得每个顶点的运动矢量。
8.根据权利要求1所述的基于单张照片的人脸动画方法，其特征在于，步骤9按如下过程进行步骤91 在人脸模型前设定一个与其平行的平面，让眼睛始终注视该平面上运动的一点，该点的运动轨迹由程序自动生成；步骤92 利用相邻两帧的注视点来确定眼睛的旋转矩阵和旋转轴；步骤93 标记人脸模型中属于眼皮的顶点(本步离线完成)；步骤94:根据眼皮顶点坐标拟合出上下眼皮的二次曲线，利用上下曲线的距离确定眨眼时顶点的位移量。
全文摘要
一种基于单张照片的人脸动画方法，属于图形图像处理与计算机视觉领域。它是通过单张正面人脸照片自动重建人脸三维模型，然后驱动重建的三维模型生成个性化的人脸动画。它包括人脸三维重建单元和人脸动画单元，人脸三维重建单元步骤离线生成形变模型；利用主动外观模型自动定位人脸上的关键点；利用形变模型和关键点重建人脸的三维形状；添加眼睛和牙齿网格生成完整的人脸模型；纹理映射得到重建结果。人脸动画单元包括步骤制作稀疏关键点的动画数据；利用径向基函数将动画数据映射到目标人脸模型；采用球面参数化实现运动数据插值；生成眼睛的动作。本发明的特点是自动、鲁棒、真实感强，适合应用在影视制作、三维游戏等领域。
文档编号G06T13/40GK102376100SQ20101025873
公开日2012年3月14日 申请日期2010年8月20日 优先权日2010年8月20日
发明者姚健, 曾祥永, 杜志军, 王阳生 申请人:北京盛开互动科技有限公司