专利名称：一种人脸运动跟踪方法和系统以及一种增强现实方法
技术领域：
本发明涉及数字视频处理领域，具体的说，涉及视频中运动跟踪领域。
背景技术：
近年来，人脸运动跟踪技术得到了很大的发展，在电视电话会议、远程教学、监视与监控等场合都需要对特定人脸目标进行实时跟踪、分析和传递。可视电话、视频会议、基于内容的压缩与检索、身份鉴别、人机智能交互等许多应用都与人脸跟踪紧密相关。但是， 现有的人脸跟踪技术却不尽人意，在人运动很快时，往往因为人脸特征点的丢失，造成跟踪失败。尤其对于增强现实(AR)技术领域，由于跟踪失败将不可避免地导致饰物渲染和虚拟场景显示的失败，因此能够实时准确跟踪人的头部运动对该领域更加重要。增强现实技术是指将计算机虚拟生成的信息，映射到真实世界的物理环境上，展现出一个虚拟与现实混合叠加的增强情景的技术，例如用手机终端跟踪分析人脸并生成有趣的动画的技术。近年来，随着移动终端设备计算能力的提升、多媒体性能的增强、各种感应模块的集成使用，将AR技术借助移动互联网络应用到移动智能终端上，即AR技术的移动化成为新兴的研究热点，主要是研究面向移动智能终端的增强现实关键技术，利用移动终端设备的摄像头、GPS、感应器等丰富功能，利用移动互联网络的移动、广覆盖、实时在线等特性，研发面向移动智能终端的增强现实系统化技术架构解决方案，通过示范应用形成移动互联网上新的增值业务、信息服务模式，推动产业发展。由于人脸跟踪和增强现实在移动平台上的广泛应用，本领域现有很多研究和专利。其中完全沉浸(Total-Immersion)公司在iOS平台发布的应用“魔镜”可以检测人脸的特征点位置和人脸朝向，并给人戴上虚拟的帽子和眼镜。这主要通过如下两个步骤实现 首先直接采用主动形状模型、主动表观模型等方法获得2D人脸表面特征点或通过Haar特征获得的2D人脸表面特征点；然后用基于3D人脸特征点模型的方法去估计人脸的位姿，该方法先要计算模型中3D人脸特征点与2D人脸表面特征点的对应关系，再通过射影几何的方法计算3D人脸朝向。然而，随着头部的运动，“魔镜”中人脸表面特征点可能会丢失，这种情况下再用基于模型匹配的方法就很可能使匹配丢失，产生图1所示的情况。
发明内容
为解决上述技术问题，本发明目的在于提供一种在实时跟踪头部运动过程中人脸表面特征点不会丢失的人脸运动跟踪方法和系统以及采用该方法的增强现实方法。为了实现上述目的，根据本发明一个方面，提供了一种人脸运动跟踪方法，包括1)提取视频图像的人脸特征点和人脸轮廓特征；2)确定所述人脸特征点的个数；3)对于所述人脸特征点的个数是大于预设阈值的情况，利用所述人脸特征点以及 3维模型对视频图像中的人脸进行运动跟踪，对于所述人脸特征点的个数小于或等于预设阈值的情况，利用所述人脸轮廓特征进行运动跟踪。
根据本发明另一方面，还提供了一种人脸运动跟踪系统，其包括特征提取模块，用于提取视频图像的人脸特征点和人脸轮廓特征；特征确定模块，用于确定所述人脸特征点的个数；跟踪模块，用于对于所述人脸特征点的个数是大于预设阈值的情况，利用所述人脸特征点以及3维模型对视频图像中的人脸进行运动跟踪，对于所述人脸特征点的个数小于或等于预设阈值的情况，利用所述人脸轮廓特征进行运动跟踪。根据本发明又一方面，还提供了一种包括上述人脸运动跟踪方法的增强现实方法。本发明的优点在于，能够准确跟踪头部运动而避免丢失所确定的人脸特征点；在实时跟踪用户的面部特征和头部运动时，通信网络只需传输少量脸部运动数据，适用于多种手机平台，对摄像头、内存等硬件条件要求不高，因此可应用到视频通话交互中以提高通话的趣味性和交互性。
图1是完全沉浸公司开发的“魔镜”在估计位姿时丢失人脸特征点的示意图；图2示出了根据本发明优选实施例的人脸跟踪方法流程图；图3a和图北分别是原始采集图像和滤波后图像；图如中示出了不同光照下的人脸图像，图4b中示出了去除光照影响后的人脸图像；图5示出了多种类哈尔特征；图6示出了根据本发明优选实施例的人脸特征点确定流程示意图；图7示出了主动形状模型特征点的示例；图8示出了利用射线投影法获取人脸轮廓点的示意图；图 9 示出了 Candide-3 模型；图10示出了同一个人在不同位姿下脸部边缘的显著差异示意图；图11示出了不同人在相同位姿下脸部边缘的相似性示意图；图12示出了人脸轮廓信息提取示意图；图13示出了饰物图像的边缘处理示意图；图14是根据本发明一个实施例渲染虚拟场景后的人脸图像。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对根据本发明一个实施例的增强现实方法和系统进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。人脸运动跟踪主要用于跟踪图像或视频中人脸相对图像平面的三维的位置和朝向，并估计出近似的三维角度，例如估计抬头的仰角等。本发明中，根据所提取的人脸特征点利用3D特征点模型和人脸轮廓回归相结合的方法估计人脸位姿。根据本发明的一个优选实施例，如图2所示，本发明的人脸运动跟踪方法主要包括人脸特征检测和运动跟踪两部分，具体过程如下
人脸特征检测用于从输入图像中提取人脸表面的特征点以用于人脸运动跟踪。人脸特征检测主要包括图像预处理、确定特征点和人脸轮廓特征提取。1)首先，对图像进行预处理。在本优选实施例中，具体地，采用高斯滤波器对图像进行滤波，去除图像中的噪声，图3a和图3b分别示出了原始采集图像和滤波后的图像；采用商图像技术除去高亮光照对图像的影响，图4a中示出了不同光照下的人脸图像，图4b中示出了去除光照影响后的人脸图像。2)然后，在视频图像中确定人脸的特征点。对经过预处理的图像进行特征提取。根据本发明的一个优选实施例，特征为类哈尔(Haar-Iike)特征。类哈尔特征描述了图像中相邻矩形块的像素差异，图5中示出了几种不同的类哈尔特征。对于图5中黑色区域和白色区域面积相同类哈尔特征，用公式表示如下
权利要求
1.一种人脸运动跟踪方法，包括1)提取视频图像的人脸特征点和人脸轮廓特征；2)确定所述人脸特征点的个数；3)对于所述人脸特征点的个数是大于预设阈值的情况，利用所述人脸特征点以及3维模型对视频图像中的人脸进行运动跟踪，对于所述人脸特征点的个数小于或等于预设阈值的情况，利用所述人脸轮廓特征进行运动跟踪。
2.根据权利要求1所述的方法，其特征在于，所述步骤3)中所述利用所述人脸特征点以及3维模型对视频图像中的人脸进行运动跟踪进一步包括以下步骤m31)计算使ΣΙΙ^Χ-^ll2最小的矩阵P，其中Ui表示3维模型上的点，Xi表示所述人脸特i=\征点，m为所述人脸特征点的个数的一半；32)根据所述矩阵P确定人脸的位置和朝向。
3.根据权利要求1或2所述的方法，其特征在于，所述步骤3)中所述3维模型是 Candide-3 模型。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述步骤3)中所述利用所述人脸轮廓特征进行运动跟踪包括以下步骤33)根据所述视频图像的人脸轮廓特征与不同类别的训练人脸图像的轮廓特征的中心的距离，确定所述视频图像所属类别；34)根据所属类别将所述视频图像的轮廓特征带入对应类别的回归方程来确定人脸的朝向。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述步骤1)中所述提取视频图像的人脸特征点包括11)提取视频图像的特征；12)根据所述特征确定所述视频图像的人脸特征点。
6.根据权利要求5所述的方法，其特征在于，所述步骤11)中所述特征是类哈尔特征、 联合哈尔特征、旋转哈尔特征或离散哈尔特征。
7.根据权利要求5所述的方法，其特征在于，所述步骤1)中所述提取视频图像的人脸特征点还包括13)根据步骤12)所提取的人脸特征点采用主动形状模型、主动表观模型或约束局部模型进一步提取人脸特征点以用于步骤2)。
8.根据权利要求1至3任一项所述的方法，其特征在于，所述步骤1)前还包括对视频图像进行预处理的步骤。
9.一种人脸运动跟踪系统，其包括特征提取模块，用于提取视频图像的人脸特征点和人脸轮廓特征；特征确定模块，用于确定所述人脸特征点的个数；跟踪模块，用于对于所述人脸特征点的个数是大于预设阈值的情况，利用所述人脸特征点以及3维模型对视频图像中的人脸进行运动跟踪，对于所述人脸特征点的个数小于或等于预设阈值的情况，利用所述人脸轮廓特征进行运动跟踪。
10.一种增强现实方法，其包括权利要求1至9任一项所述的人脸运动跟踪方法； 以及对跟踪人脸运动的视频图像进行虚拟场景显示。
11.根据权利要求10所述的增强现实方法，其特征在于，还包括采用基于边缘提取和加权中值滤波的图像变形技术来对所述视频图像进行饰物渲染。
12.根据权利要求10所述的增强现实方法，其特征在于，还包括采用求解边界泊松方程的方法来对所述视频图像进行饰物渲染。
13.根据权利要求10至12任一项所述的方法，其特征在于，所述虚拟场景显示包括 在所述视频图像的人脸前绘制眼镜。
14.根据权利要求10至12任一项所述的方法，其特征在于，所述虚拟场景显示包括 在所述视频图像的人头顶部绘制帽子。
全文摘要
本发明提供一种人脸运动跟踪方法和系统以及一种增强现实方法，该人脸运动跟踪方法，包括1)提取视频图像的人脸特征点和人脸轮廓特征；2)确定所述人脸特征点的个数；3)对于所述人脸特征点的个数是大于预设阈值的情况，利用所述人脸特征点以及3维模型对视频图像中的人脸进行运动跟踪，对于所述人脸特征点的个数小于或等于预设阈值的情况，利用所述人脸轮廓特征进行运动跟踪。该方法能够准确跟踪头部运动而避免丢失所确定的人脸特征点；而且在实时跟踪时，通信网络只需传输少量脸部运动数据，适用于多种手机平台，对硬件条件要求不高，因此可应用到视频通话交互中以提高通话的趣味性和交互性。
文档编号G06K9/00GK102332095SQ201110335178
公开日2012年1月25日 申请日期2011年10月28日 优先权日2011年10月28日
发明者冀鼎皇, 夏时洪, 魏毅 申请人:中国科学院计算技术研究所