专利名称：一种表演驱动的制作人脸动画的方法和装置的制作方法
技术领域：
本发明涉及视频处理技术，特别是涉及一种表演驱动的制作人脸动画的方法和装置。
背景技术：
数字娱乐产业被誉为二十一世纪最具发展潜力的朝阳产业，具有投资回报高、产业关联度大、国际化程度高等特点。据统计，以电影业闻名全球的美国娱乐界中，2000年以来其数字娱乐产业就已经超过了电影；日本经济的五分之一已经由数字娱乐产业创造；韩国数字娱乐业产值年增长率高达40% ；我国提出经过5年至10年时间，数字娱乐产业至少要占GDP的1 %，这意味着我国数字娱乐产业未来至少具有1000亿元产值的巨大发展空间。在数字娱乐产业中，虚拟人可以增强用户对环境的亲切感和沉浸感，因此被广泛应用于如计算机动画、网络游戏、虚拟现实、人机交互等数字娱乐的各个领域。而虚拟人的关键技术是虚拟人的人脸表情的模拟，人脸表情是人类传达信息和交流情感的重要手段， 但人脸的表情运动非常复杂，同时人们对脸部表情变化的细微之处十分熟悉，因此如何做出具有真实感的人脸动画是一个极富挑战性的课题。目前，人脸动画的驱动技术主要包括基于文本的驱动、基于语音的驱动和基于表演的驱动。其中，基于表演驱动的虚拟人面部动画，通过跟踪视频人脸的运动，提取运动信息来直接控制目标三维或者二维人脸模型的运动。与基于文本和语音驱动的人脸动画相比，它显著地提高了动画生成的有效性，大大加快了动画生成速度和真实感。当前，基于表演驱动的虚拟人面部动画的主要实现方法有如下几种类型1.对脸部进行标记处理的二维动画生成从视频中跟踪脸部的标记点，自动提取脸部肌肉的收缩参数，用来驱动相关肌肉以产生面部表情。此类方法要求在表演者的脸部关键位置处设置发光标记点(或化妆处理)，限制了它的应用范围。2.无标记的人脸二维动画生成(1)采用局部参数化光流模型分别跟踪刚体和非刚体脸部运动，并将这些运动信息与喜、怒、哀、乐等描述联系起来；(2)利用边缘和颜色信息，对人脸图像集进行统计训练，得到了人脸外观的参数化模型，处理个体、姿态、表情和光照条件的差异；(3)对视频人脸外观建立线性子空间模型，同时在子空间内使用运动模板进行实时跟踪。这种方法处理比较复杂，不能迅速生成人脸动画，动画不够精准，也无法处理视频人脸朝向发生较大变化时的情形。3.无标记的人脸的三维动画生成。引入三维人脸模型，并将它与视频人脸匹配，以获得三维运动信息。尽管三维动画具有表情丰富生动逼真的特点，但制作难度大，成本高， 不易实现。
因此，现有的表演驱动的人脸动画生成技术，难以采用二维动画达到准确逼真的效果，难以简单迅速的生成逼真的二维人脸动画。
发明内容
本发明的目的是提供一种表演驱动的制作人脸动画的方法和装置，能够简单迅速的生成逼真的二维人脸动画，解决现有技术难以采用二维动画简单迅速的达到准确逼真效果的技术问题。为了实现上述目的，一方面，提供了一种表演驱动的制作人脸动画的方法，包括步骤一，对视频流进行人脸检测和外轮廓跟踪，获得目标人脸图像及所述目标人脸图像对应的五官特征点参数和外形轮廓参数；步骤二，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，生成所述目标人脸图像对应的基准图画肖像；步骤三，根据所述基准图画肖像，生成多个表情肖像；步骤四，持续对视频流进行人脸检测和外轮廓跟踪，获得当前视频帧中的所述目标人脸图像对应的五官特征点实时参数和外形轮廓实时参数；步骤五，根据所述五官特征点实时参数和外形轮廓实时参数，从所述多个表情肖像中获得对应的表情肖像，作为所述当前视频帧的生成肖像；步骤六，将所述视频流的各视频帧的生成肖像连续播放生成动画视频。优选地，上述的方法中，在所述步骤二中，所述基准图画肖像为人脸正面的图画肖像。优选地，上述的方法中，在所述步骤二中，通过主元分析和支持向量机的方式获得所述基准图画肖像。优选地，上述的方法中，在所述步骤一之前，还包括设立图画肖像库，存储多张人脸的图画肖像，记录每幅图画肖像对应的五官特征点参数和外形轮廓参数；在所述步骤二中，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，在所述图画肖像库中进行检索，获得所述目标人脸图像对应的图画肖像作为所述基准图画肖像。优选地，上述的方法中，在所述步骤四中，根据所述外形轮廓实时参数，通过弹性匹配的方式获得所述五官特征点实时参数。优选地，上述的方法中，在所述步骤五中，通过对所述五官特征点实时参数和外形轮廓实时参数进行最小距离运算，来获得所述对应的表情肖像。为了实现上述目的，本发明实施例还提供了一种表演驱动的制作人脸动画的装置，包括检测跟踪模块，用于对视频流进行人脸检测和外轮廓跟踪，获得目标人脸图像及所述目标人脸图像对应的五官特征点参数和外形轮廓参数；基准图画肖像模块，用于根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，生成所述目标人脸图像对应的基准图画肖像；表情肖像模块，用于根据所述基准图画肖像，生成多个表情肖像；所述检测跟踪模块，还用于持续对视频流进行人脸检测和外轮廓跟踪，获得当前视频帧中的所述目标人脸图像对应的五官特征点实时参数和外形轮廓实时参数；生成肖像模块，用于根据所述五官特征点实时参数和外形轮廓实时参数，从所述多个表情肖像中获得对应的表情肖像，作为所述当前视频帧的生成肖像；动画视频模块，用于将所述视频流的各视频帧的生成肖像连续播放生成动画视频。优选地，上述的装置中，所述基准图画肖像为人脸正面的图画肖像。优选地，上述的装置中，所述基准图画肖像模块，通过主元分析和支持向量机的方式获得所述基准图画肖像。优选地，上述的装置中，还包括图画肖像库，用于存储多张人脸的图画肖像，记录每幅图画肖像对应的五官特征点参数和外形轮廓参数；所述基准图画肖像模块，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，在所述图画肖像库中进行检索，获得所述目标人脸图像对应的图画肖像作为所述基准图画肖像。本发明至少存在以下技术效果1)本发明实施例中，通过人脸检测和外轮廓跟踪，先确定基准图画肖像和多个表情肖像，然后再根据实时参数选择对应的表情肖像，就可以生成与视频完全对应的实时动画。因为在实时动画的生成过程中，只需要根据参数选择已经存在的表情肖像，因此使得动画生成过程简单迅速，而表情肖像都是预处理的成熟肖像，因此动画的形象逼真。2)本发明实施例，将特征点与外轮廓线跟踪结合，将人脸检测与外轮廓跟踪结合， 提高了跟踪效率和准确度；3)本发明实施例中，肖像的发现采用的PCA特征提取和SVM方法；4)本发明实施例中，肖像序列的获得采用了全局特征点之间的最小距离方法，能够找到最为接近的表情肖像；5)本发明实施例中，采用纹理的重定向算法。在肖像建立过程中，采用纹理变形、 纹理分割、纹理梯度域编辑技术综合实现，使得肖像更加逼真。6)本发明实施例中，特征点的获得采用了改进的弹性模板匹配技术，对于特征点不全的视频图像，也能进行很好的处理。
图1为本发明实施例提供的方法的步骤流程图；图2为本发明实施例提供的装置的结构图。
具体实施例方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对具体实施例进行详细描述。图1为本发明实施例提供的方法的步骤流程图，如图1所示，本发明提供的表演驱动的制作人脸动画的方法，包括步骤101，对视频流进行人脸检测和外轮廓跟踪，获得目标人脸图像及所述目标人脸图像对应的五官特征点参数和外形轮廓参数；
步骤102，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，生成所述目标人脸图像对应的基准图画肖像；步骤103，根据所述基准图画肖像，生成多个表情肖像；步骤104，持续对视频流进行人脸检测和外轮廓跟踪，获得当前视频帧中的所述目标人脸图像对应的五官特征点实时参数和外形轮廓实时参数；步骤105，根据所述五官特征点实时参数和外形轮廓实时参数，从所述多个表情肖像中获得对应的表情肖像，作为所述当前视频帧的生成肖像；步骤106，将所述视频流的各视频帧的生成肖像连续播放生成动画视频。可见，本发明实施例，通过人脸检测和外轮廓跟踪，先确定基准图画肖像和多个表情肖像，然后再根据实时参数选择对应的表情肖像，就可以生成与视频完全对应的实时动画。因为在实时动画的生成过程中，只需要根据参数选择已经存在的表情肖像，因此使得动画生成过程简单迅速，而表情肖像都是预处理的成熟肖像，因此动画的形象逼真。在所述步骤102中，所述基准图画肖像为人脸正面的图画肖像。选择人脸正面更有利于检索和编辑。在所述步骤102中，可以通过主元分析和支持向量机的方式获得所述基准图画肖像。这种方式主要是针对找不到对应的基准图画肖像的时候，直接根据参数绘制一幅基准图画肖像。当然，很多基准图画肖像是预先存储的，这样在生成动画的时候可以直接拿来用， 进一步增加了动画生成的速度。具体过程包括在所述步骤101之前，设立图画肖像库，存储多张人脸的图画肖像，记录每幅图画肖像对应的五官特征点参数和外形轮廓参数；在所述步骤102中，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，在所述图画肖像库中进行检索，获得所述目标人脸图像对应的图画肖像作为所述基准图画肖像。在所述步骤104中，根据所述外形轮廓实时参数，通过弹性匹配的方式获得所述五官特征点实时参数。这是因为，并不是每帧视频图像中都可以采集到五官特征点，在人侧脸或者低头、仰面时候，有些点采集不到，但这时候可以根据外形轮廓估计头部的形态位置，在根据形态位置估计那些采集不到的特征点，也就是弹性匹配，这样，就可以更为准确的确定五官表情，获得更为准确的表情肖像，增加了动画的逼真效果。在所述步骤105中，可以通过对所述五官特征点实时参数和外形轮廓实时参数进行最小距离运算，来获得所述对应的表情肖像。图2为本发明实施例提供的装置的结构图，如图2所示，表演驱动的制作人脸动画的装置，包括检测跟踪模块201，用于对视频流进行人脸检测和外轮廓跟踪，获得目标人脸图像及所述目标人脸图像对应的五官特征点参数和外形轮廓参数；基准图画肖像模块202，用于根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，生成所述目标人脸图像对应的基准图画肖像；表情肖像模块203，用于根据所述基准图画肖像，生成多个表情肖像；所述检测跟踪模块201，还用于持续对视频流进行人脸检测和外轮廓跟踪，获得当前视频帧中的所述目标人脸图像对应的五官特征点实时参数和外形轮廓实时参数；生成肖像模块204，用于根据所述五官特征点实时参数和外形轮廓实时参数，从所述多个表情肖像中获得对应的表情肖像，作为所述当前视频帧的生成肖像；动画视频模块205，用于将所述视频流的各视频帧的生成肖像连续播放生成动画视频。其中，基准图画肖像选择为人脸正面的图画肖像。基准图画肖像模块202，可以通过主元分析和支持向量机的方式获得所述基准图画肖像。还包括图画肖像库，用于存储多张人脸的图画肖像，记录每幅图画肖像对应的五官特征点参数和外形轮廓参数；基准图画肖像模块202，可以根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，在所述图画肖像库中进行检索，获得所述目标人脸图像对应的图画肖像作为所述基准图画肖像。可见，本发明实施例中，因为在实时动画的生成过程中，只需要根据参数选择已经存在的表情肖像，因此使得动画生成过程简单迅速，而表情肖像都是预处理的成熟肖像，因此动画的形象逼真。在实际应用中，例如远程视频教学，如果传输实际摄制的视频流，将会占用大量的网络资源，传输慢、效果差，如果应用本发明实施例，在发送端将视频流转化为五官特征点实时参数和外形轮廓实时参数，仅传递这些参数，在接收端根据这些参数生成动画，那么， 不但保留了视频中人物的动作表情等视觉特征，而且大大降低了网络负担。相对于三维动画，尽管三维动画具有表情丰富生动逼真的特点，但制作难度大，在一定条件下并不需要复杂的三维人脸的虚拟合成；本发明实施例基于表演驱动的人脸动画方法，在一定程度上也可以达到生动逼真的效果。譬如平时观看的动画片中经常采用的也是二维动画。本发明提供的表演驱动的人脸动画表现技术，在动画的表情和跟踪方面采用了如下实现方式(1)人脸动画可以采用自动生成方式和预先设计方式。a)提供肖像的自动生成技术；即从获取的人脸图像出发，通过图像处理技术获得驱动主角的肖像；建立纹理图像的插值空间，对来自同一目标人脸相同部位的多幅纹理图像自动混合生成中间结果；例如，对人的多种表情(喜、怒、哀、乐、狂等等)每一种预先生成图像序列。由于采用了肖像的自动生成技术，通过多人脸的识别系统，实现多人驱动多人动画，虚拟环境将非常丰富。b)提供肖像库中肖像的自动发现技术；即建立肖像库，对输入人脸，建立规则，通过人脸的识别技术找到库中与人脸最为相似的肖像；(2)采用基于弹性匹配的人脸特征点的自动检测技术。在人脸自动检测方面，尽可能减少不同光照、不同人物、不同姿势等对效果的影响；通过弹性匹配，获得人脸的特征点；在获得第一张人脸肖像后，通过特征点的变化，驱动动画。(3)通过实时检测避免弱小表情识别；通常的表情识别，由于所采用的训练库主要体现在后期的夸张表情上，对前期的如小的表情缺少处理，这种情形下通过表演驱动的动画，在前期表现不够自然流畅，通过对特征点的实时检测，直接对检测到的特征点的变化，直接驱动动画，可有效避免这种表情僵硬的情况。(4)进行轮廓的实时跟踪对人脸的器官，甚至是鼻孔，嘴角等特征点的跟踪，由于遮挡等原因，实时跟踪很难，为了有效地实现人脸检测，建立可靠、有效、实时的面部运动重定向机制，可以对人脸的轮廓进行跟踪，在此基础上找出人脸器官的位置，以确定人脸的特征点。本发明实施例中，表演驱动的二维人脸动画生成技术。可以分为两个部分。一、人的表情分析对于从摄像头视频中获得的图像，先进行正面人脸(Frontal Face)的检测，获得表演的主角的正面人脸。1)对正面人脸的检测和外轮廓的跟踪，由于弹性图中采用了两种匹配方法获得精确的特征点，而每次对图像用GABOR变换(一种加窗傅立叶变换)作卷积需要消耗大量的时间，在定位人眼睛中心的基础上，近似确定特征部位代表点，然后在各自的矩形区域中用弹性图匹配的方法，找到特征点；2)对于初次获得的正面人脸，在进行配准和确定特征点后，可用图像处理的一些方法得到主角的肖像画，但一般是在肖像库库中找到与主角相似的肖像，可采用PCA(主元分析)提取特征，用两类SVM(support vector machine支持向量机)的方法获得。二、人脸动画的形成设定主角的序列肖像都保存了人脸特征点的位置坐标，这样在通过人脸的表情系数和特征点后，通过最小距离可以近似得到主角人脸序列的表情图像；设主角特征点坐标分别为xl，x2, ... , xn;主角肖像特征点的坐标为zil， xi2，. . . ,zin ；这里的i代表序列的第i张图片；计算argmirii Σ」(| xj-zi j| |2))，这样姿态就与i张图片建立了对应。由上可知，本发明实施例具有以下优势1)本发明实施例中，通过人脸检测和外轮廓跟踪，先确定基准图画肖像和多个表情肖像，然后再根据实时参数选择对应的表情肖像，就可以生成与视频完全对应的实时动画。因为在实时动画的生成过程中，只需要根据参数选择已经存在的表情肖像，因此使得动画生成过程简单迅速，而表情肖像都是预处理的成熟肖像，因此动画的形象逼真。2)本发明实施例，将特征点与外轮廓线跟踪结合，将人脸检测与外轮廓跟踪结合， 提高了跟踪效率和准确度；3)本发明实施例中，肖像的发现采用的PCA特征提取和SVM方法；4)本发明实施例中，肖像序列的获得采用了全局特征点之间的最小距离方法，能够找到最为接近的表情肖像；5)本发明实施例中，采用纹理的重定向算法。在肖像建立过程中，采用纹理变形、 纹理分割、纹理梯度域编辑技术综合实现，使得肖像更加逼真。6)本发明实施例中，特征点的获得采用了改进的弹性模板匹配技术，对于特征点不全的视频图像，也能进行很好的处理。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1.一种表演驱动的制作人脸动画的方法，其特征在于，包括步骤一，对视频流进行人脸检测和外轮廓跟踪，获得目标人脸图像及所述目标人脸图像对应的五官特征点参数和外形轮廓参数；步骤二，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，生成所述目标人脸图像对应的基准图画肖像；步骤三，根据所述基准图画肖像，生成多个表情肖像；步骤四，持续对视频流进行人脸检测和外轮廓跟踪，获得当前视频帧中的所述目标人脸图像对应的五官特征点实时参数和外形轮廓实时参数；步骤五，根据所述五官特征点实时参数和外形轮廓实时参数，从所述多个表情肖像中获得对应的表情肖像，作为所述当前视频帧的生成肖像；步骤六，将所述视频流的各视频帧的生成肖像连续播放生成动画视频。
2.根据权利要求1所述的方法，其特征在于，在所述步骤二中，所述基准图画肖像为人脸正面的图画肖像。
3.根据权利要求2所述的方法，其特征在于，在所述步骤二中，通过主元分析和支持向量机的方式获得所述基准图画肖像。
4.根据权利要求2所述的方法，其特征在于，在所述步骤一之前，还包括设立图画肖像库，存储多张人脸的图画肖像，记录每幅图画肖像对应的五官特征点参数和外形轮廓参数；在所述步骤二中，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，在所述图画肖像库中进行检索，获得所述目标人脸图像对应的图画肖像作为所述基准图画肖像。
5.根据权利要求2所述的方法，其特征在于，在所述步骤四中，根据所述外形轮廓实时参数，通过弹性匹配的方式获得所述五官特征点实时参数。
6.根据权利要求2所述的方法，其特征在于，在所述步骤五中，通过对所述五官特征点实时参数和外形轮廓实时参数进行最小距离运算，来获得所述对应的表情肖像。
7.一种表演驱动的制作人脸动画的装置，其特征在于，包括检测跟踪模块，用于对视频流进行人脸检测和外轮廓跟踪，获得目标人脸图像及所述目标人脸图像对应的五官特征点参数和外形轮廓参数；基准图画肖像模块，用于根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，生成所述目标人脸图像对应的基准图画肖像；表情肖像模块，用于根据所述基准图画肖像，生成多个表情肖像； 所述检测跟踪模块，还用于持续对视频流进行人脸检测和外轮廓跟踪，获得当前视频帧中的所述目标人脸图像对应的五官特征点实时参数和外形轮廓实时参数；生成肖像模块，用于根据所述五官特征点实时参数和外形轮廓实时参数，从所述多个表情肖像中获得对应的表情肖像，作为所述当前视频帧的生成肖像；动画视频模块，用于将所述视频流的各视频帧的生成肖像连续播放生成动画视频。
8.根据权利要求7所述的装置，其特征在于，所述基准图画肖像为人脸正面的图画肖像。
9.根据权利要求7所述的装置，其特征在于，所述基准图画肖像模块，通过主元分析和支持向量机的方式获得所述基准图画肖像。
10.根据权利要求7所述的装置，其特征在于，还包括图画肖像库，用于存储多张人脸的图画肖像，记录每幅图画肖像对应的五官特征点参数和外形轮廓参数；所述基准图画肖像模块，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，在所述图画肖像库中进行检索，获得所述目标人脸图像对应的图画肖像作为所述基准图画肖像。
全文摘要
本发明提供一种表演驱动的制作人脸动画的方法和装置，方法包括对视频流进行人脸检测和外轮廓跟踪，获得目标人脸图像及对应的五官特征点参数和外形轮廓参数；根据五官特征点参数和外形轮廓参数，生成所述目标人脸图像对应的基准图画肖像；根据所述基准图画肖像，生成多个表情肖像；持续进行人脸检测和外轮廓跟踪，获得五官特征点实时参数和外形轮廓实时参数；根据五官特征点实时参数和外形轮廓实时参数，从所述多个表情肖像中获得对应的表情肖像作为生成肖像；将各视频帧的生成肖像连续播放生成动画视频。本发明能够简单迅速的生成逼真的二维人脸动画，解决现有技术难以采用二维动画简单迅速的达到准确逼真效果的技术问题。
文档编号G06T13/00GK102157007SQ20111009043
公开日2011年8月17日 申请日期2011年4月11日 优先权日2011年4月11日
发明者崔国勤 申请人:北京中星微电子有限公司