专利名称：一种制作超低分辨率人脸模拟像的方法
技术领域：
本发明属于图像处理、模式识别技术领域，特别涉及一种制作超低分辨率人脸模
拟像的方法。
发明内容
当前，视频监控得到了迅速的发展，在安防工作中发挥了越来越多的积极作用。在 视频监控的图像中，记录了许多与案件相关的信息，而且在许多案件中是唯一的信息，其重 要性是不言而喻的。但是，由于视频监控的涉案人脸图像分辨率往往很低，而且具有不同的 姿态，因此无法分辨涉案人，致使许多案件的办案工作陷入了困境。在2006RFVT的人脸识 别性能的测试中，低分辨率人脸图像的两眼距离为75个象素，人脸图像的两眼距离小于30 个象素的人脸图像，称为超低分辨率人脸图像。 人像组合技术已经广泛应用于目击者记忆的人脸图像的制作方面，取得了许多实 际应用的成功案例，该项技术应用的成败主要依靠目击者的记忆程度、表达能力和人像组 合技术操作员的技能水平，以人工因素为主。而对于视频监控的超低分辨率人脸图像的恢 复问题，则是困难重重。 一是操作员无法看清人脸(如五官长像)，二是不同姿态，也难以绘 制成正面像。显然，视频监控的超低分辨率人脸图像的恢复问题，是目前凸现的极具挑战性 的重大应用问题。
发明内容
本发明的目的是为解决视频监控的超低分辨率人脸图像的恢复问题，提出一种制 作超低分辨率人脸模拟像的方法，较好地解决了这一难题。 本发明提出的一种制作超低分辨率人脸的模拟像的方法，该方法包括模糊人像复 原、三维模型成像、人脸识别、仿射变换、人像修改技术的综合应用，其特征在于包括以下 方法和步骤 1)对含有超低分辨率人脸图像进行放大，对放大后的图像进行裁减，所获得的放 大后的模糊人脸图像的高度大于150个像素； 2)对裁减后的模糊人脸图像进行模糊图像复原处理，得到一幅较清楚的复原人脸 图像； 3)对步骤2)得到的人脸图像，人工标出人脸形状特征点； 4)采用三维模型成像的方法，由步骤2)得到的人脸图像和步骤3)得到的人脸形 状特征点形成该超低分辨率人脸的三维模型正面像并生成该正面像的人脸形状特征点；
5)用步骤4)得到的三维模型正面像，在人脸识别系统进行查询识别，得到一张与 超低分辨率人脸图像最相象的三维模型正面像的识别像； 6)利用主动形状模型(ASM)方法，提取出步骤5)得到的三维模型正面像的识别像 的人脸形状特征点； 7)以步骤4)得到的正面人脸图像作为形状图像、以步骤5)得到的三维模型正面 像的识别像作为纹理图像，使用正面人脸图像的人脸形状特征点和三维模型正面像的识别像的人脸形状特征点，进行仿射变换，得到超低分辨率人脸的模拟像。
本发明的特点及有益效果 本发明首先采用模糊图像复原的方法，来对视频监控的超低分辨率人脸图像进行 复原处理，然后参照复原图像，利用人像组合技术再绘制模拟像。再采用三维人脸技术解决 多姿态问题，制作出超低分辨率人脸的正面模拟像，较好地解决了视频监控的超低分辨率 人脸图像的恢复难题。
图1为本发明方法的稠密点插值示意图。 图2为本实施例的包含超低分辨率人脸的原始图像。 图3为本实施例的截取的超低分辨率人脸的放大图像。 图4为本实施例的超低分辨率人脸的复原图像效果图。 图5为本实施例的在复原图像上标注105个人脸形状特征点的图像。 图6为本实施例中利用三维模拟像技术形成的正面人脸图像效果图。 图7为本实施例中利用三维正面人脸图像得到的三维模型像三维模型正面像的
识别像效果图。 图8为本实施例中的仿射后的人脸模拟图像效果图。 图9为本实施经人工修改后的最终超低分辨率人脸的模拟像效果图。
具体实施例方式
本发明提出的一种制作超低分辨率人脸模拟像的方法结合附图及实施例详细说 明如下 本发明提出的一种制作超低分辨率人脸模拟像的方法实施例，该方法包括模糊人 像复原、三维模型成像、人脸识别、仿射变换、人像修改技术的综合应用，其特征在于包括 以下步骤 1)对含有超低分辨率人脸的图像进行放大(可采用Windows自带的图像放大功能 实现也可采用其它图像放大方法实现)，并对放大后的图像进行裁减，所获得的放大后的模 糊人脸图像的高度大于150个像素 2)对放大后的模糊人脸图像进行模糊图像复原处理，得到一幅较清楚的复原人脸 图像；具体实现方法(属于已有技术)为
散焦模糊复原点扩散函数模型为式(1)。
一 1,
>2
2
(1)
其它 式中，R为点扩散半径，i为水平坐标，j为垂直坐标c
维纳滤波的表达式为式(2)。
4<formula>formula see original document page 5</formula> 式(2)中r = Sm(u，V)/Sff(u， v)是图像信噪比的倒数，Sm(u， v)和Sff(u， v)分别 是噪声和原始图像的功率谱密度。r 一般用一个小的正常数来代替，数值在0. 0001 1之 间。 在实际应用中，式(1)的R和式(2)中的r采用有限遍历的方法得到，例如R分别 取为10、12、14、 ...、40， r分别为0. 001、0. 006、0. 0011、 ...、0. 096，得到320张复原图像。 在320张复原图像中，人工选取一幅最清楚的图像作为超低分辨率人脸图像的复原人脸图 像； 3)对步骤2)得到的人脸图像，标出人脸形状特征点(用已知的人工标定的方 法)，人脸形状特征点包括人脸外轮廓点、眉毛轮廓点、眼睛轮廓点、嘴轮廓点、鼻子轮廓点。 本实施例选用的人脸形状特征点为105点； 4)采用三维模型成像的方法，由步骤2)得到的人脸图像和步骤3)得到的105个 人脸形状特征点，形成该超低分辨率人脸的正面人脸图像并获得包含正面人脸图像的105 个人脸形状特征点； 三维模型成像，其输入的是由步骤2)得到的复原人脸图像和步骤3得到的105个 人脸形状特征点，输出的是合成的正面人脸图像(360*480)和包含正面人脸图像的105个 人脸形状特征点，使用的模型是三维形状模型和二维纹理模型；具体包括
4-1)模型建立 模型包括三维形状模型和二维纹理模型。三维形状模型和二维纹理模型是用 PCA(主分量分析)方法训练得到的，三维形状模型的训练图像应采用不小于200人的三维 人脸图像；二维纹理模型的训练图像应采用不小于200人的二维人脸图像。
4-2)人脸姿态参数估计 输入的人脸图像是多姿态的人脸图像及其105个人脸形状特征点，将输入图像的 左右偏转角度分为七类，即-45° ，-30° ，-15° ，0° ，+15° ，+30° ，+45° (向右转为正， 向左转为负)，用人工判断的方法给出输入人脸姿态的类别；
4-3)人脸形状重建
4-3-1)特征形状估计 在得到姿态类别后，就可以利用& = sURZi+t+ e以及特征形状的PCA模型 z^^ +尸6来计算模型参数b。其中，&是二维点坐标，s为縮放比例，U为投影矩阵，R为旋 转矩阵，Zi是三维点坐标，t为二维平移向量，e为量化噪声，5是z的平均模型，P为特征 向量构成的矩阵，b为模型参数。求解b的过程实质上是一个最小二乘问题，需要最小化表 达式I I s認+t-D |2。其中Z = [Zl z2. zN] ， D = [4 d2. . dN] ， N为特征点数。对于所有 的105个人脸形状特征点，它们的三维坐标则是利用当前得到的模型参数b回代计算得到。
4-3-2)稠密形状重建 在得到105个人脸形状特征点之后，下一步需要恢复出稠密的三维人脸模型的形 状点。这里利用三角化的三角形顶点来插值得到稠密的形状点。 设完整的三维人脸形状为S = (Xl， yi， Zl， . . . ， xM， yM， zM)T， 105个人脸特征形状点 为z = (Xl， yi， Zl， . . . ， xN， yN， zN)，形状稠密点插值的过程是如图1所示。
三角形AA^2A3已经有稠密的内点，对应于平均三维人脸形状S ;而三角 形ABAB3没有稠密的内点，对应于特征形状z。两个三角形三顶点坐标均已知， 问题即为已知A AiA2A3中的 一 点在A B^^3中找到相对应的位置P2。按照
zZ爿可得到一组系数a 1， a 2， a 3，使P
1111"3
a,a2+ct3: lo 其中，Pi为AAi^As中的一稠密内点，a p a 2， a 3为一组系数，9 ， z为对应的柱 面坐标。 将这组系数应用到AB^^3中即可得到P2。接着就可以得到重建的三维人脸形状 的部分(丢失了深度信息)Spart = (Xl， Zl， . . . ， xM， zM)T。由于Spart是S的子集，假设Spart 与S具有共同的形状参数b，即 5 = 5 + /^ (3) ^= + p W
。戸rt 一 O戸rt t厂part " 「7 》是平均的完整的三维人脸形状，P是训练得到的特征向量，因而可以在得到Spart 的情况下利用部分的模型计算出参数b，再通过完整的模型得到最终的三维人脸形状S。
4-4)三维纹理映射方法 在得到输入的二维图像的三维人脸形状之后，需要从输入的二维图像中提取纹理 信息。在三维纹理映射的时候，首先将三维人脸按照二维人脸图像姿态估计的结果投影到 平面上，投影后的三角区域与二维图中的三角区域就有了严格对应关系。纹理映射类似于 稠密点的插值计算过程，即在二维人脸图中寻找三维人脸形状的对应点，该点的灰度值就 为待求的灰度值。 这里需要注意的是根据单张多姿态人脸来进行重建，只能得到正对用户的半边
脸的纹理信息。因而，在后续图像合成中，是根据这半边脸的纹理，结合二维纹理模型"推
测"整个脸的纹理信息。 4-5)正面人脸图像的合成 三维人脸的基本单元是三维顶点。像素是紧紧相邻的，有明确的上下左右相邻像
素的概念；顶点是不紧邻的，因为实数稠密性，任意两个顶点之间可以插入无数个顶点；因
此，直接将三维顶点投影到二维会出现"空洞像素"，这是不对的。反过来则行得通根据二
维像素，反求所对应的三维顶点，再利用上节的三维纹理映射方法，通过稠密点的插值计算
方法得到完整的二维人脸图像； 4-5-1) 二维正面人脸三角形区域的划分 步骤4-3-2)得到了三维人脸的特征形状之后，正面投影，再按照正面人脸图像的 归一化原则进行縮放平移则能得到对应于360*480人脸图像的特征点分布。利用这些特征 点所划分的整个人脸区域信息，以及三角化的区域信息，即可计算出某一个像素属于哪一 个三角形，以及对应于该三角形3顶点的插值系数。 4-5-2) 二维像素的灰度计算(针对面向用户的半边脸区域的像素)
在确定了某一个像素的插值系数之后，使用同样的系数，在三维特征形状的对应 三角形中，对三维的x、 z坐标进行插值得到该像素所对应的三维点的x、 z信息。利用已有 的三维模型顶点计算出加权系数，利用这个加权系数，将已有的三维模型顶点的y坐标加 权得到待插值点的y坐标。这样就确定了二维像素点所对应的三维点坐标。 接着，按照三维纹理映射方法，即可得到该像素的灰度值。
4-5-3)纹理合成 得到了面向用户半边脸区域的像素值后，还需要计算出另外半边脸的像素值(因 为训练的纹理模型，要求左半脸和右半脸有特定的像素个数，而特定人脸区域所含的像素 个数必然是参差不齐的)，用模型训练时的"插值系数模型"文件和"模型像素所在三角形" 文件，对已求的半边脸区域的像素进行重采样，即双线性插值，再拉成列向量，则得到对应 于纹理模型的一部分Tpart。 Tpart是完整纹理T的子集(前半部分或者后半部分)，假设 Ppart是P的子集，如下式所示，假设Ppart与P也具有相同的系数b，则在已知Tpart的条 件下，反求b，再求T就得到了整个人脸纹理T。
r二f+P6 (5)S，w = 7>w +6 (6) 其中，T为完整人脸纹理，f为T的平均值，T,t为完整纹理T的子集，C为Tpart的
平均值，P为特征向量构成的矩阵，Ppart为P的子集，b为纹理参数。
至此，二维正面人脸合成就完成了。 5)用步骤4)得到的三维模型正面像，在人脸识别系统进行查询识别(属于已有技 术)，得到一张与超低分辨率人脸图像最相象的三维模型正面像的识别像。人脸识别系统是 使用辩识人脸识别系统，其人脸识别数据库至少不低于1万人； 6)利用ASM方法(属于已有技术)，提取出步骤4)得到的三维模型正面像的识别 像的105个人脸形状特征点； 7)以步骤4)得到的正面人脸图像作为形状图像、以步骤5)得到的三维模型正面 像的识别像作为纹理图像，使用正面人脸图像的105个人脸形状特征点和三维模型正面像 的识别像的105个人脸形状特征点，进行仿射变换，得到超低分辨率人脸的模拟像。
仿射变换的具体过程如下(属于已有技术) 首先，要进行三角化处理。对于人脸确定的105个人脸形状特征点，存在一种唯一 的三角化，这种三角化满足所有三角形的最小内角和最大的条件，换句话来说，该三角化生 成的三角形都将尽可能接近等边三角形。以三维正面人脸图像的105个人脸形状特征点的 每一点作为三角形的顶点，采用三角化处理，将三维正面人脸图像区域划分为N个三角形。 同理，以三维模型正面像的识别像的105个人脸形状特征点的每一点作为三角形的顶点， 采用三角化处理，将三维模型正面像的识别像区域划分为N个三角形。仿射变换在fp文件 中序号相同的三个顶点的两个三角形区域之间进行，即仿射变换在三维正面人脸图像的一 个三角形区域和对应的三维模型正面像的识别像的一个三角形区域之间进行。具体做法是 将三维模型正面像的识别像的一个三角形区域内点的纹理作为三维正面人脸图像的一个 三角形区域内点的纹理。三维模型正面像的识别像的一个三角形区域内点的坐标和三维正 面人脸图像的一个三角形区域内点坐标的对应关系如(7)所式。<formula>formula see original document page 8</formula>
(7)式中，x、y是三维模型正面像的识别像的一个三角形A的区域内点的坐标， x' 、y'是三维正面人脸图像的对应三角形B的区域内点的坐标，两个三角形的顶点具有 一一对应的关系，三角形对应序号的顶点具有一一映射关系。将三角形A已知的三个顶点 坐标(x" y》，(x2， y2) ， (x3， y3)分别带入7式右端，对应地将三角形B已知的三个顶点坐标 (x' py'》，(x' 2，y' 2)，(x' 3，y' 3)分别带入7式左端，即可解出其中的6个参数即 a、 b、 c、 d、 0X、 0y。 为得到更好的效果本发明方法还进一步包括 8)参照超低分辨率人脸和步骤2)形成的复原人脸图像，对步骤7)得到的仿射像 人工进行修正，得到超低分辨率人脸的更好的模拟像。 本发明以技术手段为主，再进一步加入人工操作为辅。实验表明，本发明制作的模
拟像，达到了和本人很相像的效果。 本发明的一个实施例步骤及效果说明如下 1)以图2为实施例的原始图像，图中的框内人脸隐隐约约可见，其x方向的像素仅 有5个像素。采用Windows自带的图像放大功能，对框中所示的图像进行放大。在放大后 的图像上截取包含人脸的图像，得到放大后的人脸图像的高度为427个像素，如图3所示；
2)采用维纳滤波的方法对放大后的模糊人脸图像进行散焦模糊图像复原处理，处 理结果如图4所示； 3)对图4的人脸图像，用手工标定的方法，标出105个人脸形状特征点，如图5所 示； 4)利用图4的人脸图像和图5的105个人脸形状特征点，采用三维模型成像的方 法得到如图6所示的正面人脸图像和图6所示的正面人脸图像的105个人脸形状特征点；
5)以图7所示的正面人脸图像作为待识别的人脸图像，在一个数据库具有10万人 的人脸识别系统中进行人脸识别，得到一张图7所示的与超低分辨率人脸图像最相象的三 维模型正面像的识别像； 6)利用ASM方法，提取出图7所示的三维模型正面像的识别像的105个人脸形状 特征点； 7)输入图6所示的正面人脸图像和图6所示的正面人脸图像的105个人脸形状 特征点以及图7所示的三维模型正面像的识别像和图7所示的三维模型正面像的识别像的 105个人脸形状特征点，进行仿射变换，得到如图8所示的仿射人脸图像。仿射变换中，以图 6所示的正面人脸图像作为形状图像，以图7所示的三维模型正面像的识别像为纹理图像；
8)参考图3所示的超低分辨率人脸的原始图像和图4所示的超低分辨率人脸的复 原图像，人工对图8所示的仿射人脸图像进行修正，得到如图9所示的最终的模拟像。
权利要求
一种制作超低分辨率人脸的模拟像的方法，该方法包括模糊人像复原、三维模型成像、人脸识别、仿射变换、人像修改技术的综合应用，其特征在于包括以下方法和步骤1)对含有超低分辨率人脸图像进行放大，对放大后的图像进行裁减，所获得的放大后的模糊人脸图像的高度大于150个像素；2)对裁减后的模糊人脸图像进行模糊图像复原处理，得到一幅较清楚的复原人脸图像；3)对步骤2)得到的人脸图像，人工标出人脸形状特征点；4)采用三维模型成像的方法，由步骤2)得到的人脸图像和步骤3)得到的人脸形状特征点形成该超低分辨率人脸的三维模型正面像并生成该正面像的人脸形状特征点；5)用步骤4)得到的三维模型正面像，在人脸识别系统进行查询识别，得到一张与超低分辨率人脸图像最相象的三维模型正面像的识别像；6)利用主动形状模型(ASM)方法，提取出步骤5)得到的三维模型正面像的识别像的人脸形状特征点；7)以步骤4)得到的正面人脸图像作为形状图像、以步骤5)得到的三维模型正面像的识别像作为纹理图像，使用正面人脸图像的人脸形状特征点和三维模型正面像的识别像的人脸形状特征点，进行仿射变换，得到超低分辨率人脸的模拟像。
2. 如权利要求1所述的方法，其特征在于，还进一步包括8) 参照原始的超低分辨率的人脸图像和步骤2)形成的复原人脸图像，人工对步骤7) 得到的模拟像进行修正，得到超低分辨率人脸的模拟像。
全文摘要
本发明涉及一种制作超低分辨率人脸模拟像的方法，属于图像处理、模式识别技术领域；该方法包括对含有超低分辨率人脸图像进行放大，对放大后的图像进行裁减，再进行模糊图像复原处理后，人工标出人脸形状特征点；采用三维模型成像的方法，形成该超低分辨率人脸的三维模型正面像和人脸形状特征点；在人脸识别系统进行查询识别，得到一张与超低分辨率人脸图像最相象的三维模型正面像的识别像；提取出人脸形状特征点；再进行仿射变换，得到超低分辨率人脸的模拟像。本方法较好地解决了视频监控的超低分辨率人脸图像的恢复难题。
文档编号G06K9/00GK101739676SQ20091024174
公开日2010年6月16日 申请日期2009年12月4日 优先权日2009年12月4日
发明者任小龙, 刘炯鑫, 王晶, 苏光大 申请人:清华大学