基于贪婪搜索的人脸画像合成方法
【专利摘要】本发明公开了一种基于贪婪搜索的人脸画像合成方法。其实现步骤是：划分字典训练照片样本集A、合成训练照片样本集Bp、合成训练画像样本集Bs和测试照片样本集；通过分块得到字典训练照片块集合SA、合成训练照片块集合Sp、合成训练画像块集合Ss和测试照片块集合；从字典训练照片块集合SA中学到训练照片块特征字典Dp；用Dp求出Sp对应的稀疏表示集合Cp以及测试照片块S对应的稀疏表示；用稀疏表示在Cp中进行贪婪搜索寻找近邻；再用搜索到的近邻画像-照片块来建立马尔可夫随机场模型合成画像。本发明与现有方法相比，无需限制测试照片背景，且能合成测试照片中的非人脸部件，可用于刑侦破案和数字娱乐。
【专利说明】基于贪婪搜索的人脸画像合成方法
【技术领域】
[0001] 本发明属于图像处理【技术领域】，更进一步涉及模式识别与计算机视觉【技术领域】中 的人脸画像合成方法，可用于刑侦破案以及数字娱乐。
【背景技术】
[0002] 人脸画像合成有重大的实际应用，比如支持动漫制作和辅助警方破案。当案件发 生后，警方一般会根据现场目击证人的描述绘制出嫌疑犯的画像，之后在警方的人脸照片 数据库中进行检索和识别。由于照片和画像属于两种不同的模态，存在较大的差异，因此在 识别之前先将警方人脸照片数据库中的照片转化成画像，再将嫌疑犯的画像在合成画像数 据库中进行识别。目前社交媒体变得越来越流行，很多用户将自己的照片转化成画像然后 上传到网上作为自己账户的头像以增加娱乐效果。
[0003] 已有的人脸画像合成方法主要有以下三大类：其一，基于子空间学习框架的人脸 画像合成方法；其二，基于贝叶斯推断框架的人脸画像合成方法；其三，基于稀疏表示的人 脸画像合成方法。
[0004] Liu 等人在文献"Liu Q, Tang X，Jin H, et al. A nonlinear approach for face sketch synthesis and recognition [C]//Computer Vision and Pattern Recognition,2005. CVPR 2005. IEEE Computer Society Conference on. IEEE, 2005, 1:1005-1010. "中采用局部线性嵌入模型来模拟照片转化成合成画像的非 线性过程。其实施方式是：首先将训练集中的照片-画像对及待变换照片划分成大小相同 及重叠区域相同的图像块，对于待变换照片的每一个照片块在训练集中寻找它的K个近邻 照片块，然后将K个照片块对应的K个画像块进行加权组合得到待合成画像块，最后将所有 的待合成画像块融合得到合成画像。但是该方法存在以下缺点：固定的近邻个数导致合成 画像不清楚。
[0005] Wang 等人在文献 "Wang X，Tang X. Face photo-sketch synthesis and recognition[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2009, 31 (11) : 1955-1967. "中提出了一种基于马尔可夫随机场模型的人脸画像合成方 法。该方法的操作如下：首先将训练集中的画像-照片对以及待合成照片用相同的方式分 块，然后对于每一个待合成照片块在训练集中寻找它的K个候选照片块，根据待合成照片 块与K个候选照片块之间的关系以及合成画像中相邻位置的画像块之间的关系，建立马尔 可夫随机场模型对每个待合成照片块寻找一个最佳的训练画像块作为待合成画像块，最后 将所有的待合成画像块融合得到最终的合成画像。该方法存在的缺陷是：由于每个待合成 照片块最终只选择一个训练画像块进行画像合成，导致合成画像存在块效应和细节缺失的 问题。
[0006] 高新波等人申请的专利技术"基于稀疏表示的画像-照片生成方法"（申请号： 201010289330. 9申请日：2010-09-24申请公布号：CN 101958000 A)中公开了一种基于稀 疏表示的人脸画像合成方法。该方法实施方式是：首先采用已有的画像合成方法生成合成 画像的初始估计，然后再利用稀疏表示的方法合成出合成画像的细节信息，最后将初始估 计和细节信息进行叠加得到最后的合成画像。该方法的缺陷是：细节信息的线性叠加使得 合成画像不自然，而且合成画像的质量绝大部分依赖于初始画像合成方法。
[0007] 上述三类画像合成方法只适用于测试照片背景与训练集照片背景相同的情况，当 测试照片背景与训练集照片背景不同时，测试照片用上述三类方法合成的画像的背景会存 在噪声。此外当测试照片中存在眼镜、发卡等非人脸部件，而训练集照片中都不存在这些非 人脸部件时，测试照片用上述三类方法合成的对应画像会丢失测试照片中的非人脸部件。
【发明内容】
[0008] 本发明的目的在于针对上述现有方法的缺陷，提出一种基于贪婪搜索的人脸画像 合成方法，以在测试照片背景与训练集照片背景不同时，忽略背景的影响而合成测试照片 对应的画像；在测试照片中存在非人脸部件，而在训练集照片中都不存在非人脸部件时，能 对测试照片合成包括非人脸部件的对应画像。
[0009] 实现本发明目的的技术方案包括如下步骤：
[0010] (1)将画像-照片对集合中的图像由彩色图像变成灰度图像，再将灰度图像划分 为字典训练照片样本集A、合成训练照片样本集Bp、合成训练画像样本集匕和测试照片样本 集，并从测试照片样本集中选取一张测试照片P ;
[0011] ⑵将字典训练照片样本集A中的照片划分为相同大小及相同重叠程度的块，得 到字典训练照片块集合S a，对字典训练照片块集合Sjlj用有效稀疏编码方法得到训练照片 块特征字典Dp;
[0012] (3)获取合成训练照片块集合Sp对应的稀疏表示集合C p:
[0013] (3a)将合成训练照片样本集Bp中的照片划分为相同大小及相同重叠程度的合成 训练照片块集合：
[0014]
【权利要求】
1. 一种基于贪婪搜索的人脸画像合成方法，包括如下步骤： (1) 将画像-照片对集合中的图像由彩色图像变成灰度图像，再将灰度图像划分为字 典训练照片样本集A、合成训练照片样本集Bp、合成训练画像样本集B s和测试照片样本集， 并从测试照片样本集中选取一张测试照片P ; (2) 将字典训练照片样本集A中的照片划分为相同大小及相同重叠程度的块，得到字 典训练照片块集合Sa，对字典训练照片块集合S a利用有效稀疏编码方法得到训练照片块特 征字典Dp; (3) 获取合成训练照片块集合Sp对应的稀疏表示集合Cp: (3a)将合成训练照片样本集Bp中的照片划分为相同大小及相同重叠程度的合成训练 照片块集合： 其中，X/表示第i张照片中的第j个照片块，i e 1，···，Μ，Μ为合成训练照片样本集\ 中照片的总个数，j e 1，"·，Ν，N为每张照片被划分的块的总个数； (3b)将合成训练画像样本集Bs中的画像以上述相同的方式划分得到对应的合成训练 画像块集合： 其中，.v/表示第i张画像中的第j个画像块，i e 1，…，M，M为合成训练画像样本集Bs 中画像的总个数，j e 1，…，N，N为每张画像被划分的块的总个数； (3c)用训练照片块特征字典Dp对合成训练照片块集合S p进行稀疏编码，得到合成训 练照片块集合Sp对应的稀疏表示集合： 其中，c/表示第i张照片中的第j个照片块x/的稀疏表示，由于每个稀疏表示c/都包含 稀疏系数值V/以及稀疏系数值在稀疏编码中被求解的顺序〇/，因此稀疏表示集合Cp包含有 稀疏系数值集合V p以及对应的稀疏系数值在稀疏编码中被求解的顺序集合O p; (4) 获取测试照片块d对应的稀疏表示 (4a)将测试照片P划分为相同大小及相同重叠程度的测试照片块集合：S= {x1，··· ，xj，…，xN}，xj表示测试照片P中的第j个照片块； (4b)将每个测试照片块d用训练照片块特征字典Dp进行稀疏编码，得到X ^对应的稀 疏表示d; 其中，d表示第j个测试照片块^的稀疏表示，每个稀疏表示d都包含稀疏系数值V j 以及稀疏系数值在稀疏编码中被求解的顺序0% (5) 对合成训练画像块集合Ss利用贪婪搜索获取每个测试照片块P对应的待选择画 像块集合：_?，=(/V、2,.··，/，}; (6) 利用步骤（5)得到的待选择画像块集合户，通过求解马尔可夫随机场模型来得到 每个测试照片块V最终对应的训练画像块，并将这些训练画像块进行组合得到与测试照片 P对应的合成画像。
2. 根据权利要求1所述的基于贪婪搜索的人脸画像合成方法，其特征在于，步骤（2)所 述的对字典训练照片块集合Sa利用有效稀疏编码方法得到训练照片块特征字典D p，按如下 步骤进行： (2a)初始化训练照片块特征字典Dp 为高斯矩阵，并将高斯矩阵每一个列向量归 一化为单位向量；其中，1表示训练照片块特征字典Dp中字典元素的维数，m表示训练照片 块特征字典Dp中字典元素的个数； (2b)给定字典训练照片块集合Sa以及初始化训练照片块特征字典Dp，按照下式得到字 典训练照片块集合Sa的初始稀疏表示集合C : C = arg{min ll^-^Clg + llCl} 其中，λ是正则化参数，设值为0.15, Μ · M2表示2范数，Μ · Μ i表示1范数，当给 定Dp时，C可以通过特征符号搜索算法进行求解； (2c)给定字典训练照片块集合Sa以及由（2b)得到的初始稀疏表示集合C，按照下式 得到估计的训练照片块特征字典Dp: D =arg|min|5·厂 D7jCl], s.t. ^Dpj I2 < I, V/ = I, · · ·, w 当给定C时，通过拉格朗日对偶方法求解出Dp; (2d)交替迭代（2b)和（2c)，直到以下目标函数收敛，得到最终的训练照片块特征字典 Dp: 政 Ilwl; +半 Il1, wU; <1，w = i，…，w。
3. 根据权利要求1所述的基于贪婪搜索的人脸画像合成方法，其特征在于，步骤（3c) 所述的用训练照片块特征字典Dp对合成训练照片块集合S p进行稀疏编码，按如下步骤进 行： (3cl)给定训练照片块x/和训练照片块特征字典Dp; (3c2)构造以下最优化问题来求解训练照片块χ/对应的稀疏表示c/ : c/ = arg|min|x/ -Ζ>? + K j，从而得到合成训练照片块集合S#应的稀疏表示 集合Cp，其中，λ是正则化参数，设值为0.15,上述最优化问题可利用最小角回归方法进行 求解。
4. 根据权利要求1所述的基于贪婪搜索的人脸画像合成方法，其特征在于，步骤（5)所 述的对合成训练画像块集合Ss利用贪婪搜索获取每个测试照片块P对应的待选择画像块 集合户，按如下步骤进行： (5a)设 t = 1，θ = 2K ; (5b)从顺序集合Op中选出与求解顺序ο j中第t个值相同的所有稀疏表示e/，并将这些 选出的稀疏表示记为集合，并用?τ值替代稀疏表示集合Cp，再判断?：中稀疏表示的个 数T :如果0 < T < Θ，则转到步骤（5e)，如果T = 0,则保留替代前的稀疏表示集合Cp，并 转到步骤（5e)，如果T > Θ，则转到步骤（5c); (5c)从稀疏系数值集合Vp中选出与稀疏系数值中第t个值欧式距离最相近的1/9 稀疏表示C/，并将这些选出的稀疏表示记为集合C?，并用值替代稀疏表示集合Cp，再判 断中稀疏表示的个数T :如果0 < T < Θ，则转到步骤（5e)，如果T = 0,则保留替代前 的稀疏表示集合Cp，并转到步骤（5e)，如果T > Θ，则转到步骤（5d); (5d)令t = t+1，返回步骤（5b); (5e)将稀疏表示集合Cp中所有T个稀疏表示对应的合成训练照片块集合Sp中的T 个照片块作为稀疏表示d对应的测试照片块P的待选择照片块集合Ix ?'2,…，d'T}: 如果T < K，则利用复制操作将待选择照片块从T个增加到K个，如果T > K，则利用测 试照片块d的高频信息与待选择照片块的高频信息的欧式距离将待选择照片块从T个 减少为K个，使待选择照片块集合从Ix\ X2,…，Xτ}变成i7 = P1,X"2,…,，最后 再从合成训练画像块集合Ss中选择集合F对应的K个画像块作为待选择画像块集合： yJ ={yJ,\yh\--^yhK}'>
【文档编号】G06K9/62GK104517274SQ201410818175
【公开日】2015年4月15日 申请日期:2014年12月25日 优先权日:2014年12月25日
【发明者】高新波, 张声传, 王楠楠, 李洁, 张铭津, 胡彦婷, 彭春蕾, 任文君 申请人:西安电子科技大学