基于k近邻重识别的人脸超分辨率重建方法
【专利摘要】本发明公开了一种基于K近邻重识别的人脸超分辨率重建方法，将待重建低分辨率人脸图像、高分辨率训练集和低分辨率训练集内样本图像分别划分为相互交叠的图像块；对待重建低分辨率人脸图像的各图像块，根据高分辨率流形的几何信息更可信且更具有代表性这一先验，同时利用低分辨率流形和高分辨率流形的几何信息对识别出的近邻图像进行更新，计算由重新识别出的近邻图像块进行线性重建时的最优权重系数；将重新识别出的近邻图像块，用一一对应的高分辨率训练集内相应图像的相应位置图像块进行替换，加权合成高分辨率图像块；按照合成图像块在人脸上的位置，融合成高分辨率人脸图像。本发明具有更高的重建精度和重建效率，可重建高质量的人脸图像。
【专利说明】基于K近邻重识别的人脸超分辨率重建方法
【技术领域】
[0001]本发明涉及图像超分辨率领域，具体涉及一种基于K近邻重识别的人脸超分辨率
重建方法。
【背景技术】
[0002]人脸图像，相对于其他类型的生物特征(如指纹、虹膜、视网膜等)，可以采用更方便、自然、直接的方式获得。因为人脸图像的获取是一种非侵入性方式，因此，基于人脸图像的应用得到了广泛的开发和研究。然而，许多情况下，由于摄像机与人脸的距离很远，使得视频所拍摄到的人脸图像往往只有几十像素。由于人脸图像分辨率太低，丢失了过多的细节信息，人或者机器在识别监控摄像机拍摄的人脸过程中困难重重。因此，提高监控录像中低质量人脸图像分辨率的人脸超分辨率技术应运而生，它是一种由低分辨率(Low-Resolution, LR)人脸图像产生高分辨率(High-Resolution, HR)人脸图像的技术,其在智能视频监控、公安刑事侦查、信息安全等领域具有广泛的应用背景。
[0003]根据输入图像的数目，超分辨率方法可以分成基于多帧低分辨率图像的重建方法和基于单帧低分辨率图像进行学习的方法两大类，其中，后者能获得更高的放大倍数和更好的重建效果，因而更受关注。这类方法利用构成训练集的高低分辨率图像对的先验信息，对输入的一张低分辨率人脸图像，可以超分辨率重建一张高分辨率人脸图像。
[0004]人脸超分辨方法借鉴了普通图像超分辨方法的精华思想。例如，2004年Chang等人[1]基于著名的流形学习理论[2]，采用高低分辨率样本库具有相似局部几何特征这一假设，提出一种邻域嵌入的图像超分辨率重建方法，首次将流形学习思想引入图像超分辨率重建中，获得很好的重建效果。但是，该方法所选择的近邻块数是固定的，在对输入图像块进行表示时，会出现过拟合或拟合不当的问题。
[0005]由于人脸具有结构性较强的特点，并且人脸位置信息在人脸超分辨重建过程中具有重要作用，通过学习结构信息可以实现更精确的人脸超分效果。因此，在Chang等人[1]的方法基础上，人脸超分领域近年来提出了很多基于人脸位置块的超分辨率方法，其中最有代表性的是2010年Ma等人ω提出的人脸超分辨率方法，该方法使用训练集中所有与输入图像块同位置的人脸图像块重建高分辨率人脸图像，避免流形学习或者特征提取等步骤，提高了效率，同时也提升了合成图像的质量。然而，由于该方法采用最小二乘法进行求解，当训练样本中图像的个数比图像块的维数大时，图像块的表示系数并不唯一。针对这一问题，2011年Jung等人Μ将稀疏约束加入到图像块求解表示中，提出一种基于凸优化的位置图像块人脸超分辨率方法，可以解决方程的解不唯一的问题。但该方法在合成输入的图像块时为了使输入图像块的表示尽量稀疏，可能选取一些与输入的图像块差异很大的图像块进行线性重建，因此重建效果并不理想。
[0006]2012年Jiang等人[5]提出一种基于局部约束表示的人脸超分辨率重建方法，该方法在合成输入的图像块时，在低分率空间比较训练集中的每个块与输入的图像块的相似度，并按照相似度分配权重。然而，由于低分辨图像丢失了细节信息，在低分辨率空间相似的两个图像块，它们对应的高分辨率图像块可能并不相似，因此用不相似的高分辨块重建图像，重建效果仍然不能令人满意。
[0007]无论是使用协作性[3]、稀疏M还是局部约束[5]，上述所有方法都是通过探索合理的先验知识，查找最具代表性的图像块从而获得最佳的重建权重来实现人脸超分辨率。因此，如何获取最合理的K近邻是最首要问题。此外，上述方法仅考虑了一个流形空间(低分辨率块流形)，忽略几何信息更可信并且具有代表性的高分辨率块流形信息。
【发明内容】
[0008]针对现有技术存在的不足，本发明提供了一种基于K近邻重识别的人脸超分辨率重建方法，具有更高的重建精度和重建效率，可提高重建的高分辨率人脸图像质量。
[0009]为解决上述技术问题，本发明采用如下的技术方案:
[0010]基于K近邻重识别的人脸超分辨率重建方法，包括步骤:
[0011]步骤1，将待重建低分辨率人脸图像、低分辨率训练集中低分辨率样本图像及高分辨率训练集中高分辨率样本图像划分为数量相等的相互重叠图像块，所述的低分辨率样本图像和所述的高分辨率样本图像—对应；
[0012]步骤2，对待重建低分辨率人脸图像中各图像块V分别进行超分辨率重建，本步骤进一步包括子步骤:
[0013]2.1从高分辨率训练集和低分辨率训练集样本图像中提取与图像块Xf <位置相同
的图像块，构成图像块4的高分辨率训练样本图像块集Htl和低分辨率训练样本图像块集Lq;`[0014]2.2从图像块Xqt的低分辨率训练样本图像块集Ltl中找出图像块Xc!的k个近邻图像块，构成图像块xj的低分辨率样本图像块近邻序列η.，
[0015]2.3从图像块< 的高分辨率训练样本图像块集Htl中找出与低分辨率样本图像块
近邻序列Lik对应的图像块，构成高分辨率样本图像块序列Hf ;对高分辨率样本图像块序
列Hl中k个图像块中的每一个图像块，从高分辨率训练样本图像块集Htl中找出其对应的kre个近邻图像块，得到k*kM个高分辨率图像块；
[0016]2.4从步骤2.3得到的k*kM个高分辨率图像块中找出重复次数最多的前个高分辨率图像块，构成高分辨率样本图像块集;从低分辨率训练样本图像块集Lq中找出
与高分辨率样本图像块集中图像块对应的个低分辨率图像块，构成用于图像块Xf
重建的低分辨率样本图像块集ZL.[0017]2.5采用低分辨率样本图像块集Gre对图像块 < 进行线性重建，获得低分辨率样本图像块集中各图像块对图像块Xf线性重建的最优权值系数；
[0018]2.6用高分辨率样本图像块集Η:中的图像块与步骤2.5得到的最优权值系数加权合成图像块#的重建图像块；
[0019]步骤3，基于重建图像块获得高分辨率人脸图像。
[0020]步骤I中所述的将待重建低分辨率人脸图像、低分辨率训练集中低分辨率样本图像及高分辨率训练集中高分辨率样本图像划分为数量相等的相互重叠图像块，具体为:
[0021]以待划分图像左上方为起点，选取图像块，使图像块上方和左方与图像已划分部分有像素交叠，图像块上边边缘或左边边缘位于待划分图像上边边缘或左边边缘时除外；当图像块超出待划分图像的右边边缘或下边边缘时，以待划分图像右边边缘或下边边缘为界，向左或上移动图像块至图像块右边边缘或下边边缘与待划分图像的右边边缘或下边边缘重合。
[0022]步骤2.2中所述的从图像块Xf的低分辨率训练样本图像块集Ltl中找出图像块Xf的k个近邻图像块，具体为:
[0023]从低分辨率训练样本图像块集Ltl中选出与图像块X/欧氏距离最近的k个图像块，
即为图像块 < 的k个近邻图像块。
[0024]步骤2.5具体为:
[0025]图像块Xf线性重建的最优权值系数沪1由下式获得:
[0026]
【权利要求】
1.基于K近邻重识别的人脸超分辨率重建方法，其特征在于，包括步骤: 步骤1，将待重建低分辨率人脸图像、低分辨率训练集中低分辨率样本图像及高分辨率训练集中高分辨率样本图像划分为数量相等的相互重叠图像块，所述的低分辨率样本图像和所述的高分辨率样本图像—对应； 步骤2，对待重建低分辨率人脸图像中各图像块Xf分别进行超分辨率重建，本步骤进一步包括子步骤: 2.1从高分辨率训练集和低分辨率训练集样本图像中提取与图像块X/位置相同的图像块，构成图像块< 的高分辨率训练样本图像块集Htl和低分辨率训练样本图像块集Ltl ； 2.2从图像块< 的低分辨率训练样本图像块集Ltl中找出图像块Xf的k个近邻图像块，构成图像块Y的低分辨率样本图像块近邻序列S 2.3从图像块:Xf的高分辨率训练样本图像块集Htl中找出与低分辨率样本图像块近邻序列Z,对应的图像块，构成高分辨率样本图像块序列H1k对高分辨率样本图像块序列H:中k个图像块中的每一个图像块，从高分辨率训练样本图像块集Hq中找出其对应的1^个近邻图像块，得到k*kM个高分辨率图像块； 2.4从步骤2.3得到的k*kM个高分辨率图像块中找出重复次数最多的前个高分辨率图像块，构成高分辨率样本图像块集;从低分辨率训练样本图像块集Ltl中找出与高分辨率样本图像块集?中图`像块对应的个低分辨率图像块，构成用于图像块Xf重建的低分辨率样本图像块集iL ' 2.5采用低分辨率样本图像块集兮对图像块X/进行线性重建，获得低分辨率样本图像块集lL中各图像块对图像块4线性重建的最优权值系数； 2.6用高分辨率样本图像块集〃 7中的图像块与步骤2.5得到的最优权值系数加权合成图像块Xf的重建图像块； 步骤3，基于重建图像块获得高分辨率人脸图像。
2.如权利要求1所述的基于K近邻重识别的人脸超分辨率重建方法，其特征在于: 步骤I中所述的将待重建低分辨率人脸图像、低分辨率训练集中低分辨率样本图像及高分辨率训练集中高分辨率样本图像划分为数量相等的相互重叠图像块，具体为: 以待划分图像左上方为起点，选取图像块，使图像块上方和左方与图像已划分部分有像素交叠，图像块上边边缘或左边边缘位于待划分图像上边边缘或左边边缘时除外；当图像块超出待划分图像的右边边缘或下边边缘时，以待划分图像右边边缘或下边边缘为界，向左或上移动图像块至图像块右边边缘或下边边缘与待划分图像的右边边缘或下边边缘重合。
3.如权利要求1所述的基于K近邻重识别的人脸超分辨率重建方法，其特征在于:步骤2.2中所述的从图像块< 的低分辨率训练样本图像块集Ltl中找出图像块Xf的k个近邻图像块，具体为: 从低分辨率训练样本图像块集Ltl中选出与图像块τ/欧氏距离最近的k个图像块，即为图像块<的k个近邻图像块。
4.如权利要求1所述的基于K近邻重识别的人脸超分辨率重建方法，其特征在于: 步骤2.3中所述的对高分辨率样本图像块序列町中k个图像块中的每一个图像块，从高分辨率样本图像块集Htl中找出其对应的I个近邻图像块，具体为: 从高分辨率样本图像块集Hq中选出与高分辨率样本图像块序列中各图像块欧氏距离最近的个图像块，即为找出的个近邻图像块。
5.如权利要求1所述的基于K近邻重识别的人脸超分辨率重建方法，其特征在于: 步骤2.5具体为: 图像块 <线性重建的最优权值系数》由下式获得:
6.如权利要求5所述的基于K近邻重识别的人脸超分辨率重建方法，其特征在于: 所述的惩罚因子采用图像块<和低分辨率样本图像块集中图像块的欧式平方距离表示。
7.如权利要求1所述的基于K近邻重识别的人脸超分辨率重建方法，其特征在于: 步骤3具体为: 将重建图像块按位置叠加，并除以像素交叠次数，获得重建的高分辨率人脸图像。
【文档编号】G06T5/50GK103824272SQ201410074705
【公开日】2014年5月28日 申请日期:2014年3月3日 优先权日:2014年3月3日
【发明者】胡瑞敏, 渠慎明, 江俊君, 王中元, 陈亮, 黄震坤, 胡金辉 申请人:武汉大学