基于数据驱动局部特征转换的噪声人脸超分辨率重建方法
【专利摘要】一种基于数据驱动局部特征转换的噪声人脸超分辨率重建方法，包括对待重建的输入低分辨率人脸图像和高、低分辨率训练集相应划分相互重叠的图像块；对于输入低分辨率人脸图像的每一个位置上的图像块，分别从低分辨率人脸样本图像对应位置的图像块中找出K个最近邻的图像块，并对应找出相应高分辨率人脸样本图像中的图像块，进行去均值化；利用映射系数计算出各图像块相应的高分辨率人脸图像块，重构出高分辨率人脸图像，进行迭代后处理。本发明解决了主成分分析无法捕获处于高维流形空间人脸特征的问题，利用局部流形的线性特性有效的进行了噪声人脸图像的超分辨率重建，同时进行高分辨率图像后处理，进一步提高了重建结果的主、客观图像质量。
【专利说明】基于数据驱动局部特征转换的噪声人脸超分辨率重建方法
【技术领域】
[0001] 本发明涉及人脸图像超分辨率领域，具体涉及一种基于数据驱动局部特征转换的 噪声人脸超分辨率重建方法。
【背景技术】
[0002] 随着"平安城市"建设的不断深入，视频监控广泛的应用于日常生活，它们为视频 侦查中犯罪嫌疑人的追踪和捕获提供了巨大的帮助。然而，行人与摄像机距离较远，拍摄 到的人脸为低分辨率图像从而缺乏的面部细节特征，而这些特征对于人脸图像的分析和识 别是非常重要的。同时，低光照、低质量设备和其他的一些因素，均会导致监控视频包含大 量的噪声，严重影响了人脸识别的效率。图像超分辨率技术正是致力于解决这一难题，它 无需更高要求的硬件设备就可以为本发明提供包含更多细节的高分辨率（HR)和高品质的 图像。2000 年，Baker 和 Kanade 在文献 1(S. Baker and T.Kanade. Hallucinating faces. In FG，Grenoble, France, Mar. 2000, 83-88.)中首次提出人脸超分辨率方法，又叫人脸幻构 (face hallucination)，他们采用贝叶斯方法，利用训练集中人脸图像的先验信息，通过学 习的方法获得低分辨率人脸对应的高分辨率图像，以此来达到较大的放大倍数及较好的效 果。在此之后，基于学习的人脸图像超分辨率方法引起了人们的广泛关注。
[0003] Wang 等人在文献 2 (X. Wang and X. Tang. Hallucinating face by eigentransformation[J]. IEEE Trans. SMC(Part C),2005,vol.35, no. 3, pp. 425 - 434.) 中提出一种基于特征转换的全局脸超分辨率方法。他们利用主成分分析（PCA)将输入的低 分辨率人脸图像用低分辨率训练集图像进行线性表示，再把表示系数与训练集中低分辨率 图像对应的高分辨率图像线性结合，最终重构得到高分辨率目标图像。由于增强了低分辨 率人脸图像中的特征信息，重建后的高分辨率图像去除了大量噪声并保留大部分的人脸特 征。然而，这种方法只关注了人脸的全局结构而忽略了局部细节，合成出来的图像通常缺乏 必要的高频信息（尤其是在训练集较小的情况下）。而基于图像块的人脸超分辨率方法通 过将人脸图像划分为相互重叠的人脸图像块，与全局脸的方法相比，具有更强的表达能力， 因此已经吸引了图像领域越来越多的学者们的关注。
[0004] 基于低分辨率训练集图像块空间和高分辨率训练集图像块空间拥有相似的 局部几何结构这一假设，Chang等人在文献3(!1.0^叩，0.￥.￥611叩，311(1￥.]\0;[0叩· Super-resolution through neighbor embedding. In CVPR，pp. 275 - 282, 2004.)中提出 一种局部线性嵌入超分辨率方法，高分辨率图像块由训练集中K个最近邻的高分辨率图像 块线性组合得到。Ma 等人在文献 4 (X.Ma，J.P Zhang, and C.Qi. Hallucinating face by position-patch. Pattern Recognition, 43 (6) : 3178 - 3194, 2010.)中提出一种基于位置 图像块的超分辨率方法，利用低分辨率样本库中相同位置的图像块对输入低分辨率图像块 进行最小二乘表示来获得最优权重。
[0005] Yang 等人（文献 5，J. Yang, H. Tang, Y. Ma，and T. Huang, "Face hallucination via sparse coding, " ICIP，pp. 1264 - 1267, 2008.)提出一种基于稀疏表达的超分辨率方 法，利用低分辨率图像块完备字典将输入低分辨率图像块进行稀疏表示，得到一组稀疏系 数，并将此系数与对应的高分辨率字典结合即可得到目标高分辨率图像块。专利1 (胡瑞 敏、江俊君、王冰、韩镇、黄克斌、卢涛、王亦民，一种基于局部约束表示的人脸超分辨率重建 方法，专利申请号：201110421452. 3)中进一步改善了基于位置块的人脸幻构方法，在对图 像块进行重建过程中利用流形的局部几何约束替换了文献5中的稀疏约束，通过选择距离 近的块，惩罚距离远的块，使重建结果同时具有稀疏性和局部性。以上基于图像块的方法大 部分针对于无噪声图像的超分辨率重建。而在实际监控场景中，退化后的人脸图像往往不 可避免的被噪声所影响，因此，提出一种对噪声鲁棒的超分辨率方法是当前的首要任务。
【发明内容】
[0006] 本发明目的是提供一种基于数据驱动局部特征转换的噪声鲁棒人脸超分辨率重 建方法，解决现有同类算法不能鲁棒表示噪声人脸图像的问题，通过利用流形的局部线性 获得最优（稳定、精确）的结果。
[0007] 为达到上述目的，本发明采用的技术方案是一种基于数据驱动局部特征转换的噪 声人脸超分辨率重建方法，包括如下步骤：
[0008] 步骤1，对待重建的输入低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样 本图像以及高分辨率训练集中的高分辨率人脸样本图像相应划分相互重叠的图像块，低分 辨率训练集中每个低分辨率人脸样本图像是由高分辨率训练集中的一个相应高分辨率人 脸样本图像经模糊下采样提取；
[0009] 步骤2,对于输入低分辨率人脸图像的每一个位置上的图像块，分别执行以下处 理，
[0010] 从低分辨率训练集中每张低分辨率人脸样本图像对应位置的图像块中找出K个 最近邻的图像块，记为K低分辨率训练集近邻图像块集合·，并根据所得低分辨率的K个 最近邻图像块一一对应找出相应高分辨率人脸样本图像中的图像块，得到高分辨率的K个 图像块，记为K高分辨率训练集近邻图像块集合
【权利要求】
1. 一种基于数据驱动局部特征转换的噪声人脸超分辨率重建方法，其特征在于，包括 如下步骤： 步骤1，对待重建的输入低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图 像以及高分辨率训练集中的高分辨率人脸样本图像相应划分相互重叠的图像块，低分辨率 训练集中每个低分辨率人脸样本图像是由高分辨率训练集中的一个相应高分辨率人脸样 本图像经模糊下采样提取； 步骤2,对于输入低分辨率人脸图像的每一个位置上的图像块，分别执行以下处理， 从低分辨率训练集中每张低分辨率人脸样本图像对应位置的图像块中找出K个最近 邻的图像块，记为K低分辨率训练集近邻图像块集合;并根据所得低分辨率的K个最近 邻图像块一一对应找出相应高分辨率人脸样本图像中的图像块，得到高分辨率的Κ个图像 块，记为Κ高分辨率训练集近邻图像块集合; 计算低分辨率训练集中所有低分辨率人脸样本图像对应位置的图像块的均值"，以及 高分辨率训练集中所有高分辨率人脸样本图像对应位置的图像块的均值 K高、低分辨率训练集近邻图像块集合仏和/&中的每个图像块的每个像素分别减去 和"后所得图像块构成的集合分别表示为7^和7^; 步骤3,对于输入低分辨率人脸图像的每一个位置上的图像块，计算该图像块重建后的 估计和集合间的映射系数C，并利用映射系数c和集合7?计算出该图像块相应的高分 辨率人脸图像块； 步骤4,将步骤3所得输入低分辨率人脸图像每一个位置上的图像块相应的高分辨 率人脸图像块按照位置叠加，然后除以每个像素位置交叠的次数，重构出高分辨率人脸图 像； 步骤5,对于步骤4重构出的高分辨率人脸图像，进行迭代后处理。
2. 根据权利要求1所述基于数据驱动局部特征转换的噪声人脸超分辨率重建方法， 其特征在于：步骤3中，设对于输入低分辨率人脸图像/f的每一个位置（p，q)上的图像块 计算出其与集合的映射系数c，包括设集合
和
形成矩阵
记矩 阵$|心的特征向量和特征值分别为％和Λρ
其中，
为图像块_
相应的高分辨率人脸图像块。
3. 根据权利要求1或2所述基于数据驱动局部特征转换的噪声人脸超分辨率重建方 法，其特征在于：步骤5包括以下子步骤， 步骤5. 1，令当前迭代次数η = 0,输入步骤4重构出的高分辨率人脸图像; 步骤5. 2,根据下式更新if
其中，λ是预设的松弛因子，η是预设的偏差阈值，" ?"是像素索引，
表示高分 辨率人脸图像If中的某个像素，r( ·)表现该像素的相应偏差； 步骤5. 3,判断是否当前迭代次数n = N，N为预设迭代次数， 若是，则输出本次执行步骤5. 2所得?作为最终的目标高分辨率输出图像， 若否，则令
，返回步骤5. 2,以本次执行步骤5. 2所得为输入，进行下一次迭 代更新if。
【文档编号】G06T5/50GK104091320SQ201410339087
【公开日】2014年10月8日 申请日期:2014年7月16日 优先权日:2014年7月16日
【发明者】胡瑞敏, 董小慧, 江俊君, 韩镇, 关健, 高戈 申请人:武汉大学