一种基于元学习优化网络的人脸超分辨率方法及系统

1.本发明属于计算机视觉人脸超分辨率技术领域，具体涉及一种基于元学习优化网络的人脸超分辨率方法及系统。


背景技术：

2.人脸超分辨率(face super
‑
resolution，fsr)又称为人脸幻觉(facial hallucination)，旨在从低分辨率(low
‑
resolution，lr)人脸图像中提取高频细节，获得高分辨率(high
‑
resolution,hr)人脸图像。近年来，学者们提出了大量基于深度学习的人脸超分辨率算法。图像的主客观重建性能明显优于传统的浅层学习方法，因此成为一个新的研究热点。
3.从退化类型的角度看，基于深度学习的fsr方法可以分为单一退化类型和多重退化类型。在双三次下采样的理想条件下，单一退化方法可以获得显著的定量或定性性能，但如果测试图像的退化偏离双三次退化，则通常会产生尖锐或模糊的结果。因此，学者们开始研究多重退化fsr方法。
4.多重退化fsr方法分为非盲fsr方法和盲fsr方法。非盲fsr方法通常有关于实际退化的信息(例如模糊内核、噪声)，这些信息可以用作网络的相关输入，以帮助模拟实际退化。在盲sr方法中，只使用lr图像作为输入，不使用地面真值图像作为参考。典型的是，对于现实世界中的fsr来说，lr图像的质量受到多种因素的影响(如天气、相机抖动引起的运动模糊等)，这导致了真实lr图像未知的复杂退化，而这种退化是已知的模糊核和噪声无法模拟的。为了解决这个问题，学者们提出了许多无监督或自监督的fsr方法。
5.虽然上述非盲fsr方法取得了令人满意的效果，但大多数方法通过估计退化模糊核来重建超分辨率网络，增加了整体网络的参数量，训练过程中内存开销和所需算力巨增；但当模拟的退化模糊核偏离实际退化时，重建的sr图像会出现不必要的伪影。


技术实现要素：

6.本发明要解决的技术问题是：提供一种基于元学习优化网络的人脸超分辨率方法及系统，用于提高人脸图像的重建性能。
7.本发明为解决上述技术问题所采取的技术方案为：一种基于元学习优化网络的人脸超分辨率方法，包括以下步骤：
8.s0：搭建一种基于元学习优化网络的人脸超分辨率系统，包括依次连接的图像处理模块、元训练模块、参数优化模块和超分结果模块；
9.s1：图像处理模块对高分辨率人脸图像分别进行不同种类的降质过程，得到对应的目标低分辨率人脸图像，从而划分出训练集和测试集；
10.s2：元训练模块对训练集的低分辨率人脸图像进行分块操作，使用元训练网络学习多种类降质过程下低分辨率人脸图像到高分辨率人脸图像的特征映射，得到参数可转移且敏感的初始超分辨率模型；
11.s3：参数优化模块将测试集的低分辨率人脸图像送进初始超分辨率模型进行训练，对模型参数进行设定次数的迭代更新用于适应新的降质过程，得到元参数优化网络；
12.s4：超分结果模块将测试集的低分辨率人脸图像送进元参数优化网络进行学习，得到最终的高分辨率人脸图像。
13.按上述方案，所述的步骤s1中，具体步骤为：
14.s11：将高分辨率人脸图像y
i
进行模糊卷积，得到同尺度但清晰度降低的模糊图像x
i
；
15.s12：将模糊图像下采样所需尺度得到目标低分辨率人脸图像x；
16.s13：所有的(x，y)对构成数据集d；在数据集d中采用随机抽取的方式划分训练集d
train
和测试集d
test
，数量比例是9：1。
17.进一步的，所述的步骤s11中，具体步骤为：模糊卷积使用各向异性高斯模糊核和各向同性高斯模糊核把高分辨率人脸图像加模糊得到模糊人脸图像；设随机角度数θ的取值范围为[0，π]，下采样尺度因子为s，λ1和λ2的特征值范围分别为[1，2.5s]和[1，λ1]，则模糊核公式表示为：
[0018][0019]
进一步的，所述的步骤s12中，具体步骤为：下采样使用双三次插值法将模糊人脸图像降尺度至目标低分辨率人脸图像；设高分辨率人脸图像为hr，目标尺寸的低分辨率人脸图像为lr，模糊核为k，则不考虑噪声的降质过程公式为：
[0020][0021]
进一步的，所述的步骤s2中，具体步骤为：
[0022]
s21：将整个训练集d
train
按降质过程的种类划分成n种任务每个任务内的样本保持降质过程一致且数量一致；
[0023]
s22：单个任务内的样本再划分为两个数量相等的子训练集d
sub
‑
train和子测试集d
sub
‑
test；
[0024]
s23：用n种任务的子训练集d
sub
‑
train
进行任务级别的训练，学习更新基础学习者base
‑
learner；设任务级别的学习率为α，任务级别的训练为tr，在子训练集d
sub
‑
train
上对参数θ计算一个或多个梯度下降更新来获得新的参数θ’，则梯度更新的计算公式为：
[0025][0026]
s24：用n种任务的子测试集d
sub
‑
test
进行任务级别的测试，用测试误差来学习更新元学习者meta
‑
learner；设任务级别的测试为te，t
i
服从任务分布p(t)，对子测试集d
sub
‑
test
上的测试误差进行最小化损失来更新参数θ’，公式如下：
[0027][0028]
s25：经过多轮训练，参数θ更新为θ
t
；则随机梯度下降的参数θ更新规则为：
[0029][0030]
进一步的，所述的步骤s3中，具体步骤为：
[0031]
将测试集d
test
中的所有(x
i
，y
i
)对送入初始超分辨率模型进行10次迭代训练，对得到的超分辨率人脸图像和高分辨率人脸图像y之间的误差进行损失最小化，更新参数为θ
k
，得到元参数优化网络。
[0032]
进一步的，所述的步骤s4中，具体步骤为：
[0033]
将测试集d
test
送入优化网络进行超分辨率重建，采用卷积实现，设第i张低分辨率人脸图像为x
i
，优化模型为f
θ
，得到第i张超分辨率人脸图像表示为：
[0034][0035]
进一步的，还包括以下步骤：设网络参数为θ，数据集为d，当前样本数量为m，数据集中第i张高分辨率人脸图像为y
i
，第i张低分辨率人脸图像生成的超分辨率人脸图像为则整个网络的损失函数表示为：
[0036][0037]
一种基于元学习优化网络的人脸超分辨率系统，包括依次连接的图像处理模块、元训练模块、参数优化模块和超分结果模块；图像处理模块用于将高分辨率人脸图像进行不同降质过程获得目标低分辨率人脸图像，划分出训练集和测试集；元训练模块用于将所述训练集低分辨率图像送进元训练网络进行训练，得到用于学习多种类降质过程的内在特征联系的初始超分辨率模型；参数优化模块用于将测试集低分辨率图像送进初始超分辨率模型进行训练，对参数进行少量迭代更新，得到一个对新降质过程适应能力很好的优化模型；超分结果模块用于将测试集低分辨率图像放进优化模型中进行处理，得到最终的超分辨率图像。
[0038]
进一步的，元训练网络为8层单跳跃连接的卷积网络，用于提取浅层特征映射并与深层特征连接。
[0039]
本发明的有益效果为：
[0040]
1.本发明的一种基于元学习优化网络的人脸超分辨率方法及系统，通过元学习优化网络将训练阶段学到的多种降质过程的内在特征联系用在测试的未知降质过程，解决了目前人脸超分辨率重建算法在图像退化类型未知时，人脸图像重建性能存在一定的局限性的技术问题，提高了人脸图像的重建性能。
[0041]
2.本发明利用元学习能够快速学习一项新任务的特性，使网络通过对训练任务的经验学习来达到在新的测试任务上的良好超分性能。
[0042]
3.本发明能够应对降质过程未知时人脸图像超分辨率性能下降问题，生成更高质量的人脸高分辨率图像。
附图说明
[0043]
图1是本发明实施例的流程图。
[0044]
图2是本发明实施例的网络结构图。
[0045]
图3是本发明实施例的功能框图。
[0046]
图4是本发明实施例的结果比较图。
具体实施方式
[0047]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0048]
参见图1和图2，本发明的一种基于元学习优化网络的人脸超分辨率方法，包括以下步骤：
[0049]
s1：对高分辨率人脸图像分别进行不同种类的降质过程，得到对应的目标低分辨率人脸图像，从而划分出训练集和测试集；
[0050]
s11：将高分辨率人脸图像y
i
进行模糊卷积，得到同尺度但清晰度降低的模糊图像x
i
；
[0051]
s12：将模糊图像下采样所需尺度得到目标低分辨率人脸图像x；
[0052]
s13：所有的(x，y)对构成数据集d；在数据集d中采用随机抽取的方式划分训练集d
train
和测试集d
test
，数量比例是9：1。
[0053]
在本发明实施例中，降质过程包括模糊卷积和下采样。模糊卷积使用各向异性高斯模糊核和各向同性高斯模糊核把高分辨率人脸图像加模糊得到模糊人脸图像。下采样使用双三次插值法(bicubic interpolation)将模糊人脸图像降尺度至目标低分辨率人脸图像。设θ是一个属于[0，π]的随机角度数，λ1和λ2的特征值范围分别为[1，2.5s]和[1，λ1]，s是下采样尺度因子，模糊核公式表示为：
[0054][0055]
在一些可选的实施方案中，在步骤s1中，降质过程只包括模糊核和下采样过程，不考虑噪声，公式如下：
[0056][0057]
将hr人脸图片y先进行模糊核卷积，再下采样得到目标尺寸的lr人脸图片x。
[0058]
本发明实施例中优选使用fei人脸数据集作为训练集和测试集，其中包含360幅图像作为训练数据集，40幅图像作为测试数据集。数据集中图像大小为360
×
260像素，本发明使用双三次退化模型对数据集进行下采样，其中下采样因子为4，因此下采样后的低分辨率图像的大小为90
×
65像素。
[0059]
s2：将训练集的低分辨率图像进行分块操作，使用元训练网络学习多种类降质过程下人脸低分辨率图像到高分辨率图像的特征映射，得到一个参数可转移且敏感的初始超分辨率模型；
[0060]
步骤s2的元训练阶段主要是训练大量不同的任务(模糊核不同)，以获得跨任务的内部知识联系。与通常的设置不同，训练是基于任务的，而不是样本。一个任务包含多个样本。
[0061]
s21：将整个训练集d
train
按降质过程的种类划分成n种任务每个任务内的样本保持降质过程一致且数量一致；
[0062]
s22：单个任务内的样本再划分为两个数量相等的子训练集d
sub
‑
train
和子测试集d
sub
‑
test
；
[0063]
s23：用n种任务的子训练集d
sub
‑
train
进行任务级别的训练，学习更新基础学习者(base
‑
learner)；设任务级别的学习率为α，任务级别的训练为tr，在子训练集d
sub
‑
train
上对参数θ计算一个或多个梯度下降更新来获得新的参数θ’，则梯度更新的计算公式为：
[0064][0065]
s24：用n种任务的子测试集d
sub
‑
test
进行任务级别的测试，用测试误差来学习更新元学习者(meta
‑
learner)；设任务级别的测试为te，t
i
服从任务分布p(t)，对子测试集d
sub
‑
test
上的测试误差进行最小化损失来更新参数θ’，公式如下：
[0066][0067]
s25：经过多轮训练，参数θ更新为θ
t
；则随机梯度下降的参数θ更新规则为：
[0068][0069]
s3：将人脸低分辨率测试集送进初始超分辨率模型进行训练，对模型参数进行少次迭代更新来适应新的降质过程，得到元参数优化网络。
[0070]
将测试集d
test
中所有(x
i
，y
i
)对送入初始超分辨率模型，网络进行10次迭代训练并更新参数得到优化网络。在本发明实施例中，直接对测试集d
test
得到的sr图像和hr图像y之间的误差进行损失最小化，更新参数为θ
k
，得到优化模型。
[0071]
s4：将人脸低分辨率测试集送进元参数优化网络进行学习，得到最终的高分辨率人脸图像。
[0072]
将测试集d
test
送入优化网络进行超分辨率重建，采用卷积实现，设第i张低分辨率人脸图像为x
i
，优化模型为f
θ
，得到第i张超分辨率人脸图像表示为：
[0073][0074]
s5：设网络参数为θ，数据集为d，当前样本数量为m，数据集中第i张高分辨率人脸图像为y
i
，第i张低分辨率人脸图像生成的超分辨率人脸图像为则整个网络的损失函数表示为：
[0075][0076]
步骤s2、s3、s4采用的网络为简单的8层单跳跃连接的卷积网络，该网络首先提取
浅层特征映射，并将其与深层特征连接起来。与密集连接的卷积网络相比，它具有更少的参数和更低的计算成本。
[0077]
参见图3按照本发明的另一方面，提供了一种基于元学习优化网络的人脸超分辨率系统，包括：
[0078]
图像处理模块101，用于将高分辨率人脸图像进行不同降质过程获得目标低分辨率人脸图像，划分出训练集和测试集；
[0079]
元训练模块102，用于将所述训练集低分辨率图像送进网络进行训练，得到一个能够学习多种类降质过程的内在特征联系的初始超分辨率模型；
[0080]
参数优化模块103，用于将测试集低分辨率图像送进初始超分辨率模型进行训练，对参数进行少量迭代更新，得到一个对新降质过程适应能力很好的优化模型；
[0081]
超分结果模块104，用于将测试集低分辨率图像放进优化模型中进行处理，得到最终的超分辨率图像；
[0082]
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于元学习优化网络的人脸超分辨率方法。
[0083]
本发明使用fei人脸数据集对该算法进行了验证。使用360幅图像作为训练数据集，40幅图像作为测试数据集。hr图像大小为360
×
260像素，下采样因子为4，因此lr图像(使用双三次退化模型)的大小为90
×
65像素。需要注意的是，所有的训练和测试都是基于ycbcr颜色空间中的亮度通道，并且使用了4倍的放大因子进行训练和测试。使用峰值信噪比(peak signal
‑
to
‑
noise ratio，psnr)和结构相似性(structural similarity，ssim)两个评价指标对sr重建结果进行评价，以检验亮度信道下sr重建的性能。训练过程中，每次迭代包括5种任务(对应5种不同的模糊核)，每个任务采样8
×
2个人脸图片进行训练。本发明的模型由adam优化器训练，α＝0.01，β＝0.0001。初始学习率设置为10
‑4。使用tensorflow平台并使用gtx1080ti显卡训练本发明的模型。表1通过上述三个评价指标展示了在重建倍数为4的条件下的对比结果，图4为4倍人脸图像的重建结果对比图，其中，(a)表示bicubic结果，(b)表示msrn结果，(c)表示rcan结果，(d)表示zssr结果，(e)表示dbpn结果，(f)表示rdn结果，(g)san结果，(h)表示本发明结果，(i)表示原始的高分辨率人脸基准图。可以从中发现，本发明在视觉层面上获得了优秀的视觉效果。需要说明的是，对比方法与本发明采用一样的实验设置，训练和测试阶段使用的模糊核相同，尤其指出测试阶段的模糊核在训练阶段未曾使用。
[0084]
表1本发明与七种优秀算法比较结果表
[0085]
方法bicubicmsrnrcanzssrdbpnrdnsan本发明psnr/db36.2937.5738.2637.8338.1336.4537.1038.62ssim0.94160.95240.95170.94900.95220.92730.94340.9529
[0086]
从以上表格的实验指标数据可以看出，本发明与其他七种方法相比，在两个性能指标上都取得了，可以证明本发明优于其他方法。
[0087]
上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cd
‑
rom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计
算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的基于分层多尺度残差融合网络的人脸超分辨率方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
[0088]
说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。
[0089]
需要指出，根据实施的需要，可将本技术中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
[0090]
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。