基于特征分离学习的低分辨模糊人脸图像超分辨重建方法

本发明属于图像处理技术领域，尤其涉及一种低分辨率模糊人脸图像超分辨率重建方法，可用于人脸识别。

背景技术：

人脸图像超分辨技术比自然图像超分辨技术更复杂。对于人脸图像超分辨中，不仅要提高图像分辨率，更要恢复人脸图像的结构信息和面部分纹理信息。对于低分辨率模糊人脸图像还要考虑如何解决模糊的问题。

在现有技术中，图像超分辨方法包括传统的基于学习的超分辨率方法和基于深度学习的超分辨率方法。对于传统的基于学习的超分辨率方法，其学习到的是图像低层次的特征，而很难关注到图像更细微的结构特点。对于当前主流的基于深度学习的超分辨率方法，其又可以分为应用卷积神经网络的方法和应用生成对抗网络的方法。卷积神经网络中，网络层数的增加带来了图像质量的提升，但是，当输入的图像与超分辨图像的图像大小倍数相差较大时，以上方法得到的效果不是很好。对抗生成网络在当下备受青睐，但是其存在训练不稳定的问题。目前，对于低分辨率模糊人脸图像，如果单独使用去模糊方法无法解决低分辨率的问题；如果仅使用超分辨率方法，仍然存在模糊的细节；如果将这两种方法简单按顺序结合使用，其得到的结果会存在伪影的问题。这些超分辨率和去模糊方法尚不能同时有效的完成对低分辨率模糊人脸图像的恢复。

xinyizhang等人在adeepdual-branchnetworksforjointblindmotiondeblurringandsuper-resolution文章中提出了基于卷积神经网络的方法，来联合解决具有低分辨率模糊图像的去模糊和超分辨问题。该方法在原始的超分辨分支上同时增加了去模糊的分支，构成了双分支的网络结构，在获得统一特征后分别进行了去模糊和超分辨的任务。但文章中没有明确给出对人脸图像恢复的实验效果，所以对模糊的低分辨率人脸图像重建的效果无法得知。chaodong等人在acceleratingthesuper-resolutionconvolutionalneuralnetwork文章中提出了基于卷积神经网络的方法，其通过使用成对的低分辨率和高分辨率人脸图像来学习映射关系，从而显示出良好的性能。但是，该方法由于使用卷积神经网络对低分辨率人脸图像进行高分辨率人脸图像重建，通过在提高图像的峰值信噪比和结构相似性指标来判断图像恢复的效果，其更关注于这两项指标的定量分析结果而没有关注图像的定性分析结果，因而，即使图像的峰值信噪比和结构相似性指标的分数很高，重建的高分辨率人脸图像也可能存在不真实。

技术实现要素：

本发明的目的在于针对上述现有技术的不足，提出一种基于特征分离学习的低分辨模糊人脸图像超分辨重建方法，提高模糊的低分辨率人脸图像的分辨率。

本发明的技术思路是：通过使用分离特征学习的方法对输入的模糊的低分辨率人脸图像在特征层进行分离模糊特征的处理；通过分离后得到的清晰的低分辨率人脸图像进行超分辨，实现从低分辨率模糊的人脸图像恢复出清晰的高分辨率人脸图像。其实现步骤包括如下：

(1)从网上下载celeba人脸数据集，并对其进行下采样，得到清晰的低分辨率人脸数据集，将该数据集的前三分之二作为清晰的低分辨率人脸图像训练数据集；再对清晰的低分辨率人脸数据集进行模糊的预处理，得到低分辨率模糊人脸数据集，将该数据集按照2∶1的比例划分为模糊低分辨率人脸训练数据集和低分辨率模糊人脸测试数据集；

(2)构建依次由生成器网络和判别器网络组成的模糊特征网络；

(3)将低分辨率模糊人脸训练数据集输入到模糊特征网络，利用生成对抗的训练方式进行训练，得到训练好的模糊特征网络模型；

(4)将低分辨率模糊人脸测试数据集输入到训练好的模糊特征网络模型中，得到模糊特征的数据集；

(5)构建依次由一个编码器和两个并联的解码器组成的特征分离网络；

(6)将低分辨率模糊人脸训练数据集和模糊特征数据集输入到特征分离网络，利用随机梯度下降的方式对其进行训练，得到训练好的特征分离网络模型；

(7)将低分辨率模糊人脸测试数据集输入到训练好的特征分离网络模型中，得到清晰的低分辨人脸图像；

(8)构建依次由一个水平卷积层、两个亚像素卷积层、一个水平卷积层组成的超分辨网络；

(9)将清晰的低分辨人脸图像输入到超分辨网络中进行重建，得到清晰的高分辨人脸图像。

本发明相比现有技术具有以下优点：

第一，本发明由于构建了特征分离网络，可分离出低分辨模糊人脸图像的模糊特征，并能得到清晰的低分辨人脸图像，有利于对清晰的低分辨人脸图像进行超分辨，有效的解决了模糊因素对超分辨带来的影响。

第二，本发明由于构建了依次由一个3x3的水平卷积层、两个亚像素卷积层和一个水平卷积层组成的超分辨网络，可提高特征图的分辨率，其利用第一个3x3的水平卷积层，能去除高分辨人脸图像的伪影，有效的解决了超分辨结果存在伪影的问题。

附图说明

图1是本发明的实现流程图；

图2是本发明中模糊特征网络的网络结构图；

图3是本发明中特征分离网络的网络结构图；

图4是本发明中超分辨网络的网络结构图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明。

参照图1，本实例的实现步骤如下：

步骤1，对网上下载到的celeba人脸数据集进行预处理。

1.1)对celeba人脸数据集进行下采样：

对于celeba人脸数据集中尺寸为128×128的原始图像，利用双线性插值法进行8倍的下采样，得到即尺寸为16×16的清晰低分辨率人脸数据集，并将该数据集的前三分之二作为清晰的低分辨率人脸训练数据集；

1.2)对低分辨率人脸数据集进行模糊处理：

对下采样后的数据集，利用orestkupyn在deblurgan:blindmotiondeblurringusingconditionaladversarialnetworks文章中提出的模糊方法，对低分辨人脸数据集进行模糊处理，得到低分辨模糊人脸数据集，并将该数据集按照2∶1的比例划分为模糊低分辨率人脸训练数据集和模糊低分辨率人脸测试数据集。

步骤2，构建依次由生成器网络和判别器网络组成的模糊特征网络，如图2所示。

2.1)建立依次由第1卷积层->第1残差密集连接块->第2残差密集连接块->第3残差密集连接块->第4残差密集连接块->第5残差密集连接块->第2卷积层级联组成的生成器网络，其中：

每个残差密集块均依次由三个密集块组成，每个密集块包括五个卷积层和四个leakyrelu激活函数，其结构为：第一卷积层->第一leakyrelu激活函数->第二卷积层->第二leakyrelu激活函数->第三卷积层->第三leakyrelu激活函数->第四卷积层->第四leakyrelu激活函数->第五卷积层,所有卷积层的大小均为3×3；

2.2)建立依次由第ⅰ卷积层->第ⅰleakyrelu激活函数->第ⅱ卷积层->第ⅱleakyrelu激活函数->第ⅲ卷积层->第ⅲleakyrelu激活函数->第ⅳ卷积层->第ⅳleakyrelu激活函数级联组成的判别器网络，其中：

所有卷积层的大小均为3×3，

所有leakyrelu激活函数的数学表达示均为，

x表示的是输入leakyrelu激活函数的值，a表示的是(1，+∞)区间内的固定参数。

步骤3，利用生成对抗的训练方式对步骤2构建好的模糊特征网络进行训练。

3.1)设置训练的学习率为0.001，最大迭代次数为100；

3.2)将步骤1中预处理得到的模糊低分辨率人脸训练数据集按每批次16张输入到模糊特征网络的生成器网络，生成模糊特征；

3.3)将模糊特征与步骤1预处理得到的清晰的低分辨率人脸图像进行像素级相加，得到合成的低分辨率模糊人脸图像；

3.4)将合成的低分辨率模糊人脸图像与低分辨率模糊人脸图像分别输入到判别器网络中，利用得到的判别值计算合成的低分辨率模糊人脸图像与低分辨率模糊人脸图像的判别损失ld：

其中，

ib表示的是低分辨率模糊人脸图像，ifake表示合成的低分辨率模糊人脸图像；符号e表示的是取均值的运算符，函数表示对所有输入到判别器网络的低分辨率模糊人脸图像取对数后的平均值，函数表示对所有输入到判别器网络的合成低分辨率模糊人脸图像取对数后的平均值；函数d(.)表示的是ib与ifake的相似概率，符号c表示的是判别器网络，c(·)表示的是将ib与ifake输入到判别网络后得到的值,σ表示sigmod函数，其输出范围在(0,1)；

3.5)计算生成器网络与判别器网络的对抗损失

3.6)重复上述步骤3.1)～3.5)，迭代优化损失函数，直到达到最大迭代次数或对抗损失达到收敛时，得到训练好的模糊特征网络模型。

步骤4，生成作监督的模糊特征图。

将步骤1中预处理得到的低分辨模糊人脸测试数据集输入到步骤3训练好的模糊特征网络模型中，得到作监督的模糊特征图。

步骤5，构建特征分离网络。

5.1)生成编码器，其结构为：步长卷积层->第一残差块->第二残差块->第三残差块->第四残差块->第五残差块，其中：

步长卷积层的大小为1×1，步长为1；

每个残差块均依次由一个池化层、一个卷积层和一个修正线性单元激活函数组成，且每个池化层的大小为1×1，每个卷积层的大小为3×3；

5.2)生成两个并联解码器，每个解码器的结构均为：第1残差块->第2残差块->第3残差块->第4残差块->第5残差块->批量归一化->卷积层->双曲正切函数,其中，

每个残差块均依次由一个池化层、一个卷积层和一个修正线性单元激活函数级联组成；每个池化层的大小为1×1，每个卷积层的大小为3×3；

5.3)建立依次由编码器与两个解码器分别级联组成的生成器网络，其级联方式为：编码器的第五残差块与每个解码器的第1残差块依次连接，如图3所示。

步骤6，利用随机梯度下降法对步骤5构建的特征分离网络进行训练。

6.1)设置训练的学习率为0.001，最大迭代次数为200；

6.2)将步骤1中预处理得到的模糊低分辨率人脸训练数据集按每批次16张输入到特征分离网络中的编码器，得到编码后的特征；

6.3)对编码后的特征，按照通道数将其等分为具有相同通道数的两个特征，并将一个特征作为编码后的模糊特征，另一个特征作为编码后清晰的低分辨人脸特征；

6.4)将编码后的模糊特征输入到模糊特征解码器，得到解码后的模糊特征图；

6.5)将编码后清晰的低分辨人脸特征输入到清晰的低分辨人脸特征解码器，得到解码后的清晰的低分辨人脸图像；

6.6)计算编码后模糊特征图的对抗损失和清晰的低分辨人脸图像的对抗损失

其中，n表示每次训练的图像数量；i表示可变变量；bi表示的是特征分离网络分离出的模糊特征图；表示的是模糊特征网络中生成的作监督的模糊特征；ci表示的是；表示的是数据集中预处理后的清晰低分辨人脸图像；

6.7)根据编码后模糊特征图的对抗损失和清晰的低分辨人脸图像的对抗损失得到编码后模糊特征图和清晰的低分辨人脸图像的对抗损失

6.8)计算编码后模糊特征图的内容损失和清晰的低分辨人脸图像的内容损失

6.9)根据编码后模糊特征图的内容损失和清晰的低分辨人脸图像的内容损失得到编码后模糊特征图和清晰的低分辨人脸图像的内容损失

6.10)根据编码后模糊特征图和清晰的低分辨人脸图像的对抗损失和内容损失得到这两者的损失函数

其中，λ表示的是(0,1)区间内的参数；

6.11)重复上述步骤6.1)～6.10)，迭代优化损失函数直到达到最大迭代次数或损失函数达到收敛时，得到训练好的特征分离网络模型。

步骤7，生成清晰的低分辨人脸图像。

将步骤1预处理后的低分辨率模糊人脸测试数据集输入到步骤6训练好的特征分离网络模型中，得到清晰的低分辨人脸图像。

步骤8，构建超分辨网络。

建立依次由第一水平卷积层->第一亚像素卷积层->第二亚像素卷积层->第二水平卷积层级联组成的超分辨网络，每个水平卷积层的大小为3×3，每个亚像素卷积层的大小为3×3，如图4所示。

步骤9，生成清晰的高分辨人脸图像。

将步骤7得到的清晰的低分辨人脸图像输入到步骤8构建的超分辨网络中，依次经过一个大小为3×3的水平卷积层、两个大小3×3的亚像素卷积层和一个大小为3×3的水平卷积层，得到清晰的高分辨人脸图像。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。