一种基于多尺度注意力残差和等变映射的人脸超分辨率方法

1.本发明属于图像处理和计算机视觉领域，涉及人脸图像的超分辨率重构方法，尤其涉及一种基于多尺度注意力残差和等变映射的人脸超分辨率方法。


背景技术：

2.由于深度学习的出现，人脸识别取得了非凡的成功。然而，许多现有的人脸识别模型在处理侧面脸图像时，相对于处理正面脸图像，仍然表现得相对较差。并且在实际应用中，获得的人脸图像分辨率都比较低，即使转化成正脸，图像的效果也是比较差。
3.为了解决上述问题，本发明提出了一种基于多尺度注意力残差和等变映射的人脸超分辨率方法，以实现将低分辨率的侧脸图像超分辨率重构为高分辨率的正脸图像。


技术实现要素：

4.本发明用于解决现阶段图像超分辨率重构方法只能单纯地将图像超分辨率重构为高分辨率图像，而不能实现图像从正脸到侧脸的角度转换问题。为了解决上述问题，本发明提供了一种基于多尺度注意力残差和等变映射的人脸超分辨率方法。本方法采用不同尺度的卷积核和增加注意力的方法提取图像的特征，并用一个残差等变映射模块处理重构特征，可以将侧面人脸图像的特征向量变换到与正面人脸图像相同的特征向量空间中，最后再经过重建模块，获得高分辨率的人脸正脸图像。具体包括以下步骤：
5.1)将低分辨率人脸侧脸图像i
lr
作为网络的输入，对i
lr
进行卷积操作，提取浅层特征m0；
6.2)将浅层特征m0作为由n个多尺度注意力残差模块构成的特征提取子网的输入，然后分别将子网中每个模块输出的特征经过特征融合层进行融合，得到深层特征m
c
；
7.3)将融合后的深层特征m
c
通过一个全连接层，得到特征m
d
；
8.4)将特征m
d
输入到残差等变映射模块，经过两个全连接层后得到的特征m
g
；同时，角度估计模块提取输入的低分辨率侧脸图像的21个关键点，得到人脸角度的偏航系数y，将偏航系数y和m
g
相乘，最后加上输入的特征m
d
，得到最终变换后的特征m
f
；
9.5)将变换后的特征向量m
f
输入重建模块，获得最终重建后的高分辨率正脸图像i
sr
。
10.作为进一步的优选方式，步骤2)所述的特征提取子网具体为：
11.2.1)特征提取子网由n个多尺度注意力残差模块组成，每个多尺度注意力残差模块由多尺度残差模块和注意力模块两部分组成。
12.对于第i个多尺度注意力残差模块，其输入特征为前一个多尺度注意力残差模块的输出m
i
‑1，输出的特征为m
i
；
13.2.1.1)所述的多尺度残差模块是由两个3*3的卷积、两个5*5的卷积和一个1*1的卷积构成，输入的特征分别经过3*3的卷积核和5*5的卷积核，生成特征为f1和p1，把这两个卷积核的输出结果concat起来，作为下一个3*3卷积核和5*5卷积核的输入，生成的特征为
f2和p2，然后再把f2和p2concat起来，作为1*1卷积核的输入，生成的特征为s1。不同大小的卷积核提取的特征不同，所以在同一个网络中使用两种卷积核，那么不同的特征就能够在一个网络中得到，进而实现图像更高分辨率的要求。因为做了两次concat操作，所以特征图的通道数变成了原来的四倍，为了实现残差操作所以在后边加了一个1*1的卷积核，将特征图的通道数进行了压缩。
14.2.1.2)所述的注意力模块主要是通过使用二阶特征统计量进行更具区分度的表示来自适应地缩放通道级别的特征。首先计算输入特征的协方差矩阵，然后将协方差矩阵进行特征值分解，最后将协方差归一化，转化为特征值的1/2次幂。这样便得到了归一化的协方差矩阵a，这个归一化的协方差矩阵就代表了不同通道特征的相关性。最后将归一化的协方差矩阵的每层进行全局平均池化操作得到每层的通道描述子，具体表示如下：
15.z＝h
gcp
(a)
16.其中，h
gcp
()表示示全局平均池化操作。
17.得到每层的通道描述子后，再通过gating function得到最终的权重w，具体表示如下：
18.w＝f(w
u
·
r(w
d
·
z))
19.其中，w
u
，w
d
为卷积层的权重，f,r别表示sigmoid函数和relu函数。
20.最后，输入的特征s1与权重w相乘，得到最后加权的特征s2＝w*s1。
21.2.1.3)最后将注意力模块的输出特征s2和第i个多尺度注意力残差模块的输入m
i
‑1相加，得到最终的输出特征m
i
＝m
i
‑1+s2。
22.2.2)最后将所有的多尺度注意力残差模块的输出进行融合，具体表示如下：
23.m
c
＝concat(m0,m1.....m
n
)
24.其中，concat()表示特征融合操作，m
i
,i＝1,2,...,n表示每个多尺度注意力残差模块输出的特征。
25.作为进一步的优选方式，步骤3)具体为：
26.3.1)在特征提取子网和残差等变映射模块中间添加一个全连接层的目的是：使得特征提取子网更加适合后边的人脸转化任务。
27.作为进一步的优选方式，步骤4)所述的残差等变映射模块，具体为：
28.4.1)首先，残差等变映射模块的输入特征m
d
通过两个全连接层得到特征m
g
；
29.4.2)偏航系数y是通过角度估计模块得到的，首先提取输入的低分辨率侧脸图像的21个关键点，然后使用epnp算法估计初始解来拟合模型得到偏转角，最后通过sigmoid函数将角度映射到[0,1]之间得到偏航系数y,将偏航系数y和特征m
g
相乘,并将相乘结果与m
d
相加，即得到变换后的特征m
f
。
[0030]
作为进一步的优选方式，步骤5)所述的重建模块具体表示如下：
[0031]
5.1)重建模块由两个卷积层和一个亚像素卷积层构成；
[0032]
首先使用一个卷积核为3的卷积层对处理后的特征m
f
进行重新排列，得到特征m
k
：
[0033]
m
k
＝conv
3*3
(m
f
)
[0034]
其中，conv
3*3
()表示卷积核为3的卷积操作；
[0035]
5.2)然后将重新排列后的特征m
k
输入到一个亚像素卷积层中，将其放大到相应尺度，获得重建图像i：
[0036]
i＝h
px
(m
k
)
[0037]
其中，h
px
()表示亚像素卷积操作；
[0038]
5.3)最后，再经过一个卷积层获得最终重建后的高分辨率正脸图像i
sr
。
[0039]
本发明提供了一种基于多尺度注意力残差和等变映射的人脸超分辨率方法，首先通过卷积层提取低分辨率侧脸图像的浅层特征；然后，将浅层特征输入特征提取子网，经过多个多尺度注意力残差模块，获得深层特征；进一步将获取的深层特征输入残差等变映射模块，在深层表征特征空间中将深层特征和融合偏航系数的残差特征结合，将侧面人脸的特征向量变换到与正面人脸相同的特征向量空间；最后经过重建模块，获得高分辨率的正脸图像。应用本发明解决了无法充分利用低分辨率图像特征的问题和由于侧脸样本不足而导致生成的正脸图像效果差的问题。本发明适用于人脸识别，不再过度依赖大量的正脸侧脸数据对，对于输入的低分辨率的侧脸图像可以重建出清晰度高、纹理更真实的正脸图像。
[0040]
有益效果
[0041]
首先，本发明采用一组多尺度注意力残差模块提取低分辨率侧脸图像的特征，能够充分地利用人脸图像的细节信息；其次，采用残差等变映射模块在特征层面上，将侧面人脸的特征向量变换到与正面人脸相同的特征向量空间中；最后基于重建模块生成高清的人脸正面图像。
附图说明
[0042]
图1本发明基于多尺度注意力残差和等变映射的人脸超分辨率方法流程图；
[0043]
图2本发明基于多尺度注意力残差和等变映射的人脸超分辨率方法的网络结构图；
[0044]
图3本发明设计的多尺度注意力残差模块的结构图；
[0045]
图4本发明设计的注意力模块的结构图；
具体实施方式
[0046]
本发明提供了一种基于多尺度注意力残差和等变映射的人脸超分辨率方法，首先通过卷积层提取低分辨率人脸侧面图像的浅层特征；然后，将浅层特征输入特征提取子网，经过多个多尺度注意力残差模块，获得深层特征；进一步将获取的深层特征输入到残差等变映射模块，在深层表征特征空间中将深层特征和融合偏航系数的残差特征结合，将侧面人脸的特征向量变换到与正面人脸相同的特征向量空间中；最后经过重建模块，获得高分辨率的人脸正脸图像。本发明适用于人脸识别，不再过度依赖大量的正脸侧脸数据对，对于输入的低分辨率的侧脸图像可以重建出清晰度高、纹理更真实的正脸图像。
[0047]
下面结合具体实例以及附图对本发明进行更详细阐述。
[0048]
如图1所示，本发明包括以下步骤：
[0049]
1)将低分辨率人脸侧面图像i
lr
作为网络的输入，对i
lr
进行卷积操作，提取浅层特征m0；
[0050]
m0＝conv(i
lr
)
[0051]
其中，conv()表示卷积运算。
[0052]
2)将浅层特征m0作为由多个多尺度注意力残差模块构成的特征提取子网的输入，
然后将特征提取子网中每个多尺度注意力残差模块输出的特征经过特征融合层进行融合，得到深层特征m
c
；
[0053]
2.1)特征提取子网由n个多尺度注意力残差模块组成，每个多尺度注意力残差模块由多尺度残差模块和注意力模块两部分组成。
[0054]
对于第i个多尺度注意力残差模块，其输入特征为前一个多尺度注意力残差模块的输出m
i
‑1，输出的特征为m
i
；
[0055]
2.1.1)所述的多尺度残差模块是由两个3*3的卷积、两个5*5的卷积和一个1*1的卷积构成，输入的特征分别经过3*3的卷积核和5*5的卷积核，生成特征为f1和p1，把这两个卷积核的输出结果concat起来，作为下一个3*3卷积核和5*5卷积核的输入，生成的特征为f2和p2，然后再把f2和p2concat起来，作为1*1卷积核的输入，生成的特征为s1。
[0056]
2.1.2)注意力模块主要是通过使用二阶特征统计量进行更具区分度的表示来自适应地重缩放通道级别的特征。首先在进行全局平均池化操作前，对输入的特征计算其归一化的协方差矩阵，具体操作如下：
[0057]
首先计算输入特征的协方差矩阵，然后将协方差矩阵进行特征值分解，最后将协方差归一化，转化为特征值的1/2次幂。这样便得到了归一化的协方差矩阵a，这个归一化的协方差矩阵就代表了不同通道特征的相关性。
[0058]
然后将归一化的协方差矩阵的每层进行全局平均池化操作得到每层的通道描述子，具体表示如下：
[0059]
z＝h
gcp
(a)
[0060]
其中，h
gcp
()表示示全局平均池化操作。得到每层的通道描述子后，再通过gating function得到最终的权重w，具体表示如下：
[0061]
w＝f(w
u
·
r(w
d
·
z))
[0062]
其中，w
u
，w
d
为卷积层的权重，f,r别表示sigmoid函数和relu函数。最后，输入的特征s1与权重w相乘，得到最后加权的特征s2＝w*s1。
[0063]
2.1.3)最后将注意力模块的输出特征s2和第i个多尺度注意力残差模块的输入m
i
‑1相加，得到最终的输出特征m
i
＝m
i
‑1+s2。
[0064]
2.2)最后将所有的多尺度注意力残差模块的输出进行融合，具体表示如下：
[0065]
m
c
＝concat(m0,m1.....m
n
)
[0066]
其中，concat()表示特征融合操作，m
i
,i＝1,2......n表示n个多尺度注意力残差模块输出的特征。
[0067]
3)将融合后的深层特征m
c
通过一个全连接层，得到特征m
d
，具体表示如下：
[0068]
m
d
＝linear(m
c
)
[0069]
其中，表示linear()全连接层操作；
[0070]
4)将特征m
d
输入到残差等变映射模块，经过两个全连接层后得到的特征m
g
，然后通过角度估计模块提取输入的低分辨率侧脸图像的21个关键点，得到人脸角度的偏航系数y，将偏航系数y和m
g
相乘，最后加上输入的特征m
d
，得到最终变换后的特征m
f
：
[0071]
m
f
＝y*m
g
+m
d
[0072]
4.1)将残差等变映射模块的输入特征m
d
通过两个全连接层得到特征m
g
；
[0073]
4.2)偏航系数y是通过角度估计模块得到的，首先提取低分辨率人脸侧面图像的
21个关键点，然后使用epnp算法估计初始解来拟合模型得到偏转角，最后通过sigmoid函数将角度映射到[0,1]之间得到偏航系数y；
[0074]
4.3)将偏航系数y和特征m
g
相乘,然后将相乘结果与m
d
相加，即得到了变换后的特征向量m
f
：
[0075]
m
f
＝y*m
g
+m
d
[0076]
5)将变换后的特征向量m
f
输入重建模块，获得最终重建后的高分辨率人脸正面图像i
sr
。
[0077]
5.1)首先使用一个卷积核为3的卷积层对处理后的特征m
f
进行重新排列，得到特征m
k
：
[0078]
m
k
＝conv
3*3
(m
f
)
[0079]
其中，conv
3*3
()表示卷积核为3的卷积操作；
[0080]
5.2)然后将重新排列后的特征m
k
输入到一个亚像素卷积层中，将其放大到相应尺度，获得重建图像i：
[0081]
i＝h
px
(m
k
)
[0082]
其中，h
px
()表示亚像素卷积操作；
[0083]
5.3)最后，再经过一个卷积层获得最终重建后的高分辨率人脸正面图像i
sr
。
[0084]
本发明在计算机视觉领域有着广泛的应用，如人脸识别比对、人脸开门、人脸检索，排查犯罪嫌疑人、失踪人口的全库搜寻等。下面参照附图，对本发明进行详尽的描述。
[0085]
1)将低分辨率人脸侧面图像i
lr
作为网络的输入，对i
lr
进行卷积操作，提取浅层特征m0；
[0086]
2)将浅层特征m0作为由多个多尺度注意力残差模块构成的特征提取子网的输入，然后将特征提取子网中每个多尺度注意力残差模块输出的特征经过特征融合层进行融合，得到深层特征m
c
；
[0087]
3)将融合后的深层特征m
c
通过一个全连接层，得到特征m
d
；
[0088]
4)将特征m
d
输入到残差等变映射模块，经过两个全连接层后得到的特征m
g
，然后通过角度估计模块提取输入的低分辨率侧脸图像的21个关键点，得到人脸角度的偏航系数y，将偏航系数y和m
g
相乘，最后加上输入特征m
d
，得到最终变换后的特征m
f
；
[0089]
5)将变换后的特征向量m
f
输入重建模块，获得最终重建后的高分辨率人脸正面图像i
sr
。
[0090]
在nvidia geforce gtx1080 ti和ubuntu16.0464位操作系统下，采用tensorflow深度学习框架和pycharm编程工具实现该方法。
[0091]
本发明提供了一种基于多尺度注意力残差和等变映射的人脸超分辨率方法。本发明适用于人脸识别，不再过度依赖大量的正脸侧脸数据对，对于输入的低分辨率的侧脸图像可以重建出清晰度高、纹理更真实的正脸图像。