一种面向人脸模糊图像复原的生成式学习方法

1.本发明属图像处理技术领域，尤其涉及一种面向人脸模糊图像复原的生成式学习方法。


背景技术：

2.人脸图像有许多应用，如人脸识别、人脸跟踪、人脸互换和人脸情感检测(jin等人，2018)。然而，在现实世界中捕获的人脸通常由于成像过程而受到影响。在传感器曝光过程中，由于相机晃动或无意中的移动，所利用的相机/场景系统的相对位置的移动会给产生的人脸图像带来模糊。在这种情况下，我们需要从模糊的图像中恢复清晰的图像。在大多数情况下，相对运动即模糊的内核，是未知的。而且只有少数图像，如单帧被捕获。这就带来了盲目的图像使用单帧去模糊的问题。
3.在理想的数字成像系统中，场景中的一个面元(通常被视为一个点)对应于图像屏幕上的一个像素。当成像系统应用于离焦或具有大像差或剧烈运动的图像时，像素被扩展成为图像平面上的一个有限区域。这会导致场景中相邻面元形成的图像重叠，从而导致图像退化。在这一过程中，图像中的每个像素通过在该像素位置上叠加对应面元及其相邻面元的图像而得到。如果成像系统是线性的且平移不变，则退化的成像结果可以用以下等式来描述：
4.y＝x*k+n
ꢀꢀꢀ
(1)
5.其中，y是退化图像；x对应的理想清晰图像；k是点扩散函数(psf)，定义为成像系统对点源或点对象的响应；n是噪声；星号(*)表示卷积运算；加号(+)表示相加运算。上述等式描述了退化图像的每个像素可以被视为理想图像中对应像素及其邻域像素的加权和。
6.单一图像盲法去模糊的目的是为了从单一的模糊输入中恢复清晰的图像。在没有任何事先或额外的信息，这个问题本质上是不好解决的，因为存在着无限多的潜在图像和模糊内核对，可以同样好地解释一个给定的模糊图像(jin等人，2018)。传统的方法将模糊过程表述为潜在清晰图像和模糊核之间的卷积操作，并基于优化方法解决这个问题。基于优化方法解决这个问题，如最大后验(map)方法。由于这个问题是不确定的问题，自然的图像先验，如稀疏性(krishnan等，2011)，l0梯度(xu等，2013)，补丁先验(sun等等，2013年)、流形(ni等，2011年)、低等级(ren等，2016年)和暗道先验(pan等，2016年)等，都被引入以约束解空间。已被引入以约束解决方案的空间，产生了大量有效的去模糊方法。最近，由于深度学习的巨大发展，基于卷积神经网络(cnn)的方法已经成为主流技术，(shen等，2020)提出一种深度的多尺度cnn，利用全局语义先验和局部结构约束去模糊图像，局部结构损失会根据人脸各分量的大小自适应调整权重。(rajeev等，2020)提出了一种独立学习特定类别特征，并结合特征对图像进行去模糊的机制umsn，通过一种新的计算置信度的方法来重建去模糊图像中的每个类，以平衡语义类在训练中的重要性。
7.目前基于深度学习的人脸去模糊方法已经取得相应的发展，但仍存在问题。从定性的角度来看，主流模型对于较大程度的模糊人像的复原情况效果不佳，表现在复原人脸
扭曲以及存在轮廓模糊黏合的情况。对于模型实现方法来说，模型较为复杂且需要先验知识例如人脸分割图。


技术实现要素：

8.本发明的目的是提供一种面向人脸模糊图像复原的生成式学习方法以克服现有技术存在的对于较大程度模糊人像的复原情况效果不佳，同时模型较为复杂的问题。
9.为了达到上述目的，本发明采用的技术方案是：一种面向人脸模糊图像复原的生成式学习方法，包括以下步骤：
10.步骤一、人脸模糊图像输入步骤：接收人脸模糊图像，输入到层级特征提取网络进行特征提取，并将其输入特征提取网络；
11.步骤二、层级特征筛选步骤：将提取到的层级特征经过特征筛选网络进行严格筛选，所述特征筛选网络为双层自注意力层，筛选输入的层级特征；
12.步骤三、将筛选后的层级特征输入主干网络，按照“镜像原则”对应输入生成网络的生成器中，与生成器主干路输出信号相加；
13.步骤四、采用渐进式生成目标图像：生成过程中，主干网络中生成器最后两层分辨率块以及鉴别器前两层分辨率块之前，加入双层高效自注意力层作为主干网络全局监督模块，按照分辨率大小渐进式地生成目标分辨率大小的图像。
14.进一步的，上述步骤一中，所述卷积层的运算是对接收到的输入数据先进行卷积运算，然后将卷积运算得到的结果进行层归一化计算，最后输入至非线性激励层计算；所述最大池化层是对接收到的输入数据分成2*2的局部邻域进行判断，选择出最大值对图像进行池化。
15.进一步的，上述步骤二中，双层自注意力层采用双层的高效注意力结构，通过学习query、key、value三个与输入大小一致的矩阵，利用query与key之间像素点间的联系生成注意力矩阵热力图，随后于value矩阵采用点乘的方式进行特征学习过程中的注意力分配。
16.进一步的，上述步骤三中，“镜像原则”指的是特征提取网络结构与主干网络中生成器的结构相互对称，即相应层级得到的特征图大小一致；特征提取网络输出的层级特征与生成器主干路输出信号相加为矩阵之间的点加。
17.与现有技术相比，本发明的优点是：
18.1、本发明精心构造了预训练特征提取模块与生成器之间的对称关系，呈现为“镜像”结构。优势在于提取的层级特征大小与生成网络中对应生成的层级特征一致，不需要额外的操作即可直接进行融合的同时，避免多余操作对原始特征信息的破坏。
19.2、本发明提供的特征校正模块由双层高效自注意力组成，相比于开销巨大的传统transform设计的自注意力模块，实现了训练过程中显存的节约却不损失性能。高效注意力根据数学推理的一致性，优化注意力公式运算顺序，达到减小计算过程中中间矩阵的大小的目的。双层的结构设计考虑了模型整体资源开销与性能之间的平衡。
20.3、本发明按照“镜像原则”对应进行特征提取，并输入渐进式生成对抗网络的生成器中与主干路输出信号采用“相加”的方式进行融合，有助于特征在像素级间的强力控制。本发明的方案中舍弃后面的少量分辨率层级特征，仅将前几个分辨率层级特征作为生成器的提示特征信息，与生成主干路中对应层的输出特征进行相加，实现特征间的融合，可更好
地增强模型学习能力。
21.4、本发明针对人脸去模糊任务，设计了强大的局部和全局监督模块，旨在对模糊人脸特征进行精细化地学习生成。局部监督模块由生成器中各层卷积层和对称输入的经过筛选的模糊人脸特征把握，实现特征局部域的学习与定位。全局监督模块由双层高效注意力模块组成，特别之处在于插入位置在于未经监督的生成器模型最后两层分辨率块前和鉴别器模型前两个分辨率块前，通过对特征点间两两相关联系，得到对应的注意力图，提示模型重点关注区域即人脸区域，实现了模型训练中特征的全局特征相关性、监督生成功能。值得注意的是鉴别器中的全局监督模块在框架上与生成器的对称，实现了网络对抗过程中的全局监督。
附图说明
22.图1为本发明提出的主干网络结构示意图；
23.图2为本发明提出的面向人脸模糊图像特征提取的步骤示意图；
24.图3为本发明提出的面向人脸模糊图像特征筛选的步骤示意图；
25.图4为本发明提出的面向人脸模糊图像渐进式生成的步骤示意图。
具体实施方式
26.以下结合附图对本发明的具体实施方式作出详细说明。
27.本专利提出了一种面向人脸模糊图像复原的生成式学习方法，所述方法包括如下步骤，其步骤示意图如图1所示：
28.步骤一、人脸模糊图像输入步骤：接收人脸模糊图像进行预处理后输入网络的输入，并将其输入特征提取网络，所述层级特征提取网络包含五层特征提取模块，每个特征提取模块包含两个卷积层与一个最大池化层，如图2所示，具体流程包括：所述卷积层的运算是对接收到的输入数据先进行卷积运算，然后将卷积运算得到的结果进行层归一化计算，最后输入至非线性激励层计算：根据输入的人脸模糊图像，经过层级特征提取网络的五个由大到小的分辨率层特征提取模块，得到五组特征信息后，根据最后一层特征信息图采用最大池化方案进行下采样得到第六组特征信息。对于每层的特征提取模块，输入通过两层卷积和一层最大池化层。卷积层对输入数据进行卷积运算，训练学习输入的特征空间分布，将卷积后的结果进行层归一化，实现对特征空间分布的标准化，然后输入至非线性激励层计算得到当前层级的特征输出。所述非线性激励层采用线性整流函数(leakyrelu)完成运算。
29.该步骤中，人脸模糊图像用于层级特征提取网络进行特征提取的人脸模糊图像，其接收的人脸模糊图像是退化图像，其得到的最终结果是所述退化图像的层级特征信息。
30.步骤二、层级特征筛选步骤：将提取得到的层级特征经过特征筛选网络进行严格筛选，所述特征筛选网络为双层自注意力层，目的是筛选输入的层级特征，其结构示意图如图3所示。
31.对于层级特征提取网络中提取的六组特征图，采用双层的高效自注意力模块作为特征筛选模块，实现对带有强烈退化信息的特征输入的退化信息过滤，输出较为干净的特征图。本实施例中舍弃最后两个分辨率层的特征，仅采用前4个分辨率层级特征作为生成器
的提示特征信息。针对前4个分辨率层级特征输入，设计对应层级的特征筛选模块，实现对输入特征潜在的退化信息进行过滤。高效注意力的具体实现为预先层归一化和线性注意力层组成的自注意力模块加上预先的层归一化与两层卷积层组成的前向反馈层。
[0032][0033]
其中自注意力模块中的线性注意力层为高效注意力的关键组件，其先卷积学习query、key、value三个矩阵，随后先将key的转置与value相乘，得到较小的中间矩阵后再与query矩阵进行点乘，实现特征图点对点间关系的学习。
[0034]
该步骤中，接收的人脸模糊图像层级特征是包含大量退化信息的层级特征，其得到的最终结果是所述包含退化信息的层级特征对应的筛选后的优化层级特征。
[0035]
步骤三、将筛选后的层级特征输入主干网络，按照“镜像原则”对应输入生成网络的生成器中，与生成器主干路输出信号相加融合。
[0036]“镜像原则”指的是特征提取网络结构与主干网络中生成器的结构相互对称，即相应层级得到的特征图大小一致。特征提取网络输出的层级特征与生成器主干路输出信号相加为矩阵之间的点加。
[0037]
步骤四、采用渐进式生成目标图像：生成过程中，主干网络中生成器最后两层分辨率块以及鉴别器前两层分辨率块之前，加入双层高效自注意力层作为主干网络全局监督模块，参与模型生成对抗过程。利用训练过程中自注意力层产生特征量级间的相关，学习点对点间的关系重要程度，实现高分辨率层生成过程中的全局监督，从而提高生成图像整体质量。
[0038]
生成网络采用渐进式生成方式生成至目标分辨率图像，具体方法为生成网络按照分辨率的大小逐层渐进式地进行图像生成，从低分辨率开始学起，学好了再提升分辨率学更高分辨率下的图片生成，循序渐进。同时对应设计了对称结构的鉴别器网络，具体作用是作为一个“裁判”的角色，通过对生成网络生成的生成图像与真实图像的打分，与生成器相互促进训练，最终达到纳什平衡结束。其中渐进式生成过程示意图如图4所示。
[0039]
最后应说明的是，以上实施方式仅用以说明本发明实施例的技术方案而非限制，尽管参照以上较佳实施方式对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。