一种基于语义特征的人脸图像复原方法

本发明涉及一种基于语义特征的人脸图像复原方法，属于图像处理。

背景技术：

1、随着科技的发展与生活水平的提升，图像以及视频数据呈指数式增强，其中包含大量以人为主题的图像或视频数据，此外人脸识别、人脸匹配、无人机以及监视器中人脸跟踪等应用层出不穷。但是由于成像设备的不稳定性，如对焦失败、相机抖动；成像环境因素，如低光照、高曝光、拍摄对象运动；网络传输状况，如压缩、缩放、编解码格式等，会导致图像存在各种类型以及不同程度的退化，如模糊、噪声等，特别在面对人脸图像时，复杂的退化不仅降低人眼观察效果，而且会给涉及到重大人身财产安全的工作带来后果，如：人脸门禁、支付以及安防监控。于是，人脸图像复原旨在从退化的人脸图像中恢复出清晰的人脸图像，以帮助下流的人脸视觉工作，如：人脸检测与识别。相比较自然图像，人脸图像不仅包含视觉感知的细节，也包含个体五官特征以及身份信息。

2、目前，人脸复原方法主要可以分为三类：基于几何先验的方法、基于参考的方法、基于生成先验的方法。现有基于几何先验的方法往往难以从低质的人脸图像中捕获有效的几何信息；现有基于参考的方法一般提前构建好具有一定容量的字典，所以其在面对真实退化人脸图像时，泛化性能较低；现有基于生成先验的方法在进行复原操作时忽略人脸的身份信息。

3、上述方法大多仅关注人脸几何结构与细节纹理的复原，而忽略了语义信息的挖掘与保持，导致生成的人脸图像看起来很真实，但是其基本特征发生了改变。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提供一种基于语义特征的人脸图像复原方法，基于复原模型的参考图像生成器和特征转移器，可改善现有方法忽略语义信息的问题，在保证复原结果细节与纹理的同时确保人脸语义信息的一致性，在真实场景下能够取得较高的评价指标得分与高质量的可视化效果。

2、为达到上述目的，本发明是采用下述技术方案实现的：

3、本发明公开了一种基于语义特征的人脸图像复原方法，包括如下步骤：

4、获取待复原的人脸图像；

5、将所述待复原的人脸图像输入至训练好的复原模型，得到复原后的人脸图像；

6、其中，所述复原模型包括：

7、编码器，用于，根据所述待复原的人脸图像，生成低质人脸语义特征；

8、参考图像生成器，用于，根据所述低质人脸语义特征，通过输入随机噪声，生成多张高质人脸参考图像；

9、特征转移器，用于，根据所述多张高质人脸参考图像，构建人脸组件特征字典；将所述人脸组件特征字典中的高质组件特征转移到所述低质人脸语义特征中，得到高质人脸语义特征；

10、解码器，用于，根据高质人脸语义特征，生成复原后的人脸图像。

11、进一步的，所述编码器包括5个残差卷积单元与4个2倍下采样单元，所述残差卷积单元与2倍下采样单元交替串联。

12、进一步的，所述参考图像生成器包括依次串联的第一生成器模块、第二生成器模块和第三生成器模块；

13、所述第一生成器模块包括依次串联的语义特征融合单元、残差卷积单元和2倍上采样单元；

14、所述第二生成器模块包括依次串联的语义特征融合单元、残差卷积单元和2倍上采样单元；

15、所述第三生成器模块包括依次串联的语义特征融合单元和残差卷积单元。

16、进一步的，所述语义特征融合单元包含依次串联的1个归一化层和2个卷积层；所述语义特征融合单元用于低质人脸语义特征和随机噪声的融合。

17、进一步的，所述特征转移器包括字典构建模块和特征转移模块；

18、所述字典构建模块包括依次串联的人脸特征提取单元、第一人脸组件检测单元和字典构造单元；

19、所述人脸特征提取单元包括多个依次交替串联的残差卷积单元和2倍下采样单元，用于根据所述多张高质人脸参考图像，得到多张高质人脸参考特征；

20、所述第一人脸组件检测单元，用于根据所述多张高质人脸参考特征，得到不同组件类别的高质组件特征；

21、所述字典构造单元，用于根据所述不同组件类别的高质组件特征，构造得到人脸组件特征字典；

22、特征转移模块包括依次串联的第二人脸组件检测单元、字典查找单元和特征融合单元，

23、所述第二人脸组件检测单元，用于根据所述低质人脸语义特征，得到对应组件类别的低质组件特征；

24、所述字典查找单元，用于根据所述低质组件特征，基于构建好的人脸组件特征字典，得到对应组件类别的高质组件特征；

25、所述特征融合单元，用于融合所述低质人脸语义特征和对应组件类别的高质组件特征，得到高质人脸语义特征。

26、进一步的，所述解码器包括5个残差卷积单元与4个2倍上采样单元，所述残差卷积单元与2倍上采样单元交替串联。

27、进一步的，所述复原模型的训练方法包括如下步骤：

28、获取训练集，所述训练集包括待复原的人脸训练图像和对应的人脸真实复原图像，

29、将所述待复原的人脸训练图像输入至预构建的复原模型中，得到复原后的人脸训练图像；

30、根据所述复原后的人脸训练图像和对应的人脸真实复原图像，计算复原模型损失函数；

31、基于梯度下降法对所述复原模型进行迭代更新训练，以复原模型损失函数最小时的复原模型作为训练好的复原模型。

32、进一步的，获取训练集包括如下步骤：

33、获取高质人脸图像，将所述高质人脸图像作为人脸真实复原图像；

34、对所述高质人脸图像进行像素调整操作，得到退化后的人脸图像；将所述退化后的人脸图像作为待复原的人脸训练图像；

35、其中，所述像素调整操作的表达式如下：

36、

37、式中，ilq表示退化后的人脸图像，即待复原的人脸训练图像；jpegq表示压缩质量为q的jpeg压缩；ihq表示高质人脸图像，即人脸真实复原图像；*表示卷积操作；kσ表示sigma＝σ的模糊核；↓s表示下采样s倍操作；nδ表示sigma＝δ的高斯噪声；↑s表示上采样s倍操作。

38、进一步的，所述复原模型损失函数的表达式如下：

39、l＝ll1+λperlper+λadvladv

40、式中，l表示复原模型损失函数值；ll1表示l1损失值；λper表示感知损失权重；lper表示基于vgg网络的感知损失值；λadv表示对抗损失权重；ladv表示基于对抗训练的对抗损失值。

41、进一步的，所述l1损失值ll1的表达式如下：

42、

43、式中，ihq表示人脸真实复原图像；表示复原后的人脸训练图像；|·|1表示平均绝对误差；

44、所述基于vgg网络的感知损失值lper的表达式如下：

45、

46、式中，表示预训练vgg模型中第1到第5个卷积层的特征图；表示2范数的平方；

47、所述基于对抗训练的对抗损失值ladv的表达式如下：

48、

49、式中，d(·)表示对抗训练中判别器的输出；表示关于分布的期望值；softplus表示softplus函数，softplus函数的表示式为：softplus(x)＝ln(1+ex)。

50、与现有技术相比，本发明所达到的有益效果：

51、本发明的基于语义特征的人脸图像复原方法，首先，基于复原模型的参考图像生成器，通过输入随机噪声并以语义信息为指导，生成多张高质量人脸参考图像；基于，基于复原模型的特征转移器，构建语义指导的轻量级便于快速查找的人脸组件特征字典，可改善现有方法忽略语义信息的问题，提升人脸复原模型的泛化性能，在保证复原结果细节与纹理的同时确保人脸语义信息的一致性，能够在真实场景下取得较高的评价指标得分与高质量的可视化效果。