一种人脸修复方法及系统与流程

1.本发明涉及一种照片中低画质人脸区域的修复方法。


背景技术：

2.随着智能手机的普及，大量包含人脸的照片被拍摄和保存下来。受限于手机成相质量和拍摄环境等，有些照片中的人像区域存在模糊、失焦、压缩等低画质问题，需要进行人脸修复以提升人脸区域的画质。现有人脸修复方法通常采用单独的端到端(end-to-end)神经网络或者生成对抗网络(generative adversarial network，gan)，难以修复真实场景中的复杂退化人脸。


技术实现要素：

3.本发明所要解决的技术问题是：针对包含人脸的照片在拍摄过程中存在的模糊、失焦、压缩等低画质问题，提出了一种修复低画质人脸区域的方法。
4.为解决上述技术问题，本发明公开了一种人脸修复方法，包括如下步骤。步骤s1：在图片中提取照片区域。步骤s2：在照片区域中检测和定位出人脸区域。步骤s3：对人脸区域进行分割，得到五官区域和皮肤区域。步骤s4：去除五官区域和皮肤区域中的多种退化，并在五官区域和皮肤区域中增加人脸细节。上述方法将人脸修复(步骤s4)分为粗修复和精细修复两个环节，提升了人脸修复的效果。
5.进一步地，所述步骤s1的实现方式如下：采用一种用于图像分割的神经网络并对其进行训练，使用训练好的神经网络在图片中提取照片区域。所述步骤s1中，神经网络的训练方法如下：(1)生成训练数据；利用已有照片生成包含照片的图片称为合成图片，每张合成图片中的照片区域的位置是指定的即已知的；或者收集一些包含照片的图片，每张图片中的照片区域的位置是人工标注的即已知的；(2)采用所述训练数据对神经网络进行训练，以使该神经网络能够用于在图片中提取照片区域。
6.优选地，所述训练数据包括以下四类：黑白照片合成到黑白背景中、黑白照片合成到彩色背景中、彩色照片合成到黑白背景中、彩色照片合成到彩色背景中；所述背景是指图片中的非照片区域。
7.进一步地，所述步骤s2中，采用人脸检测算法retinaface检测和定位照片中的所有人脸区域。
8.进一步地，所述步骤s3中，采用人脸分割算法face parsing，或者采用一种用于图像分割的神经网络并对其进行训练，使用训练好的神经网络对人脸区域进行分割。
9.进一步地，所述步骤s4的实现方式如下：采用一种用于图像去噪或者图像去模糊的端到端神经网络并对其采用“以多重小幅度退化方式生成的训练数据”进行训练，使用训练好的神经网络对照片区域中的人脸区域去除多种退化；所述端到端神经网络中包含编码器和解码器；采用一种用于图像处理的生成对抗网络在去除退化后的人脸区域中增加人脸细节，所述生成对抗网络用来基于人脸先验信息生成高清人脸图像；所述生成对抗网络中
包含生成器和判别器，生成器中包含编码器和解码器；将“端到端神经网络中的解码器中的特征图层”与“条件对抗生成网络中的生成器中的解码器中的特征图层”进行特征融合。所述步骤s4中，端到端神经网络的训练方法如下；(1)以多重小幅度退化方式生成训练数据；这是指先在照片中增加小幅度的一种或多种退化，称为第一重退化；然后在第一重退化后的照片中继续增加小幅度的一种或多种退化，称为第二重退化；以此类推，得到多重退化后的照片；原始的未退化的照片内容是已知的，多重退化后的照片与原始的未退化的照片的像素点一一对应；所述小幅度退化是指单次退化不明显降低图像质量；所述多重是指一重至六重之间；(2)采用所述“以多重小幅度退化方式生成的训练数据”对端到端神经网络进行训练，以使该端到端神经网络能够用于去除图片中的各种退化。
10.进一步地，所述步骤s4中，所述端到端神经网络是mprnet或pixel2pixel中的一种；所述生成对抗网络是cyclegan、stylegan，stylegan2、began中的一种。
11.可选地，在步骤s4之后增加步骤s5。步骤s5：对皮肤区域进行磨皮和/或美白操作。
12.优选地，使用双边滤波器对皮肤区域的像素计算模糊后的结果，实现磨皮效果。
13.本发明还公开了一种人脸修复系统，包括照片提取单元、人脸检测单元、人脸分割单元和人脸修复单元。所述照片提取单元用于在图片中提取照片区域。所述人脸检测单元用于在照片区域中检测和定位出人脸区域。所述人脸分割单元用于对人脸区域进行分割，得到五官区域和皮肤区域。所述人脸修复单元用于去除五官区域和皮肤区域中的多种退化，并在五官区域和皮肤区域中增加人脸细节。
14.可选地，所述人脸修复系统还包括皮肤美颜单元。所述皮肤美颜单元用于对皮肤区域进行磨皮和/或美白操作。
15.本发明取得的技术效果是：提高低画质人脸修复效率和效果，为后续图片编辑提供支持。
附图说明
16.图1是本发明提出的人脸修复方法的实施例一的流程示意图。
17.图2是本发明提出的人脸修复方法的实施例二的流程示意图。
18.图3是本发明提出的人脸修复系统的实施例一的结构示意图。
19.图4是本发明提出的人脸修复系统的实施例二的结构示意图。
20.图中附图标记说明：1为照片提取单元、2为人脸检测单元、3为人脸分割单元、4为人脸修复单元、5为皮肤美颜单元。
具体实施方式
21.请参阅图1，本发明提出的人脸修复方法的实施例一包括如下步骤。
22.步骤s1：在图片中提取照片区域。所述照片区域是图片中显示为照片的像素的集合，可以为规则或不规则形状，例如为四边形。所述图片中至少有部分区域为照片区域，也可能整张图片均为照片区域。如果未在图片中检测和定位出照片区域，则认为整张图片均为照片区域。后续的人脸检测和五官皮肤区域分割都只在照片区域中进行，这有助于提高后续人脸检测和五官皮肤区域分割的准确性。如果后续的人脸检测和五官皮肤区域分割在整幅图片进行，而照片区域的面积占整幅图片面积的比例过小，必然会造成后续的人脸检
测不准确和五官皮肤区域分割精度下降。
23.所述步骤s1的示例性实现方式如下：采用一种用于图像分割(image segmentation)的神经网络(neural network，nn)并对其进行训练，使用训练好的神经网络在图片中提取照片区域。神经网络是人工神经网络(artificial neural network，ann)的简称。这一步采用的神经网络例如是bisenetde、u-net、u
2-net、unet++、deeplabv3系列、segformer系列中的任意一种。无论采用哪一种神经网络，其训练数据、训练方法都是一样的，区别仅在于模型体积(占用空间)、运算速度、运算精度(准确程度)。优选地，用于图像分割的神经网络检测和定位图片中的照片区域后，通过透视变换裁剪出照片区域，透视变换后的照片区域为矩形；也就是图像处理中常见的roi(region of interest，感兴趣区域)。
24.所述步骤s1中，神经网络的训练方法如下。(1)生成训练数据。利用已有照片生成包含照片的图片，所述包含照片的图片称为合成图片。每张合成图片中的照片区域的位置是指定的即已知的。可替换地，收集一些包含照片的图片，此时每张图片中的照片区域的位置是人工标注的即已知的。每张图片中的非照片区域称为背景。(2)采用所述训练数据对神经网络进行训练，以使该神经网络能够用于在图片中提取照片区域。优选地，所述训练数据包括以下四类：黑白照片合成到黑白背景中、黑白照片合成到彩色背景中、彩色照片合成到黑白背景中、彩色照片合成到彩色背景中；这四类训练数据的组合有助于提升神经网络在图片中提取照片区域的准确性。
25.步骤s2：在照片区域中检测和定位出人脸区域。这一步例如采用人脸检测算法retinaface检测和定位照片中的所有人脸区域，所得到的人脸区域例如是一个个包含人脸的矩形区域。如果未在照片区域中检测和定位出人脸区域，整个方法结束。
26.步骤s3：对人脸区域进行分割，得到五官区域和皮肤区域。五官区域是人脸区域中显示为眼睛、眉毛、鼻子、嘴唇、牙齿、耳朵的像素的集合，可选地也包含人脸区域中显示为头发的像素的集合。皮肤区域是人脸区域中显示为面部皮肤的像素的集合，可选地也包含人脸区域中显示为脖子的像素的集合。这一步例如采用人脸分割算法face parsing，也可以采用一种用于图像分割的神经网络并对其进行训练，使用训练好的神经网络对人脸区域进行分割。这一步采用的神经网络例如是bisenetde、u-net、u
2-net、unet++、deeplabv3系列、segformer系列中的任意一种。这一步采用神经网络进行人脸分割，相比于传统的人工分割具有更高的精度。
27.之所以要在人脸区域中进一步分割得到五官区域和皮肤区域，一方面是为了将人脸修复的范围限定在五官区域和皮肤区域中；另一方面是可以对皮肤区域进行美颜，而对五官区域尽量不进行美颜，以尽量保留五官区域的细节信息。
28.步骤s4：去除五官区域和皮肤区域中的多种退化，完成后五官区域和皮肤区域中可能会有人脸细节的缺失，但仍保留有原始照片中的人脸身份特征；随后在五官区域和皮肤区域中增加人脸细节。所述退化是指图像中的缺陷，包括噪声、模糊、jpeg压缩、下采样、像素抖动、伪影、褪色等。
29.所述步骤s4的示例性实现方式如下：采用一种用于图像去噪或者图像去模糊的端到端神经网络并对其采用“以多重小幅度退化方式生成的训练数据”进行训练，使用训练好的神经网络作为退化去除网络对五官区域和皮肤区域去除多种退化(称为人脸粗修复)。这一步采用的端到端神经网络例如是mprnet、pixel2pixel(也称pix2pix)。所述端到端神经
网络中包含编码器和解码器。所述退化去除网络采集高质量人脸图片合成低质量退化数据，作为编码器和解码器的训练数据，学习从模糊的低质量图片到清晰高质量图片的映射关系。随后采用一种用于图像处理的生成对抗网络在去除退化后的五官区域和皮肤区域中增加人脸细节(称为人脸精细修复)。这一步采用的生成对抗网络例如是cyclegan、stylegan，stylegan2、began，这些生成对抗网络用来基于丰富的人脸先验信息生成高清人脸图像。所述生成对抗网络中包含生成器和判别器，通过判别器约束生成器生成高清人脸图像，学习人脸先验信息；生成器中包含编码器和解码器。增加人脸细节是将“端到端神经网络中的解码器中的特征图层”与“生成对抗网络中的生成器中的解码器中的特征图层”进行特征融合。前一特征图层中包含了原始五官区域和皮肤区域中的人脸身份特征，但可能丧失部分的人脸细节，后一特征图层用来完善和增加更多的人脸细节(纹理)。如果只使用端到端神经网络，可能会造成人脸细节缺失，例如部分人脸轮廓缺失难以恢复。如果只使用生成对抗网络，会造成人脸身份特征缺失。本发明将两者的特征融合，可以兼顾人脸细节和人脸身份特征。
30.所述步骤s4中，端到端神经网络的训练方法如下。(1)以多重小幅度退化方式生成训练数据。先收集高质量(清晰、无噪声、无压缩伪影、无褪色)的包含人脸的照片，在照片中增加小幅度的一种或多种退化，称为第一重退化；然后在第一重退化后的照片中继续增加小幅度的一种或多种退化，称为第二重退化；以此类推，得到多重退化后的照片。多重退化是模拟自然界的真实退化过程，得到了与真实老照片分布一致的低质量(模糊、有噪声、有压缩伪影，褪色)的包含人脸的照片。原始的未退化的照片内容是已知的，多重退化后的照片与原始的未退化的照片的像素点一一对应，作为成对训练数据集。所述小幅度退化是指单次退化不明显降低图像质量，例如对于jpeg压缩而言，是指单次jpeg压缩质量因子≥0.65且＜1，优选地是指单次jpeg压缩质量因子≥0.90且＜1。所述多重是指一重至六重之间，优选进行三重。(2)采用所述“以多重小幅度退化方式生成的训练数据”对端到端神经网络进行训练，以使该端到端神经网络能够用于去除照片中的各种退化。现有的端到端神经网络通常只能用于去除一种退化，例如用于去除图像噪声。本发明以多重小幅度退化方式生成训练数据，真实模拟了照片的退化过程；采用这种训练数据训练出来的端对端神经网络能够用于同时去除多种退化，这属于本发明的一大技术创新。
31.上述实施例一实现了对人脸区域的画质提升。步骤s4执行完毕后，五官区域和皮肤区域中的人脸身份特征被保留下来，并且增加了大量的来自于人脸先验信息的人脸细节。
32.请参阅图2，本发明提出的人脸修复方法的实施例二完整包含实施例一的步骤s1至步骤s4，在步骤s4之后还增加了步骤s5。
33.步骤s5：对皮肤区域进行磨皮和/或美白操作。这一步例如使用双边滤波器对皮肤区域的像素计算模糊后的结果，实现磨皮效果。双边滤波是采用加权平均的方法，用周边像素亮度值的加权平均代表某个像素的强度，可以在模糊的同时保持图像中的边缘信息。
34.上述实施例二在实施例一的基础上增加了对皮肤区域的美颜，对五官区域则不进行美颜，从而保留了五官区域的人脸特征信息。
35.请参阅图3，本发明提出的人脸修复系统的实施例一包括照片提取单元1、人脸检测单元2、人脸分割单元3和人脸修复单元4，与本发明提出的人脸修复方法的实施例一相对
应。
36.所述照片提取单元1用于在图片中提取照片区域。
37.所述人脸检测单元2用于在照片区域中检测和定位出人脸区域。
38.所述人脸分割单元3用于对人脸区域进行分割，得到五官区域和皮肤区域。
39.所述人脸修复单元4用于去除五官区域和皮肤区域中的多种退化，并在五官区域和皮肤区域中增加人脸细节。
40.请参阅图4，本发明提出的人脸修复系统的实施例二在实施例一的基础上增加了皮肤美颜单元5，与本发明提出的人脸修复方法的实施例二相对应。
41.所述皮肤美颜单元5用于对皮肤区域进行磨皮和/或美白操作。
42.与现有的人脸修复技术相比，本发明取得了如下的有益效果。第一，本发明对于人脸修复的效果真实、自然，在保留人脸身份特征的基础上增加了面部细节。第二，本发明的各步骤优选地采用神经网络实现，整体修复速度快、效率高。
43.以上仅为本发明的优选实施例，并不用于限定本发明。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。