基于生成对抗网络的人脸图像转换成素描的方法及系统

1.本发明属于图像数据转换技术领域，尤其涉及一种基于生成对抗网络的人脸图像转换成素描的方法及系统。


背景技术：

2.人脸素描草图已在许多领域得到广泛应用，特别是在追踪疑犯中，可以提供便利。目前，只有少数法医素描画师可以到达专业水平，这难以满足目标侦察和破案的需要。因此，人脸照片如何高效准确地转换成素描草图是一个紧迫问题。
3.发明人发现，目前这种照片到草图的翻译是基于少数专注于纹理细节的草图样本，例如眼睛，鼻子和嘴巴以及全局面部轮廓；同时，该问题也可以被视为图像到图像翻译问题，如使用面部构图信息进行面部照片素描合成，并采用新颖的构图辅助生成对抗网络。但是现有方法中使用的网络结构的复杂度相对较高，训练时间较长，并且在图像清晰度和预测画像质量方面还需提升。


技术实现要素：

4.本发明为了解决上述问题，提出了一种基于生成对抗网络的人脸图像转换成素描的方法及系统，本发明使用轻量级网络对人脸数据库中的样本合成素描图像，在保障合成图像质量的同时，提高了合成图像的速度。
5.为了实现上述目的，本发明是通过如下的技术方案来实现：
6.第一方面，本发明提供了一种基于生成对抗网络的人脸图像转换成素描的方法，包括：
7.获取人脸图像；
8.依据获取的人脸图像，以及预设的人脸素描图像转换模型，得到人脸素描图像；
9.其中，所述人脸素描图像转换模型通过生成对抗网络训练得到；人脸素描图像转换模型训练过程中采用了多尺度结构的网络残差块，以及在多尺度结构的网络残差块后加入了并行处理的自注意力模块。
10.进一步的，人脸素描图像转换模型训练时，将人脸图像数据库分为训练集和测试集；人脸图像数据库大于预设值时，采用留出验证法选择训练集和测试集，人脸图像数据库不大于预设值时，采用留一交叉验证法选择训练集和测试集。
11.进一步的，将人脸图像数据库中的人脸图像进行预处理，得到相同尺寸的图像。
12.进一步的，生成对抗网络包括：
13.上采样部分，包括一个步长为1卷积核为7
×
7的卷积层，以及两个步长为2卷积核为3
×
3的卷积层；
14.第一多尺度结构的网络残差块，每个残差块为步长为1，卷积核为3
×
3的卷积层；
15.并行处理的自注意力部分；
16.第二多尺度结构的网络残差块，每个残差块为步长为1，卷积核为3
×
3的卷积层；
17.下采样部分，采用了和上采样部分对称的结构；
18.判别器，包括一个下采样模块、一个全连接层和一个步长为1卷积核为4
×
4的卷积层；其中，下采样模块包括三个步长为2卷积核为4
×
4的卷积层，以及一个步长为1卷积核为4
×
4的卷积层。
19.进一步的，第二多尺度结构的网络残差块中采用了自适应归一化方法。
20.进一步的，损失函数包括生成对抗网络损失函数，标识损失函数、循环一致性损失函数和类激活损失函数。
21.进一步的，并行处理的自注意力模块重点关注根据辅助分类器获得的特征图将图像与草图区分开来的区域。
22.第二方面，本发明还提供了一种基于生成对抗网络的人脸图像转换成素描的系统，包括：
23.数据采集模块，被配置为：获取人脸图像；
24.转换模块，被配置为：依据获取的人脸图像，以及预设的人脸素描图像转换模型，得到人脸素描图像；
25.其中，所述人脸素描图像转换模型通过生成对抗网络训练得到；人脸素描图像转换模型训练过程中采用了多尺度结构的网络残差块，以及在多尺度结构的网络残差块后加入了并行处理的自注意力模块。
26.第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的基于生成对抗网络的人脸图像转换成素描的方法的步骤。
27.第四方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的基于生成对抗网络的人脸图像转换成素描的方法的步骤。
28.与现有技术相比，本发明的有益效果为：
29.1、本发明在人脸素描图像转换模型训练过程中采用了多尺度结构的网络残差块，多尺度结构可以获得深层和浅层信息，从而更好地区分后续的人脸信息，同时加入并行处理的自注意力模块，使得图像在生成质量细节方面得到提升；采用多尺度方法学习深层与浅层的特征，将不同类别的特征图融合，使保持速度的同时，提高了合成质量；
30.2、本发明利用轻量级生成对抗网络对人脸数据库中的样本合成素描图像，在保障合成图像质量的同时，提高了合成图像的速度；轻量级生成对抗网络中的生成对抗网络结构能满足合成图像质量问题，不同时刻的特征图融合充分利用浅层和深层信息；
31.3、本发明提出的算法能有效为图像迁移，比如罪犯追踪等提供帮助，同时满足准确性和实时性要求，能够克服专业素描画师少，计算占用内存大，训练时间长的问题。
附图说明
32.构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。
33.图1为本发明实施例1的流程图；
34.图2为本发明实施例1的图像预处理方法流程图；
35.图3为本发明实施例1的网络框架示意图。
具体实施方式：
36.下面结合附图与实施例对本发明作进一步说明。
37.应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
38.实施例1：
39.本实施例提供了一种基于生成对抗网络的人脸图像转换成素描的方法，包括：
40.获取人脸图像；
41.依据获取的人脸图像，以及预设的人脸素描图像转换模型，得到人脸素描图像；
42.其中，所述人脸素描图像转换模型通过生成对抗网络训练得到；人脸素描图像转换模型训练过程中采用了多尺度结构的网络残差块，以及在多尺度结构的网络残差块后加入了并行处理的自注意力模块。
43.本实施中的基于生成对抗网络的人脸图像转换成素描的方法是一种图像迁移学习方法，除了应用于人脸照片-素描合成外，还可以应用于动漫人物生成等领域；以人脸图像转换成素描的方法为例，内容包括：
44.利用人脸素描图像转换模型对人脸图像库中的人脸照片图像转换成素描图像，人脸图像可以理解为人脸照片，人脸素描图像转换模型可以理解为轻量级生成对抗网络；其中，轻量级生成对抗网络的训练过程为：对参考照片草图进行处理的方法增加了注意力模块，该模块重点关注根据辅助分类器获得的特征图将照片与草图区分开来的区域；不同的残差层对应不同判别器的层数，以优化本实施例中的网络。其中，参考照片草图可以理解为输入图像，草图可以理解为输出图像，判别器可以理解的为生成对抗网络的判别图像生成是否为真的部分；辅助分类器为辅助正确生成相应输出图像的分类器。本实施例的具体步骤为：
45.s1、收集人脸图像库，比如人脸照片库，对人脸图像库的图像划分形成训练集和测试集，如图2所示；具体的，人脸图像库的收集可以通过手机、相机等进行收集，也可以在网络上进行现有人脸图像的收集；可以理解的，人脸图像库中可以包括人脸照片以及与人脸照片对应的素描图像；
46.步骤s1的具体过程为：
47.s1.1、对人脸图像进行预处理，得到相同尺寸的图像，输入到神经网络中；得到相同尺寸的图像时，可以先采用python库处理不同的格式文件和图像类型，使得numpy ndarray存储图像，通过pil进行裁剪图像的操作。
48.s1.2、在人脸图像库中数据量大于预设值时，也就是数据库较大的情况下训练集和测试集的选择方法为留出验证法；在人脸图像库中数据量不大于预设值时，也就是在数据量不大的情况下选用留一交叉验证法，如图2所示；预设值可以理解为一个常数，可以根据实际情况进行定义和改变；所述留出验证法为将数据集直接拆分为两个互斥的集合，其中一个为训练集，另一个为测试集；所述留一交叉验证法为将数据集划分为数据集大小个互斥子集，之后每次都用数据集大小-1个子集的并集作为训练集，余下的那个子集作为测
试集，从而获得数据集大小组训练/测试集，进行数据集大小次训练和测试。
49.s2、将预处理之后的人脸照片图像的训练集输入到如图3所示的轻量级生成对抗网络中进行训练，训练过程中采用多尺度方法学习深层与浅层的特征，将不同类别的特征图融合，使保持速度的同时，提高合成质量；步骤s2的具体过程为：
50.s2.1、下采样部分，依次通过步长为1卷积核为7
×
7，以及2个步长为2卷积核为3
×
3的卷积层；
51.s2.2、如图3所示，通过残差网络进一步得到更丰富的图像信息；这里采用了多尺度结构分别对输入进行4层和6层的网络残差块，也就是第一多尺度结构的网络残差块；其中，每个残差块为步长为1卷积核为3
×
3的卷积层；多尺度结构可以获得深层和浅层信息，从而更好地区分后续的人脸信息；
52.s2.3、如图3所示，经过一个全连接层后通过多尺度的特征图进行生成器的训练，同时加入并行处理的自注意力模块，使得图像在生成质量细节方面得到提升；
53.s2.4、通过多尺度结构分别对输入进行4层和6层的网络残差块，也就是第二多尺度结构的网络残差块；其中，每个残差块为步长为1卷积核为3
×
3的卷积层，不同之处为采用了自适应归一化方法，它将实例归一化和层归一化线性组合，在训练过程中调整实例归一化和层归一化的权重占比，使得归一化效果达到最佳状态；
54.s2.5、下采样模块采用了和上采样模块对称的结构，依次经过了2个步长为2卷积核为3
×
3的卷积层，以及步长为1卷积核为7
×
7的卷积层；至此，生成器的结构介绍完毕；
55.s2.6：在判别器结构方面，如图3所示；通过一个下采样模块对图片进行编码，具体为3个步长为2卷积核为4
×
4的卷积层，以及一个步长为1卷积核为4
×
4的卷积层；这个结构是在超分辨率合成网络的基础上进行修剪，在计算量方面得到改善；
56.s2.7、下采样后网络通过一个全连接层，进入特征图的计算判断中；在损失函数方面，利用的是类激活函数图和素描图的训练损失；
57.s2.8、最后，通过一个步长为1卷积核为4
×
4的卷积层得到判别结果。
58.本实施例中，整体损失函数包括生成对抗网络损失、标识损失、循环一致性损失和类激活损失四部分；为了使得训练照片稳定化，本实施例中可以使用最小二乘生成对抗网络。
59.其中，生成对抗网络损失函数为：
[0060][0061]
其中，针对判别器，将照片图像的分布与素描图像的分布相匹配的能力进行建模；ds为素描图像的判别器；g
p-》s
为人脸照片到素描的生成器。
[0062]
标识损失函数为：
[0063][0064]
其中，应用于生成器的颜色贡献，它可以将照片图像相应地转换为草图图像。
[0065]
循环一致性损失为：
[0066]
[0067]
其中，为生成器的周期一致性损失，在转换过程中正确区分照片图像和草图图像；g
p-》s
是生成器人脸照片到素描的转换；g
s-》p
是生成器素描到人脸照片的转换。
[0068]
类激活损失为：
[0069][0070][0071]
其中，对于生成器，采用来判断两种图像之间的差异，并选择来弥补判别器的两个域之间的间隙。
[0072]
本实施例利用轻量级生成对抗网络解决了人脸照片-素描转换问题；对人脸照片库中的人脸照片划分形成训练集和测试集，对人脸照片的图像进行预处理，得到相同尺寸的图像，输入到神经网络中；通过生成对抗网络，生成器在多尺度结构的基础上利用自注意力模块和残差模块进行特征提取，判别器在对应的下采样模块中进行了相应的层数调整，减少了卷积层的数量，节约计算机资源，达到轻量级的要求；本实施例提出的人脸照片-素描转换算法能有效为刑侦破案等应用领域提供帮助，同时满足准确性和实时性要求，能够克服素描画师少，计算占用内存大，训练时间长的问题。
[0073]
实施例2：
[0074]
本实施例提供了一种基于生成对抗网络的人脸图像转换成素描的系统，包括：
[0075]
数据采集模块，被配置为：获取人脸图像；
[0076]
转换模块，被配置为：依据获取的人脸图像，以及预设的人脸素描图像转换模型，得到人脸素描图像；
[0077]
其中，所述人脸素描图像转换模型通过生成对抗网络训练得到；人脸素描图像转换模型训练过程中采用了多尺度结构的网络残差块，以及在多尺度结构的网络残差块后加入了并行处理的自注意力模块。
[0078]
所述系统的工作方法与实施例1的基于生成对抗网络的人脸图像转换成素描的方法相同，这里不再赘述。
[0079]
实施例3：
[0080]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了实施例1所述的基于生成对抗网络的人脸图像转换成素描的方法的步骤。
[0081]
实施例4：
[0082]
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了实施例1所述的基于生成对抗网络的人脸图像转换成素描的方法的步骤。
[0083]
以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。