一种图像生成方法及装置与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像生成方法及装置。


背景技术：

2.人脸识别技术已广泛应用于门禁考勤、安检通关、安防监控和金融支付等诸多领域。相关技术中，可以基于预先训练的人脸识别网络对人脸图像进行识别，然而，针对人脸的面部区域被遮挡的人脸图像(可以称为遮挡人脸图像)，已有的人脸识别网络的识别精确度较低。
3.为了提高人脸识别网络对遮挡人脸图像的识别精确度，可以获取人脸的面部区域被遮挡的样本图像，并基于获取的样本图像对人脸识别网络进行训练，使得训练后的人脸识别网络能够有效地对遮挡人脸图像进行识别。
4.然而，在实际场景中获取的人脸图像往往是未遮挡人脸图像，因此，亟需一种方法以生成有效的遮挡人脸图像。


技术实现要素：

5.本技术实施例的目的在于提供一种图像生成方法及装置，以生成有效的遮挡人脸图像。具体技术方案如下：
6.第一方面，为了达到上述目的，本技术实施例公开了一种图像生成方法，所述方法包括：
7.获取待融合的目标未遮挡人脸图像和对应的目标遮挡物图像；
8.对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合，得到待优化融合图像；
9.将所述待优化融合图像输入至预先训练的生成器网络，得到所述生成器网络输出的目标融合图像；其中，所述生成器网络属于基于判别器网络和身份一致网络进行训练获得的生成式对抗网络，所述判别器网络用于对融合图像细节信息的约束，所述身份一致网络用于对身份一致性的约束。
10.可选的，所述目标遮挡物图像为：从与所述目标未遮挡人脸图像相匹配的遮挡人脸图像中获取的。
11.可选的，所述获取待融合的目标未遮挡人脸图像和对应的目标遮挡物图像，包括：
12.获取待融合的目标未遮挡人脸图像，以及多个包含目标遮挡物的遮挡人脸图像；
13.基于人脸姿态和/或人脸属性，从所述多个遮挡人脸图像中，确定与所述目标未遮挡人脸图像相匹配的遮挡人脸图像，作为目标遮挡人脸图像；
14.获取所述目标遮挡人脸图像中的目标遮挡物图像。
15.可选的，所述获取所述目标遮挡人脸图像中的目标遮挡物图像，包括：
16.基于图像分割算法，从所述目标遮挡人脸图像中提取所述目标遮挡物所占区域的图像，作为待处理遮挡物图像；
17.对所述待处理遮挡物图像进行高斯模糊处理，得到目标遮挡物图像。
18.可选的，所述对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合，得到待优化融合图像，包括：
19.获取所述目标未遮挡人脸图像中的人脸关键点，以及所述目标遮挡物图像中的人脸关键点；
20.计算所述目标未遮挡人脸图像中的人脸关键点，与所述目标遮挡物图像中的人脸关键点之间的仿射变换参数；
21.基于所述仿射变换参数，对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合，得到待优化融合图像。
22.可选的，所述基于所述仿射变换参数，对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合，得到待优化融合图像，包括：
23.基于所述仿射变换参数，按照预设公式，对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合，得到待优化融合图像；
24.其中，所述预设公式为：
[0025][0026]
a
mix
表示所述待优化融合图像，t表示所述仿射变换参数，α表示预设融合系数，g[i
c
]表示所述目标遮挡物图像，i
o
表示所述与所述目标未遮挡人脸图像相匹配的遮挡人脸图像，i表示所述目标未遮挡人脸图像。
[0027]
可选的，所述生成器网络采用如下步骤训练获得：
[0028]
获得未遮挡人脸样本图像、目标遮挡物样本图像及包含目标遮挡物的遮挡人脸样本图像；
[0029]
将所述未遮挡人脸样本图像和目标遮挡物样本图像进行融合，得到待优化融合样本图像；
[0030]
将所述待优化融合样本图像输入待训练的生成器网络，获得目标融合样本图像；
[0031]
将所述目标融合样本图像和所述未遮挡人脸样本图像，输入预先训练的身份一致网络，得到用于确定所述目标融合样本图像和所述未遮挡人脸样本图像中人脸的身份是否一致的特征图；
[0032]
将所述目标融合样本图像和所述包含目标遮挡物的遮挡人脸样本图像，输入待训练的判别器网络，得到所述目标融合样本图像为真实图像的概率，以及所述包含目标遮挡物的遮挡人脸样本图像为真实图像的概率；
[0033]
基于所述目标融合样本图像和所述未遮挡人脸样本图像各自对应的特征图，计算所述身份一致网络的特征损失值；
[0034]
基于所述目标融合样本图像为真实图像的概率，以及所述包含目标遮挡物的遮挡人脸样本图像为真实图像的概率，计算所述判别器网络的损失值；
[0035]
基于所述目标融合样本图像与所述待优化融合样本图像之间的差异，计算所述生成器网络的损失值；
[0036]
基于总损失值调整所述生成器网络和判别器网络的网络参数，继续训练，直到所述生成器网络和判别器网络收敛；其中，所述总损失值为基于所述生成器网络的损失值、判
别器网络的损失值和身份一致网络的特征损失值确定的。
[0037]
可选的，所述基于所述目标融合样本图像和所述未遮挡人脸样本图像各自对应的特征图，计算所述身份一致网络的特征损失值，包括：
[0038]
针对每一预设通道，计算所述目标融合样本图像和所述未遮挡人脸样本图像在该预设通道对应的特征图之间的距离；
[0039]
计算各个预设通道对应的距离的平均值，作为所述身份一致网络的特征损失值；
[0040]
所述基于所述目标融合样本图像与所述待优化融合样本图像之间的差异，计算所述生成器网络的损失值，包括：
[0041]
基于所述目标融合样本图像与所述待优化融合样本图像之间的距离，和/ 或所述目标融合样本图像与所述待优化融合样本图像的全变分的差值，计算所述生成器网络的损失值。
[0042]
可选的，所述总损失值为：
[0043]
l＝l
gan
+γl
re
+μl
ip
[0044]
其中，l表示所述总损失值，l
gan
表示所述判别器网络的损失值，l
re
表示所述生成器网络的损失值，l
ip
表示所述身份一致网络的特征损失值，γ表示第一预设系数，μ表示第二预设系数。
[0045]
第二方面，为了达到上述目的，本技术实施例公开了一种图像生成装置，所述装置包括：
[0046]
图像获取模块，用于获取待融合的目标未遮挡人脸图像和对应的目标遮挡物图像；
[0047]
图像融合模块，用于对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合，得到待优化融合图像；
[0048]
图像生成模块，用于将所述待优化融合图像输入至预先训练的生成器网络，得到所述生成器网络输出的目标融合图像；其中，所述生成器网络属于基于判别器网络和身份一致网络进行训练获得的生成式对抗网络，所述判别器网络用于对融合图像细节信息的约束，所述身份一致网络用于对身份一致性的约束。
[0049]
可选的，所述目标遮挡物图像为：从与所述目标未遮挡人脸图像相匹配的遮挡人脸图像中获取的。
[0050]
可选的，所述图像获取模块，包括：
[0051]
第一图像获取子模块，用于获取待融合的目标未遮挡人脸图像，以及多个包含目标遮挡物的遮挡人脸图像；
[0052]
图像匹配子模块，用于基于人脸姿态和/或人脸属性，从所述多个遮挡人脸图像中，确定与所述目标未遮挡人脸图像相匹配的遮挡人脸图像，作为目标遮挡人脸图像；
[0053]
第二图像获取子模块，用于获取所述目标遮挡人脸图像中的目标遮挡物图像。
[0054]
可选的，所述第二图像获取子模块，包括：
[0055]
图像分割单元，用于基于图像分割算法，从所述目标遮挡人脸图像中提取所述目标遮挡物所占区域的图像，作为待处理遮挡物图像；
[0056]
模糊处理单元，用于对所述待处理遮挡物图像进行高斯模糊处理，得到目标遮挡物图像。
[0057]
可选的，所述图像融合模块，包括：
[0058]
人脸关键点获取模块子模块，用于获取所述目标未遮挡人脸图像中的人脸关键点，以及所述目标遮挡物图像中的人脸关键点；
[0059]
仿射变换参数计算子模块，用于计算所述目标未遮挡人脸图像中的人脸关键点，与所述目标遮挡物图像中的人脸关键点之间的仿射变换参数；
[0060]
图像融合子模块，用于基于所述仿射变换参数，对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合，得到待优化融合图像。
[0061]
可选的，所述图像融合子模块，具体用于基于所述仿射变换参数，按照预设公式，对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合，得到待优化融合图像；
[0062]
其中，所述预设公式为：
[0063][0064]
a
mix
表示所述待优化融合图像，t表示所述仿射变换参数，α表示预设融合系数，g[i
c
]表示所述目标遮挡物图像，i
o
表示所述与所述目标未遮挡人脸图像相匹配的遮挡人脸图像，i表示所述目标未遮挡人脸图像。
[0065]
可选的，所述装置还包括：
[0066]
样本图像获取模块，用于获得未遮挡人脸样本图像、目标遮挡物样本图像及包含目标遮挡物的遮挡人脸样本图像；
[0067]
待优化融合样本图像获取模块，用于将所述未遮挡人脸样本图像和目标遮挡物样本图像进行融合，得到待优化融合样本图像；
[0068]
目标融合样本图像获取模块，用于将所述待优化融合样本图像输入待训练的生成器网络，获得目标融合样本图像；
[0069]
特征图获取模块，用于将所述目标融合样本图像和所述未遮挡人脸样本图像，输入预先训练的身份一致网络，得到用于确定所述目标融合样本图像和所述未遮挡人脸样本图像中人脸的身份是否一致的特征图；
[0070]
概率获取模块，用于将所述目标融合样本图像和所述包含目标遮挡物的遮挡人脸样本图像，输入待训练的判别器网络，得到所述目标融合样本图像为真实图像的概率，以及所述包含目标遮挡物的遮挡人脸样本图像为真实图像的概率；
[0071]
第一损失值计算模块，用于基于所述目标融合样本图像和所述未遮挡人脸样本图像各自对应的特征图，计算所述身份一致网络的特征损失值；
[0072]
第二损失值计算模块，用于基于所述目标融合样本图像为真实图像的概率，以及所述包含目标遮挡物的遮挡人脸样本图像为真实图像的概率，计算所述判别器网络的损失值；
[0073]
第三损失值计算模块，用于基于所述目标融合样本图像与所述待优化融合样本图像之间的差异，计算所述生成器网络的损失值；
[0074]
训练模块，用于基于总损失值调整所述生成器网络和判别器网络的网络参数，继续训练，直到所述生成器网络和判别器网络收敛；其中，所述总损失值为基于所述生成器网络的损失值、判别器网络的损失值和身份一致网络的特征损失值确定的。
[0075]
可选的，所述第一损失值计算模块，具体用于针对每一预设通道，计算所述目标融
合样本图像和所述未遮挡人脸样本图像在该预设通道对应的特征图之间的距离；计算各个预设通道对应的距离的平均值，作为所述身份一致网络的特征损失值；
[0076]
基于第三损失值计算模块，具体用于基于所述目标融合样本图像与所述待优化融合样本图像之间的距离，和/或所述目标融合样本图像与所述待优化融合样本图像的全变分的差值，计算所述生成器网络的损失值。
[0077]
可选的，所述总损失值为：
[0078]
l＝l
gan
+γl
re
+μl
ip
[0079]
其中，l表示所述总损失值，l
gan
表示所述判别器网络的损失值，l
re
表示所述生成器网络的损失值，l
ip
表示所述身份一致网络的特征损失值，γ表示第一预设系数，μ表示第二预设系数。
[0080]
为了达到上述目的，本技术实施例还公开了一种电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
[0081]
所述存储器，用于存放计算机程序；
[0082]
所述处理器，用于执行所述存储器上所存放的程序时，实现如上述第一方面所述的图像生成方法。
[0083]
本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的图像生成方法。
[0084]
本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像生成方法。
[0085]
本技术实施例有益效果：
[0086]
本技术实施例提供的图像生成方法，可以获取待融合的目标未遮挡人脸图像和对应的目标遮挡物图像；对目标未遮挡人脸图像和目标遮挡物图像进行融合，得到待优化融合图像；将待优化融合图像输入至预先训练的生成器网络，得到生成器网络输出的目标融合图像；其中，生成器网络属于基于判别器网络和身份一致网络进行训练获得的生成式对抗网络，判别器网络用于对融合图像细节信息的约束，身份一致网络用于对身份一致性的约束。
[0087]
由于生成器网络属于基于判别器网络和身份一致网络进行训练获得的生成式对抗网络，且判别器网络用于对融合图像细节信息的约束，身份一致网络用于对身份一致性的约束，因此，基于生成器网络得到的图像能够保证图像中人脸的身份的一致性，且真实度较高。即，使得目标融合图像包含目标遮挡物，与目标未遮挡人脸图像中人脸的身份一致，且真实度较高。也就是说，本技术实施例提供的图像生成方法，能够生成有效的遮挡人脸图像。
[0088]
当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
[0089]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0090]
图1为本技术实施例提供的一种图像生成方法的流程图；
[0091]
图2为本技术实施例提供的另一种图像生成方法的流程图；
[0092]
图3为本技术实施例提供的另一种图像生成方法的流程图；
[0093]
图4为本技术实施例提供的另一种图像生成方法的流程图；
[0094]
图5为本技术实施例提供的一种训练生成器网络的流程图；
[0095]
图6为本技术实施例提供的一种生成目标融合图像的流程示意图；
[0096]
图7为本技术实施例提供的一种生成式对抗网络的框架示意图；
[0097]
图8为本技术实施例提供的一种图像生成装置的结构图；
[0098]
图9为本技术实施例提供的一种电子设备的结构图。
具体实施方式
[0099]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员基于本技术所获得的所有其他实施例，都属于本技术保护的范围。
[0100]
为了提高人脸识别网络对遮挡人脸图像的识别精确度，可以获取人脸的面部区域被遮挡的样本图像，并基于获取的样本图像对人脸识别网络进行训练，使得训练后的人脸识别网络能够有效地对遮挡人脸图像进行识别。然而，相关技术中，并未提供相应的方法，以生成有效的遮挡人脸图像。
[0101]
为了解决上述问题，本技术实施例提供了一种图像生成方法，该方法可以应用于电子设备，该电子设备用于生成遮挡人脸图像，生成遮挡人脸图像可以用于对人脸识别网络进行训练。
[0102]
参见图1，图1为本技术实施例提供的一种图像生成方法的流程图，该方法可以包括以下步骤：
[0103]
s101：获取待融合的目标未遮挡人脸图像和对应的目标遮挡物图像。
[0104]
s102：对目标未遮挡人脸图像和目标遮挡物图像进行融合，得到待优化融合图像。
[0105]
s103：将待优化融合图像输入至预先训练的生成器网络，得到生成器网络输出的目标融合图像。
[0106]
其中，生成器网络属于基于判别器网络和身份一致网络进行训练获得的生成式对抗网络，判别器网络用于对融合图像细节信息的约束，身份一致网络用于对身份一致性的约束。
[0107]
由于生成器网络属于基于判别器网络和身份一致网络进行训练获得的生成式对抗网络，且判别器网络用于对融合图像细节信息的约束，身份一致网络用于对身份一致性的约束，因此，基于生成器网络得到的图像能够保证图像中人脸的身份的一致性，且真实度较高。即，使得目标融合图像包含目标遮挡物，与目标未遮挡人脸图像中人脸的身份一致，且真实度较高。也就是说，本技术实施例提供的图像生成方法，能够生成有效的遮挡人脸图
像。
[0108]
在一个实施例中，针对步骤s101，目标未遮挡人脸图像也就是当前需要进行融合的人脸图像，且该人脸图像中不包含遮挡人脸的遮挡物。目标遮挡物图像也就是当前需要与目标未遮挡人脸图像进行融合的，只包含目标遮挡物的图像。目标遮挡物可以为眼镜、口罩或其他物品。
[0109]
在一个实施例中，目标遮挡物图像可以为：从与目标未遮挡人脸图像相匹配的遮挡人脸图像中获取的。
[0110]
在本技术实施例中，可以获取包含目标遮挡物，且与目标未遮挡人脸图像相匹配的遮挡人脸图像(可以称为目标遮挡人脸图像)，进而，可以从目标遮挡人脸图像中获取目标遮挡物图像。
[0111]
目标遮挡人脸图像与目标未遮挡人脸图像相匹配，也就是说，从目标遮挡人脸图像中获取的目标遮挡物图像与目标未遮挡人脸图像的匹配度也较高，相应的，对二者进行融合，能够提高待优化融合图像的真实度，进而，能够提高生成的目标融合图像的真实度。
[0112]
相应的，在一个实施例中，参见图2，在图1的基础上，上述步骤s101 可以包括以下步骤：
[0113]
s1011：获取待融合的目标未遮挡人脸图像，以及多个包含目标遮挡物的遮挡人脸图像。
[0114]
s1012：基于人脸姿态和/或人脸属性，从多个遮挡人脸图像中，确定与目标未遮挡人脸图像相匹配的遮挡人脸图像，作为目标遮挡人脸图像。
[0115]
s1013：获取目标遮挡人脸图像中的目标遮挡物图像。
[0116]
在本技术实施例中，人脸姿态可以用人脸的头部角度表示；人脸属性可以包括人脸的年龄、人脸的性别等信息。
[0117]
基于人脸姿态和/或人脸属性，可以确定遮挡人脸图像与目标未遮挡人脸图像的匹配度，该匹配度能够表示该遮挡人脸图像中的目标遮挡物与目标未遮挡人脸图像的匹配度。
[0118]
基于上述处理，从目标遮挡人脸图像中获取目标遮挡物所占区域的图像，以进行图像融合，而目标遮挡人脸图像是与目标未遮挡人脸图像相匹配的图像，也就是说，确定出的目标遮挡物图像与目标未遮挡人脸图像的匹配度也较高，相应的，对二者进行融合，能够提高待优化融合图像的真实度，进而，能够提高生成的目标融合图像的真实度。
[0119]
在一个实施例中，可以按照人脸的头部角度、人脸的年龄、人脸的性别的顺序进行图像匹配。
[0120]
例如，基于人脸的头部角度，将目标未遮挡人脸图像，分别与每一遮挡人脸图像(可以称为第一遮挡人脸图像)进行比较，确定出匹配度最高的第一遮挡人脸图像，作为目标遮挡人脸图像。
[0121]
若存在多个头部角度匹配度最高的遮挡人脸图像(可以称为第二遮挡人脸图像)，则可以基于人脸的年龄，将目标未遮挡人脸图像，分别与每一第二遮挡人脸图像进行比较，确定出匹配度最高的第二遮挡人脸图像，作为目标遮挡人脸图像。
[0122]
若存在多个年龄匹配度最高的遮挡人脸图像(可以称为第三遮挡人脸图像)，则可以基于人脸的性别，将目标未遮挡人脸图像，分别与每一第三遮挡人脸图像进行比较，确定
出匹配度最高的第三遮挡人脸图像，作为目标遮挡人脸图像。
[0123]
在一个实施例中，目标未遮挡人脸图像和多个遮挡人脸图像可以为同源的图像，例如，目标未遮挡人脸图像和多个遮挡人脸图像，可以为街道路口的监控设备获取的人脸图像；或者，目标未遮挡人脸图像和多个遮挡人脸图像，可以为机场安检入口的监控设备获取的人脸图像。
[0124]
目标未遮挡人脸图像和多个遮挡人脸图像为同源的图像，也就能进一步提高目标未遮挡人脸图像与目标遮挡人脸图像的匹配度，进而，能够提高待优化融合图像的真实度，进而，能够提高生成的目标融合图像的真实度。
[0125]
在一个实施例中，参见图3，在图2的基础上，上述步骤s1013可以包括以下步骤：
[0126]
s10131：基于图像分割算法，从目标遮挡人脸图像中提取目标遮挡物所占区域的图像，作为待处理遮挡物图像。
[0127]
s10132：对待处理遮挡物图像进行高斯模糊处理，得到目标遮挡物图像。
[0128]
在本技术实施例中，可以基于图像分割算法，从目标遮挡人脸图像中提取目标遮挡物所占区域的图像(即待处理遮挡物图像)，进而，还可以对待处理遮挡物图像进行高斯模糊处理，处理后的遮挡物图像也就是目标遮挡物图像。
[0129]
例如，可以基于全卷积网络(fully convolutional networks，fcn)，从目标遮挡人脸图像中提取待处理遮挡物图像；或，也可以基于roberts算子，从目标遮挡人脸图像中提取待处理遮挡物图像。
[0130]
基于上述处理，对待处理遮挡物图像进行高斯模糊处理，以基于处理得到的目标遮挡物图像进行图像融合，使得待优化融合图像的图像边缘更加平滑，进而，能够提高生成的目标融合图像的真实度。
[0131]
在一个实施例中，参见图4，在图1的基础上，上述步骤s102可以包括以下步骤：
[0132]
s1021：获取目标未遮挡人脸图像中的人脸关键点，以及目标遮挡物图像中的人脸关键点。
[0133]
s1022：计算目标未遮挡人脸图像中的人脸关键点，与目标遮挡物图像中的人脸关键点之间的仿射变换参数。
[0134]
s1023：基于仿射变换参数，对目标未遮挡人脸图像和目标遮挡物图像进行融合，得到待优化融合图像。
[0135]
在本技术实施例中，在确定出目标遮挡人脸图像后，可以基于人脸关键点检测算法，分别确定出目标遮挡人脸图像和目标遮挡物图像中的人脸关键点。例如，确定出的人脸关键点可以为3个点，或者，也可以为5个点，或者，还可以为21个点，但并不限于此。
[0136]
上述仿射变换参数，可以表示目标未遮挡人脸图像中的人脸关键点，与目标遮挡物图像中的人脸关键点之间的变换关系。
[0137]
例如，目标未遮挡人脸图像中的人脸关键点的坐标为tp，目标遮挡物图像中的人脸关键点的坐标为tq，则可以得到tp＝t*tq，利用svd(singular valuedecomposition，奇异值分解)算法，求得t(即仿射变换参数)。
[0138]
在一个实施例中，可以采用alpha
‑
blending(透明度
‑
混合)框架进行图像融合。例如，可以基于仿射变换参数，按照预设公式，对目标未遮挡人脸图像和目标遮挡物图像进行融合，得到待优化融合图像。
[0139]
其中，预设公式为：
[0140][0141]
a
mix
表示待优化融合图像，t表示仿射变换参数，α表示预设融合系数，g[i
c
] 表示目标遮挡物图像，i
o
表示目标遮挡人脸图像，i表示目标未遮挡人脸图像。α可以为0.7，或者，也可以为0.8，但并不限于此。
[0142]
在一个实施例中，参见图5，图5为本技术实施例提供的一种训练生成器网络的流程图，可以包括以下步骤：
[0143]
s501：获得未遮挡人脸样本图像、目标遮挡物样本图像及包含目标遮挡物的遮挡人脸样本图像。
[0144]
s502：将未遮挡人脸样本图像和目标遮挡物样本图像进行融合，得到待优化融合样本图像。
[0145]
s503：将待优化融合样本图像输入待训练的生成器网络，获得目标融合样本图像。
[0146]
s504：将目标融合样本图像和未遮挡人脸样本图像，输入预先训练的身份一致网络，得到用于确定目标融合样本图像和未遮挡人脸样本图像中人脸的身份是否一致的特征图。
[0147]
s505：将目标融合样本图像和包含目标遮挡物的遮挡人脸样本图像，输入待训练的判别器网络，得到目标融合样本图像为真实图像的概率，以及包含目标遮挡物的遮挡人脸样本图像为真实图像的概率。
[0148]
s506：基于目标融合样本图像和未遮挡人脸样本图像各自对应的特征图，计算身份一致网络的特征损失值。
[0149]
s507：基于目标融合样本图像为真实图像的概率，以及包含目标遮挡物的遮挡人脸样本图像为真实图像的概率，计算判别器网络的损失值。
[0150]
s508：基于目标融合样本图像与待优化融合样本图像之间的差异，计算生成器网络的损失值。
[0151]
s509：基于总损失值调整生成器网络和判别器网络的网络参数，继续训练，直到生成器网络和判别器网络收敛。
[0152]
在一个实施例中，在对生成器网络的网络参数进行调整，即，可以获取训练好的身份一致网络，进而，在对生成器网络的网络参数进行调整的过程中，保持身份一致网络的网络参数不变，以使训练完成时，基于生成器网络得到的图像能够保证身份的一致性。
[0153]
例如，可以预先基于预设样本图像对待训练的身份一致网络进行训练。可以将第一预设样本图像和第二预设样本图像，输入对待训练的身份一致网络，身份一致网络可以得到第一预设样本图像和第二预设样本图像的特征图，并基于特征图得到第一预设样本图像和第二预设样本图像中人脸的身份一致的概率，进而，计算该概率与预设标签之间的差值，作为身份一致网络的损失值，并根据该损失值调整身份一致网络的网络参数，直至收敛。预设标签表示第一预设样本图像和第二预设样本图像中人脸的身份是否一致。对身份一致网络的网络参数进行调整使用的损失值，与上述身份一致网络的特征损失值不同。
[0154]
其中，总损失值为基于生成器网络的损失值、判别器网络的损失值和身份一致网络的特征损失值确定的。生成器网络、判别器网络和身份一致网络构成生成式对抗网络(generative adversarial networks，gans)。
[0155]
生成器网络可以为自编码器(auto encoder，ae)网络，其可以将输入数据作为学习目标，对输入数据进行表征学习，得到输出数据。例如，可以包括编码器(encoder)和解码器(decoder)，编码器将输入数据变换成编码数据，而解码器将编码数据转换成输出数据。
[0156]
判别器网络的输出数据为输入数据对应的标签，表示输入数据为真实图像的概率，也就是说，判别器网络用于确定输入的图像是否为真实图像(即为真实图像，或者，为融合的图像)。判别器网络可以为深度学习网络，例如，判别器网络可以包括卷积层和激活函数层，卷积层用于对输入的图像进行特征提取，激活函数层可以基于特征提取的结果，生成相应的标签。
[0157]
身份一致网络的输出数据为目标融合样本图像和未遮挡人脸样本图像对应的标签，表示目标融合样本图像和未遮挡人脸样本图像中人脸的身份一致的概率。也就是说，身份一致网络用于确定输入的两个图像中人脸的身份是否一致。身份一致网络可以为深度学习网络，例如，身份一致网络可以包括卷积层和激活函数层，卷积层用于对输入的两个图像分别进行特征提取，得到各自对应的图像特征，进而，可以对两个图像的图像特征进行比较，激活函数层可以基于图像特征的比较结果，得到两个图像中人脸的身份一致的概率。
[0158]
在一个实施例中，上述步骤s506可以包括以下步骤：
[0159]
针对每一预设通道，计算目标融合样本图像和未遮挡人脸样本图像在该预设通道对应的特征图之间的距离；计算各个预设通道对应的距离的平均值，作为身份一致网络的特征损失值。
[0160]
在本技术实施例中，身份一致网络可以对输入的图像进行卷积处理，得到该图像在各个预设通道对应的特征图。其中，预设通道的数目为基于身份一致网络中卷积层的卷积核的个数确定的。
[0161]
也就是说，基于身份一致网络可以分别得到输入的两个图像在各个预设通道对应的特征图，进而，针对每一预设通道，可以计算该两个图像在该预设通道对应的特征图之间的距离，然后，可以计算各个预设通道对应的距离的平均值，得到身份一致网络的特征损失值。
[0162]
另外，还可以结合预设次数的训练过程的平均损失值，对网络参数进行调整，相应的，身份一致网络的特征损失值可以用于公式(1)表示。
[0163][0164]
l
ip
表示身份一致网络的特征损失值，k表示预设次数，δ[p(i
gen
)]表示目标融合样本图像在一个通道对应的特征图，δ[p(i)]表示未遮挡人脸样本图像在该通道对应的特征图，表示计算各个预设通道对应的特征图之间的距离的平均值。
[0165]
上述步骤s508可以包括以下步骤：
[0166]
基于目标融合样本图像与待优化融合样本图像之间的距离，和/或目标融合样本图像与待优化融合样本图像的全变分的差值，计算生成器网络的损失值。
[0167]
一种实现方式中，可以计算目标融合样本图像与待优化融合样本图像之间的距离，作为生成器网络的损失值。
[0168]
例如，可以用公式(2)，计算目标融合样本图像与待优化融合样本图像之间的距
离。
[0169]
l1＝‖i
mix
‑
i
gen
‖1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0170]
l1表示目标融合样本图像与待优化融合样本图像之间的距离，i
mix
表示待优化融合样本图像，i
gen
表示目标融合样本图像。
[0171]
一种实现方式中，可以计算目标融合样本图像与待优化融合样本图像的全变分的差值，作为生成器网络的损失值。
[0172]
例如，可以基于公式(3)，计算目标融合样本图像与待优化融合样本图像的全变分的差值。
[0173][0174]
l
tv
表示目标融合样本图像与待优化融合样本图像的全变分的差值，i
mix
表示待优化融合样本图像，i
gen
表示目标融合样本图像。
[0175]
一种实现方式中，可以计算目标融合样本图像与待优化融合样本图像之间的距离，与目标融合样本图像与待优化融合样本图像的全变分的差值的加权和，得到生成器网络的损失值。
[0176]
例如，生成器网络的损失值可以用于公式(4)表示。
[0177]
l
re
＝l1+βl
tv
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0178]
l
re
表示生成器网络的损失值，β表示第三预设系数。
[0179]
在一个实施例中，还可以结合预设次数的训练过程的平均损失值，对网络参数进行调整，相应的，判别器网络的损失值可以用于公式(5)表示。
[0180][0181]
l
gan
表示判别器网络的损失值，k表示预设次数，d(x
i
)表示目标融合样本图像为真实图像的概率；d(g(z
i
))表示包含目标遮挡物的遮挡人脸样本图像为真实图像的概率。
[0182]
在一个实施例中，总损失值为：
[0183]
l＝l
gan
+γl
re
+μl
ip
[0184]
其中，l表示总损失值，l
gan
表示判别器网络的损失值，l
re
表示生成器网络的损失值，l
ip
表示身份一致网络的特征损失值，γ表示第一预设系数，μ表示第二预设系数。例如，γ可以为0.1，或者，也可以为0.2；μ可以为0.1，或者，也可以为0.2，但并不限于此。
[0185]
也就是说，可以基于总损失值对生成器网络和判别器网络的网络参数进行调整，直至达到收敛。
[0186]
参见图6，图6为本技术实施例提供的一种生成目标融合图像的流程示意图。
[0187]
原始图像也就是待融合的未遮挡人脸图像，针对每一待融合的未遮挡人脸图像(即本技术实施例中的目标未遮挡人脸图像)，可以从包含目标遮挡物(即墨镜)的遮挡人脸图像中，确定与目标未遮挡人脸图像相匹配的遮挡人脸图像 (即目标遮挡人脸图像)，并获取目标遮挡人脸图像中目标遮挡物对应的图像 (即目标遮挡物图像)。目标遮挡物图像也就是图6中只包含墨镜的图像。
[0188]
进而，将每一目标未遮挡人脸图像与对应的目标遮挡物图像进行融合，得到融合图像(即待优化融合图像)，并将待优化融合图像输入至生成式对抗网络中的生成器网络，以生成图像(即得到目标融合图像)。
[0189]
参见图7，图7为本技术实施例提供的一种生成式对抗网络的框架示意图。
[0190]
图7中，g表示生成器网络，d表示判别器网络，p表示身份一致网络。i表示未遮挡人脸样本图像。i
mix
表示待优化融合样本图像。i
gen
表示目标融合样本图像。i
real
表示包含目标遮挡物的遮挡人脸样本图像，图7中，目标遮挡物为墨镜。l
re
表示生成器网络的损失值，l
ip
表示身份一致网络的特征损失值，l
gan
表示判别器网络的损失值。
[0191]
基于相同的发明构思，本技术实施例还提供了一种图像生成装置，参见图 8，图8为本技术实施例提供的一种图像生成装置的结构图，该装置可以包括：
[0192]
图像获取模块801，用于获取待融合的目标未遮挡人脸图像和对应的目标遮挡物图像；
[0193]
图像融合模块802，用于对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合，得到待优化融合图像；
[0194]
图像生成模块803，用于将所述待优化融合图像输入至预先训练的生成器网络，得到所述生成器网络输出的目标融合图像；其中，所述生成器网络属于基于判别器网络和身份一致网络进行训练获得的生成式对抗网络，所述判别器网络用于对融合图像细节信息的约束，所述身份一致网络用于对身份一致性的约束。
[0195]
可选的，所述目标遮挡物图像为：从与所述目标未遮挡人脸图像相匹配的遮挡人脸图像中获取的。
[0196]
可选的，所述图像获取模块801，包括：
[0197]
第一图像获取子模块，用于获取待融合的目标未遮挡人脸图像，以及多个包含目标遮挡物的遮挡人脸图像；
[0198]
图像匹配子模块，用于基于人脸姿态和/或人脸属性，从所述多个遮挡人脸图像中，确定与所述目标未遮挡人脸图像相匹配的遮挡人脸图像，作为目标遮挡人脸图像；
[0199]
第二图像获取子模块，用于获取所述目标遮挡人脸图像中的目标遮挡物图像。
[0200]
可选的，所述第二图像获取子模块，包括：
[0201]
图像分割单元，用于基于图像分割算法，从所述目标遮挡人脸图像中提取所述目标遮挡物所占区域的图像，作为待处理遮挡物图像；
[0202]
模糊处理单元，用于对所述待处理遮挡物图像进行高斯模糊处理，得到目标遮挡物图像。
[0203]
可选的，所述图像融合模块802，包括：
[0204]
人脸关键点获取模块子模块，用于获取所述目标未遮挡人脸图像中的人脸关键点，以及所述目标遮挡物图像中的人脸关键点；
[0205]
仿射变换参数计算子模块，用于计算所述目标未遮挡人脸图像中的人脸关键点，与所述目标遮挡物图像中的人脸关键点之间的仿射变换参数；
[0206]
图像融合子模块，用于基于所述仿射变换参数，对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合，得到待优化融合图像。
[0207]
可选的，所述图像融合子模块，具体用于基于所述仿射变换参数，按照预设公式，对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合，得到待优化融合图像；
[0208]
其中，所述预设公式为：
[0209][0210]
i
mix
表示所述待优化融合图像，t表示所述仿射变换参数，α表示预设融合系数，g[i
c
]表示所述目标遮挡物图像，i
o
表示所述与所述目标未遮挡人脸图像相匹配的遮挡人脸图像，i表示所述目标未遮挡人脸图像。
[0211]
可选的，所述装置还包括：
[0212]
样本图像获取模块，用于获得未遮挡人脸样本图像、目标遮挡物样本图像及包含目标遮挡物的遮挡人脸样本图像；
[0213]
待优化融合样本图像获取模块，用于将所述未遮挡人脸样本图像和目标遮挡物样本图像进行融合，得到待优化融合样本图像；
[0214]
目标融合样本图像获取模块，用于将所述待优化融合样本图像输入待训练的生成器网络，获得目标融合样本图像；
[0215]
特征图获取模块，用于将所述目标融合样本图像和所述未遮挡人脸样本图像，输入预先训练的身份一致网络，得到用于确定所述目标融合样本图像和所述未遮挡人脸样本图像中人脸的身份是否一致的特征图；
[0216]
概率获取模块，用于将所述目标融合样本图像和所述包含目标遮挡物的遮挡人脸样本图像，输入待训练的判别器网络，得到所述目标融合样本图像为真实图像的概率，以及所述包含目标遮挡物的遮挡人脸样本图像为真实图像的概率；
[0217]
第一损失值计算模块，用于基于所述目标融合样本图像和所述未遮挡人脸样本图像各自对应的特征图，计算所述身份一致网络的特征损失值；
[0218]
第二损失值计算模块，用于基于所述目标融合样本图像为真实图像的概率，以及所述包含目标遮挡物的遮挡人脸样本图像为真实图像的概率，计算所述判别器网络的损失值；
[0219]
第三损失值计算模块，用于基于所述目标融合样本图像与所述待优化融合样本图像之间的差异，计算所述生成器网络的损失值；
[0220]
训练模块，用于基于总损失值调整所述生成器网络和判别器网络的网络参数，继续训练，直到所述生成器网络和判别器网络收敛；其中，所述总损失值为基于所述生成器网络的损失值、判别器网络的损失值和身份一致网络的特征损失值确定的。
[0221]
可选的，所述第一损失值计算模块，具体用于针对每一预设通道，计算所述目标融合样本图像和所述未遮挡人脸样本图像在该预设通道对应的特征图之间的距离；计算各个预设通道对应的距离的平均值，作为所述身份一致网络的特征损失值；
[0222]
基于第三损失值计算模块，具体用于基于所述目标融合样本图像与所述待优化融合样本图像之间的距离，和/或所述目标融合样本图像与所述待优化融合样本图像的全变分的差值，计算所述生成器网络的损失值。
[0223]
可选的，所述总损失值为：
[0224]
l＝l
gan
+γl
re
+μl
ip
[0225]
其中，l表示所述总损失值，l
gan
表示所述判别器网络的损失值，l
re
表示所述生成器网络的损失值，l
ip
表示所述身份一致网络的特征损失值，γ表示第一预设系数，μ表示第二预设系数。
[0226]
本技术实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，
[0227]
存储器903，用于存放计算机程序；
[0228]
处理器901，用于执行存储器903上所存放的程序时，实现如下步骤：
[0229]
获取待融合的目标未遮挡人脸图像和对应的目标遮挡物图像；
[0230]
对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合，得到待优化融合图像；
[0231]
将所述待优化融合图像输入至预先训练的生成器网络，得到所述生成器网络输出的目标融合图像；其中，所述生成器网络属于基于判别器网络和身份一致网络进行训练获得的生成式对抗网络，所述判别器网络用于对融合图像细节信息的约束，所述身份一致网络用于对身份一致性的约束。
[0232]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponent interconnect，pci)总线或扩展工业标准结构(extended industrystandard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0233]
通信接口用于上述电子设备与其他设备之间的通信。
[0234]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non
‑
volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0235]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit， cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器 (digital signal processor，dsp)、专用集成电路(application specific integratedcircuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0236]
在本技术提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像生成方法的步骤。
[0237]
在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像生成方法。
[0238]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者
是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstate disk(ssd))等。
[0239]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0240]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0241]
以上所述仅为本技术的较佳实施例，并非用于限定本技术的保护范围。凡在本技术的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本技术的保护范围内。