图像生成方法、装置和电子设备与流程

1.本发明涉及图像处理技术领域，尤其是涉及一种图像生成方法、装置和电子设备。


背景技术：

2.在游戏中设计和塑造不同风格的人物角色可以有效提升玩家的游戏体验，传统的制作不同风格的人物脸部图像的过程中需要大量的美工成本，图像的设计和绘画会消耗原画美术人员较多的时间和精力。随着机器学习尤其是深度学习的发展，基于生成对抗网络(generative adversarial networks,gan)的图像合成技术也获得了飞速发展，为传统图像风格设计的流程改进及成本节省提供了新的思路和可能。
3.相关技术中，通常可以基于配对数据(成对的真人图像和风格化后的图像)或非配对数据来训练模型，使得能够输出风格化后的图像；但是，当需要处理新游戏的角色风格时，上述配对数据的方式中，真人图像容易收集，但是真人图像风格化的图像较少，不同风格领域之间的图像数据相差较大，会导致模型训练的过程中出现模型崩溃的相关问题。同样的，非配对数据的方式中，难以获取较多的真人图像风格化的图像，如果训练图像较少，训练得到的模型生成的图像质量较低瑕疵较多，难以满足美术制作的需求；上述制作图像的方式过程复杂、效率低，且生成的图像效果较差。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种图像生成方法、装置和电子设备，以简化目标图像的生成过程，提高目标图像的生成效率，同时提高目标图像的图像效果。
5.第一方面，本发明实施例提供了一种图像生成方法，该方法包括：获取真人图像，通过预先训练完成的真人图像生成模型，确定真人图像对应的隐空间变量；其中，真人图像生成模型是基于生成式对抗网络和真人图像训练集训练得到的；隐空间变量用于表征真人图像的图像特征；将隐空间变量输入至预先训练完成的目标图像生成模型，生成真人图像对应的目标图像；其中，目标图像生成模型是基于真人图像生成模型和目标图像训练集训练得到的；目标图像生成模型用于处理真人图像的图像风格，以使目标图像具有指定的图像风格。
6.进一步的，真人图像生成模型和目标图像生成模型之间的模型语义距离小于第一预设阈值，以使同一隐空间变量作为真人图像生成模型和目标图像生成模型的输入时，真人图像生成模型输出的真人图像和目标图像生成模型输出的目标图像表示同一人物，不同风格的图像。
7.进一步的，通过预先训练完成的真人图像生成模型，确定真人图像对应的隐空间变量的步骤，包括：根据真人图像生成模型，确定真人图像生成模型的目标隐空间；根据真人图像和真人图像生成模型，在目标隐空间中，确定真人图像对应的隐空间变量。
8.进一步的，根据真人图像生成模型，确定真人图像生成模型的目标隐空间的步骤，包括：根据真人图像生成模型中全连接层的权重，确定目标隐空间。
9.进一步的，根据真人图像和真人图像生成模型，在目标隐空间中，确定真人图像对应的隐空间变量的步骤，包括：根据目标隐空间的随机投影点和目标隐空间，确定真人图像对应的初始隐空间变量；将初始隐空间变量输入至真人图像生成模型，输出初始隐空间变量对应的初始真人图像；根据初始真人图像和真人图像，计算初始隐空间变量的损失值；如果损失值不满足第二预设阈值，继续执行根据目标隐空间的随机投影点和目标隐空间，确定真人图像对应的初始隐空间变量的步骤，直至最终得到真人图像对应的隐空间变量的损失值满足第二预设阈值。
10.进一步的，上述真人图像生成模型通过下述方式训练得到：通过生成式对抗网络生成第一隐空间变量，并生成第一隐空间变量对应的第一图像；通过生成式对抗网络对第一图像和真人图像训练集进行判别处理，得到第一图像的判别结果；基于判别结果调整生成式对抗网络的网络参数，直至判别结果指示生成的第一图像为真人风格的图像，将训练完成的生成式对抗网络中的生成模块确定为真人图像生成模型。
11.进一步的，目标图像生成模型通过下述方式训练得到：通过训练完成的生成式对抗网络随机生成第二隐空间变量，并生成第二隐空间变量对应的第二图像；通过训练完成的生成式对抗网络对第二图像和目标图像训练集进行判别处理，得到第二图像的判别结果；基于判别结果调整训练完成的生成式对抗网络中的真人图像生成模型的模型参数，直至判别结果指示生成的第二图像具有指定的图像风格，将调整后的真人图像生成模型确定为目标图像生成模型。
12.进一步的，将调整后的真人图像生成模型确定为目标图像生成模型的步骤之后，方法还包括：计算真人图像生成模型和目标图像生成模型之间的模型语义距离，根据模型语义距离调整目标图像生成模型的模型参数，直至真人图像生成模型和目标图像生成模型之间的模型语义距离小于第一预设阈值。
13.进一步的，计算真人图像生成模型和目标图像生成模型之间的模型语义距离的步骤，包括：将第三隐空间变量分别输入至真人图像生成模型和目标图像生成模型中，真人图像生成模型输出第三图像，目标图像生成模型输出第四图像；计算第三图像与第四图像的图像特征距离，将图像特征距离确定为模型语义距离。
14.进一步的，将隐空间变量输入至预先训练完成的目标图像生成模型，输出真人图像对应的目标图像的步骤之后，该方法还包括：响应针对目标图像的第一编辑操作，从预设的目标图像生成模型的语义方向中，确定第一编操作对应的目标语义方向；其中，语义方向至少包括以下一项或多项：目标图像生成模型中控制目标图像的绘画技法、控制目标图像中面部头发、以及控制目标图像中人物属性的语义方向；基于目标语义方向，调整目标图像的隐空间变量，得到调整后的目标图像。
15.进一步的，目标图像生成模型包括多个；将隐空间变量输入至预先训练完成的目标图像生成模型，输出真人图像对应的目标图像的步骤之后，该方法还包括：响应针对目标图像的相似度提升操作，将不同的多个目标图像生成模型中的指定卷积层的权重进行交换，并将不同的多个目标图像生成模型中的指定网络层进行融合，得到多个中间目标图像生成模型；基于多个中间目标图像生成模型，输出目标图像进行相似度提升后的提升图像；其中，提升图像与目标图像的图像风格相同，提升图像包含的真人图像的图像特征多于目标图像包含的真人图像的图像特征。
16.进一步的，目标图像包括多个；将隐空间变量输入至预先训练完成的目标图像生成模型，输出真人图像对应的目标图像的步骤之后，该方法还包括：获取待融合图像；响应针对目标图像和待融合图像的图像融合操作，根据图像融合操作指示的第一融合系数和第二融合系数，将目标图像和待融合图像进行融合处理，得到目标图像的融合图像；其中，第一融合系数用于指示目标图像的图像特征，第二融合系数用于指示目标图像的图像风格。
17.进一步的，将隐空间变量输入至预先训练完成的目标图像生成模型，输出真人图像对应的目标图像的步骤之后，该方法还包括：获取妆容参考图像；响应针对目标图像的妆容迁移操作，通过预设的妆容迁移网络，提取妆容参考图像的指定妆容，将指定妆容迁移至目标图像的指定部位，得到妆容迁移后的目标图像。
18.进一步的，将隐空间变量输入至预先训练完成的目标图像生成模型，输出真人图像对应的目标图像的步骤之后，该方法还包括：响应针对目标图像的图像增强操作，通过预设的图像增强网络，对真人图像进行图像增强处理，得到图像增强后的真人图像；确定图像增强后的真人图像对应的第四隐空间变量，将第四隐空间变量输入至预先训练完成的目标图像生成模型，输出图像增强后的目标图像。
19.第二方面，本发明实施例提供了一种图像生成装置，该装置包括：隐空间变量的确定模块，用于获取真人图像，通过预先训练完成的真人图像生成模型，确定真人图像对应的隐空间变量；其中，真人图像生成模型是基于生成式对抗网络和真人图像训练集训练得到的；隐空间变量用于表征真人图像的图像特征；目标图像的生成模块，用于将隐空间变量输入至预先训练完成的目标图像生成模型，生成真人图像对应的目标图像；其中，目标图像生成模型是基于真人图像生成模型和目标图像训练集训练得到的；目标图像生成模型用于处理真人图像的图像风格，以使目标图像具有指定的图像风格。
20.第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现第一方面任一项的图像生成方法。
21.第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面任一项的图像生成方法。
22.本发明实施例带来了以下有益效果：
23.本发明提供了一种图像生成方法、装置和电子设备，获取真人图像，通过预先训练完成的真人图像生成模型，确定真人图像对应的隐空间变量；其中的隐空间变量用于表征真人图像的图像特征；将隐空间变量输入至预先训练完成的目标图像生成模型，生成真人图像对应的目标图像；其中的目标图像生成模型用于处理真人图像的图像风格，以使目标图像具有指定的图像风格。该方式中，预先通过真人图像训练真人图像生成模型，通过少量的目标图像训练目标图像生成模型，通过真人图像生成模型和目标图像生成模型，对真人图像进行风格处理，生成具有指定的图像风格的目标图像，简化了目标图像的生成过程，提高了目标图像的生成效率，同时提高了目标图像的图像效果。
24.另外，通过真人图像训练真人图像生成模型，通过少量的目标图像训练目标图像生成模型，不需要获取大量的训练数据，避免了不同风格图像的数据不平衡的问题，解决了由于同风格图像的数据不平衡导致的端到端训练过程不稳定问题，以及数据量太大导致的
训练时间及存储消耗巨大的问题。
25.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
26.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
27.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明实施例提供的一种图像生成方法的流程图；
29.图2为本发明实施例提供的一种图像风格化处理的图像示意图；
30.图3为本发明实施例提供的另一种图像风格化处理的图像示意图；
31.图4为本发明实施例提供的另一种图像风格化处理的图像示意图；
32.图5为本发明实施例提供的另一种图像风格化处理的图像示意图；
33.图6为本发明实施例提供的一种图像生成装置的结构示意图；
34.图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
35.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.现阶段玩家对游戏角色的美观和个性化的要求越来越高，在游戏中设计塑造大量不同风格的人物角色可以有效提升玩家乐趣。但是，传统流程中脸部原画的制作步骤需要大量的美工成本，面部的设计和绘画会消耗原画美术人员较多的时间和精力。具体到游戏原画制作这一流程常规的做法是美术同学绘制。基本流程大致得分为1.设计前期-明确世界观和背景后的素材收集或是其他准备工作，2.草图设计，3.精确的设计稿，4.上色过程，5.后期整体调整-可能包括一些画面整体的协调性及cg(computer graphics，计算机动画)氛围感等内容。但是，随着机器学习尤其是深度学习领域相关技术的发展，基于生成对抗网络的图像合成技术也获得了飞速发展，为传统原画设计的流程改进及成本节省提供了新的思路和可能。
37.对角色图像进行各种风格化的过程，在技术上可以简单抽象为图像至图像风格转化的问题。目前已有的图像至图像的风格化转化方案主要可分为两种类型：一种是基于配对数据(成对的真人图像及风格化后的图像)的方案，另一种是基于非配对数据的方案。其中，基于配对数据的方案，通常通过pix2pix方式实现，基于非配对数据的方案，通常通过cyclegan及其相关改进方式实现。基于配对数据的方案需要有成对匹配的真人人脸图像和
风格化后的人脸图像，对数据的制作成本要求较高，当需要处理新的游戏角色风格时，成对的数据难以获取，使用方式不灵活。
38.基于非配对数据的现有方案往往需要大量的风格化数据来训练模型，具体到游戏中现成的风格数据又较少，取决于游戏的角色，不可能像网络上收集的那种二次元风格图像或是油画风格人脸图像，有大量数据或是现成的数据集可以使用。甚至一些网站的内部实现是以亿数量级的人脸图像为基础训练开发的，具体到游戏人脸原画生成这一流程中存在风格化图像数据量较少从而导致的不同图像领域间数据不平衡的问题。同时数据量较少时无监督的生成脸部图像的质量较低、瑕疵较多，难以满足美术制作需求。
39.总之，相关技术中生成风格化图像的方式，过程复杂、效率低，且生成的图像效果较差。基于此，本发明实施例提供的一种图像生成方法、装置和电子设备，该技术可以应用于计算机、笔记本、手机等电子设备。
40.为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像生成方法、装置和电子设备进行详细介绍，如图1所示，该方法包括如下步骤：
41.步骤s102，获取真人图像，通过预先训练完成的真人图像生成模型，确定真人图像对应的隐空间变量；其中，真人图像生成模型是基于生成式对抗网络和真人图像训练集训练得到的；隐空间变量用于表征真人图像的图像特征；
42.上述真人图像通常是指真人的人脸图像，上述隐空间变量本质为随机噪声，也可以是服从高斯分布的随机噪声，通常从模型的潜在空间中采样得到。上述生成式对抗网络包括映射模块、生成模块和判别模块，其中，映射模块用于将随机获取的噪声进行映射处理，具体会将一维的向量映射为多为的向量；生成模块用于输入映射模块映射得到的隐空间变量，输出该隐空间变量对应的图像；判别模块用于判断生成模块输出的图像是否是真人风格的图像。上述真人图像训练集可以是ffhq(flickr-faces-high-quality，高质量人脸图像)数据库中的高质量人脸图像，其中包括有七万张高质量人脸图像。
43.本实施例的目的是，生成真人图像风格化后的目标图像，比如，将真人图像进行原画风格处理，得到原画风格的目标图像；或者将真人图像进行二次元风格处理，得到二次元风格的目标图像；或者将真人图像进行油画风格处理，得到油画风格的目标图像。另外，上述真人图像生成模型用于确定真人图像对应的隐空间变量，还用于生成真人风格的图像。
44.具体的，本实施例提供了一个图像生成网站，美术人员可以将需要进行风格化的真人图像上传至该网站，然后点击网站中显示的生成控件后，网站后端会获取到上传的真人图像，然后通过预先训练完成的真人图像生成模型随机生成一个隐空间变量，将该隐空间变量输入至真人图像生成模型，输出该隐空间变量对应的图像，计算该图像与上传的真人图像的图像特征的损失值，如果损失值满足预设条件，则将随机生成的隐空间变量确定为上述真人图像对应的隐空间向量。如果损失值不满足预设条件，则继续获取隐空间变量，直至损失值满足预设条件时，将对应获取的隐空间变量确定为上述真人图像对应的隐空间变量。其中，预设条件可以根据实际需要进行设置，比如一个阈值等。另外，随机获取隐空间变量的过程具体可以限制变量空间的大小，即在指定的空间获取隐空间变量，当然也可以不限制。上述步骤的目的是使确定的隐空间变量具有真人图像的图像特征。该图像特征指示的是真人图像中包含的人脸的面部特征。
45.另外，在获取真人图像后，为了进一步提升图像效果，可以对图像中的人脸进行对
齐裁剪处理，具体通过检测人脸标准五观后进行对齐裁剪操作，原因是由于输入的真人图像各种尺度各种大小都有，需要将其通过仿射变换在不改变五官的基础上对齐到同样的位置，在训练网络的过程中便于网络学习，在生成图像的过程中能够进一步提升图像效果。
46.步骤s104，将隐空间变量输入至预先训练完成的目标图像生成模型，生成真人图像对应的目标图像；其中，目标图像生成模型是基于真人图像生成模型和目标图像训练集训练得到的；目标图像生成模型用于处理真人图像的图像风格，以使目标图像具有指定的图像风格。
47.上述目标图像生成模型用于生成指定的图像风格的目标图像，其中，指定的图像风格可以是原画风格、二次元风格、卡通风格、三维卡通风格、像素风格、油画风格、动漫风格等。本实施例中，真人图像和目标图像为人脸图像。具体的，将真人图像生成模型确定的隐空间变量作为目标图像生成模型的输入，经过目标图像生成模型的风格化处理，即可生成真人图像对应的目标图像。由于隐空间变量表征的是真人图像的图像特征，所以，目标图像与真人图像表示的都是同一个人脸。如图2所示的一种真人风格的图像，以及经过风格处理后生成的立体感古风原画风格的目标图像；再如图3所示的另一种真人风格的图像，以及经过风格处理后生成的平面感武侠手绘风格的目标图像；再如图4所示的另一种真人风格的图像，以及经过风格处理后生成的言情手绘风格的目标图像；再如图5所示的另一种真人风格的图像，以及经过风格处理后生成的其他卡通风格的目标图像。
48.上述训练目标图像生成模型时，是基于目标图像训练集训练的，主要是根据目标图像训练集调整真人图像生成模型的模型参数，以使真人图像生成模型能够学习目标图像训练集中指定的图像风格，最终得到能够生成指定的图像风格的目标图像。其中，目标图像训练集中的图像具有指定的图像风格。由于是在真人图像生成模型的基础上进行训练，所以训练所需的目标图像训练集的数量较少，且并不需要与真人图像为配对数据。
49.另外，为了进一步提高图像效果，可以预先将训练集分为多组，分别进行训练，可以训练得到多个目标图像生成模型，每个目标图像生成模型学习到的图像风格可能会有一定的差别，比如，其中一个目标图像生成模型学习的图像风格中鼻子的风格化生成效果较好，另一个目标图像生成模型学习的图像风格中眼睛的风格化生成效果较好等。因此，在确定隐空间变量后，将隐空间变量分别输入到每个目标图像生成模型后，可以得到多张目标图像。
50.需要说明的是，本实施例还提供了一种随机生成图像的功能，美术人员可以预先基于多种风格的图像训练多个目标图像生成模型，然后美术人员可以点击网站中的随机生成控件，即可基于多个目标图像生成模型随机生成多个不同风格的图像。另外，在点击网站中的随机生成控件之前需要先进行性别选择。
51.本发明实施例提供了一种图像生成方法，获取真人图像，通过预先训练完成的真人图像生成模型，确定真人图像对应的隐空间变量；其中的隐空间变量用于表征真人图像的图像特征；将隐空间变量输入至预先训练完成的目标图像生成模型，生成真人图像对应的目标图像；其中的目标图像生成模型用于处理真人图像的图像风格，以使目标图像具有指定的图像风格。该方式中，预先通过真人图像训练真人图像生成模型，通过少量的目标图像训练目标图像生成模型，通过真人图像生成模型和目标图像生成模型，对真人图像进行风格处理，生成具有指定的图像风格的目标图像，简化了目标图像的生成过程，提高了目标
图像的生成效率，同时提高了目标图像的图像效果。
52.另外，通过真人图像训练真人图像生成模型，通过少量的目标图像训练目标图像生成模型，不需要获取大量的训练数据，避免了不同风格图像的数据不平衡的问题，解决了由于同风格图像的数据不平衡导致的端到端训练过程不稳定问题，以及数据量太大导致的训练时间及存储消耗巨大的问题。
53.为了使上述目标图像的图像特征与上述真人图像的图像特征一致，进一步提高目标图像的图像效果，预先训练完成的真人图像生成模型和目标图像生成模型之间的模型语义距离小于第一预设阈值，以使同一隐空间变量作为真人图像生成模型和目标图像生成模型的输入时，真人图像生成模型输出的真人图像和目标图像生成模型输出的目标图像表示同一人物，不同风格的图像。
54.上述第一预设阈值可以根据实际需要进行设置。具体的，可以在训练目标图像生成模型的时候，采用迁移学习的训练的方式减少真人图像生成模型和目标图像生成模型之间的模型语义距离。此时，当输入同一个隐空间变量的时候，真人图像生成模型和目标图像生成模型输出的真人图像和目标图像的图像特征相似，表示的是同一个人物，只是风格不同。
55.为了进一步保证模型语义距离小于第一预设阈值，在训练得到目标图像生成模型后，还可以通过计算模型语义距离，确定是否小于第一预设阈值。具体可以将同一个隐空间变量分别输入真人图像生成模型和目标图像生成模型，计算输出的真人图像和目标图像之间图像面部特征的图像距离，根据图像距离确定模型语义距离是否小于第一预设阈值。
56.上述方式中，为了使目标图像的图像特征与上述真人图像的图像特征一致，使预先训练得到的真人图像生成模型和目标图像生成模型之间的模型语义距离足够小，这样在基于同一隐空间向量进行真人风格和指定的图像风格处理后能够得到成对的图像，否则，由于生成的真人图像和目标图像的图像特征相差较远，会导致通过真人图像生成模型确定的隐空间向量无法通过目标图像生成模型生成真人图像对应的目标图像。
57.目前通过图像确定对应的隐空间变量的过程，通常直接通过真人图像生成模型随机在模型的隐空间中采样隐空间变量，然后通过通用的优化求解隐空间变量的方法，求解真人图像对应的隐空间变量。具体的，求解的过程可以简单定义为：其中，d
t
表示目标图像，ds表示真人图像，表示目标图像生成模型，表示真人图像生成模型；中t表示真人图像生成模型至目标推向生成模型间的相关变换过程，inv表示隐空间变量的逆向求解过程，w表示真人图像对应的隐空间变量。
58.具体的迭代过程通过下述公式进行隐空间变量的迭代：具体的迭代过程通过下述公式进行隐空间变量的迭代：其中，w
*
表示真人图像对应的隐空间变量，i表示上述步骤s102获取的真人图像，φ用于提取图像中人脸的特征，argmin()表示使目标函数数取最小值时的变量值，即w值。
59.但是，由于无法严格的描述由全连接层组成的隐空间的合理范围，另外，上述优化函数的损失主要是针对图像特征计算的，因此无法保证最后得到的隐空间变量是否在模型
隐空间的合理位置中。基于此，本实施例具体描述通过预先训练完成的真人图像生成模型，确定真人图像对应的隐空间变量的步骤，一种可能的实施方式：
60.步骤(1)根据真人图像生成模型，确定真人图像生成模型的目标隐空间；
61.上述确定目标隐空间的目的：后续随机获取的隐空间变量能够在目标隐空间中，具体可以根据真人图像生成模型中的优化器，分离模型中不同语义空间，根据语义空间确定上述目标隐空间。
62.步骤(2)根据真人图像和真人图像生成模型，在目标隐空间中，确定真人图像对应的隐空间变量。
63.具体可以在目标隐空间中，获取隐空间变量，并对隐空间变量进行迭代运算，直至最终得到的隐空间变量基于真人图像生成模型生成的真人风格的图像与上传的真人图像的图像特征一致，即可得到真人图像对应的隐空间变量。
64.上述方式中，考虑到随机在模型的隐空间获取隐空间变量进行迭代的方式中，可能会导致最后得到的隐空间变量不准确，因此，需要先确定真人图像生成模型的目标隐空间，并在此目标隐空间中优化求解隐空间变量，法提升了对隐空间的约束，提高了隐空间变量的准确性，同时提高了基于隐空间变量的生成的目标图像的效果。
65.下面描述根据真人图像生成模型，确定真人图像生成模型的目标隐空间，具体的实现方式：根据真人图像生成模型中全连接层的权重，确定目标隐空间。
66.实际实现时，可以在训练好的真人图像生成模型中分离出不同语义空间，两个不同的隐空间变量之间的关系可以通过以下公式表示：δw＝(az+b)-(a(z+αn)+b)＝αan；其中，δw表示两个不同的隐空间变量的差值，a表示真人图像生成模型中全连接层的权重，b表示全连接真人图像生成模型中全连接层的偏置项，α为超参数；z表示未经过映射的隐空间变量；n表示语义空间的方向向量。其中的a也是真人图像生成模型的语义选择器，可以通过优化函数计算得到特定的语义方向的方向向量。再此基础上可以将其扩展为寻找前k个主要的语义方向的问题，优化函数为：其中，n
*
表示求解出的前k个主要语义方向，n
*
＝[n
1,n2,n3,
…
,nk]，k表示主要语义方向的个数，为拉格朗日乘子便于求解，在对ni求偏导后可以得到a
t
an
i-λini＝0，其中a
t
a的特征向量即为各个语义方向。因此，在本方案中我们形式化地将a
t
a作为目标隐空间l＝a
t
a。即将真人图像生成模型中全连接层的权重的转置和该权重相乘，得到上述目标隐空间。
[0067]
上述方式中，通过公式推导能够根据真人图像生成模型中全连接层的权重确定目标隐空间，提高了目标隐空间的准确性。
[0068]
下面描述根据真人图像和真人图像生成模型，在目标隐空间中，确定真人图像对应的隐空间变量的步骤，一种可能的实施方式：根据目标隐空间的随机投影点和目标隐空间，确定真人图像对应的初始隐空间变量；将初始隐空间变量输入至真人图像生成模型，输出初始隐空间变量对应的初始真人图像；根据初始真人图像和真人图像，计算初始隐空间变量的损失值；如果损失值不满足第二预设阈值，继续执行根据目标隐空间的随机投影点和目标隐空间，确定真人图像对应的初始隐空间变量的步骤，直至最终得到真人图像对应的隐空间变量的损失值满足第二预设阈值。
[0069]
上述第二预设阈值可以根据实际需要进行设置。得到目标隐空间l后，对于上述传
统的求解隐空间变量的方式，进行改进后可以转换为优化求解目标隐空间的随机投影点l，具体可以计算目标隐空间的随机投影点l的转置和目标隐空间l的乘积l
t
l，得到真人图像对应的初始隐空间变量，然后将初始隐空间变量l
t
l输入至真人图像生成模型输出初始隐空间变量l
t
l对应的初始真人图像根据初始真人图像和真人图像i，计算初始隐空间变量的损失值，比如，直接计算或者计算初始真人图像和真人图像i的图像特征的差值。如果损失值满足第二预设阈值，则可以将当前的l
t
l确定为真人图像对应的隐空间变量。
[0070]
一种具体的实现方式：一种具体的实现方式：其中，其中l是隐空间l中的一个投影点，隐空间变量可以表示为w＝l
t
l。可以理解的是，每随机采集的目标隐空间的投影点都带入该公式进行计算，将所有结果中值最小时，对应的投影点确定为l
*
。进而得到输入真实人脸图像ds的隐空间变量
[0071]
上述方式中，通过优化迭代的方式计算满足条件的隐空间变量，能够使得到的隐空间变量更加准确，指示的真人图像的图像特征更多更全面，进而提高了基于该隐空间变量生成目标图像的图像效果。
[0072]
下面描述上述真人图像生成模块的训练过程：通过生成式对抗网络生成第一隐空间变量，并生成第一隐空间变量对应的第一图像；通过生成式对抗网络对第一图像和真人图像训练集进行判别处理，得到第一图像的判别结果；基于判别结果调整生成式对抗网络的网络参数，直至判别结果指示生成的第一图像为真人风格的图像，将训练完成的生成式对抗网络中的生成模块确定为真人图像生成模型。
[0073]
具体的，上述生成式对抗网络包括映射模块、生成模块和判别模块；通过映射模块随机生成第一隐空间变量，将第一隐空间变量输入至生成模块，输出第一隐空间变量对应的第一图像；将第一图像和真人图像训练集输入至判别模块进行判别处理，得到第一图像的判别结果；基于判别结果调整生成式对抗网络的网络参数，直至判别结果指示生成模块输出的第一图像为真人风格的图像，将训练完成的生成式对抗网络中的生成模块确定为真人图像生成模型。
[0074]
由于生成式对抗网络中的映射模块和判别模块一般只在训练过程中用到，因此在训练完成生成式对抗网络后，只需要将其中的生成模块确定为真人图像生成模块。上述真人图像训练集可以是ffhq数据库中的高质量人脸图像，其中包括有七万张高质量人脸图像。上述真人图像生成模型主要用于生成具有真人风格的图像。上述判别结果通常为概率值，比如概率为1则指示生成模块输出的第一图像为真人风格的图像，概率为0则指示生成模块输出的第一图像不为真人风格的图像。
[0075]
上述方式中，直接通过现有的真人图像库中的人脸图像对生成式对抗网络进行训练，以使最后训练得到的真人图像生成模块能够生成具有真人风格的图像，训练数据获取方便，过程简单。
[0076]
得到真人图像生成模块后，为了解决不同风格的图像数据不平衡的问题，本实施例具体描述如何基于真人图像生成模块和少量的具有指定的图像风格的图像数据训练目标图像生成模块。包括：
[0077]
通过训练完成的生成式对抗网络随机生成第二隐空间变量，并生成第二隐空间变
量对应的第二图像；通过训练完成的生成式对抗网络对第二图像和目标图像训练集进行判别处理，得到第二图像的判别结果；基于判别结果调整训练完成的生成式对抗网络中的真人图像生成模型的模型参数，直至判别结果指示生成的第二图像具有指定的图像风格，将调整后的真人图像生成模型确定为目标图像生成模型。
[0078]
具体的，可以通过训练完成的生成式对抗网络中的映射模块随机生成第二隐空间变量，将第二隐空间变量输入至真人图像生成模型，输出第二隐空间变量对应的第二图像；将第二图像和目标图像训练集输入至训练完成的生成式对抗网络中的判别模块进行判别处理，得到第二图像的判别结果；基于判别结果调整真人图像生成模型的模型参数，直至判别模块输出的判别结果指示真人图像生成模型输出的第二图像具有指定的图像风格，将调整后的真人图像生成模型确定为目标图像生成模型。
[0079]
需要说明的是，在调整真人图像生成模块的过程中，并不会调整预先训练完成的生成式对抗网络中的映射模块和判别模块，冻结了该网络结构中多层感知机组成的mapping network(网络映射，即上述映射模块)中的全连接层，这样微调后的模型和原始的模型能够具有同样的隐空间进而可以缩短两个模型之间的距离。具体实现时，具体实现中，本方案尝试了多种训练超参的设置，最终针对男生角色原画和女生角色原画分别选定效果较好的3组训练参数，得到3个有轻微差异的原画风格人脸的生成模型，当输入一张真实人脸进行风格化后可以得到肤色或是五官有轻微差异的3张原画风格角色，可以更好地辅助美术设计。
[0080]
上述方式中，根据训练完成的生成式对抗网络中的各个模块，目标图像训练集，以及判别结果，仅通过迁移学习的方式，以训练得到目标图像的生成模型，首先目标图像生成模型能够生成具有指定的图像风格的目标图像，还能够减少真人图像生成模型和目标图像生成模型的之间的模型语义距离，进一步提高了生成的图像质量。
[0081]
为了进一步提高目标图像生成模型生成图像的质量，以及减少真人图像生成模型和目标图像生成模型的之间的模型语义距离，在将调整后的真人图像生成模型确定为目标图像生成模型的步骤之后，上述方法还包括：计算真人图像生成模型和目标图像生成模型之间的模型语义距离，根据模型语义距离调整目标图像生成模型的模型参数，直至真人图像生成模型和目标图像生成模型之间的模型语义距离小于第一预设阈值。
[0082]
可以将同一隐空间变量作为真人图像生成模型和目标图像生成模型的输入，计算输出的图像之间的图像距离，将该图像具体确定为模型语义距离。具体的，当该模型语义距离大于第一预设阈值时，继续调整目标图像生成模型的模型参数，直至真人图像生成模型和目标图像生成模型之间的模型语义距离小于第一预设阈值，得到调整后的目标图像生成模型，最后将调整后的目标图像生成模型设置在网站中。
[0083]
上述方式中，在得到目标图像生成模型后，为了进一步提高目标图像生成模型的质量，以及减少真人图像生成模型和目标图像生成模型的之间的模型语义距离，继续基于真人图像生成模型和目标图像生成模型之间的模型语义距离调整模型参数。
[0084]
下面描述计算真人图像生成模型和目标图像生成模型之间的模型语义距离的步骤，一种可能的实施方式：将第三隐空间变量分别输入至真人图像生成模型和目标图像生成模型中，真人图像生成模型输出第三图像，目标图像生成模型输出第四图像；计算第三图像与第四图像的图像特征距离，将图像特征距离确定为模型语义距离。
[0085]
由于神经网络模型的网络结构及参数较为多变，难以直接定义一套规则用于衡量两个模型之间的语义相似度，因此本实施例中使用基于同一输入时两个模型输出之间的距离来表示两个不同模型之间的距离。具体表示为：和为两个不同的图像生成模型，为目标图像生成模型，为真人图像生成模型。可通过输入同一个隐空间向量编码w生成真人图像ds和目标图像d
t
两个不同风格领域的图像，由此，目标图像生成模型和真人图像生成模型之间的距离可以被定义为：dist表示两图像间的距离，本实施例中采用已被很多实验证明过有效性的深度特征(lpips)去度量两图像间的相似度。当真人图像生成模型和目标图像生成模型之间的模型距离足够小时，基于同一隐空间向量经过模型的图像风格化转化能够得到合理的结果，否则，由于生成的两图像的语义相似度会比较低，使得从输入真人图像逆向优化求解得到的隐空间变量无法生成对应的目标图像。通过不同的实验尝试，本实施例中，基于迁移学习中的保守学习方案可通过微调的形式训练新模型可以有效减少模型之间的距离。
[0086]
上述方式中，通过基于同一输入时两个模型输出之间的距离来表示两个不同模型之间的距离的方式，能够准确的验证训练得到的目标图像生成模型与真人图像生成模型的模型语义距离，进一步提高了模型质量。
[0087]
通过上述方式生成的目标图像虽然具有指定的图像风格，但是也有可能会出现不满足美术要求的可能，需要对生成的目标图像进行图像编辑。基于此，本实施例中，生成的目标图像为可编辑图像，可以根据美术人员的需要对目标图像进行编辑。这一模块的主要用途为目标图像进行不同角度的编辑，生成更多样化的结果用以提升美术的设计灵感。主要包括对生成图像进行技法、一键光头、相似度、属性几个方面的调整及对两张图像进行人脸身份信息和风格两个角度指定权重的融合。下面将对本模块的主要思路及具体实现做出详细介绍，以下所有功能非串行，无需按照固定顺序编辑，可挑选需要的功能进行处理或迭代处理多次以达到想要的效果。
[0088]
一种可能的编辑方式：将隐空间变量输入至预先训练完成的目标图像生成模型，输出真人图像对应的目标图像的步骤之后，上述方法还包括：响应针对目标图像的第一编辑操作，从预设的目标图像生成模型的语义方向中，确定第一编辑操作对应的目标语义方向；其中，语义方向至少包括以下一项或多项：目标图像生成模型中控制目标图像的绘画技法、控制目标图像中面部头发、以及控制目标图像中人物属性的语义方向；基于目标语义方向，调整目标图像的隐空间变量，得到调整后的目标图像。
[0089]
上述第一编辑操作包括以下一项或者多项：技法编辑操作、一键光头操作、以及属性编辑操作；其中属性编辑操作包括年龄、发型、五官、五官背景微调、姿态、肤色等人物属性。需要说明的是，上述目标图像生成模型通常包括多个。
[0090]
其中，技法编辑操作，主要是针对目标图像中面部肤色的表现或五官的呈现效果布局等与指定的图像风格有轻微差异的部分，进行相应的编辑调整，当然如果生成的目标图像与指定的图像风格没有差异则忽略这一编辑功能。具体的实现时，可以通过无监督的方式，提前对每个目标图像生成模型分离出其中主要控制绘画技法的语义方向，进而通过对上传的真人图像对应的隐空间变量沿着绘画技法的语义方向调整，以得到不同程度调整后的目标图像，程度越大对目标图像的五官皮肤等表现改变越明显。
[0091]
需要说明的是，在寻找语义方向时，可以分别将目标图像生成模型分为前中后三个部分及所有部分整体的模型参数作为语义方向的计算输入，并分别实验拿出前10维度，每个维度共8个程度的调整结果，先初筛后留下可能与技法相关性较高的语义方向供专业美术筛选后确定最终的绘画语义隐空间变量编辑方向。
[0092]
其中，一键光头编辑操作，主要是为了满足美术制作原画的流程时一般需要将头发单独作为一个图层，需要同时画出带头发和不带头发的人脸图像。但是，通过ai(人工智能，artificial intelligence)生成的具有指定的图像风格的图像是与真实人脸头发长短对应或是随机出来有头发的整体图像，在扣取头发之后无法保证脸部其他部位的完整性，因此，在本实施例中，通过目标图像生成模型生成的目标图像，如果有需要的情况下，需要通过此一键光头的功能在一定程度上减少头发，留出更大范围的脸部有效区域供美术绘画时参考。实现步骤与上述技法编辑的方式相同，都是通过闭式因子分解算法无监督的分离不同生成模型中头发减少的语义方向并保存，用于一键光头的处理。
[0093]
其中，属性编辑操作主要功能是为了对生成或做过其他处理后选定的目标图像进行属性方面的多样性渐变处理，增加目标图像的多样性并辅助美术制作，比如姿态编辑，可以对目标图像中的人脸进行转正以满足制作标准。在这一部分，我们挑选出年龄、发型、五官背景、人脸姿态及肤色这几个维度来进行语义分析，实现步骤与上述技法编辑的方式相同，去计算使用的多个不同目标图像生成模型中相关的隐空间向量的变化方向。
[0094]
上述方式中，通过设置对目标图像的绘画技能编辑功能、面部头发编辑功能、和人物属性编辑功能，能够使美术人员根据制作要求和标准对生成的目标图像进行编辑，减少了美术人员的制作流程，提高了目标图像的图像效果，为美术人员提供更多的可能性编辑。
[0095]
由于目标图像和真人图像之间的风格具有一定的差异性，因此在微调训练目标图像生成模块的过程中会逐渐降低语义相似度，可以类比迁移学习中的灾难性遗忘问题，新的目标图像生成模型需要尽量降低gan损失去学到更具风格化的特征，这就造成了转化后的风格化图像和原始真实图像的身份相似度会有一定程度的减弱，但风格相似度可以更好的符合目标图像中的风格。虽然在原画角色生成这一任务中，原画风格的人脸无需和真实人脸的表情、牙齿等五官细节完全保持一致，但是需要得到在真实人脸的五官脸型特征的基础上进行一定程度美化后的风格化结果；同时，由于输入真人图像多样性导致不同输入风格化后的结果相似度存在差异，因此本网站提供相似度编辑模块用以生成更多的效果供美术参考制作。
[0096]
一种可能的编辑方式：上述目标图像生成模型包括多个；将隐空间变量输入至预先训练完成的目标图像生成模型，输出真人图像对应的目标图像的步骤之后，上述方法还包括：
[0097]
响应针对目标图像的相似度提升操作，将不同的多个目标图像生成模型中的指定卷积层的权重进行交换，并将不同的多个目标图像生成模型中的指定网络层进行融合，得到多个中间目标图像生成模型；基于多个中间目标图像生成模型，输出目标图像进行相似度提升后的提升图像；其中，提升图像与目标图像的图像风格相同，提升图像包含的真人图像的图像特征多于目标图像包含的真人图像的图像特征。
[0098]
相似度提升操作主要是为了提升目标图像中的人脸与真人图像中的人脸的相似度，目标图像生成模型生成的多个目标图像，可能有一些图像的人脸特征与真人图像的人
脸特征有些差距，因此需要设置提升目标图像中的人脸与真人图像中的人脸的相似度的功能，提供更多效果供美术人员参考。
[0099]
具体的，针对不同的目标图像生成模型选定其中的部分卷积层进行权重交换，同时选定的部分卷积层进行不同程度的权重融合，以使得目标图像生成模型生成的目标图像包含更多生成风格图像的特征，在尽可能保留指定风格的前提下提升人脸的相似度。
[0100]
上述方式中，通过设置对目标图像的相似度提升功能，能够重新对生成的目标图像中人物特征不明显的目标图像再次进行处理，以使最后能够得到与真人图像相似度高的目标图像，减少了美术人员的制作流程，提高了目标图像的图像效果，为美术人员提供更多的可能性编辑。
[0101]
一种可能的编辑方式：上述目标图像包括多个；将隐空间变量输入至预先训练完成的目标图像生成模型，输出真人图像对应的目标图像的步骤之后，上述方法还包括：获取待融合图像；响应针对目标图像和待融合图像的图像融合操作，根据图像融合操作指示的第一融合系数和第二融合系数，将目标图像和待融合图像进行融合处理，得到目标图像的融合图像；其中，第一融合系数用于指示目标图像的图像特征，第二融合系数用于指示目标图像的图像风格。
[0102]
图像融合功能主要是对生成的两张目标图像或编辑好的两张目标图像进行人脸身份特征层面及人脸图像风格层面指定系数的融合，可以制作融合了两张图像共有的一些特征的图像，供美术设计参考。上述待融合图像可以是上传的图像也可以是生成多个目标图像中的一个。
[0103]
具体的，在分析了不同图像隐空间中的编码w后发现，前几层的编码主要控制色彩等风格特征的生成控制，后几层主要控制姿态及相似度等身份特征的生成控制，据此可以将两张图像隐空间变量进行不同层次的融合便可实现多张图像的融合。另外，当将身份特征层面的融合系数(即上述第一融合系数)置为0，风格层面的融合系数(即上述第二融合系数)置为1时，可实现保持人脸身份信息不变的情况下将目标图像的皮肤通透度或整体色调处理迁移至待融合图像，这一操作适用于当输入真人图像质量不太好的情况下生成的目标图像整体绘画技法不佳，但人脸五官等身份信息较好的情况下的后处理操作。
[0104]
上述方式中，通过设置对目标图像的图像融合功能，能够重新对生成的目标图像中质量较差的目标图像进行融合处理，以使最后能够得到较高质量的目标图像，减少了美术人员的制作流程，提高了目标图像的图像效果，为美术人员提供更多的可能性编辑。
[0105]
一种可能的编辑方式：将隐空间变量输入至预先训练完成的目标图像生成模型，输出真人图像对应的目标图像的步骤之后，上述方法还包括：
[0106]
获取妆容参考图像；响应针对目标图像的妆容迁移操作，通过预设的妆容迁移网络，提取妆容参考图像的指定妆容，将指定妆容迁移至目标图像的指定部位，得到妆容迁移后的目标图像。
[0107]
上述妆容参考图像通常是美术人员上传的图像。上述预设的妆容迁移网络可以是psgan(一种对姿态和表情鲁棒的空间感知生成对抗网络)该网络能够定制化的对人脸图像进行妆容迁移。这一端到端的网络结构主要由三个部分构成：妆容提取网络(mdnet，multi-domain network)，基于注意力机制的妆容变形模块(amm，adaptive mathematical model)和妆容应用网络。上述指定妆容可以是全部脸妆、眼部、唇部和脸部。具体可以根据美术人
1.5天。
[0117]
对应上述的方法实施例，本发明实施例提供了一种图像生成装置，如图6所示，该装置包括：
[0118]
隐空间变量的确定模块61，用于获取真人图像，通过预先训练完成的真人图像生成模型，确定真人图像对应的隐空间变量；其中，真人图像生成模型是基于生成式对抗网络和真人图像训练集训练得到的；隐空间变量用于表征真人图像的图像特征；
[0119]
目标图像的生成模块62，用于将隐空间变量输入至预先训练完成的目标图像生成模型，生成真人图像对应的目标图像；其中，目标图像生成模型是基于真人图像生成模型和目标图像训练集训练得到的；目标图像生成模型用于处理真人图像的图像风格，以使目标图像具有指定的图像风格。
[0120]
本发明提供了一种图像生成装置，获取真人图像，通过预先训练完成的真人图像生成模型，确定真人图像对应的隐空间变量；其中的隐空间变量用于表征真人图像的图像特征；将隐空间变量输入至预先训练完成的目标图像生成模型，生成真人图像对应的目标图像；其中的目标图像生成模型用于处理真人图像的图像风格，以使目标图像具有指定的图像风格。该方式中，预先通过真人图像训练真人图像生成模型，通过少量的目标图像训练目标图像生成模型，通过真人图像生成模型和目标图像生成模型，对真人图像进行风格处理，生成具有指定的图像风格的目标图像，简化了目标图像的生成过程，提高了目标图像的生成效率，同时提高了目标图像的图像效果。
[0121]
另外，通过真人图像训练真人图像生成模型，通过少量的目标图像训练目标图像生成模型，不需要获取大量的训练数据，避免了不同风格图像的数据不平衡的问题，解决了由于同风格图像的数据不平衡导致的端到端训练过程不稳定问题，以及数据量太大导致的训练时间及存储消耗巨大的问题。
[0122]
进一步的，上述真人图像生成模型和目标图像生成模型之间的模型语义距离小于第一预设阈值，以使同一隐空间变量作为真人图像生成模型和目标图像生成模型的输入时，真人图像生成模型输出的真人图像和目标图像生成模型输出的目标图像表示同一人物，不同风格的图像。
[0123]
进一步的，上述隐空间变量确定模块还用于：根据真人图像生成模型，确定真人图像生成模型的目标隐空间；根据真人图像和真人图像生成模型，在目标隐空间中，确定真人图像对应的隐空间变量。
[0124]
进一步的，上述隐空间变量确定模块还用于：根据真人图像生成模型中全连接层的权重，确定目标隐空间。
[0125]
进一步的，上述隐空间变量确定模块还用于：根据目标隐空间的随机投影点和目标隐空间，确定真人图像对应的初始隐空间变量；将初始隐空间变量输入至真人图像生成模型，输出初始隐空间变量对应的初始真人图像；根据初始真人图像和真人图像，计算初始隐空间变量的损失值；如果损失值不满足第二预设阈值，继续执行根据目标隐空间的随机投影点和目标隐空间，确定真人图像对应的初始隐空间变量的步骤，直至最终得到真人图像对应的隐空间变量的损失值满足第二预设阈值。
[0126]
进一步的，上述生成式对抗网络包括映射模块、生成模块和判别模块；上述装置还包括真人图像生成模型训练模块，用于：通过映射模块随机生成第一隐空间变量，将第一隐
空间变量输入至生成模块，输出第一隐空间变量对应的第一图像；将第一图像和真人图像训练集输入至判别模块进行判别处理，得到第一图像的判别结果；基于判别结果调整生成式对抗网络的网络参数，直至判别结果指示生成模块输出的第一图像为真人风格的图像，将训练完成的生成式对抗网络中的生成模块确定为真人图像生成模型。
[0127]
进一步的，上述装置还包括目标图像生成训练模块，用于：通过训练完成的生成式对抗网络中的映射模块随机生成第二隐空间变量，将第二隐空间变量输入至真人图像生成模型，输出第二隐空间变量对应的第二图像；将第二图像和目标图像训练集输入至训练完成的生成式对抗网络中的判别模块进行判别处理，得到第二图像的判别结果；基于判别结果调整真人图像生成模型的模型参数，直至判别模块输出的判别结果指示真人图像生成模型输出的第二图像具有指定的图像风格，将调整后的真人图像生成模型确定为目标图像生成模型。
[0128]
进一步的，上述装置还包括模型语义距离调整模块，用于：计算真人图像生成模型和目标图像生成模型之间的模型语义距离，根据模型语义距离调整目标图像生成模型的模型参数，直至真人图像生成模型和目标图像生成模型之间的模型语义距离小于第一预设阈值。
[0129]
进一步的，上述模型语义距离调整模块，还用于：将第三隐空间变量分别输入至真人图像生成模型和目标图像生成模型中，真人图像生成模型输出第三图像，目标图像生成模型输出第四图像；计算第三图像与第四图像的图像特征距离，将图像特征距离确定为模型语义距离。
[0130]
进一步的，上述装置还包括第一编辑模块，用于：响应针对目标图像的第一编辑操作，从预设的目标图像生成模型的语义方向中，确定第一编操作对应的目标语义方向；其中，语义方向至少包括以下一项或多项：目标图像生成模型中控制目标图像的绘画技法、控制目标图像中面部头发、以及控制目标图像中人物属性的语义方向；基于目标语义方向，调整目标图像的隐空间变量，得到调整后的目标图像。
[0131]
进一步的，上述目标图像生成模型包括多个；上述装置还包括似度提升模块，用于：响应针对目标图像的相似度提升操作，将不同的多个目标图像生成模型中的指定卷积层的权重进行交换，并将不同的多个目标图像生成模型中的指定网络层进行融合，得到多个中间目标图像生成模型；基于多个中间目标图像生成模型，输出目标图像进行相似度提升后的提升图像；其中，提升图像与目标图像的图像风格相同，提升图像包含的真人图像的图像特征多于目标图像包含的真人图像的图像特征。
[0132]
进一步的，上述目标图像包括多个；上述装置还包括图像融合模块，用于：获取待融合图像；响应针对目标图像和待融合图像的图像融合操作，根据图像融合操作指示的第一融合系数和第二融合系数，将目标图像和待融合图像进行融合处理，得到目标图像的融合图像；其中，第一融合系数用于指示目标图像的图像特征，第二融合系数用于指示目标图像的图像风格。
[0133]
进一步的，上述装置还包括妆容迁移模块，用于：获取妆容参考图像；响应针对目标图像的妆容迁移操作，通过预设的妆容迁移网络，提取妆容参考图像的指定妆容，将指定妆容迁移至目标图像的指定部位，得到妆容迁移后的目标图像。
[0134]
进一步的，上述装置还包括图像增强模块，用于：响应针对目标图像的图像增强操
作，通过预设的图像增强网络，对真人图像进行图像增强处理，得到图像增强后的真人图像；确定图像增强后的真人图像对应的第四隐空间变量，将第四隐空间变量输入至预先训练完成的目标图像生成模型，输出图像增强后的目标图像。
[0135]
本发明实施例提供的图像生成装置，与上述实施例提供的图像生成方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
[0136]
本实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述对象属性的处理方法。该电子设备可以是服务器，也可以是终端设备。
[0137]
参见图7所示，该电子设备包括处理器100和存储器101，该存储器101存储有能够被处理器100执行的计算机可执行指令，该处理器100执行计算机可执行指令以实现上述对象属性的处理方法。
[0138]
进一步地，图7所示的电子设备还包括总线102和通信接口103，处理器100、通信接口103和存储器101通过总线102连接。
[0139]
其中，存储器101可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0140]
处理器100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101，处理器100读取存储器101中的信息，结合其硬件完成前述实施例的方法的步骤。
[0141]
本实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述对象属性的处理方法。
[0142]
本发明实施例所提供的图像生成方法、装置、电子设备以及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
[0143]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统
和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0144]
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0145]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0146]
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0147]
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。