生成对抗网络训练方法、图像风格迁移方法及装置与流程

本发明实施例涉及图像处理技术领域，尤其涉及一种生成对抗网络训练方法、图像风格迁移方法及装置。

背景技术：

漫画化是计算机视觉领域的一项重要技术，广泛用于内容生产，电影制作，娱乐视频中。漫画化是指给定一张内容图像，将内容图像变成某种特定的漫画化风格的图像，漫画化风格后的图像保持内容图像的内容，姿态等信息。

目前，图像漫画化可以通过3d渲染或者通过训练神经网络来实现，3d渲染用于制作游戏或者视频里的卡通角色，或者使用图像滤镜(imagefilter)和数学优化的方法来生成漫画化的图像，然而，3d渲染方法很难产生艺术感强的漫画化图片，也很难像艺术家一样产生高级的抽象，比如清新的线条抽象。而对于神经网络，训练神经网络时需要内容图像和风格图像作为训练的输入，内容图像漫画化后的图像作为标签来进行监督学习，一方面，内容图像和风格图像耦合在一个网络中训练，无法灵活约束风格和内容，导致漫画后的图像无法保持内容图像的内容和取得真实的漫画化效果，另一方面，难以获取大量内容图像漫画后的图像作为标签。

综上所述，现有图像漫画化的方法存在漫画化效果差以及难以获取训练数据的问题。

技术实现要素：

本发明实施例提供一种生成对抗网络训练方法、图像风格迁移方法、装置、电子设备和存储介质，以解决现有图像漫画化的方法存在漫画化效果差以及难以获取训练数据的问题。

第一方面，本发明实施例提供了一种生成对抗网络训练方法，包括：

获取多张内容图像和同一风格的多张风格图像；

初始化生成对抗网络的生成器和判别器的网络参数，以及初始化所述生成器的风格动量累积量；

提取所述风格图像输入预先训练好的风格特征提取网络中得到风格特征；

根据所述风格特征更新所述风格动量累积量；

提取所述内容图像输入所述生成器，以通过所述生成器将所述风格动量累积量注入所述内容图像中获得风格迁移后的输出图像；

将所述内容图像和所述输出图像输入所述判别器进行训练得到所述输出图像的判定值；

根据所述判定值、所述输出图像、所述内容图像和所述风格图像对所述生成器和所述判别器的网络参数进行调整。

第二方面，本发明实施例提供了一种图像风格迁移方法，包括：

获取待处理图像；

响应用户选择的图像风格确定生成器，所述生成器用于将所述用户选择的图像风格迁移到所述待处理图像；

将所述待处理图像输入所述生成器中得到风格迁移后的图像；

其中，所述生成器通过本发明任一实施例所述的生成对抗网络训练方法所训练。

第三方面，本发明实施例提供了一种生成对抗网络训练装置，包括：

训练数据获取模块，用于获取多张内容图像和同一风格的多张风格图像；

初始化模块，用于初始化生成对抗网络的生成器和判别器的网络参数，以及初始化所述生成器的风格动量累积量；

风格特征提取模块，用于提取所述风格图像输入预先训练好的风格特征提取网络中得到风格特征；

风格动量累积量更新模块，用于根据所述风格特征更新所述风格动量累积量；

生成器训练模块，用于提取所述内容图像输入所述生成器，以通过所述生成器将所述风格动量累积量注入所述内容图像中获得风格迁移后的输出图像；

判别器训练模块，用于将所述内容图像和所述输出图像输入所述判别器进行训练得到判定值；

网络参数调整模块，用于根据所述判定值、所述输出图像、所述内容图像和所述风格图像对所述生成器和所述判别器的网络参数进行调整。

第四方面，本发明实施例提供了一种图像风格迁移装置，包括：

原图像和目标图像获取模块，用于获取包含第一人脸的原图像和包含第二人脸的目标图像；

图像换脸模块，用于将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到采用所述第二人脸替换所述第一人脸后所述原图像的换脸图像；

其中，所述生成器通过本发明任一实施例所述的生成对抗网络训练方法所训练。

第五方面，本发明实施例提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的生成对抗网络训练方法，和/或，图像风格迁移方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例所述的生成对抗网络训练方法，和/或，图像风格迁移方法。

本发明实施例中，生成器设置有风格动量累积量，通过提取同一风格的风格图像输入训练好的风格特征提取网络中来更新风格动量累积量，生成器只需要输入内容图像即可以得到风格迁移后的输出图像，然后根据判别器对输出图像的判定值、输出图像、内容图像和风格图像来调整生成器和判别器的网络参数，训练结束后最终的风格动量累积量可以包含该风格的风格信息，一方面，风格图像输入训练好的风格特征网络来更新生成器的风格动量累积量，内容图像输入生成器来训练生成器，实现了内容和风格的解耦，生成器更专注于将风格动量累积量注入内容图中来学习风格，在生成器中更容易对内容和风格进行约束，使得风格迁移后的图像既能保持内容图像的内容，又能学习到风格图像的风格，提高了风格化效果，另一方面，无需获取大量内容图像风格化后的图像作为标签进行监督训练，训练时获取内容图像和同一风格的多张任意风格图像即可，降低了获取训练数据的难度，容易获得训练数据。

附图说明

图1是本发明实施例一提供的一种生成对抗网络训练方法的步骤流程图；

图2a是本发明实施例二提供的一种生成对抗网络训练方法的步骤流程图；

图2b是本发明实施例的各个网络的示意图；

图3是本发明实施例三提供的一种图像风格迁移方法的步骤流程图；

图4是本发明实施例四提供的一种生成对抗网络训练装置的结构框图；

图5是本发明实施例五提供的一种图像风格迁移装置的结构框图；

图6是本发明实施例六提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。

实施例一

图1为本发明实施例一提供的一种生成对抗网络训练方法的步骤流程图，本发明实施例可适用于训练生成对抗网络，以通过训练好的生成对抗网络的生成器对图像进行风格迁移的情况，该方法可以由本发明实施例的生成对抗网络训练装置来执行，该生成对抗网络训练装置可以由硬件或软件来实现，并集成在本发明实施例所提供的电子设备中，具体地，如图1所示，本发明实施例的生成对抗网络训练方法可以包括如下步骤：

s101、获取多张内容图像和同一风格的多张风格图像。

内容图像可以是待编辑图像风格的图像，风格图像可以是指定风格的图像，其中，图像的风格可以是漫画风格、武侠风格、艺术风格等，而每种风格下还可以进一步细分，在获取训练数据时，可以获取任意多张图像作为内容图像，然后获取同一种风格的任意多张图像作为风格图像。本发明实施例训练生成对抗网络的目的，是通过生成器将风格图像的风格迁移到内容图像上得到风格迁移后的图像，使得风格迁移后的图像既能保持内容图像的内容，又具有风格图像的风格。

s102、初始化生成对抗网络的生成器和判别器的网络参数，以及初始化所述生成器的风格动量累积量。

本发明实施例中，生成对抗网络(generativeadversarialnetworks，gans)包括生成器(generator)和判别器(discriminator)，生成器用于输入数据后生成新图像，判别器用于判别新图像是否真实的概率。在本发明实施例中，生成器和判别器可以是神经网络，则可以初始化生成对抗网络的生成器和判别器的网络参数，此外，生成器还可以设置有风格动量累积量，该风格动量累积量包含了指定风格的风格信息，生成器用于将风格动量累积量注入到内容图像中得到内容图像风格迁移后的图像。

在本发明的可选实施例中，生成器可以包括编码网络、解码网络和残差网络，其中，残差网络可以是预先训练好的网络，初始化生成器可以是初始化生成器的编码网络和解码网络的网络参数，以及初始化生成器的风格动量累积量。

s103、提取所述风格图像输入预先训练好的风格特征提取网络中得到风格特征。

具体地，可以预先训练好风格特征提取网络，该风格特征提取网络可以提取任意风格图像的风格特征，在对生成器和判别器的每轮迭代训练时，可以从同一风格的多张风格图像中随机提取一张风格图像，将该风格图像输入风格特征提取网络中提取风格特征。

s104、根据所述风格特征更新所述风格动量累积量。

在本发明的一个示例中，风格特征提取网络可以包括一个下采样卷积神经网络、全局池化层和全连接层，风格图像经过下采样卷积神经网络和全局池化层后得到全局特征，该全局特征经过全连接层后得到风格隐含变量，该风格隐含变量包含了风格图像的风格信息，可以通过该风格隐含变量对生成器的初始化的风格动量累积量进行更新。

s105、提取所述内容图像输入所述生成器，以通过所述生成器将所述风格动量累积量注入所述内容图像中获得风格迁移后的输出图像。

在本发明实施例中，生成器可以包括编码网络、解码网络和残差网络，在生成器中，可以通过编码网络从内容图像提取内容特征图，并采用残差网络将风格动量累积量注入内容特征图中生成风格迁移特征图，以及在解码网络中对风格迁移特征图进行解码，得到风格迁移化后的输出图像，其中，内容特征图可以是表达内容图像中的目标的姿态、结构等属性的特征图，例如，内容图像包含人脸，内容特征图可以是表达内容图像中人脸的姿态、人脸结构(如关键点)、人脸表情等属性的特征图。

s106、将所述内容图像和所述输出图像输入所述判别器进行训练得到所述输出图像的判定值。

在对抗生成网络的训练过程中，生成器的目的是尽量生成真实的图像去欺骗判别器，判别器的目的把生成器生成的图像和真实的图像区分，通过交替训练生成器和判别器，使得训练生成器和判别器构成动态的“博弈过程”，最终训练好的生成器生成的图像足以“以假乱真”，即无限接近真实的图像。具体到本发明实施例中，将内容图像和输出图像输入判别器来训练判别器，每次输入后均获得输出图像的判定值，其中，判定值可以是输出图像属于真实图像的概率。

s107、根据所述判定值、所述输出图像、所述内容图像和所述风格图像对所述生成器和所述判别器的网络参数进行调整。

在本发明的可选实施例中，可以根据判定值、输出图像、内容图像和风格图像计算总损失，具体地，可以计算内容图像和输出图像的结构损失，计算内容图像和输出图像的内容损失，以及计算风格图像和输出图像的风格损失，对风格图像进行模糊处理得到模糊处理后的风格图像，将风格图像、模糊处理后的风格图像输入判别器得到风格图像的判定值、模糊处理后的风格图像的判定值，计算输出图像的判定值、风格图像的判定值、模糊处理后的风格图像的判定值的平方和得到对抗损失，计算风格图像和输出图像的边缘损失，对结构损失、内容损失、风格损失、对抗损失以及边缘损失计算和值得到总损失。

每轮迭代训练结束后，在总损失小于预设值时停止对生成器和判别器进行训练，否则，根据总损失调整判别器和生成器的网络参数，然后开始新一轮的训练迭代更新直到总损失小于预设值为止，停止训练后得到对抗生成网络，在调整网络参数时，可以根据总损失求梯度以对生成器的编码网络和解码网络的网络参数进行调整，以及根据对抗损失求梯度以对判别器的网络参数进行调整。在停止训练后，将任意内容图像输入对抗生成网络的生成器后，生成器自动将风格动量累积量注入到内容图像得到内容图像风格迁移后的图像。

在实际应用中，生成器的网络结构可以相同，可以针对每种风格迁移需求训练一个生成器，并保存生成器的网络参数和该风格的风格动量累积量，当用户需要将内容图像风格化时，选择风格相应的生成器的网络参数和风格动量累积量。

本发明实施例中的生成器设置有风格动量累积量，通过提取同一风格的风格图像输入训练好的风格特征提取网络中来更新风格动量累积量，生成器只需要输入内容图像即可以得到风格迁移后的输出图像，然后根据判别器对输出图像的判定值、输出图像、内容图像和风格图像来调整生成器和判别器的网络参数，训练结束后最终的风格动量累积量可以包含该风格的风格信息，一方面，风格图像输入训练好的风格特征网络来更新生成器的风格动量累积量，内容图像输入生成器来训练生成器，实现了内容和风格的解耦，生成器更专注于将风格动量累积量注入内容图中来学习风格，在生成器中更容易对内容和风格进行约束，使得风格迁移后的图像既能保持内容图像的内容，又能学习到风格图像的风格，提高了风格化效果，另一方面，无需获取大量内容图像风格化后的图像作为标签进行监督训练，训练时获取内容图像和同一风格的多张任意风格图像即可，降低了获取训练数据的难度，容易获得训练数据。

实施例二

图2a为本发明实施例二提供的一种生成对抗网络训练方法的步骤流程图，本发明实施例在前述实施例一的基础上进行优化，具体地，如图2a所示，本发明实施例的生成对抗网络训练方法可以包括如下步骤：

s201、获取多张内容图像和同一风格的多张风格图像。

在本发明实施例中，内容图像可以是待编辑图像风格的图像，风格图像可以是具有某一风格的图像，其中，图像的风格可以是漫画风格、武侠风格、艺术风格等，而每种风格下还可以进一步细分，在获取训练数据时，可以获取任意多张图像作为内容图像，然后获取同一种风格的任意多张图像作为风格图像。在每轮训练时，可随机提取一张内容图像和一张风格图像作为训练样本来训练生成对抗网络。

s202、初始化生成对抗网络的判别器的网络参数，初始化所述生成器的风格动量累积量、编码网络和解码网络的网络参数，以及获取训练好的用于所述生成器中的残差网络。

本发明实施例中，生成对抗网络包括判别器和生成器，生成器可以包括编码网络、解码网络和残差网络，其中，残差网络可以是预先训练好的各种神经网络。本发明实施例所指的初始化可以是初始化判别器的网络参数、初始化生成器的编码网络和解码网络的网络参数，以及初始化生成器的风格动量累积量，该风格动量累积量包含了指定风格的风格信息，风格动量累积量在生成器中用于注入到内容图像中得到内容图像风格迁移后的图像。

具体地，初始化可以是构建判别器、编码网络和解码网络的网络结构，并设置网络结构的网络参数。在本发明实施例中，判别器、编码网络和解码网络可以是各种神经网络。

如图2b所示为本发明实施例中各个网络的示意图，在图2b中，生成器30包括编码网络301、解码网络302、残差网络303、风格累积模块304、转换模块305，其中编码网络301和解码网络302可以是对称的卷积神经网络和反卷积神经网络，残差网络303连接在编码网络301和解码网络302之间，风格特征提取网络40包括下采样卷积层401、全局池化层402、全连接层403，风格累积模块304用来根据风格特征提取网络40输出的风格特征60更新风格动量累积量，转换模块305用于将风格动量累积量转换为均值和方差，残差网络303用于将均值和方差注入内容特征50中。

s203、提取所述风格图像输入预先训练好的风格特征提取网络中得到风格特征。

如图2b所示，本发明实施例的一个示例中，预先训练好的风格特征提取网络40可以是卷积神经网络cnn、循环神经网络rnn、深度神经网络dnn等，风格特征提取网络40包括下采样卷积层401、全局池化层402、全连接层403，可以从同一风格的多张风格图像中随机提取一张风格图像20输入风格特征提取网络40，风格图像20经过下采样卷积层401、全局池化层402、全连接层403后输出风格特征60。

s204、根据所述风格特征更新所述风格动量累积量。

在本发明的可选实施例中，可以将风格特征转换为风格隐含变量，然后根据预设衰减系数和风格隐含变量更新风格动量累积量，具体地，如图2b所示，风格特征60可以是风格隐含变量，该风格隐含变量包含了风格图像的风格信息，风格累积模块304维护一个风格动量累积量，当风格特征提取网络40输出风格隐含变量时，可以通过以下公式更新风格动量累积量：

xacc＝decay×xacc+(1-decay)×x

上述公式中，xacc为风格动量累积量，decay衰减系数，取值可以是0.999，x为风格隐含变量，风格动量累积量xacc是训练时的非训练参数，生成对抗网络训练结束后当作生成器的一个参数保存，在应用生成器对内容图像进行风格迁移时，风格累积模块304直接返回风格动量累积量xacc，xacc包含了训练中学习到的某种风格的风格信息，可以直接作用在内容图像的内容特征图上，在训练结束后应用生成器时无需提供风格图像来对内容图像进行风格迁移，避免了对风格图像提取风格特征，节省了生成器的计算时间，提高了图像风格迁移的效率。

s205、采用所述编码网络对所述内容图像进行编码处理得到所述内容图像的内容特征图。

在本发明实施例中，可以先对内容图像进行预处理，获得预处理后的内容图像，再将预处理后的内容图像输入编码网络的得到内容特征图，其中，预处理包括调整图像尺寸。

示例性地，如图2b所示，编码网络301可以是一个包括多个下采样卷积层的网络，在将内容图像10裁剪为指定大小尺寸的图像后，将裁剪后的内容图像输入到编码网络301的下采样卷积层，每层下采样卷积层对裁剪后的内容图像进行采样编码处理输出下采样特征图，并将该下采样特征图输入到下一下采样卷积层中，编码网络301最后一层下采样卷积层输出的下采样特征图即为内容特征图fh×w×d，h和w分别为内容特征图的高和宽，d为通道数，如图2b所示，编码网络301最终输出内容特征图50。

s206、将所述内容特征图和所述风格动量累积量输入所述残差网络中得到风格迁移特征图。

在本发明的可选实施例中，可以对风格动量累积量进行转换，获得风格动量累积量的均值和方差，将风格动量累积量的均值和方差以及内容特征图输入残差网络中，以通过残差网络将风格动量累积量迁移到内容特征图上得到风格迁移特征图。

如图2b所示，风格累积模块304输出的风格动量累积量可以经过一个转换模块305(多层感知机)后输出风格动量累积量的均值μ和方差σ，风格动量累积量的均值μ和方差σ以及内容特征图50一起输入到残差网络303中得到风格迁移特征图。

在本发明的可选实施例中，残差网络可以是自适应实例归一化的残差网络(adainresblk)，残差网络可以将一个风格图像描述成风格特征图的均值、方差，通过改变内容图像的内容特征图的均值、方差，从而实现风格注入，以x表示内容特征图，y表示风格图像，则残差网络的公式为：

上述公式中，μ，σ为需要注入的风格特征图的均值和方差，具体到本发明实施例中，x为内容特征，y为风格特征，adain(x，y)为风格迁移特征图。

本发明实施例通过残差网络可以将风格图像的风格特征注入到内容图像的内容特征图中，从而采用风格图像的风格替换掉内容图像的风格，能够保留内容图像中目标的姿态、结构等内容信息，实现内容图像的内容特征和风格图像的风格特征的结合。

s207、采用所述解码网络对所述风格迁移特征图进行解码得到输出图像。

具体地，如图2b所示，解码网络302可以是一个上采样卷积神经网络，残差网络303输出风格迁移特征图后输入到解码网络302中进行上采样，最终得到尺寸与内容图像10相同的输出图像，该输出图像40保持了内容图像10的内容，又具备风格图像20的风格，如图2b所示，输出图像40中的人物为内容图像10中的人物，该人物的身份、姿态、表情等内容均不变，风格为风格图像20中的风格。

s208、将所述内容图像和所述输出图像输入所述判别器进行训练得到所述输出图像的判定值。

本发明实施例对生成器和判别器交替训练，先训练生成器得到输出图像，然后采用输出图像和内容图像训练判别器，然后训练生成器，如此交替训练生成对抗网络，其中，训练一次生成器和一次判别器为一轮训练，每轮训练后生成器生成一个输出图像，判别器对该输出图像进行判别得到判定值，该判定值可以是输出图像属于真实图像的概率。

s209、根据所述输出图像的判定值、所述输出图像、所述内容图像和所述风格图像计算总损失。

在本发明实施例中，总损失可以是结构损失、内容损失、风格损失、对抗损失和边缘损失的和值，则可以通过以下子步骤计算总损失：

s2091、计算所述内容图像和所述输出图像的结构损失。

可选地，可以将内容图像和输出图像依次输入预先训练好的图像结构特征提取网络中，得到内容图像的结构特征和输出图像的结构特征，计算内容图像的结构特征和输出图像的结构特征的距离得到结构损失，其中，图像的结构特征可以是图像中目标的关键点的特征，例如，目标为人物，则结构特征可以是人物脸部关键点、手部关键点等可以表达人物身份、姿态等特征，可以将输出图像out_img和内容图像source_img分别输入预先训练好的图像结构特征提取网络vgg中，得到输出图像out_img的结构特征featvggout和内容图像source_img的结构特征featvggsrc，具体可以通过以下公式计算结构损失：

percp_loss＝||featvggout-featvggsrc||2

本发明实施例通过计算结构损失来对生成器的训练进行约束，使得生成器输出的风格迁移后的输出图像和内容图像的结构相似，从而使得输出图像更好地保持内容图像中目标的结构、姿态等内容。

s2092、计算所述内容图像和所述输出图像的内容损失，以及计算所述风格图像和所述输出图像的风格损失。

可选地，可以将内容图像和输出图像依次输入生成器的编码网络中，得到内容图像的内容特征和输出图像的内容特征，计算内容图像的内容特征和输出图像的内容特征的距离得到内容损失，具体计算公式如下：

上述公式中，content_loss为内容损失，featcontent为内容图像的内容特征，为输出图像的内容特征。

对于风格损失，将风格图像和输出图像依次输入风格特征提取网络中，得到风格图像的风格特征和输出图像的风格特征，计算风格图像的风格特征和输出图像的风格特征的距离得到风格损失，具体计算公式如下：

上述公式中，style_loss为风格损失，featstyle为风格图像的风格特征，为输出图像的风格特征。

本发明实施例通过计算内容损失和风格损失来对生成器进行约束，使得输出图像既能完好地保持内容图像的内容，又能更好地保持风格图像的风格。

s2093、对所述风格图像进行模糊处理得到模糊处理后的风格图像。

本发明实施例中，可以对风格图像进行高斯模糊处理，得到高斯模糊处理后的风格图像，通过对风格图像进行高斯模糊处理，可以使得生成器更好地学习风格图像中的线条信息。

s2094、将所述风格图像、所述模糊处理后的风格图像输入所述判别器得到所述风格图像的判定值、所述模糊处理后的风格图像的判定值。

设g为生成器，d为判别器，风格图像的判定值为(d(imgstyle)-1)²，糊处理后的风格图像的判定值为d(gaussianblur(imgstyle))²，其中，imgstyle为风格图像，gaussianblur(imgstyle)为高斯模糊处理后的风格图像。

s2095、计算所述输出图像的判定值、所述风格图像的判定值、所述模糊处理后的风格图像的判定值的平方和得到对抗损失。

具体如下公式所示：

gan_loss＝(d(imgstyle)-1)²+d(g(imgstyle，imgcontent))²+d(gaussianblur(imgstylε))²上述公式中，gan_loss为对抗损失，d(g(imgstyle，imgcontent))²为输出图像的判定值，通过对抗损失约束生成器和判别器的训练，使得生成器更好地学习图像风格，生成的输出图像获得更好的风格效果。

s2096、计算所述风格图像和所述输出图像的边缘损失。

具体地，可以将风格图像和输出图像依次输入边缘提取模型中，得到风格图像的边缘特征和输出图像的边缘特征，计算风格图像的边缘特征和输出图像的边缘特征的距离得到边缘损失，具体计算公式如下：

edge_loss＝||edgenet(imgstyle)-edgenet(g(imgstyle，imgcontent))||2上述公式中，edgenet(imgstyle)为风格图像的边缘特征，edgenet(g(imgstyle，imgcontent))为输出图像的边缘特征，本发明实施例通过边缘损失来约束生成器，使得生成器输出的风格迁移后的图像的主干边缘感更强烈清晰，同时能够消除非主干线条带来的影响，提高风格迁移效果。

s2097、对所述结构损失、所述内容损失、所述风格损失、所述对抗损失以及所述边缘损失计算和值得到总损失。

具体地，总损失可以是结构损失、内容损失、风格损失、对抗损失和边缘损失的和值，如下公式：

total_loss＝perp_loss+contet_loss+style_loss+gan_loss+edgeloss

当然，在实际应用中，还可以为结构损失、内容损失、风格损失、对抗损失和边缘损失设置权重，计算权重和损失的乘积得到各个损失的权值，求权值和作为总损失，本领域技术人员还可以通过计算各个损失的加权平均值等来作为总损失，本发明实施例对计算总损失的方式不加以限制。

s210、判断所述总损失是否小于预设阈值。

可选地，在一轮交替训练结束后计算得到总损失，判断总损失是否小于预设阈值，如果总损失小于预设阈值，说明生成器的精度足够高，生成器生成的输出图像足以欺骗过判别器，可以停止对生成器和判别器进行训练，执行s211，如果总损失大于预设阈值，说明生成器的精度不足，判别器仍然可以识别出生成器生成的输出图像的真假，则可以执行s212，根据对抗损失调整判别器的参数，以及根据总损失调整生成器中编码网络和解码网络的参数。

s211、停止对所述生成器和所述判别器进行训练。

即停止训练生成器和判别器，保存生成器的编码网络和解码网络的网络参数，以及保存生成器中风格累积模块输出的风格动量累积量。

s212、根据对抗损失调整判别器的参数，以及根据总损失调整生成器中编码网络和解码网络的参数。

具体地，对判别器、编码网络和解码网络的参数进行调整，可以是通过梯度下降算法对参数进行更新，其中，梯度下降算法可以是随机梯度下降法sgd或者其他梯度下降法，本发明实施例对梯度算法和对参数调整更新的方法不加以限制。

本发明实施例获取多张内容图像和同一风格的多张风格图像，初始化生成对抗网络的判别器的网络参数，初始化生成器的风格动量累积量、编码网络和解码网络的网络参数，以及获取训练好的用于生成器中的残差网络后，提取风格图像输入预先训练好的风格特征提取网络中得到风格特征，根据风格特征更新风格动量累积量，采用编码网络对内容图像进行编码处理得到内容图像的内容特征图，将内容特征图和风格动量累积量输入残差网络中得到风格迁移特征图，采用解码网络对风格迁移特征图进行解码得到输出图像。一方面，风格图像输入训练好的风格特征网络来更新生成器的风格动量累积量，内容图像输入生成器来训练生成器，实现了内容和风格的解耦，生成器更专注于将风格动量累积量注入内容图中的内容特征中来学习风格，在生成器中更容易对内容和风格进行约束，使得风格迁移后的图像既能保持内容图像的内容，又能学习到风格图像的风格，另一方面，无需获取大量训练用内容图像风格化后的图像作为标签进行监督训练，获取内容图像和同一风格的多张任意风格图像即可，容易获取训练数据。

总损失包括结构损失、内容损失、风格损失、对抗损失和边缘损失，通过总损失来调整生成器的网络参数，使得风格迁移化后的输出图像具有真实感的风格效果，并且能够保持内容图像的内容。

实施例三

图3为本发明实施例三提供的一种图像风格迁移方法的步骤流程图，本发明实施例可适用于改变图像风格的情况，该方法可以由本发明实施例的图像风格迁移装置来执行，该图像风格迁移装置可以由硬件或软件来实现，并集成在本发明实施例所提供的电子设备中，具体地，如图3所示，本发明实施例的图像风格迁移方法可以包括如下步骤：

s301、获取待处理图像。

本发明实施例中，待处理图像可以是待改变图像风格的图像，该图像可以是任意图像，在一个应用场景中，内容图像可以是用户的自拍图像，当然，内容图像还可以是其他应用场景中的图像，例如，可以是即时通讯应用程序中用户的头像、短视频中的图像等等。

s302、响应用户选择的图像风格确定生成器，所述生成器用于将所述用户选择的图像风格迁移到所述待处理图像。

在本发明实施例中，可以提供一交互界面，该交互界面中提供用户确定内容图像和选择图像风格，用户可以在交互界面中指定内容图像和选择图像风格，示例性地，交互界面可以提供内容图像上传操作，用户可以在交互界面中上传内容图像，例如交互界面提示用户上传内容图像，当然，还可以通过其他交互操作获取用户指定的内容图像，本发明实施例对此不加以限制。

同时，在交互界面提供多种图像风格供用户选择，当用户确定图像风格后，可以获取生成器的网络参数和用户选择的图像风格对应的风格动量累积量，其中，生成器的网络参数和用户选择的图像风格对应的风格动量累积量可以通过本发明实施例一或实施例二的生成对抗网络训练方法所获取，详情可参考实施例一或实施例二，在此不再详述。

s303、将所述待处理图像输入所述生成器中得到风格迁移后的图像。

具体地，将待处理图像输入生成器，在生成器中编码网络对待处理图像提取内容特征，残差网络将用户选择的图像风格对应的风格动量累积量的均值和方差注入内容特征得到风格迁移特征，解码网络对风格迁移特征解码得到尺寸与待处理图像相同的风格迁移后的图像。

本发明实施例的图像风格迁移方法，能够响应用户选择的图像风格确定相应的生成器，该生成器能够将用户选择的风格迁移到内容图像，无需用户选择风格图像，避免了对风格图像提取风格特征，节省了生成器的计算时间，提高了图像风格迁移的效率。

本发明实施例的生成器设置有风格动量累积量，在训练过程中每次对生成对抗网络迭代时，通过提取同一风格的风格图像输入训练好的风格特征提取网络中来更新风格动量累积量，生成器只需要输入内容图像既可以得到风格迁移后的输出图像，然后根据判别器对输出图像的判定值、输出图像、内容图像和风格图像来调整生成器和判别器的网络参数，使得最终的风格动量累积量可以包含该风格的风格特征，一方面，风格图像输入训练好的风格特征网络来更新生成器的风格动量累积量，内容图像输入生成器来训练生成器，实现了内容和风格的解耦，生成器更专注于将风格动量累积量注入内容图中的内容特征中来学习风格，在生成器中更容易对内容和风格进行约束，使得风格迁移后的图像既能保持内容图像的内容，又能学习到风格图像的风格，另一方面，无需获取大量训练用内容图像风格化后的图像作为标签进行监督训练，获取内容图像和同一风格的多张任意风格图像即可，训练数据容易获取。

实施例四

图4是本发明实施例四提供的一种生成对抗网络训练装置的结构框图，如图4所示，本发明实施例的生成对抗网络训练装置具体可以包括如下模块：

训练数据获取模块401，用于获取多张内容图像和同一风格的多张风格图像；

初始化模块402，用于初始化生成对抗网络的生成器和判别器的网络参数，以及初始化所述生成器的风格动量累积量；

风格特征提取模块403，用于提取所述风格图像输入预先训练好的风格特征提取网络中得到风格特征；

风格动量累积量更新模块404，用于根据所述风格特征更新所述风格动量累积量；

生成器训练模块405，用于提取所述内容图像输入所述生成器，以通过所述生成器将所述风格动量累积量注入所述内容图像中获得风格迁移后的输出图像；

判别器训练模块406，用于将所述内容图像和所述输出图像输入所述判别器进行训练得到判定值；

网络参数调整模块407，用于根据所述判定值、所述输出图像、所述内容图像和所述风格图像对所述生成器和所述判别器的网络参数进行调整。

本发明实施例所提供的生成对抗网络训练装置可执行本发明实施例一、实施例二所提供的生成对抗网络训练方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5是本发明实施例五提供的一种图像风格迁移装置的结构框图，如图5所示，本发明实施例的图像风格迁移装置具体可以包括如下模块：

待处理图像获取模块501，用于获取待处理图像；

生成器确定模块502，用于响应用户选择的图像风格确定生成器，所述生成器用于将所述用户选择的图像风格迁移到所述待处理图像；

风格迁移模块503，用于将所述待处理图像输入所述生成器中得到风格迁移后的图像；

其中，所述生成器通过权利要求1-10任一项所述的生成对抗网络训练方法所训练。

本发明实施例所提供的图像风格迁移装置可执行本发明实施例三所提供的图像风格迁移方法，具备执行方法相应的功能模块和有益效果。

实施例六

参照图6，示出了本发明一个示例中的一种电子设备的结构示意图。如图6所示，该电子设备具体可以包括：处理器601、存储装置602、具有触摸功能的显示屏603、输入装置604、输出装置605以及通信装置606。该设备中处理器601的数量可以是一个或者多个，图6中以一个处理器601为例。该设备的处理器601、存储装置602、显示屏603、输入装置604、输出装置605以及通信装置606可以通过总线或者其他方式连接，图6中以通过总线连接为例。所述设备用于执行如本发明任一实施例提供的生成对抗网络训练方法，和/或，图像风格迁移方法。

本发明实施例还提供一种计算机可读存储介质，所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述方法实施例所述的生成对抗网络训练方法，和/或，图像风格迁移方法。

需要说明的是，对于装置、电子设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变换、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。