一种图像动漫化处理方法、装置、智能设备和存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种图像动漫化处理方法、装置、智能设备和存储介质。


背景技术：

2.图像动漫化是指将真实图像(如照片)转换成动漫图像，当前实现了基于计算机自动将真实图像转换为动漫图像，具体采用训练完成的模型实现整个图像的动漫化，即训练用于图像动漫化的模型，并通过模型对原始图像进行处理得到动漫化的图像。如何更好地利用模型来对图像进行动漫化处理成为研究的热点问题。


技术实现要素：

3.本发明实施例提供了一种图像动漫化处理方法、装置、智能设备和存储介质，可结合不同图像区域的掩膜、图像特征以及风格特征得到更好的动漫化效果。
4.一方面，本发明实施例提供了一种图像动漫化处理方法，所述方法包括：
5.获取等待进行动漫化处理的目标图像；
6.对所述目标图像进行分割处理，并根据分割处理结果确定参考掩膜，其中，所述目标图像进行分割处理后至少得到第一区域和第二区域，在参考掩膜上所述第一区域和第二区域的掩膜值不相同；
7.通过编码网络确定所述目标图像的编码特征；
8.通过解码网络对所述编码网络确定的编码特征、所述参考掩膜和已确定的动漫风格向量进行处理，得到所述目标图像对应的动漫化图像。
9.一方面，本发明实施例提供了一种图像动漫化处理装置，所述装置包括：
10.获取模块，用于获取等待进行动漫化处理的目标图像；
11.处理模块，用于对所述目标图像进行分割处理；
12.确定模块，用于根据分割处理结果确定参考掩膜，其中，所述目标图像进行分割处理后至少得到第一区域和第二区域，在参考掩膜上所述第一区域和第二区域的掩膜值不相同；
13.所述确定模块，还用于通过编码网络确定所述目标图像的编码特征；
14.所述确定模块，还用于通过解码网络对所述编码网络确定的编码特征、所述参考掩膜和已确定的动漫风格向量进行处理，得到所述目标图像对应的动漫化图像。
15.一方面，本发明实施例提供了一种智能设备，该智能设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器运行所述计算机程序，用于实现上述提及的图像动漫化处理方法。
16.一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行所述图像动漫化处理方法。
17.本发明实施例中，智能设备获取等待进行动漫化处理的目标图像，对目标图像进行分割处理后可以确定不同掩膜值的参考掩膜，并设置了两个模型，通过编码网络确定目标图像的编码特征即图像本身的特征；再通过解码网络对所述编码网络确定的编码特征、参考掩膜和已确定的动漫风格向量进行处理，进而可以得到不同区域具有不同动漫效果、且对应相应的动漫风格，使得图像动漫化的效果更丰富。
附图说明
18.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1a是本发明实施例提供的一种图像动漫化处理的模型结构示意图；
20.图1b是本发明实施例的关于生成器的模型结构示意图；
21.图2是本发明实施例提供的另一种图像动漫化处理方法的流程示意图；
22.图3是本发明实施例提供的又一种图像动漫化流程处理方法的示意图；
23.图4是本发明实施例提供的一种图像动漫化结果示意图；
24.图5是本发明实施例提供的一种模型训练方法流程示意图；
25.图6是本发明实施例提供的一种模型训练时的网络结构示意图；
26.图7是本发明实施例提供的另一种模型训练时的网络结构示意图；
27.图8是本发明实施例提供的一种图像动漫化场景示意图；
28.图9是本发明实施例提供的一种图像动漫化处理装置的结构示意图；
29.图10是本发明实施例提供的一种智能设备的结构示意图。
具体实施方式
30.本方案涉及的计算机技术领域具体包括人工智能技术领域，其中，人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向，本方案具体为深度学习在图像解析领域的应用。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.图像动漫化是指将指将真实图像(如照片)转换成动漫图像，在一些应用场景中，可以仅仅对图像的部分区域发生较大动漫化形变，而其他区域不做大的变化，如可以在人
像动漫化场景中，将人脸区域进行较大的动漫化形变处理，而人物的其他部位和背景在内容上保持一致或者进行轻微的动漫化形变处理，或者仅仅进行风格变化(保持相同的动漫化风格，避免给用户突兀的感官体验)，人物的脸部表情也保持一致。本技术针对以上应用场景或者其他应用场景，提出了通过计算机自动生成动漫化图像的方法，可以基于深度学习等方式构建的模型以及图像分割算法，再加入动漫风格向量，能够生成动漫化效果较好的动漫化图像。
32.使用模型来做图像的动漫化处理，可分为两种方式，一种是有监督的方式，一种是无监督的方式。使用有监督的方式来训练模型生成动漫图像可以在实际应用的时候非常方便，在训练模型过程中通过大量的配对样本(即原始图像和对应风格的动漫图)来训练得到模型。而使用无监督的方式则相对会简单，只需要搜集真实图像和特定风格的动漫图像，不需要两者有配对关系，套入相应的训练框架训练即可。
33.本方案提出的图像动漫化处理方法属于深度学习范畴下的无监督训练方案，获取样本很容易且成本很低，在模型的结构上，通过引入语意分割的掩膜(mask)来控制生成器中各级特征的融合，在训练过程中加入基于多个损失函数对图像进行约束，本方案得到的生成器可以在图像的动漫化的任务中生成高质量的动漫化图像，既能够根据指定的风格在特定区域(如脸部区域)完成很大的形变生成美观的动漫化区域，又能够维持住原始图像中其他的区域中内容不发生较大改变，使得转换后的得到的动漫化图像协调自然，并且和原图在内容上保持高度一致性。
34.本方案中图像动漫化过程具体可以由智能设备中的生成器进行执行，生成器中包括了编码网络和解码网络，即生成器为编码器-解码器结构。如图1a所示，为本发明实施例提供的一种图像动漫化处理的模型结构示意图，图1a中，在此模型结构下进行的动漫化处理流程包括：
①
获取目标图像，具体为获取到等待进行动漫化处理的目标图像。
②
对目标图像进行分割处理，得到目标图像的参考掩膜，具体可以通过训练完成的分割模型对目标图像进行分割处理，得到目标图像的参考掩膜，其中，目标图像进行分割处理后至少得到第一区域和第二区域，在参考掩膜上第一区域和第二区域的掩膜值不相同，当然还可以等到更多的区域，比如第三区域、第四区域等等，在本发明实施例中，第一区域例如可以是人脸图像区域，第二区域例如可以是除人脸以外的图像区域，掩膜值不同的参考掩膜用于使得人脸图像区域的动漫化程度与非人脸以外的图像区域的动漫化程度存在差异。
③
通过生成器中编码网络对图像进行处理，得到目标图像的编码特征。
④
通过解码网络对编码网络确定的编码特征、参考掩膜和已确定的动漫风格向量进行处理，得到目标图像对应的动漫化图像。
35.编码网络和解码网络可以为对称结构，即编码网络的第i层的特征和解码网络的倒数第i层的特征的空间尺寸是相同的。如图1b所示，为本发明实施例提供的一种生成器的结构示意图，图1b中，生成器中包括编码网络和解码网络，编码网络和解码网络为对称结构，即编码网络的第i层的特征和解码网络的倒数第i层的特征之间的空间尺寸是相同的，例如，在图像处理过程中，网络提取的特征的维度一般是c*h*w，其中c表示特征的通道数，h表示特征的高，w表示特征的宽，那么，编码网络的第1层的特征为64
×
128
×
128的特征，则解码网络的倒数第1层的特征也为64
×
128
×
128的特征，在对加权编码特征和初始解码特征进行融合的过程中，即可将加权编码特征中第1层64
×
128
×
128的特征与初始解码特征
中倒数第1层64
×
128
×
128的特征进行融合。通过解码网络将加权编码特征中第i层特征和初始解码特征中倒数第i层特征对应融合的方式，实现对于加权编码特征和初始解码特征的融合处理。在解码网络中，通过插入动漫风格向量(style code)来控制生成图像的风格，动漫风格向量通过可变实例归一化操作(adaptive instance normalization)插入。具体实现中，解码网络还接收对目标图像进行分割处理后得到的参考掩膜，用于控制融合不同层级的特征。
36.上述方案中，相较于当前的对于图像动漫化的方案，本方案具有以下优点，(1)对图像中不同区域做不同程度的动漫化处理，具体的，基于图像分割技术确定图像的掩膜之后，将掩膜添加至模型中进行运算，实现对于图像中不同区域进行不同的动漫化处理。(2)训练过程简单，本方案准备样本的过程中不需要样本间有配对关系，套入相应的训练框架即可完成模型的训练。(3)动漫化处理结果与原图相似度高，本方案基于掩膜值实现了对图像中部分区域做较大程度的动漫化，而部分区域基本保持不变，只是基于动漫化区域做了一些协调性的动漫化改动，使得动漫化处理结果与原图相似度较高。
37.请参见图2，是本发明实施例提供的一种图像动漫化的流程示意图。本发明实施例的所述方法可以由一个用于图像动漫化处理的智能设备来执行，智能设备可以为服务器或者终端，终端包括智能手机、平板电脑、数字音视频播放器、电子阅读器等，该智能设备中部署有生成器，在生成器中包括编码网络和解码网络，智能设备基于该生成器对图像进行动漫化处理，该图像动漫化处理方法可以包括以下步骤。
38.s201、获取等待进行动漫化处理的目标图像。本发明实施例中，等待进行动漫化处理的目标图像可以为真实图像，如照片、视频截图等，在人像动漫化场景中，目标图像可以为人物图像，即包含人物区域的真实图像，具体可以为人物照片、视频中的人物截图等。
39.在一种实施方式中，智能设备具体可以为服务器，则智能设备接收终端在线发送的目标图像，该目标图像可以是由用户在终端的指定页面中上传并由终端获取得到的。其中，该指定页面可以为是终端提供的图像动漫化的交互页面，例如是一个用于上传需要动漫化图像的网站页面。用户可以从终端的图库中选择图像上传至该页面，终端检测到用户的上传操作后会将用户上传的图像发送至智能设备，智能设备采集到终端发送的图像，作为等待进行动漫化处理的目标图像。可以理解的是，如果终端仅上传一张图像，那么该等待进行动漫化处理的目标图像即是用户上传的图像；如果终端上传了多张图像，那么等待进行动漫化处理的目标图像是多张图像中的任意一个。
40.在一种实施方式中，智能设备从图库中离线采集到等待进行动漫化处理的目标图像，其中，图库中保存了至少一张需要动漫化的图像，图库中的图像可以由用户通过终端上传，或者，从拍摄装置获取到的视频中自动截取。需要说明的是，在人像动漫化场景中，当智能设备获取到图像之后，可以对图像进行识别，并基于识别结果确定图像中是否包含人脸特征，若包含，则确定获取到的图像满足条件，并将图像存储于图库中，若不包含，则可以向终端发送反馈信息，反馈信息用于指示图像有误，使得用户通过终端重新上传图像。
41.s202、对目标图像进行分割处理，并根据分割处理结果确定参考掩膜。本发明实施例中，目标图像进行分割处理后至少得到第一区域和第二区域，在参考掩膜上第一区域和第二区域的掩膜值不相同。具体实现中，智能设备获取到目标图像之后，可以对目标图像进行分割处理，得到分割处理结果，分割处理结果中包括图像分割处理得到的第一区域和第
二区域，以及第一区域和第二区域分别对应的掩膜值，智能设备基于各个区域的掩膜值确定目标图像对应的参考掩膜，其中，掩膜值的取值范围为0-1，第一区域的掩膜值可以为1，第二区域的掩膜值可以为0，其中，智能设备具体可以调用分割模型对目标图像进行分割处理，分割模型(segmentation)通过对图像中每个区域进行密集的预测、推断标签来实现细粒度的推理，从而得到每个区域所属的类别，以及该类别对应的掩膜值，掩膜值可以用于确定对应图像区域的动漫化程度，一个区域可以为目标图像中的一个像素点，也可以为图像中多个像素点的集合，目标图像分割处理后也可以得到除第一区域和第二区域以外的其他区域，本发明实施例具体以第一区域和第二区域进行说明。
42.需要说明的是，分割模型的具体训练过程可以包括，获取训练图像集合，训练图像集合中包括至少一张训练图像，每张训练图像中标注有多个子图像区域且每个子图像区域标注有预设掩膜值，训练图像中每个图像区域为包含一种类型物体的区域；基于训练图像集合对初始分割模型进行迭代训练，以对初始分割模型中的参数进行更新；当检测到参数更新后的初始分割模型对于训练图像集合中图像的分割准确率高于预设准确率时，将参数更新后的初始分割模型确定为分割模型；其中，针对训练图像集合中任意一张目标训练图像，调用参数更新后的初始分割模型对目标训练图像进行处理后得到目标训练图像对应的多个预测图像区域和每个预测图像区域对应的预设掩膜值，若多个预测图像区域与目标训练图像中标注的多个目标子图像区域匹配，且每个预测图像区域对应的预设掩膜值与对应的目标子图像区域标注的预设掩膜值匹配，确定参数更新后的初始分割模型对于目标训练图像分割准确。
43.s203、通过编码网络确定目标图像的编码特征。本发明实施例中，智能设备根据分割处理结果确定参考掩膜之后，可以通过编码网络确定目标图像的编码特征，其中，目标图像的编码特征包括目标图像中第一区域的第一编码特征，以及目标图像中第二区域的第二编码特征。具体的，智能设备可以通过编码网络对目标图像进行处理，得到第一区域的第一编码特征和第二区域的第二编码特征，编码网络具备提取图像特征的功能。
44.在一个实施例中，智能设备通过编码网络确定目标图像的编码特征的具体方式可以为，智能设备通过编码网络对目标图像进行处理，得到目标图像的初始编码特征；基于已确定的动漫风格向量确定针对初始编码特征的滤波范围，并根据滤波范围对初始编码特征进行滤波处理，得到目标图像的编码特征。其中，初始编码特征包括目标图像中第一区域的第一初始编码特征和目标图像中第二区域的第二初始编码特征，对上述第一初始特征和第二初始编码特征滤波后合并即可得到目标图像的编码特征。
45.上述方式中，因动漫图像一般较为平滑，而真实的人物图像则棱角分明，棱角分明区域对应的特征值通常较大或较小，通过对智能设备对初始编码特征进行滤波处理，可以使得初始编码特征中各个值相近，使得后续基于初始编码特征解码出的动漫化图像更为平滑，解决了生成动漫化图像中因不同图像区域动漫化程度不同导致的图像不协调的问题。通过基于已确定的动漫风格向量确定滤波范围，可以实现针对不同风格，采用不同的滤波器，得到不同的滤波效果。如当动漫风格向量对应的动漫图像棱角分明时，则可增加滤波器滤波范围，使得更多的编码器特征得到保留，当动漫风格向量对应的动漫图像较为平滑时，则可减小滤波器的范围，使得滤波后的编码器特征更为相近。通过上述方式，可以基于动漫风格向量调整对于图像平滑程度的调整，提升图像动漫化的智能性。
46.需要说明的是，动漫风格向量用于确定基于目标图像生成的动漫化图像的风格，可以为图像的风格特征对应的向量。
47.在一种实现方式中，已确定的动漫风格向量具体可以由用户在终端中的指定页面中进行选择，并通过终端发送至智能设备。其中，该指定页面可以为终端提供的图像动漫化的交互页面，例如是一个用于上传需要动漫化图像的网站页面。用户可以从也页面中提供的多个风格选项中选择出一个风格，并通过终端发送至智能设备，智能设备获取到用户选择的风格对应的动漫风格向量，作为已确定的动漫风格向量。或者，用户也可以在交互页面中输入一张参考动漫图像，即参考动漫图像的风格为用户希望图像动漫化后的风格，终端将参考动漫图像的输入信息发送至智能设备，智能设备接收针对参考动漫图像的输入信息，并调用风格编码器对参考动漫图像进行编码处理，得到参考动漫图像的参考风格向量；智能设备从数据库中确定出与参考风格向量相匹配的目标风格向量作为已确定的动漫风格向量。
48.在一种实现方式中，已确定的动漫风格向量具体可以为与目标图像的风格相匹配的动漫风格对应的向量，具体的，智能设备调用风格编码器对目标图像进行处理，得到第一风格向量，并从数据库中确定出与第一风格向量相匹配的第二风格向量作为已确定的动漫风格向量。其中，与第一风格向量相匹配的第二风格向量可以与第一风格向量相同或相近，上述方式可以使得对人物图像进行动漫化处理后不改变人物图像的风格。可选的，数据库中可以预先存储了多个风格向量以及风格向量的匹配关系，智能设备获取到第一风格向量之后，可以基于匹配关系从数据库中找到匹配的第二风格向量。进一步的，智能设备将上述第二风格向量作为已确定的动漫风格向量。上述方式可以针对不同风格的目标图像设计不同的动漫化风格，使得图像动漫化过程更为丰富且更具针对性。其中，针对数据库中存储的任意一个目标风格对应的动漫风格向量，其具体建立方式可以为，获取多张目标风格的动漫图像，并调用风格编码器对该多张目标风格的动漫图像进行处理，得到多个目标风格的风格向量，智能设备对该多个目标风格的风格向量进行取平均处理，得到目标风格对应的动漫风格向量，并存储于数据库中。可选的，数据库中存储了预设风格向量，智能设备直接从数据库中获取到预设风格向量作为已确定的动漫风格向量。
49.s204、通过解码网络对编码网络确定的编码特征、参考掩膜和已确定的动漫风格向量进行处理，得到目标图像对应的动漫化图像。
50.本发明实施例中，智能设备得到目标图像的编码特征之后，可以通过解码网络对编码网络确定的编码特征、参考掩膜和已确定的动漫风格向量进行处理，得到目标图像对应的动漫化图像。
51.具体实现中，如图3所示，智能设备通过解码网络对编码网络确定的编码特征、参考掩膜和已确定的动漫风格向量进行处理的处理过程包括以下步骤。
52.s31、通过解码网络基于参考掩膜中各个掩膜值对编码特征进行加权处理，得到加权编码特征。具体实现中，参考掩膜包括目标图像中第一区域的第一掩膜值以及第二区域的第二掩膜值，智能设备通过解码网络基于参考掩膜中第一掩膜值对第一编码特征进行加权处理，得到第一加权编码特征，通过解码网络基于参考掩膜中第二掩膜值对第二编码特征进行加权处理，得到第二加权编码特征，并将第一加权编码特征和第二加权编码特征进行合并，得到加权编码特征。
53.s32、通过解码网络对已确定的动漫风格向量和编码特征进行处理，得到初始解码特征。具体实现中，初始解码特征可以为目标图像对应的全图动漫化特征，即在对初始解码特征进行解码后，可得到完全动漫化后的目标图像。
54.s33、通过解码网络对加权编码特征和初始解码特征进行融合处理，得到目标图像的目标解码特征。具体实现中，编码网络和解码网络为预先训练得到的，编码网络的第i层的特征和解码网络的倒数第i层的特征之间的空间尺寸是相同的，编码网络的输入为目标图像，编码网络可以对目标图像进行处理，得到目标图像对应的多层编码特征，解码网络可以多层编码特征进行解码，得到多层解码特征，则加权编码特征中和初始解码特征中均包括多层特征，通过解码网络对加权编码特征和初始解码特征进行融合处理的方式包括，通过解码网络将加权编码特征中第i层特征和初始解码特征中倒数第i层特征对应融合，以实现对于加权编码特征和初始解码特征的融合处理。
55.在一种实施场景中，本方案用于人像动漫化，目标图像为人物图像，第一区域为人脸图像区域，第二区域为非人脸图像区域，则智能设备调用训练完成的分割模型对目标图像进行分割处理，得到目标图像中的人脸图像区域和非人脸图像区域，以及人脸图像区域的第一掩膜值和所述非人脸图像区域的第二掩膜值；智能设备基于人脸图像区域的第一掩膜值和非人脸图像区域的第二掩膜值确定参考掩膜。参考掩膜中掩膜值的取值范围是0-1，掩膜值为1的区域代表人脸区域，为0的区域代表非人脸区域，人像动漫化需要对图像中人脸区域进行较大程度的动漫化处理，则图像区域的掩膜值为1，则说明需要对图像中该区域进行动漫化。
56.智能设备通过编码网络对目标图像进行处理后可以得到初始编码特征e中第i层特征e
i
，对第i层e
i
进行滤波处理后目标图像的编码特征h(e)中第i层编码特征h(e
i
)，通过掩膜mask对第i层编码特征h(e
i
)进行加权即可得到加权编码特征(1-mask)*h(e)中第i层特征(1-mask)*h(e
i
)，即使得掩膜值为0的区域对应的编码特征得以保留，掩膜值为1的区域对应的编码特征被去除。通过解码网络对已确定的动漫风格向量和编码特征进行处理即可得到初始解码特征d中倒数第i层特征d
i
，则通过解码网络将加权编码特征中第i层特征和初始解码特征中倒数第i层特征对应融合即可得到目标解码特征m中第i层特征m
i
，m
i
具体可以表示为m
i
＝(1-mask)*h(e
i
)+d
i
。上述方式中，因目标图像中人脸区域对应的编码特征的mask值为于1，采用加权因子(1-mask)对其进行加权后，则目标解码特征中目标图像的人脸区域特征将不会被保留，而是由初始解码特征d
i
确定，即使得解码出的动漫化图像中人脸区域具备较大的动漫化程度，相反，因目标图像中非人脸区域对应的编码特征的mask值为于0，则目标解码特征中目标图像的非人脸区域特征将会被最大程度保留，即使得解码出的动漫化图像中非人脸区域动漫化程度较小。
57.针对目标图像的脸部区域进行了动漫化，且未改变图像原有的风格，使得动漫化图像与输入的目标图像相似度高。
58.s34、通过解码网络对目标解码器特征进行解码处理，得到目标图像对应的动漫化图像。
59.上述方案中，初始解码特征可以理解为目标图像对应的全图动漫化特征，若对初始解码特征进行解码，则可得到完全动漫化后的目标图像。在将其融合加权编码特征之后，则可以降低对于目标图像的动漫化程度，加权编码特征权重越大，则目标解码特征中输入
的目标图像的特征占比较大，使得生成的动漫化图像更接近于输入的目标图像，即动漫化程度低，加权编码特征中权重越小，则目标解码特征中全图动漫化特征占比较大，使得生成的动漫化图像更接近于动漫图像，即动漫化程度高。然而图像中不同区域的对应的权重由区域的掩膜值确定，则实现了基于掩膜值调整图像中不同区域的动漫化程度，使得图像中不同区域的动漫化程度不同，提升了图像动漫化结果的精确性。其中，已确定的动漫风格向量可以通过可变实例归一化操作插入到解码网络中。
60.在一种实现方式中，智能设备得到目标图像对应的动漫化图像之后，可以将动漫化图像发送至终端，用户可以在终端提供的交互页面中查阅到动漫化图像，进一步的，交互页面中还提供了动漫化图像自定义功能，用户可以在交互页面中选择目标图像中需要进行动漫化的区域，以及每个区域对应的动漫化程度，动漫化风格等，终端基于用户的生成相应的输入信息，输入信息中包括了目标图像、目标图像中需要进行动漫化处理的区域、每个区域对应的动漫化程度以及风格等，终端将输入信息发送至智能设备，智能设备基于输入信息确定针对目标图像的目标掩膜，目标掩膜中不同区域对应的掩膜值不中，区域的划分由接收到的输入信息确定。智能设备调用编码网络和解码网络实现对需要进行动漫化处理的区域按照输入信息指示的方式进行动漫化处理，对不需要进行动漫化处理的区域不做处理，
61.如图4所示，为采用本发明实施例对一张目标图像进行动漫化处理后得到的动漫化结果示意图，图4中，用户在终端提供的交互页面中输入图像40，终端将图像发送至智能设备，智能设备分析出图像中的第一区域401和第二区域402，其中第一区域为需要进行动漫化处理的人脸图像区域，第二区域为不需要进行动漫化处理的非人脸区域，智能设备基于图像的掩膜完成对图像的动漫化处理，得到动漫化图像41，动漫化图像41中包括动漫化处理后的第一区域403和未动漫化的第二区域404。智能设备将上述动漫化图像41发送至终端，以使得终端对动漫化图像41进行显示。可选的，用户可以在终端提供的交互页面中输入图像40后，根据喜好从图像中框选出第一区域401，则图像中未框选的区域为第二区域402，用户从动漫风格选项中选择了的动漫风格为卡通，终端将上述用户选择的内容以及框选后的图像发送至智能设备，智能设备基于上述信息生成图像对应的掩膜，并处理，得到动漫化图像41，其中，动漫化图像41中包括动漫化处理后的第一区域403和未动漫化的第二区域404，智能设备将上述动漫化图像41发送至终端，以使得终端在交互页面中对动漫化图像41进行显示。需要说明的是，图4仅为举例，比如在图4中使用了造型不相同的两个半身图像来分别示意了原图像和动漫化图像，在实际使用过程中，动漫化图像的动漫化效果会更明显。
62.需要说明的是，编码网络和解码网络为一个生成器中的不同组成模块，编码网络用于实现生成器的编码功能，解码网络用于实现生成器的解码功能，对编码网络和解码网络进行训练的过程即为对生成器训练的过程，生成器具体可以基于无监督学习方式训练的深度学习模型，其具体训练过程参见图5所示实施例。
63.本发明实施例中，智能设备获取等待进行动漫化处理的目标图像，对目标图像进行分割处理，并根据分割处理结果确定参考掩膜，通过编码网络确定目标图像的编码特征；通过解码网络对所述编码网络确定的编码特征、参考掩膜和已确定的动漫风格向量进行处理，得到目标图像对应的动漫化图像。其中，所述目标图像进行分割处理后至少得到第一区域和第二区域，在参考掩膜上所述第一区域和第二区域的掩膜值不相同；通过实施上述方
法，可以结合不同图像区域的掩膜、图像特征以及风格特征得到更好的动漫化效果。
64.请参见图5，是本发明实施例提供的一种生成器的训练流程示意图，该生成器的训练方法可以包括以下步骤：
65.s501、获取样本图像集合和样本漫画集合。本发明实施例中，样本图像集合中包括至少一张样本图像，样本漫画集合包括至少一张样本漫画图像，样本图像可以为真实图像，如照片、视频截图等，具体实施场景中，样本图像可以为人物图像，即包含人物区域的真实图像，具体可以为人物照片、视频中的人物截图等。
66.s502、基于样本图像集合和样本漫画集合对初始生成器进行训练，以对初始生成器中的参数进行更新。
67.本发明实施例中，在获取到样本图像集合和样本漫画集合之后，可以样本图像集合和样本漫画集合对初始生成器进行迭代训练，以对初始生成器中的参数进行更新，即对初始生成器中初始的编码网络的参数和初始的解码网络的参数进行更新。
68.具体实现中，一轮训练过程包括针对图6所示的结构展开，在一轮对于初始生成器的训练过程中，具体采用样本图像集合中的任意一张目标样本图像和样本漫画集合中的任意一张目标样本漫画图像对初始生成器进行训练的。具体训练过程可以为，通过初始的编码网络确定目标样本图像的目标样本图像特征，并通过初始生成器中的初始的解码网络对目标样本图像特征、对目标样本图像进行分割后确定的样本参考掩膜、对目标样本漫画图像进行风格确认后得到的样本漫画风格向量进行处理后得到样本动漫化图像，具体如图6中601区域所示。其中，对目标样本图像进行分割后确定样本参考掩膜的方式包括，对目标样本图像进行分割处理，并根据分割处理结果确定样本参考掩膜，对目标样本漫画图像进行风格确认的方式包括，通过风格编码器对目标样本漫画图像进行处理，得到样本漫画风格向量，具体如图6中603区域所示。
69.进一步的，通过初始的编码网络确定样本动漫化图像的样本动漫化图像特征，并通过初始生成器中的初始的解码网络对样本动漫化图像特征、对样本动漫化图像进行分割后确定的样本动漫化参考掩膜、对目标样本图像进行风格确认后得到的样本风格向量进行处理后得到样本真实化图像，具体如图6中602区域所示。其中，对样本动漫化图像进行分割后确定样本动漫化参考掩膜的方式包括，对样本动漫化图像进行分割处理，并根据分割处理结果确定样本动漫化参考掩膜，对目标样本图像进行风格确认的方式包括，通过风格编码器对目标样本图像进行处理，得到样本风格向量，具体如图6中604区域所示。需要说明的是，因目标样本图像和样本动漫化图像的区域分布未发变化，因此样本参考掩膜和样本动漫化参考掩膜应当是相同的。
70.进一步的，基于损失函数来计算训练过程中的各个特征的损失值，进而判断是否需要对上述初始生成器中的参数进行更新。其中，损失函数包括第一损失函数、第二损失函数、第三损失函数和第四损失函数中的至少一种。
71.在一种实现方式中，在基于样本图像集合和样本漫画集合对初始生成器进行训练的过程中包括，基于第一损失函数进行训练，第一损失函数用于计算样本图像集合中的目标样本图像和根据目标样本图像确定的样本真实化图像之间的第一特征损失值。具体可以对目标样本图像进行编码处理得到第一特征向量x，以及对样本真实化图像进行编码处理得到第二特征向量x
′
，以及将第一特征向量x和第二特征向量x
′
作为第一损失函数中的参
数计算得到损失值。其中，第一损失函数具体可以为l
rec
(x,x
′
)＝||x-x
′
||2，即向量x图x
′
间的l2范数。通过第一损失函数，实现了对于无监督训练中的循环一致性约束，保证了目标样本图像和样本真实化图像中的中的细节特征(如人物的姿态表情)具有一致性。需要说明的是，样本真实化图像是根据目标样本图像对应的样本动漫化图像得到的；样本动漫化图像经过初始生成器中的初始的编码网络得到样本动漫化图像特征，并通过初始生成器中的初始的解码网络对样本动漫化图像特征、对样本动漫化图像进行分割后确定的样本动漫化参考掩膜、对目标样本图像进行风格确认后得到的样本风格向量进行处理后得到样本真实化图像；目标样本图像经过初始生成器中的初始的编码网络得到目标样本图像特征，并通过初始生成器中的初始的解码网络对目标样本图像特征、对目标样本图像进行分割后确定的样本参考掩膜、对样本漫画集合中目标样本漫画图像进行风格确认后得到的样本漫画风格向量进行处理后得到样本动漫化图像。
72.在一种实现方式中，在基于样本图像集合和样本漫画集合对初始生成器进行训练的过程中还包括，基于第二损失函数进行训练，第二损失函数用于计算目标样本图像和样本动漫化图像之间的第二特征损失值。具体的，目标样本图像和样本动漫化图像之间的第二特征损失值由目标样本图像对应的第一加权特征向量以及样本动漫化图像对应的第二加权特征向量之间的差异确定；第一加权特征向量为对目标样本图像进行特征提取处理得到第一特征向量后，基于样本参考掩膜对第一特征向量加权得到；第二加权特征向量为对样本动漫化图像进行特征提取处理得到第二特征向量后，基于样本参考掩膜对第二特征向量加权得到。需要说明的是，对目标样本图像进行特征提取处理得到第一特征向量的具体方式可以为，调用训练完成的特征提取器提取得到第一初始特征向量x，对第一初始的特征向量进行滤波处理，即可得到第一特征向量h(x)，进一步的，基于样本参考掩膜(mask)得到加权系数(1-mask)，并采用加权系数对第一特征向量进行加权处理即可得到第一加权特征向量(1-mask)*h(x)。同理，对样本动漫化图像进行处理得到第二加权特征向量(1-mask)*h(y)，采用第二损失函数计算上述特征向量间的差异得到目标样本图像和样本动漫化图像之间的第二特征损失值。其中，第二损失函数具体可以为l
maskcontent
(x，y)＝(1-mask)*||h(x)-h(y)||1，即向量(1-mask)*h(x)和(1-mask)*h(y)间的l1范数。其中，mask的取值范围在0-1之间，目标样本图像中不同区域对应有不同mask值，则对目标样本图像进行运算得到的特征向量中不同的向量值之间也对应有不同的mask值，动漫化程度高的区域mask值为1，动漫化程度低的区域mask值为0，该动漫化程度高的区域可以为样本第一区域，动漫化程度低的区域可以为样本第二区域，则第一特征向量h(x)中包括了样本第一区域对应的特征向量h(x1)和样本第二区域对应的特征向量h(x2)。因样本第一区域对应的掩码值为于1，则采用(1-mask)对其进行加权后，即对第二损失值的不造成影响，而样本第二区域对应的掩码值为于0，采用(1-mask)对其进行加权后，决定了第二损失值的大小，即实现了第二损失值由图像中动漫化程度低的区域之间的差异确定。通过第二损失函数计算损失值的方式，保证了目标样本图像和样本真实化图像中的中的动漫化程度低的区域(如目标图像中非脸部区域)具有一致性。
73.在一种实现方式中，在基于样本图像集合和样本漫画集合对初始生成器进行训练的过程中还包括，基于第三损失函数进行训练，第三损失函数用于计算对目标样本漫画图像进行风格确认后得到的样本漫画风格向量s与样本动漫化图像对应的动漫化风格向量s
′
之间的第三特征损失值。其中，对目标样本漫画图像进行风格确认的方式得到样本漫画风格向量s的方式包括，通过风格编码器对目标样本漫画图像进行处理，得到样本漫画风格向量s，具体如图6中603区域所示，对样本动漫化图像进行风格确认得到动漫化风格向量s
′
的方式包括，通过风格编码器对样本动漫化图像进行处理，得到样本漫画风格向量s
′
，具体如图6中605区域所示。其中，第三损失函数具体可以为l
style
(s，s
′
)＝||s-s
′
||2，即向量s和s
′
间的l2范数。通过第三损失函数计算损失值的方式，可以保证图像动漫化过程中生成结果的风格向量和输入图像的风格向量保持一致。
74.在一种实现方式中，在基于样本图像集合和样本漫画集合对初始生成器进行训练的过程中还包括，基于第四损失函数进行训练，第四损失函数用于计算目标样本漫画图像和样本动漫化图像之间的第四特征损失值。其中，第四损失函数具体可以为l
adv
＝||m-m
′
||2，即目标样本漫画图像的特征向量m和样本动漫化图像的特征向量m
′
之间的特征损失值，具体采用可以l2范数进行计算。通过第四损失函数计算损失值的方式可以保证图像动漫化过程中输入的样本漫画图像与生成的样本动漫化图像之间内容一致。
75.在一种实现方式中，在基于样本图像集合和所述样本漫画集合对初始生成器进行训练的过程中，是基于上述第一损失函数、第二损失函数、第三损失函数和第四损失函数共同进行的，即上述损失函数共同用来优化生成器。
76.需要说明的是，图6所示的训练流程中，第三损失函数l
style
(s,s
′
)＝||s-s
′
||2除训练生成器外，还用于对图6训练过程中使用到的风格编码器进行训练，即当基于第三损失函数计算得到的第三损失值小于第三阈值时，确定对于风格编码器的训练完成，风格编码器的具体使用如图6中区域603、区域604和区域605所示，第四损失函数l
adv
＝||m-m
′
||2除训练生成器外，还用于训练图6训练过程中使用到的判决器，即当基于第四损失函数计算得到的第四损失值小于第四阈值时，确定对于判决器的训练完成，判决器的具体使用如图6中区域606所示，该判决器用于判决生成器中输入图像为真实图像或动漫图像。
77.需要说明的是，在一轮训练过程中，也可以调换图像的输入顺序，来对模型进行训练，即输入样本漫画图像，输出对像本漫画图像真实化的结果，具体训练流程可以针对如图7所示的结构，在一轮对于初始生成器的训练过程中，具体采用样本图像集合中的任意一张目标样本图像和样本漫画集合中的任意一张目标样本漫画图像对初始生成器进行训练的。具体训练过程可以为，通过初始的编码网络确定目标样本漫画图像的目标样本漫画特征，并通过初始生成器中的初始的解码网络对目标样本漫画特征、对目标样本漫画图像进行分割后确定的样本漫画参考掩膜、对目标样本图像进行风格确认后得到的目标样本风格向量进行处理后得到真实化样本图像。具体如图7中区域701所示，进一步的，通过初始的编码网络确定真实化样本图像的真实化样本图像特征，并通过初始生成器中的初始的解码网络对真实化样本图像特征、对真实化样本图像进行分割后确定的样本真实化样本参考掩膜、对目标样本漫画图像进行风格确认后得到的样本漫画风格向量进行处理后得到样本参考图像，具体如图7中区域702所示，以及，将上述训练过程中参数的变量作为导入至第一损失函数、第二损失函数、第三损失函数和第四损失函数中，分别得到第一损失值、第二损失值、第三损失值和第四损失值，并进一步优化生成器。
78.s503、当检测到参数更新后的初始生成器满足预设条件时，将参数更新后的初始生成器确定为生成器。
79.本发明实施例中，在对初始生成器进行一轮训练，更新初始生成器中的参数后，将检测参数更新后的初始生成器是否满足预设条件，当检测到参数更新后的初始生成器满足预设条件时，将参数更新后的初始生成器确定为生成器。其中，生成器中的参数包括所述编码网络中的参数和所述解码网络中的参数。
80.在一种实现方式中，由基于第一损失函数计算得到的第一损失值、第二损失函数得到的第二损失值、第三损失函数得到的第三损失值和第四损失函数得到的第四损失值中的一种或多种来判断参数更新后的初始生成器是否满足预设条件，如当第一损失值小于第一阈值时，确定参数更新后的初始生成器满足预设条件，或者，当第一损失值小于第一阈值且第二损失值小于第二阈值时，确定参数更新后的初始生成器满足预设条件。
81.在一种实现方式中，当检测到基于第一损失函数计算得到的第一损失值小于第一阈值，第二损失函数计算得到的第二损失值小于第二阈值，第三损失函数计算得到的第三损失值第三阈值，和述第四损失函数计算得到的第四损失值小于第四阈值时，确定参数更新后的初始生成器满足预设条件。
82.上述方案中，通过第一损失函数，实现了对于无监督训练中的循环一致性约束，保证了目标样本图像和样本真实化图像中的中的细节特征(如人物的姿态表情)具有一致性，通过第二损失函数计算损失值的方式，保证了目标样本图像和样本真实化图像中的中的动漫化程度低的区域(如目标图像中非脸部区域)具有一致性，通过第三损失函数计算损失值的方式，可以保证图像动漫化过程中生成结果的风格向量和输入图像的风格向量保持一致。通过第四损失函数计算损失值的方式可以保证图像动漫化过程中输入的样本漫画图像与生成的样本动漫化图像之间内容一致。
83.在一种实施场景中，如图8所示，智能设备为服务器，终端可以提供显示界面，在该显示界面中，用户可以输入图像，终端接收到上述图像之后，将上述图像上传至服务器，并接收服务器返回的动漫化处理结果，并在显示页面中显示。可选的实施例中，服务器可以针对一张用户上传的图像，采用多种风格对该图像进行处理，得到多张动漫化图像，并将多张动漫化图像反馈至终端，每张动漫化图像可以对应一种动漫风格。终端将该多张动漫化图像在显示界面中进行显示，并对用户在显示界面中选择的动漫化图像进行存储。
84.下面将结合附图9对本发明实施例提供的图像动漫化处理装置进行详细介绍。需要说明的是，附图9所示的图像动漫化处理装置，用于执行本发明图1a-图8所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，经参照本发明图1a-图8所示的实施例。
85.请参见图9，为本发明提供的一种图像动漫化处理装置的结构示意图，该图像动漫化处理装置90可包括：获取模块901、处理模块902和确定模块903。
86.获取模块901，用于获取等待进行动漫化处理的目标图像；
87.处理模块902，用于对所述目标图像进行分割处理；
88.确定模块903，用于根据分割处理结果确定参考掩膜，其中，所述目标图像进行分割处理后至少得到第一区域和第二区域，在参考掩膜上所述第一区域和第二区域的掩膜值不相同；通过编码网络确定所述目标图像的编码特征；通过解码网络对所述编码网络确定的编码特征、所述参考掩膜和已确定的动漫风格向量进行处理，得到所述目标图像对应的动漫化图像。
89.在一种实现方式中，处理模块902，具体用于：
90.通过解码网络基于所述参考掩膜中各个掩膜值对所述编码特征进行加权处理，得到加权编码特征；
91.通过所述解码网络对所述已确定的动漫风格向量和所述编码特征进行处理，得到初始解码特征；
92.通过所述解码网络对所述加权编码特征和所述初始解码特征进行融合处理，得到所述目标图像的目标解码特征；
93.通过所述解码网络对所述目标解码器特征进行解码处理，得到所述目标图像对应的动漫化图像。
94.在一种实现方式中，处理模块902，具体用于：
95.通过编码网络对目标图像进行处理，得到目标图像的初始编码特征；
96.基于已确定的动漫风格向量确定针对所述初始编码特征的滤波范围；
97.根据所述滤波范围对所述初始编码特征进行滤波处理，得到所述目标图像的编码特征。
98.在一种实现方式中，所述编码网络和解码网络为预先训练得到的，所述编码网络的第i层的特征和所述解码网络的倒数第i层的特征之间的空间尺寸是相同的，处理模块902，具体用于：
99.通过所述解码网络将所述加权编码特征中第i层特征和所述初始解码特征中倒数第i层特征对应融合，以实现对于所述加权编码特征和所述初始解码特征的融合处理。
100.在一种实现方式中，处理模块902，还用于：
101.接收针对参考动漫图像的输入信息；
102.调用风格编码器对所述参考动漫图像进行编码处理，得到所述参考动漫图像的参考风格向量；
103.从数据库中确定出与所述参考风格向量相匹配的目标风格向量，作为已确定的动漫风格向量。
104.在一种实现方式中，处理模块902，还用于：
105.获取样本图像集合和样本漫画集合；
106.基于所述样本图像集合和所述样本漫画集合对初始生成器进行训练，以对所述初始生成器中的参数进行更新；
107.当检测到参数更新后的初始生成器满足预设条件时，将所述参数更新后的初始生成器确定为所述生成器，其中，所述生成器中的参数包括所述编码网络中的参数和所述解码网络中的参数。
108.在一种实现方式中，在基于所述样本图像集合和所述样本漫画集合对初始生成器进行训练的过程中包括：基于第一损失函数进行训练；所述第一损失函数用于计算所述样本图像集合中的目标样本图像和根据所述目标样本图像确定的样本真实化图像之间的第一特征损失值；
109.所述样本真实化图像是根据所述目标样本图像对应的样本动漫化图像得到的；
110.所述样本动漫化图像经过所述初始生成器中的初始的编码网络得到样本动漫化图像特征，并通过所述初始生成器中的初始的解码网络对所述样本动漫化图像特征、对所
述样本动漫化图像进行分割后确定的样本动漫化参考掩膜、对所述目标样本图像进行风格确认后得到的样本风格向量进行处理后得到所述样本真实化图像；
111.所述目标样本图像经过所述初始生成器中的初始的编码网络得到目标样本图像特征，并通过所述初始生成器中的初始的解码网络对所述目标样本图像特征、对所述目标样本图像进行分割后确定的样本参考掩膜、对所述样本漫画集合中目标样本漫画图像进行风格确认后得到的样本漫画风格向量进行处理后得到所述样本动漫化图像。
112.在一种实现方式中，在基于所述样本图像集合和所述样本漫画集合对初始生成器进行训练的过程中还包括：基于第二损失函数进行训练；所述第二损失函数用于计算所述目标样本图像和所述样本动漫化图像之间的第二特征损失值。
113.在一种实现方式中，所述目标样本图像和所述样本动漫化图像之间的第二特征损失值由所述目标样本图像对应的第一加权特征向量以及所述样本动漫化图像对应的第二加权特征向量之间的差异确定；
114.所述第一加权特征向量为对目标样本图像进行特征提取处理得到第一特征向量后，基于所述样本参考掩膜对所述第一特征向量加权得到；所述第二加权特征向量为对样本动漫化图像进行特征提取处理得到第二特征向量后，基于所述样本参考掩膜对所述第二特征向量加权得到。
115.在一种实现方式中，所述在基于所述样本图像集合和所述样本漫画集合对初始生成器进行训练的过程中还包括：基于第三损失函数进行训练；所述第三损失函数用于计算对目标样本漫画图像进行风格确认后得到的样本漫画风格向量与所述样本动漫化图像对应的动漫化风格向量之间的第三特征损失值。
116.在一种实现方式中，所述在基于所述样本图像集合和所述样本漫画集合对初始生成器进行训练的过程中还包括：基于第四损失函数进行训练；所述第四损失函数用于计算所述目标样本漫画图像和所述样本动漫化图像之间的第四特征损失值。
117.在一种实现方式中，当检测到基于所述第一损失函数计算得到的第一损失值小于第一阈值，所述第二损失函数计算得到的第二损失值小于第二阈值，所述第三损失函数计算得到的第三损失值第三阈值，和所述第四损失函数计算得到的第四损失值小于第四阈值时，确定参数更新后的初始生成器满足预设条件。
118.本发明实施例中，获取模块901获取等待进行动漫化处理的目标图像，处理模块902对目标图像进行分割处理，确定模块903根据分割处理结果确定参考掩膜，通过编码网络确定目标图像的编码特征；以及通过解码网络对编码网络确定的编码特征、参考掩膜和已确定的动漫风格向量进行处理，得到目标图像对应的动漫化图像。其中，目标图像进行分割处理后得到第一区域和第二区域，在参考掩膜上所述第一区域和第二区域的掩膜值不相同；通过实施上述方法，可以基于图像中的掩膜确定图像中不同区域的动漫化程度，以进一步基于训练的模型完成对于图像中各个区域的动漫化处理，提升图像动漫化结果的精确性。
119.请参见图10，为本发明实施例提供了一种智能设备的结构示意图。如图所示，该智能设备包括：至少一个处理器1001，输入设备1003，输出设备1004，存储器1005，至少一个通信总线1002。当然还可以包括诸如电源、机架以及各种其他接口等等。
120.所述存储器1005可以包括易失性存储器(volatile memory)，例如随机存取存储
器(random-access memory，ram)；存储器1005也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，ssd)等；存储器1005还可以包括上述种类的存储器的组合。
121.所述处理器1001可以是中央处理器(central processing unit，cpu)。所述处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，asic)，可编程逻辑器件(programmable logic device，pld)等。上述pld可以是现场可编程逻辑门阵列(field-programmable gate array，fpga)，通用阵列逻辑(generic array logic，gal)等。
122.通信总线1002用于实现这些组件之间的连接通信。输入设备1003可以是控制面板或者麦克风等，输出设备1004可以是显示屏等。其中，通信总线1002可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互联(peripherai component，pci)总线或扩展工业标准体系结构(eitended industry standard architecture，eisa)总线等，该总线1002可以分为地址总线、数据总线、控制总线等，为便于表示，图10仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
123.所述处理器1001可以结合图9所描述的装置，存储器1005中存储一组程序代码，且处理器1001调用存储器1005中存储的程序代码，用于：
124.获取等待进行动漫化处理的目标图像；
125.对所述目标图像进行分割处理；
126.根据分割处理结果确定参考掩膜，其中，所述目标图像进行分割处理后至少得到第一区域和第二区域，在参考掩膜上所述第一区域和第二区域的掩膜值不相同；
127.通过编码网络确定所述目标图像的编码特征；
128.通过解码网络对所述编码网络确定的编码特征、所述参考掩膜和已确定的动漫风格向量进行处理，得到所述目标图像对应的动漫化图像。
129.在一种实现方式中，处理器1001，具体用于：
130.通过解码网络基于所述参考掩膜中各个掩膜值对所述编码特征进行加权处理，得到加权编码特征；
131.通过所述解码网络对所述已确定的动漫风格向量和所述编码特征进行处理，得到初始解码特征；
132.通过所述解码网络对所述加权编码特征和所述初始解码特征进行融合处理，得到所述目标图像的目标解码特征；
133.通过所述解码网络对所述目标解码器特征进行解码处理，得到所述目标图像对应的动漫化图像。
134.在一种实现方式中，处理器1001，具体用于：
135.通过编码网络对目标图像进行处理，得到目标图像的初始编码特征；
136.基于已确定的动漫风格向量确定针对所述初始编码特征的滤波范围；
137.根据所述滤波范围对所述初始编码特征进行滤波处理，得到所述目标图像的编码特征。
138.在一种实现方式中，所述编码网络和解码网络为预先训练得到的，所述编码网络的第i层的特征和所述解码网络的倒数第i层的特征之间的空间尺寸是相同的，所述编码网
络的输入为所述目标图像，处理器1001，具体用于：
139.通过所述解码网络将所述加权编码特征中第i层特征和所述初始解码特征中倒数第i层特征对应融合，以实现对于所述加权编码特征和所述初始解码特征的融合处理。
140.在一种实现方式中，处理器1001，具体用于：
141.接收针对参考动漫图像的输入信息；
142.调用风格编码器对所述参考动漫图像进行编码处理，得到所述参考动漫图像的参考风格向量；
143.从数据库中确定出与所述参考风格向量相匹配的目标风格向量，作为已确定的动漫风格向量。
144.在一种实现方式中，处理器1001，具体用于：
145.获取样本图像集合和样本漫画集合；
146.基于所述样本图像集合和所述样本漫画集合对初始生成器进行训练，以对所述初始生成器中的参数进行更新；
147.当检测到参数更新后的初始生成器满足预设条件时，将所述参数更新后的初始生成器确定为所述生成器，其中，所述生成器中的参数包括所述编码网络中的参数和所述解码网络中的参数。
148.在一种实现方式中，在基于所述样本图像集合和所述样本漫画集合对初始生成器进行训练的过程包括：基于第一损失函数进行训练；所述第一损失函数用于计算所述样本图像集合中的目标样本图像和根据所述目标样本图像确定的样本真实化图像之间的第一特征损失值；
149.所述样本真实化图像是根据所述目标样本图像对应的样本动漫化图像得到的；
150.所述样本动漫化图像经过所述初始生成器中的初始的编码网络得到样本动漫化图像特征，并通过所述初始生成器中的初始的解码网络对所述样本动漫化图像特征、对所述样本动漫化图像进行分割后确定的样本动漫化参考掩膜、对所述目标样本图像进行风格确认后得到的样本风格向量进行处理后得到所述样本真实化图像；
151.所述目标样本图像经过所述初始生成器中的初始的编码网络得到目标样本图像特征，并通过所述初始生成器中的初始的解码网络对所述目标样本图像特征、对所述目标样本图像进行分割后确定的样本参考掩膜、对所述样本漫画集合中目标样本漫画图像进行风格确认后得到的样本漫画风格向量进行处理后得到所述样本动漫化图像。
152.在一种实现方式中，在基于所述样本图像集合和所述样本漫画集合对初始生成器进行训练的过程中还包括：基于第二损失函数进行训练；所述第二损失函数用于计算所述目标样本图像和所述样本动漫化图像之间的第二特征损失值。
153.在一种实现方式中，所述目标样本图像和所述样本动漫化图像之间的第二特征损失值由所述目标样本图像对应的第一加权特征向量以及所述样本动漫化图像对应的第二加权特征向量之间的差异确定；
154.所述第一加权特征向量为对目标样本图像进行特征提取处理得到第一特征向量后，基于所述样本参考掩膜对所述第一特征向量加权得到；所述第二加权特征向量为对样本动漫化图像进行特征提取处理得到第二特征向量后，基于所述样本参考掩膜对所述第二特征向量加权得到。
155.在一种实现方式中，所述在基于所述样本图像集合和所述样本漫画集合对初始生成器进行训练的过程还包括：基于第三损失函数进行训练；所述第三损失函数用于计算对目标样本漫画图像进行风格确认后得到的样本漫画风格向量与所述样本动漫化图像对应的动漫化风格向量之间的第三特征损失值。
156.在一种实现方式中，所述在基于所述样本图像集合和所述样本漫画集合对初始生成器进行训练的过程中还包括：基于第四损失函数进行训练；所述第四损失函数用于计算所述目标样本漫画图像和所述样本动漫化图像之间的第四特征损失值。
157.在一种实现方式中，当检测到基于所述第一损失函数计算得到的第一损失值小于第一阈值，所述第二损失函数计算得到的第二损失值小于第二阈值，所述第三损失函数计算得到的第三损失值第三阈值，和所述第四损失函数计算得到的第四损失值小于第四阈值时，确定参数更新后的初始生成器满足预设条件。
158.本发明实施例中，处理器1001获取等待进行动漫化处理的目标图像，对目标图像进行分割处理，并根据分割处理结果确定参考掩膜，处理器1001通过编码网络确定目标图像的编码特征；处理器1001通过解码网络对编码网络确定的编码特征、参考掩膜和已确定的动漫风格向量进行处理，得到目标图像对应的动漫化图像。其中，目标图像进行分割处理后得到第一区域和第二区域，在参考掩膜上所述第一区域和第二区域的掩膜值不相同；通过实施上述方法，可以基于图像中的掩膜确定图像中不同区域的动漫化程度，以进一步基于训练的模型完成对于图像中各个区域的动漫化处理，提升图像动漫化结果的精确性。
159.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的计算机存储介质可为磁碟、光盘、只读存储记忆体(read-oniy memory，rom)或随机存储记忆体(random access memory，ram)等。
160.以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。