一种虚拟人脸的生成方法、装置、设备及存储介质与流程

1.本发明实施例涉及计算机技术，尤其涉及卷积神经网络技术，尤其涉及一种虚拟人脸的生成方法、装置、设备及存储介质。


背景技术：

2.随着计算机技术及游戏行业的发展，角色扮演游戏也吸引着越来越多的游戏玩家，为满足用户的自定义角色人脸需求，在创建虚拟角色的时候通常会增加捏脸功能。利用捏脸功能可以对虚拟角色的五官和脸型等进行调整，从而帮助游戏玩家得到自定义的游戏角色样貌。
3.当前的游戏角色捏脸通过获取人脸图像特征等方式实现，具体的，例如提取人脸图像的颜色特征、纹理特征、形状特征和空间关系特征等识别人脸五官，获取捏脸参数，实现游戏角色捏脸。
4.发明人在实现本发明的过程中，发现现有技术存在如下缺陷：单一通过获取真实人脸图像的图像特征识别人脸五官，生成捏脸参数，导致由于对真实人脸图像中五官识别不精确使生成虚拟人脸不精确。


技术实现要素：

5.本发明实施例提供了一种虚拟人脸的生成方法、装置、设备及存储介质，以实现精准识别人脸五官部位，准确对人脸五官分类，并精确生成虚拟人脸的效果。
6.第一方面，本发明实施例提供了一种虚拟人脸的生成方法，该方法包括：
7.获取真实人脸图像，并生成与真实人脸图像对应的多个局部子图，每个局部子图对应人脸上的设定面容元素；
8.根据与每个局部子图分别对应的图像特征集，以及面容元素几何特征集，确定每个局部子图中面容元素的所属类型；
9.根据每个局部子图中面容元素的所属类型，以及预设的与各面容元素的每个类型分别对应的标准捏脸参数，确定与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数；
10.根据与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数，形成与所述真实人脸图像匹配的虚拟人脸。
11.第二方面，本发明实施例还提供了一种虚拟人脸的生成装置，该装置包括：
12.面容元素生成模块，获取真实人脸图像，并生成与真实人脸图像对应的多个局部子图，每个局部子图对应人脸上的设定面容元素；
13.面容元素类型确定模块，根据与每个局部子图分别对应的图像特征集，以及面容元素几何特征集，确定每个局部子图中面容元素的所属类型；
14.标准捏脸参数确定模块，用于根据每个局部子图中面容元素的所属类型，以及预设的与各面容元素的每个类型分别对应的标准捏脸参数，确定与所述真实人脸图像中的各
面容元素分别对应的目标标准捏脸参数；
15.虚拟人脸形成模块，用于根据与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数，形成与所述真实人脸图像匹配的虚拟人脸。
16.第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
17.一个或多个处理器；
18.存储装置，用于存储一个或多个程序；
19.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的虚拟人脸的生成方法。
20.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现如本发明任意实施例所述的虚拟人脸的生成方法。
21.本发明通过获取真实人脸图像，并生成与真实人脸图像对应的多个包括有人脸上设定面部元素的局部子图；根据与每个局部子图分别对应的图像特征集，以及面容元素几何特征集，确定每个局部子图中面容元素的所属类型；根据每个局部子图中面容元素的所属类型，以及预设的与各面容元素的每个类型分别对应的标准捏脸参数，确定与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数；根据与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数，形成与所述真实人脸图像匹配的虚拟人脸的技术手段，在生成虚拟人脸的过程中，综合考虑了真实人脸面容元素分类与捏脸参数，解决现有技术由于对真实人脸图像中五官识别不精确导致生成虚拟人脸不精确的问题，实现精准识别人脸五官部位，准确对人脸五官分类，并精确生成虚拟人脸的效果。
附图说明
22.图1为本发明实施例一提供了一种虚拟人脸的生成方法的流程图；
23.图2a为本发明实施例二提供了另一种虚拟人脸的生成方法的流程图；
24.图2b为本发明实施例二提供了一种虚拟人脸的生成方法的具体应用场景的流程图；
25.图3为本发明实施例三提供了一种虚拟人脸的生成装置的结构示意图；
26.图4为本发明实施例四提供了一种电子设备的结构示意图。
具体实施方式
27.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
28.另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
29.本发明实施例的说明书和权利要求书及附图中的术语“第一”和“第二”等是用于
区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
30.实施例一
31.图1为本发明实施例一提供的一种虚拟人脸的生成方法的流程图，本实施例可适用于根据真实人脸图像生成虚拟人脸的情况，该方法可以由虚拟人脸的生成装置来执行，该装置可以通过软件和/或硬件的方式实现，并一般可以集成在具有图像处理功能的客户端或者服务器中。参考图1，该方法具体包括如下步骤：
32.s110、获取真实人脸图像，并生成与真实人脸图像对应的多个局部子图，每个局部子图对应人脸上的设定面容元素。
33.其中，真实人脸图像可以是用于生成虚拟人脸的依据，例如，可以是用户使用摄像头实际拍摄得到的人脸图像。局部子图可以是指整体待分类人脸图像中，包括具体一项面容元素的局部图像，局部子图一般为真实人脸图像的真子集，且，不同局部子图之间可能会存在有部分重叠区域。例如，包括有脸型轮廓的局部子图，会与包括有眼睛的局部子图具有重叠区域等。设定面容元素可以是指会影响人容貌的面部部位，例如，脸型轮廓、眼睛、鼻子、眉毛以及嘴巴等。
34.可选的，可以将真实人脸图像，按照人脸上的设定面容元素，生成对应的多个局部子图。
35.在本发明的一个可选实施例中，生成与真实人脸图像对应的多个局部子图，可以包括：在所述真实人脸图像中，标注得到多个人脸关键点；根据与不同面容元素分别对应的人脸关键点集合，在标注得到的各人脸关键点中，确定与所述真实人脸图像中的各面容元素分别对应的目标人脸关键点；根据与所述真实人脸图像中的各面容元素分别对应的目标人脸关键点，形成与所述真实人脸图像中的各面容元素分别对应的局部子图。
36.其中，人脸关键点可以是指人脸五官部位点。目标人脸关键点可以是指与待分类人脸图像中面容元素对应的人脸关键点。
37.可选的，可以对真实人脸图像进行关键点标注，得到多个人脸关键点；进而可以根据与不同面容元素分别对应的人脸关键点集合，在标注得到的各人脸关键点中，确定与真实人脸图像中的各面容元素分别对应的目标人脸关键点；根据与真实人脸图像中的各面容元素分别对应的目标人脸关键点，形成与真实人脸图像中的各面容元素分别对应的局部子图。
38.在一个具体的例子中，基于现有的gbdt(one millisecond face alignment with an ensemble of regression trees)算法，可以针对输入的人脸图像标注得到该人脸图像中的68个人脸关键点，例如，脸型轮廓点，眼角点、眼睛中心点以及嘴角点等，不同位置的人脸关键点使用不同的序号进行编号。进而，通过建立与不同面容元素分别对应的人脸关键点集合，例如，面部轮廓对应由编号1关键点到编号17构成的关键点集合，眼睛对应由编号37到编号46构成的关键点集合等，进而，通过结合该人脸关键点集合以及在待分类人脸图像中标注得到的各人脸关键点，可以将待分类人脸图像中划分出不同面部元素所在的图像区域，进而，可以形成上述各局部子图。
39.s120、根据与每个局部子图分别对应的图像特征集，以及面容元素几何特征集，确
定每个局部子图中面容元素的所属类型。
40.其中，图像特征集中包含与该局部子图中的面容元素对应的多个图像特征；图像特征可以包括下述至少一项：颜色特征、纹理特征、形状特征和空间关系特征等。面容元素几何特征集中包含与该局部子图中的面容元素对应的多个面容元素几何特征，其中，面容元素几何特征可以包括下述至少一项：面容元素的尺度(典型的，长度或者宽度等)、倾斜角度、关键点间的夹角、以及边缘曲率等。
41.其中，可以预先为每个面容元素设置多个可选的类型，用于涵盖不同面容元素的不同形态特征，例如，针对脸型这一面容元素，可以设定、圆形脸型、椭圆形脸型、卵圆形脸型、倒卵圆形脸型、方形脸型、长方形脸型、梯形脸型、倒梯形脸型、菱形脸型以及五角形脸型等多个可选的人脸类型。
42.相应的，可以根据某一局部子图中包括的面容元素的至少一项图像特征以及至少一项面容元素几何特征，在与该面容元素匹配的各可选的人脸类型中，确定出该面容元素所属的类型。
43.可选的，可以预先为每个面容元素的每个类型均设置匹配的标准图像特征集和面容元素集合特征集，进而，在获取与某一局部子图中的面容元素对应的图像特征集，以及面容元素几何特征集，通过计算相似度的方式，获取与该局部子图中的面容元素最相似的类型，作为该局部子图中面容元素的所属类型。
44.在本发明的一个可选实施例中，根据与每个局部子图分别对应的图像特征集，以及面容元素几何特征集，确定每个局部子图中面容元素的所属类型，可以包括：获取与当前处理的目标局部子图对应的目标面容元素；在预先训练的全部面容元素分类模型中，获取与所述目标面容元素匹配的目标面容元素分类模型，并将所述目标局部子图输入至所述目标面容元素分类模型中；通过所述面容元素分类模型从目标局部子图中提取匹配的图像特征集以及面容元素几何特征集，并根据所述图像特征集以及面容元素几何特征集，确定所述目标局部子图中目标面容元素的所属类型。
45.其中，目标局部子图可以是指从所获取的全部局部子图中确定的当前需要处理的某个局部子图。目标面容元素可以是指目标局部子图中包含的面容元素。面容元素分类模型可以是预先训练的用于判断面容元素所属类型的模型，面容元素分类模型可以通过标准化定义的面容元素经过至少一轮训练获得。目标面容元素分类模型可以是指从全部面容元素分类模型中确定的与某一面容元素对应的面容元素分类模型。
46.具体的，可以从当前处理的目标局部子图中获取对应的面容元素，将其确定为目标面容元素；在预先训练的全部面容元素分类模型中，获取与目标面容元素对应的目标面容元素分类模型，进而可以将当前处理的目标局部子图输入至获取的目标面容元素分类模型中；进一步的，目标面容元素分类模型可以从目标局部子图中提取对应的图像特征集以及面容元素几何特征集，并根据提取的图像特征集以及面容元素几何特征集，确定出目标局部子图中目标面容元素的所属类型。
47.在本发明的另一个可选实施例中，所述目标面容元素分类模型具体可以包括：图像特征提取网络、面容元素几何特征提取网络、特征融合网络以及分类网络；所述图像特征提取网络，用于根据输入的目标局部子图，在多个维度下提取图像特征集；所述面容元素几何特征提取网络，用于在输入的目标局部子图中提取与目标面容元素对应的面容元素几何
特征集；特征融合网络，用于将所述图像特征集和所述面容元素几何特征集进行特征拼接，得到融合特征集；分类网络，用于根据所述融合特征集，确定所述目标局部子图中所述目标面容元素的所属类型。
48.其中，图像特征提取网络可以为基于注意力机制的卷积神经网络，典型的如，resnet50(残差网络)。融合特征集可以是指图像特征与面容几何特征拼接融合后得到的面容元素特征。
49.在本发明的可选实施例中，可以根据目标面容元素分类模型中的图像特征提取网络从输入的目标局部子图中在多个维度下提取出图像特征集；可以根据面容元素几何特征提取网络从输入的目标局部子图中提取出面容元素几何特征集；进一步的，可以通过特征融合网络将提取出的图像特征集和面容元素几何特征集进行特征拼接，从而得到融合特征集；进而可以通过分类网络根据得到的融合特征集对目标局部子图中的目标面容元素的所属类型。
50.这样设置的好处在于，图像特征提取网络在提取图像特征时，由于经过了卷积层和池化层，导致了纹理结构的几何特征大小的弱化，进而会对面容元素的识别带来阻碍，本方案通过使用面容元素几何特征，可以中和上述弱化，提高识别准确率。
51.s130、根据每个局部子图中面容元素的所属类型，以及预设的与各面容元素的每个类型分别对应的标准捏脸参数，确定与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数。
52.其中，标准捏脸参数可以是指以预先定义的标准化面容元素类型为依据，通过捏脸器预先创建与标准化面容元素各类型一一对应的捏脸参数。目标标准捏脸参数可以是指从预设的标准捏脸参数中筛选出的，与真实人脸图像的面容元素所属类型对应的标准捏脸参数。
53.可选的，可以根据真实人脸图像的各局部子图中面容元素的所属类型，以及预设的标准捏脸参数，确定出真实人脸图像中各面容元素对应的各目标标准捏脸参数。
54.s140、根据与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数，形成与所述真实人脸图像匹配的虚拟人脸。
55.可选的，可以将确定的真实人脸图像中各面容元素对应的目标标准捏脸参数进行拼装，由捏脸器生成与真实人脸图像匹配的虚拟人脸。
56.本实施例的技术方案，通过获取真实人脸图像，并生成与真实人脸图像对应的多个包括有人脸上设定面部元素的局部子图；根据与每个局部子图分别对应的图像特征集，以及面容元素几何特征集，确定每个局部子图中面容元素的所属类型；根据每个局部子图中面容元素的所属类型，以及预设的与各面容元素的每个类型分别对应的标准捏脸参数，确定与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数；根据与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数，形成与所述真实人脸图像匹配的虚拟人脸的技术手段，在生成虚拟人脸的过程中，综合考虑了真实人脸面容元素分类与捏脸参数，解决了现有技术由于对真实人脸图像中五官识别不精确导致生成虚拟人脸不精确的问题，实现精准识别人脸五官部位，准确对人脸五官分类，并精确生成虚拟人脸的效果。
57.实施例二
58.图2a为本发明实施例二提供的另一种虚拟人脸的生成方法的流程图。本实施例在
上述各实施例的基础上，优选是在获取真实人脸图像，并生成与真实人脸图像对应的多个局部子图，每个局部子图对应人脸上的设定面容元素操作之后进一步增加操作，优选是将根据与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数，形成与所述真实人脸图像匹配的虚拟人脸操作进一步细化。参考图2a，该方法具体包括如下步骤：
59.s210、获取真实人脸图像，并生成与真实人脸图像对应的多个局部子图，每个局部子图对应人脸上的设定面容元素。
60.s220、生成与每个局部子图分别对应的面容元素几何特征集。
61.可选的，真实人脸图像的每个局部子图均可以生成对应的面容元素几何特征集。
62.在本发明的一个可选实施例中，生成与每个局部子图分别对应的面容元素几何特征集，可以包括：将每个局部子图，分别输入至预先训练的面容元素几何特征提取网络中，获取与每个局部子图分别对应的面容元素几何特征集。
63.具体的，可以将真实人脸图像的每个局部子图分别输入至预先训练的面容元素几何特征提取网络中，从而提取出与每个局部子图对应的面容元素几何特征集。
64.s230、根据各所述面容元素几何特征集，确定所述真实人脸图像对应的关联面容元素描述信息。
65.其中，关联面容元素描述信息可以是指描述真实人脸图像中各面容元素相互之间的影响和牵连信息，关联面容元素描述信息可以包括真实人脸图像中多个面容元素之间的相对位置关系，和/或尺寸比例关系。
66.具体的，可以根据获取的各面容元素几何特征集，确定出与真实人脸图像对应的关联面容元素描述信息，例如，鼻子与嘴巴之间的距离、鼻子相对于脸部的倾斜角度、鼻子长度与脸部长度之间的比值等个性化的信息。这样设置的好处在于，通过获取关联面容元素描述信息，可以有效区分面容元素所属类型相同但由于面容元素几何特征不同或者相对位置，和/或尺寸比例不同导致整体面容存在差异的真实人脸图像，最大程度的挖掘出不同人脸中的个性化信息，避免生成的虚拟人脸雷同。
67.s240、根据与每个局部子图分别对应的图像特征集，以及面容元素几何特征集，确定每个局部子图中面容元素的所属类型。
68.s250、根据每个局部子图中面容元素的所属类型，以及预设的与各面容元素的每个类型分别对应的标准捏脸参数，确定与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数。
69.s260、根据与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数，以及所述关联面容元素描述信息，形成与所述真实人脸图像匹配的虚拟人脸。
70.在本实施例中，可以将真实人脸图像中的各面容元素分别对应的目标标准捏脸参数进行拼装，结合关联面容元素描述信息，由捏脸器生成与真实人脸图像匹配的虚拟人脸。
71.本实施例的技术方案，通过获取真实人脸图像，并生成与真实人脸图像对应的包括人脸设定面容元素的多个局部子图；进而生成与每个局部子图分别对应的面容元素几何特征集；根据各面容元素几何特征集，确定真实人脸图像对应的关联面容元素描述信息；根据与每个局部子图分别对应的图像特征集，以及面容元素几何特征集，确定每个局部子图中面容元素的所属类型；根据每个局部子图中面容元素的所属类型，以及预设的与各面容元素的每个类型分别对应的标准捏脸参数，确定与真实人脸图像中的各面容元素分别对应
的目标标准捏脸参数；从而根据目标标准捏脸参数，以及关联面容元素描述信息，形成与真实人脸图像匹配的虚拟人脸的技术手段，在生成面容元素几何特征及集时，进一步获取关联面容元素描述信息，解决了现有技术由于对真实人脸图像中五官识别不精确导致生成虚拟人脸不精确的问题，实现精准识别人脸五官部位，准确对人脸五官分类，并精确生成虚拟人脸的效果。
72.示例性的，以下为虚拟人脸的生成方法的一种具体应用场景。
73.图2b为本具体应用场景的流程图。游戏玩家上传真实人脸图像，通过预先训练的面容元素分类模型获取真实人脸图像中各面容元素的所属类型；进而对预先构建的面容元素捏脸参数库进行检索，获取与真实人脸图像中各面容元素所属类型对应的目标面容元素捏脸参数；进一步的，由捏脸器拼装目标面容元素捏脸参数渲染出玩家角色人脸(即虚拟人脸)，从而玩家保存角色人脸信息，完成游戏角色捏脸。
74.具体的，步骤1：预先对人脸面容元素进行标准化定义，参考表1，按照各面容元素的标准化分类，分别通过捏脸器创建与各面容元素的各所属类别一一对应的捏脸参数(该捏脸参数用于通过对应捏脸器渲染成与对应面容元素相似的游戏角色面容元素)。
75.步骤2：将依据步骤1得到真实人脸各面容元素的捏脸参数集，创建成游戏角色面容元素捏脸参数库。
76.步骤3：游戏玩家通过上传个人或个人喜欢的面部照片，由预先训练的面容元素分类模型获取玩家上传图片中人脸的各面容元素所属类型。
77.步骤4：基于步骤3中得到的人脸各面容元素所属类型，检索步骤2中创建的游戏角色面容元素捏脸参数库，确定出与上传照片中真实人脸对应的目标游戏角色面容元素捏脸参数。
78.步骤5：将步骤4中获得目标游戏角色面容元素捏脸参数进行拼装，进而由捏脸器渲染生成游戏玩家角色脸。
79.[0080][0081]
实施例三
[0082]
图3为本发明实施例三提供的一种虚拟人脸的生成装置的结构示意图。如图3所示，该装置可以包括：面容元素生成模块310、面容元素类型确定模块320、标准捏脸参数确定模块330和虚拟人脸形成模块340，其中：
[0083]
面容元素生成模块310，获取真实人脸图像，并生成与真实人脸图像对应的多个局部子图，每个局部子图对应人脸上的设定面容元素；
[0084]
面容元素类型确定模块320，根据与每个局部子图分别对应的图像特征集，以及面容元素几何特征集，确定每个局部子图中面容元素的所属类型；
[0085]
标准捏脸参数确定模块330，用于根据每个局部子图中面容元素的所属类型，以及预设的与各面容元素的每个类型分别对应的标准捏脸参数，确定与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数；
[0086]
虚拟人脸形成模块340，用于根据与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数，形成与所述真实人脸图像匹配的虚拟人脸。
[0087]
本实施例的技术方案，通过获取真实人脸图像，并生成与真实人脸图像对应的多
个包括有人脸上设定面部元素的局部子图；根据与每个局部子图分别对应的图像特征集，以及面容元素几何特征集，确定每个局部子图中面容元素的所属类型；根据每个局部子图中面容元素的所属类型，以及预设的与各面容元素的每个类型分别对应的标准捏脸参数，确定与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数；根据与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数，形成与所述真实人脸图像匹配的虚拟人脸的技术手段，在生成虚拟人脸的过程中，综合考虑了真实人脸面容元素分类与捏脸参数，解决了现有技术由于对真实人脸图像中五官识别不精确导致生成虚拟人脸不精确的问题，实现精准识别人脸五官部位，准确对人脸五官分类，并精确生成虚拟人脸的效果。
[0088]
上述装置中，可选的是，还包括，关联面容元素描述信息确定模块，用于在获取真实人脸图像，并生成与真实人脸图像对应的多个局部子图，每个局部子图对应人脸上的设定面容元素之后：
[0089]
生成与每个局部子图分别对应的面容元素几何特征集；
[0090]
根据各所述面容元素几何特征集，确定所述真实人脸图像对应的关联面容元素描述信息，所述关联面容元素描述信息包括：真实人脸图像中多个面容元素之间的相对位置关系，和/或尺寸比例关系；
[0091]
虚拟人脸形成模块340，具体可以用于：根据与所述真实人脸图像中的各面容元素分别对应的目标标准捏脸参数，以及所述关联面容元素描述信息，形成与所述真实人脸图像匹配的虚拟人脸。
[0092]
上述装置中，可选的是，面容元素类型确定模块320，具体可以用于：
[0093]
获取与当前处理的目标局部子图对应的目标面容元素；
[0094]
在预先训练的全部面容元素分类模型中，获取与所述目标面容元素匹配的目标面容元素分类模型，并将所述目标局部子图输入至所述目标面容元素分类模型中；
[0095]
通过所述面容元素分类模型从目标局部子图中提取匹配的图像特征集以及面容元素几何特征集，并根据所述图像特征集以及面容元素几何特征集，确定所述目标局部子图中目标面容元素的所属类型。
[0096]
上述装置中，可选的是，所述目标面容元素分类模型具体包括：图像特征提取网络、面容元素几何特征提取网络、特征融合网络以及分类网络；
[0097]
所述图像特征提取网络，用于根据输入的目标局部子图，在多个维度下提取图像特征集；
[0098]
所述面容元素几何特征提取网络，用于在输入的目标局部子图中提取与目标面容元素对应的面容元素几何特征集；
[0099]
特征融合网络，用于将所述图像特征集和所述面容元素几何特征集进行特征拼接，得到融合特征集；
[0100]
分类网络，用于根据所述融合特征集，确定所述目标局部子图中所述目标面容元素的所属类型。
[0101]
上述装置中，可选的是，关联面容元素描述信息确定模块，具体可以用于：
[0102]
将每个局部子图，分别输入至预先训练的面容元素几何特征提取网络中，获取与每个局部子图分别对应的面容元素几何特征集。
[0103]
上述装置中，可选的是，所述面容元素几何特征可以包括下述至少一项：面容元素
的尺度、倾斜角度、关键点间的夹角、以及边缘曲率。
[0104]
上述装置中，可选的是，面容元素生成模块310，具体可以用于：
[0105]
在所述真实人脸图像中，标注得到多个人脸关键点；
[0106]
根据与不同面容元素分别对应的人脸关键点集合，在标注得到的各人脸关键点中，确定与所述真实人脸图像中的各面容元素分别对应的目标人脸关键点；
[0107]
根据与所述真实人脸图像中的各面容元素分别对应的目标人脸关键点，形成与所述真实人脸图像中的各面容元素分别对应的局部子图。
[0108]
本发明实施例所提供的虚拟人脸的生成装置可执行本发明任意实施例所提供的虚拟人脸的生成方法，具备执行方法相应的功能模块和有益效果。
[0109]
实施例四
[0110]
图4为本发明实施例四提供的一种电子设备的结构示意图。图4示出了适于用来实现本发明实施方式的电子设备412的框图。图4显示的电子设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0111]
如图4所示，电子设备412以通用计算设备的形式表现。电子设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，用于存储一个或多个计算机程序，连接不同系统组件(包括存储装置428和处理器416)的总线418。
[0112]
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(industry standard architecture，isa)总线，微通道体系结构(micro channel architecture，mca)总线，增强型isa总线、视频电子标准协会(video electronics standards association，vesa)局域总线以及外围组件互连(peripheral component interconnect，pci)总线。
[0113]
电子设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0114]
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(random access memory，ram)430和/或高速缓存存储器432。电子设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(compact disc-read only memory，cd-rom)、数字视盘(digital video disc-read only memory，dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0115]
具有一组(至少一个)程序模块426的程序436，可以存储在例如存储装置428中，这样的程序模块426包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块426通常执行本发明所描述的实施例中的功能和/或方法。
[0116]
电子设备412也可以与一个或多个外部设备414(例如键盘、指向设备、摄像头、显
only memory，rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom，或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0129]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0130]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、射频(radio frequency，rf)等等，或者上述的任意合适的组合。
[0131]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言，诸如“python”、“matlab”、“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0132]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。