一种基于约束生成对抗网络的个性化皮影面部生成方法

1.本技术涉及领域计算机视觉领域，具体涉及一种基于约束生成对抗网络的个性化皮影面部生成方法。


背景技术：

2.皮影戏是中国民间古老的传统艺术，流行范围极广，元代时期即流传到国外，是我国重要的非物质文化遗产。皮影戏道具采用手工制作，表演时用手操纵道具，辅以当地特色的曲调讲述故事，同时搭配打击乐或者弦乐，是一种表现手段多样、内容丰富的综合艺术形式。然而，新媒体时代的到来使人们关注的焦点转移到数字媒体，对依赖言传身教及手工表演的皮影戏造成了冲击，其传承也遇到了困难。如何使皮影戏重新获取大众的关注，使其制作和表演获得有效传承，是新时代亟需解决的问题。
3.基于深度学习技术的图像到图像的转换为皮影戏的制作和传承提供了一种有效的手段。基于真人影像，制作具有真人特点的皮影道具，进而制作具有角色代入感的表演内容，成为一种潜在的皮影戏推广形式，也成为其保护和传承的新手段。
4.目前图像到图像的转换技术中，转换的内容包含纹理和几何结构，但一般的图像转换技术通常仅涉及其中的一种转换，以保证在转换前后仍能通过某些特征识别出转换后图像的来源，即，转换后的图需保持某些特征的一致性。考虑到真人面部与皮影面部差异较大，前者纹理丰富，特征多变，后者纹理简单，模式单一，将真人面部转换为皮影面部时需要同时进行纹理和几何结构的转换，但此过程中丢失的纹理或几何结构信息可能使得转换后的图像中不包含源图像的某些可识别特征。具体而言，转换后的结果若保留了源图像的纹理特征，则无法在整体上体现皮影面部的风格特点；转换过程若缺乏对真实人脸面部几何结构的约束，则无法实现转换过程的部分转换，而完全转换无法体现皮影面部的个性化。因此目前现行的图像转换技术在生成皮影面部领域还存在不足之处。


技术实现要素：

5.本发明的目的是针对当前图像到图像转换方法在处理同时包含纹理和几何结构变换中的不足，提供一种有约束的转换方法，利用有约束的生成对抗网络模型，在转换结果中体现皮影面部风格特点的前提下，根据需要约束不同转换部位的几何形变，从而保留典型面部几何特征，体现皮影面部的个性化。
6.本技术是通过以下技术措施来实现的：一种基于约束生成对抗网络的个性化皮影面部生成方法，建立用于从真实人脸面部图像向皮影面部图像转换的生成对抗网络，该生成对抗网络引入局部几何特征约束函数，通过局部几何特征约束函数计算损失生成所需的图像域，在生成对抗网络的训练过程中，通过约束典型面部特征的几何形变，获得满足需求的生成对抗网络模型；将真实人脸面部图像输入该生成对抗网络模型的生成器，生成部分特征与真实人脸面部保持一致的皮影面部图像。
7.作为优选，所述典型面部特征包括眼睛、鼻子、嘴巴以及整体轮廓。
8.作为优选，所述眼睛、鼻子、嘴巴三个部位通过划分不同的图像区块确定，且在训练中保持固定，整体轮廓将图像整体作为累积区域。
9.作为优选，所述生成对抗网络的损失函数为：
[0010][0011]
式(1)中，g代表生成器，d代表鉴别器，即生成的个性化皮影面部，vc(d,g)为约束的生成对抗网络损失函数，v(d,g)为原始的生成对抗网络损失函数，为局部几何特征约束函数，λ为权重调节参数，通过调整λ来调整皮影面部图像和真实人脸面部的一致性；
[0012]
其中：
[0013][0014][0015]
式(2)中，x表示真实人脸面部图像域x中的样本，y表示皮影面部图像域y中的样本；
[0016]
式(3)中，x
′
与当前迭代所用的x对应，为x的边缘图像，损失由x
′
与对应的的不同对应区域的像素差累积得到，计算方式如式(4)所示，λ1、λ2、λ3、λ4为比例系数；
[0017]
其中，
[0018][0019]
式(4)中，(t)表示眼睛、鼻子、嘴巴以及整体轮廓中的任意一个部位，p代表区域中的像素位置。
[0020]
作为优选，通过调整λ1、λ2、λ3、λ4约束典型面部特征的几何形变，调节不同面部区域在转换后图像中所占的权重，以生成满足要求的图像。
[0021]
作为优选，用于训练所述生成对抗网络的数据集为：真实人脸面部数据集和皮影面部数据集经过预处理后获得的可直接用于转换网络训练的规范数据集。
[0022]
作为优选，所述预处理过程，包括：去除所述真实人脸面部数据集和皮影面部数据集中每个图像的背景，将图像底部设为白色；调整每个图像分辨率到预设值；截取每个图像中的真实人脸面部区域和皮影面部区域，调整真实人脸面部区域和皮影面部区域在图像中的位置；将每个图像中的人脸调整为统一朝向的侧视图；将每个图像转换为灰度图。
[0023]
本技术的有益效果：本技术通过基于约束生成对抗网络的转换过程，实现了包含图像纹理和几何结构同时进行转换的个性化皮影面部生成，保留真实人脸面部的主要特征，同时具备皮影面部形象的风格，从而保证转换后的图像是具备真人面部可识别特征的皮影图像，弥补了现有转换方案在处理这项任务时由于纹理丢失和几何结构变换导致生成的皮影面部无法体现源图像中面部典型特征的缺点。同时，通过灵活的参数调节，可以根据用户需求生成整体风格更偏向真人面部或更偏向皮影面部的合成图像，且使各主要面部组成部分的转换程度可控。
附图说明
[0024]
附图用来提供对本技术的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术，并不构成对本技术的限制。在附图中：
[0025]
图1(a)为经预处理后的真实人脸面部样本示例图；
[0026]
图1(b)为经预处理后的皮影面部样本示例图；
[0027]
图2为带有局部约束的生成对抗网络架构图；
[0028]
图3(a)为生成器网络结构示例图；
[0029]
图3(b)为鉴别器网络结构示例图；
[0030]
图4为带有局部约束的生成对抗网络训练流程图；
[0031]
图5为生成个性化皮影所用的网络结构图；
[0032]
图6为生成个性化皮影面部的流程图。
具体实施方式
[0033]
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0034]
一种基于约束生成对抗网络的个性化皮影面部生成方法，包括：首先建立用于从真实人脸面部图像向皮影面部图像转换的生成对抗网络，该生成对抗网络的损失函数带有局部几何特征约束函数；其次，在生成对抗网络的训练过程中，通过约束典型面部特征的几何形变，获得满足需求的生成对抗网络模型；再次，将真实人脸面部图像输入该生成对抗网络模型的生成器，生成部分特征与真实人脸面部保持一致的皮影面部图像。
[0035]
具体地，该个性化皮影面部生成方法包括以下步骤：
[0036]
s10：建立人脸面部数据集和皮影面部数据集；
[0037]
s20：对s10中的人脸面部数据集和皮影面部数据集进行预处理，获得的可直接用于转换网络训练的规范数据集，预处理过程包括：
[0038]
(1)去除所述真实人脸面部数据集和皮影面部数据集中每个图像的背景，将图像底部设为白色，以避免背景的其他内容对网络训练造成扰动，导致输出异常结果；
[0039]
(2)调整每个图像分辨率到预设值，以保证输入的图像都是一样的分辨率，因为如果分辨率不同，输入的时候可能只是截取了一部分，不能保证输入了完整的人脸图像；
[0040]
(3)截取每个图像中的真实人脸面部区域和皮影面部区域，调整真实人脸面部区域和皮影面部区域在图像中的位置；以保证输入和输出大小保持一。
[0041]
(4)将每个图像中的人脸调整为统一朝向的侧视图；这里图像之所以调整为统一朝向的侧视图是为了与皮影图像的特性保持一致。
[0042]
(5)将每个图像转换为灰度图。
[0043]
预处理后，真实人脸面部样本示例如图1(a)所示，皮影面部样本示例如图1(b)所示。
[0044]
s30：建立用于从真实人脸面部图像向皮影面部图像转换的生成对抗网络，如图2所示，其中：
[0045]
x代表真实人脸面部图像域；
[0046]
y代表皮影面部图像域；
[0047]
代表由生成器生成的个性化皮影面部图像域；
[0048]
g代表生成对抗网络中的生成器；
[0049]
d代表生成对抗网络中的鉴别器；
[0050]
x
′
代表x中的样本经边缘提取后形成的真实人脸面部边缘图像域，其中的样本与x中的样本具有一一对应关系；
[0051]
c代表由眼睛eye、鼻子nose、嘴巴mouth和整体轮廓contour四项局部特征组合成的特征约束函数。
[0052]
所建立的生成对抗网络除原始生成对抗网络中包含的生成器g和鉴别器d 外，还包含本发明中引入的特征约束函数c，及通过c计算损失时所需的图像域 x
′
。在此架构中，生成器g、鉴别器d均可采用不同的网络结构，由x生成x
′
的算法也可以通过边缘提取算法或者神经网络实现，本实施例给出其中的一种可能的实现方式。生成器g的网络结构示例如图3(a)所示，图3(a)中的 resnetblock的网络为基本块，由2个3
×
3的卷积层组成。鉴别器d的网络结构示例如图3(b)所示。x
′
域中的样本可通过opencv库中的canny边缘提取算子得到，亦可通过预训练的deepanalogy神经网络得到。
[0053]
该生成对抗网络训练过程遵循神经网络的一般训练过程，如图4所示。损失函数为：
[0054][0055]
式(1)中，g代表生成器，d代表鉴别器，即生成的个性化皮影面部，vc(d,g)为约束的生成对抗网络损失函数，v(d,g)为原始的生成对抗网络损失函数，为局部几何特征约束函数，λ为权重调节参数，通过参数λ调节局部几何特征约束损失与生成对抗网络损失v(d,g)之间的权重关系，继而调整皮影面部图像和真实人脸面部的一致性；
[0056]
其中：
[0057][0058][0059]
式(2)中，x表示真实人脸面部图像域x中的样本，y表示皮影面部图像域y中的样本；
[0060]
式(3)中，x
′
与当前迭代所用的x对应，为x的边缘图像，损失由 x
′
与对应的的不同对应区域的像素差累积得到，计算方式如式(4)所示，
[0061]
其中，
[0062][0063]
式(4)中，(t)表示眼睛、鼻子、嘴巴以及整体轮廓四个部位中的任意一个部位，p代
表区域中的像素位置。λ1、λ2、λ3、λ4为比例系数，通过调整λ1、λ2、λ3、λ4，约束典型面部特征的几何形变，调节不同面部区域在转换后图像中所占的权重，以生成满足要求的图像。其中，眼睛eye、鼻子nose、嘴巴mouth 三个部位可通过划分不同的图像区块确定，且在训练中保持固定，整体轮廓 contour则将图像整体作为累积区域。
[0064]
s40：将真实人脸面部图像输入训练好的生成对抗网络模型的生成器，得到部分特征与真实人脸面部保持一致的皮影面部图像，如图5/6所示。
[0065]
本技术通过λ，λ1，λ2，λ3，λ4这几个参数的调节来控制整体上和四个关键部位在转换后是否仍能保持几何形状不变。由于皮影图像中只包含边缘曲线，因此典型面部特征需要通过几何结构来表现。本技术中典型的面部特征是指眼睛、鼻子、嘴和整体轮廓，通过这几个部分即可区分出人与人之间的不同，即体现出皮影面部图像的个性化，以克服采用现有技术进行图像转换后得到的皮影图像无法判断它是根据哪个人脸转换而来的缺点。需要说明的是，个性化是指从转换后皮影面部图像的这几个关键部位能区分出是从哪张真实人脸面部图像转换过来的，即体现出真人的样子。
[0066]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。