一种基于内容特征和风格特征的人脸图像生成方法
本发明涉及人脸图像生成技术领域，更具体的，涉及一种基于内容特征和风格特征的人脸图像生成方法。
背景技术：
现有的生成式对抗网络(gan)模型的生成器基本上都是基于编码器-解码器结构或者变种，如pix2pixgan、cyclegan，drgan和tpgan等等。基于编码器-解码器结构下的图像到图像的深度网络，编码器最终将输入的图像编码压缩到一个比原来图像的维数更小的特征上，由于这个过程伴随着图像大量的信息和细节的丢失，最终在特征上保留下来的信息往往是与最终生成图像最相关的信息；解码器将这个中间特征的信息进行解析和补充，最终生成基于输入图像某种信息相关的生成图片，这种信息(中间特征的语义)一般指是人脸相互区别的特征，如人脸身份信息。
目前图像风格迁移成功引入到人脸图像生成技术领域，并与gan相结合十分出色地完成了人脸生成任务。人脸风格迁移认为人脸图像由图像内容信息(content)和图像风格信息(style)两部分信息组成。但是这两部分信息的界限没有严格的定义，按照不同的场景下有所区别，在人脸风格区别明显的场景下，图像内容信息可以定义人脸图像高层语义信息即人脸身份。但是现有的人脸图像生成技术生成人脸的风格单一，无法保证生成的人脸图像保持输入人脸图像的身份。
现有技术中，如2019-03-22公开的中国专利，一种基于生成对抗式网络的人脸表情识别方法，公开号为cn109508646a，识别方法精确度高，不易出错，能够在光线较差的环境下进行人脸图像精确识别，但是无法保证生成的人脸图像保持输入人脸图像的身份。
技术实现要素：
本发明为克服现有的人脸图像生成技术无法保证生成的人脸图像保持输入人脸图像的身份的技术缺陷，提供一种基于内容特征和风格特征的人脸图像生成方法。
为解决上述技术问题，本发明的技术方案如下：
一种基于内容特征和风格特征的人脸图像生成方法，包括以下步骤：
s1：获取人脸图像数据集，并构建双路径生成式对抗网络模型，其中所述人脸图像数据集包括原始域人脸图像和目标域人脸图像；
s2：利用双路径生成式对抗网络模型从原始域人脸图像中提取原始域的内容特征和风格特征，从目标域人脸图像中提取目标域的内容特征和风格特征；
s3：通过对内容特征和风格特征进行监督学习建立特征关联损失函数；
s4：根据特征关联损失函数建立双路径生成式对抗网络模型的价值函数；
s5：通过对抗学习得到价值函数的全局最优解，从而得到优化好的双路径生成式对抗网络模型进行人脸图像生成。
优选的，所述双路径生成式对抗网络模型包括原始域编码器ex、目标域编码器ey、原始域生成器gx、目标域生成器gy、原始域鉴别器dx、目标域鉴别器dy和特征关联模型；
其中，
所述原始域编码器ex包括用于提取原始域x的内容特征
所述目标域编码器ey包括用于提取目标域y的内容特征
所述原始域生成器gx用于融合原始域x的内容特征和风格特征并生成原始域生成人脸图像，
所述目标域生成器gy用于融合目标域y的内容特征和风格特征并生成目标域生成人脸图像，
所述原始域鉴别器dx用于鉴别原始域x生成人脸图像的真假，
所述目标域鉴别器dy用于鉴别目标域y生成人脸图像的真假，
所述特征关联模型用于对内容特征和风格特征进行监督学习建立特征关联损失函数，并根据特征关联损失函数对内容特征进行预测得到相应的风格特征。
优选的，步骤s3中建立的特征关联损失函数为：
其中，rx(·)表示原始域的内容特征和风格特征的联系，ry(·)表示目标域的内容特征和风格特征的联系，||·||表示取l1范数操作，xi～pd(x)表示原始域人脸图像xi满足原始域x的真实数据分布pd(x)，yj～pd(y)表示目标域人脸图像yj满足原始域y的真实数据分布pd(y)。
优选的，当利用lrcs(rx，ey，x，y)损失对编码器进行优化时，将lrcs(ey，ex，rx，ry，x，y)修改为：
优选的，在建立双路径生成式对抗网络模型的价值函数之前，还包括建立图像自重建损失函数，所述图像自重建损失函数为：
其中，z为随机风格特征。
优选的，在建立双路径生成式对抗网络模型的价值函数之前，还包括建立生成式对抗网络的对抗损失函数，所述生成式对抗网络的对抗损失函数包括生成器的对抗损失函数和鉴别器的对抗损失函数；其中，
生成器的对抗损失函数为：
鉴别器的对抗损失函数为：
其中，
优选的，在建立双路径生成式对抗网络模型的价值函数之前，还包括建立人脸内容重建损失函数，所述人脸内容重建损失函数为：
优选的，在建立双路径生成式对抗网络模型的价值函数之前，还包括建立人脸风格重建损失函数，所述人脸风格重建损失函数为：
优选的，在建立双路径生成式对抗网络模型的价值函数之前，还包括建立内容和风格特征双循环重建损失函数，所述内容和风格特征双循环重建损失函数为：
其中，μ是正反循环重建损失的比例参数，
优选的，所述双路径生成式对抗网络模型的价值函数为：
其中，λ1，λ2，λ3，λ4，λ5，λ6是对相应项的权重超参数，rcsgan表示双路径生成式对抗网络模型，lgan(ex，ey，gx，gy，x，y，z)为生成式对抗网络的对抗损失函数，lc(ex，ey，gx，gy，x，y，z)为人脸内容重建损失函数，ls(ex，ey，gx，gy，x，y，z)为人脸风格重建损失函数，limg(ex，ey，gx，gy，x，y，z)为图像自重建损失函数，lrecon(ex，ey，gx，gy，x，y，z)为内容和风格特征双循环重建损失函数，lrcs(ex，ey，gx，gy，x，y，z)为特征关联损失函数。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供了一种基于内容特征和风格特征的人脸图像生成方法，根据内容特征和风格特征的联系建立特征关联损失函数，以人脸图像的内容特征不变作为沟通原始域和目标域关系的桥梁，从而让相互分离的内容特征和风格特征建立起既相互独立又相互联系的关系，实现生成的人脸图像保持输入人脸图像的身份。
附图说明
图1为本发明的技术方案实施步骤流程图；
图2为本发明中特征关联模型的训练示意图；
图3为本发明中特征关联模型的测试示意图；
图4为本发明中基于ar数据集的随机表情风格图像生成结果对比示意图；
图5为本发明中基于caspeal数据集的随机表情风格图像生成结果对比示意图；
图6为本发明中基于caspeal数据集的随机去遮挡风格图像生成结果示意图；
图7为本发明中基于cmumpie数据集的随机表情风格图像生成结果示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于内容特征和风格特征的人脸图像生成方法，包括以下步骤：
s1：获取人脸图像数据集，并构建双路径生成式对抗网络模型，其中所述人脸图像数据集包括原始域人脸图像和目标域人脸图像；在实际实施时，人脸图像数据集
s2：利用双路径生成式对抗网络模型从原始域人脸图像xi中提取原始域的内容特征
s3：通过对内容特征和风格特征进行监督学习建立特征关联损失函数；
在实际实施时，由于内容特征和风格特征间具有身份信息的联系，而且刚好是有标签数据的形式(风格特征为标签)，因此可以便捷而高效地通过监督学习得到内容特征和风格特征的联系，从而建立特征关联损失函数；
s4：根据特征关联损失函数建立双路径生成式对抗网络模型的价值函数；
s5：通过对抗学习得到价值函数的全局最优解，从而得到优化好的双路径生成式对抗网络模型进行人脸图像生成。
实施例2
更具体的，所述双路径生成式对抗网络模型包括原始域编码器ex、目标域编码器ey、原始域生成器gx、目标域生成器gy、原始域鉴别器dx、目标域鉴别器dy和特征关联模型；
其中，
所述原始域编码器ex包括用于提取原始域x的内容特征
所述目标域编码器ey包括用于提取目标域y的内容特征
所述原始域生成器gx用于融合原始域x的内容特征和风格特征并生成原始域生成人脸图像，
所述目标域生成器gy用于融合目标域y的内容特征和风格特征并生成目标域生成人脸图像，
所述原始域鉴别器dx用于鉴别原始域x生成人脸图像的真假，
所述目标域鉴别器dy用于鉴别目标域y生成人脸图像的真假，
所述特征关联模型用于对内容特征和风格特征进行监督学习建立特征关联损失函数，并根据特征关联损失函数对内容特征进行预测得到相应的风格特征。
在具体实施过程中，双路径生成式对抗网络模型rcsgan正方向的生成器目标是：将原始域中的提供内容信息的人脸图像xi和提供风格信息的特征
更具体的，如图2所示，步骤s3中建立的特征关联损失函数为：
其中，rx(·)表示原始域的内容特征和风格特征的联系，ry(·)表示目标域的内容特征和风格特征的联系，||·||表示取l1范数操作，xi～pd(x)表示原始域人脸图像xi满足原始域x的真实数据分布pd(x)，yj～pd(y)表示目标域人脸图像yj满足原始域y的真实数据分布pd(y)。
更具体的，当利用lrcs(rx，ey，x，y)损失对编码器进行优化时，将lrcs(ey，ex，rx，ry，x，y)修改为：
在具体实施过程中，特征关联损失函数帮助模型将相互分离的风格特征和内容特征，建立起即相互独立又相互联系的关系，从而达到保持生成人脸图像的身份。
如图3所示，在测试时，特征关联模型是rscgan为生成人脸图像保持人脸身份的关键所在。由于内容特征
更具体的，在建立双路径生成式对抗网络模型的价值函数之前，还包括建立图像自重建损失函数，所述图像自重建损失函数为：
其中，z为随机风格特征。
在具体实施过程中，图像自重建损失函数使模型可以将人脸图像和其内含的风格特征和内容特征建立紧密的联系，对模型的(编码、生成)的过程起到规范作用。该损失项先对原始域x(目标域y)的图像分别通过各自编码器，然后直接以得到的内容和风格特征作为编码器的输入，最终对重建生成图像与输入的人脸图像进行相似程度的衡量。
图像自重建过程依次分为人脸图像的编码过程和特征的解码生成过程，编码过程首先对原始域x(目标域y)的图像xi(yj)分别通过人脸风格编码器
更具体的，在建立双路径生成式对抗网络模型的价值函数之前，还包括建立生成式对抗网络的对抗损失函数，所述生成式对抗网络的对抗损失函数包括生成器的对抗损失函数和鉴别器的对抗损失函数；其中，
在人脸内容特征提取过程中，对于原始域x(目标域y)的图像xi(yj)，通过人脸内容编码器器
生成器的对抗损失函数为：
鉴别器的对抗损失函数为：
其中，
在具体实施过程中，生成式对抗网络的对抗损失函数包括生成器的对抗损失函数和鉴别器的对抗损失函数两部分，能够引导生成器和鉴别器通过相互竞争优化自身网络参数，最终使生成数据分布拟合真实数据分布。
更具体的，在建立双路径生成式对抗网络模型的价值函数之前，还包括建立人脸内容重建损失函数，由随机风格特征和内容特征的解码生成过程和生成图像的再编码过程可知，所述人脸内容重建损失函数为：
在具体实施过程中，人脸内容重建损失函数能够提高模型在生成、编码的过程中保持图像内容信息的能力，尤其是建立了原始域和目标域的内容特征不变性，对编码器的提取特征能力和生成器生成能力都会产生极大的引导作用。这是对内容特征和随机风格特征融合生成的生成图像，再次编码得到相应重建的内容特征，并对编码前后内容特征进行相似程度的衡量。该损失函数采用l1范式来提供稀疏性。
更具体的，在建立双路径生成式对抗网络模型的价值函数之前，还包括建立人脸风格重建损失函数，由随机风格特征和内容特征的解码生成过程和生成图像的再编码过程可知，所述人脸风格重建损失函数为：
在具体实施过程中，人脸风格重建损失函数与内容特征重建损失lc的原理和作用相似，提高模型在(生成、编码)的过程中保持图像风格信息的能力，区别是提高模型学习生成不同风格特征的人脸图像，同样对编码器的提取特征能力和生成器生成能力产生极大的引导作用。人脸风格重建损失函数最终是对编码前后风格特征进行相似程度的衡量。该损失函数同样采用l1范式来提供稀疏性。
更具体的，在建立双路径生成式对抗网络模型的价值函数之前，还包括建立内容和风格特征双循环重建损失函数，在内容和风格特征双循环重建过程中，人脸内容特征和人脸风格特征都分别构建单独的重建图像，是人脸风格和内容重建损失的更强约束，增强了rcsgan编码器独立提取人脸风格特征、内容特征的能力，并且增强生成器生成保持内容和风格信息一致性的能力，对于生成人脸图像
其中，μ是正反循环重建损失的比例参数，
在具体实施过程中，内容和风格特征双循环重建损失函数能够促进模型在内容和风格两方面的信息保持能力，是模型提取特征、生成人脸图像能力的综合体现。损失项是对内容特征和随机风格特征融合生成的生成图像，再次编码得到相应的内容和风格，分别进行重建损失。该损失函数也是采用l1范式来提供稀疏性。
更具体的，所述双路径生成式对抗网络模型的价值函数为：
其中，λ1，λ2，λ3，λ4，λ5，λ6是对相应项的权重超参数，rcsgan表示双路径生成式对抗网络模型，lgan(ex，ey，gx，gy，x，y，z)为生成式对抗网络的对抗损失函数，lc(ex，ey，gx，gy，x，y，z)为人脸内容重建损失函数，ls(ex，ey，gx，gy，x，y，z)为人脸风格重建损失函数，limg(ex，ey，gx，gy，x，y，z)为图像自重建损失函数，lrecon(ex，ey，gx，gy，x，y，z)为内容和风格特征双循环重建损失函数，lrcs(ex，ey，gx，gy，x，y，z)为特征关联损失函数。
在实施例3、实施例4、实施例5和实施例6中均采用如下数据集：
ar人脸数据库包含100个人(男性50，女性50)的2600张在光照、遮挡、表情环境和条件下的人脸，cas-peal人脸数据库包含1040个人(男性595，女性445)在光照、遮挡、装饰、表情、姿态环境和条件下30900张图像。对于这两个人脸数据集，按8∶2比例随机分配为训练集和测试集。相关的输入主要有三种来源(原始域图像，目标域图像，随机风格特征)，具体分配为：
(1)在随机表情风格图像生成实施例，将训练数据集和测试数据集分别分为有表情图像和无表情图像两部分数据集，并将无表情图像定义为模型的原始域图像集，有表情图像定义为目标域图像集。
(2)在随机去遮挡风格图像生成实施例，将数据集分为有遮挡和无遮挡两部分数据集，无遮挡图像定义为对比模型的原始域输入图像，有遮挡图像定义为对比模型的目标域输入图像。
(3)对于munit和rcsgan的原始域和目标域的随机风格，在训练和测试时都是从标准正态分布数据上随机采样。
为了更好地比较模型的性能，将输入图像统一裁剪为256*256大小，并统一规定所有模型输入256*256大小的生成图像。另外为了支持非配对数据集训练的环境，在模型的训练中每一次数据集的轮回时分别重新打乱目标域和原始域数据集的图像，因此原始域和目标域图像之间人物身份配对信息是无法通过在输入的图像对上直接获取。
实施例3
基于ar数据集的随机表情风格图像生成：
本实施例设置rscgan模型的价值函数的各项损失权重为λ1＝1，λ2＝1，λ3＝1，λ4＝10，λ5＝5，λ6＝2，内容和风格特征双循环重建损失函数的比例参数μ＝0.1。对于对比的方法munit和cd-gan，为了对比的公平性，本实施例让内容重建、风格重建、图像自重建过程的损失权重保持相同，并统一循环训练到50000步之后，比较测试模型的生成效果和身份保持效果。如图4所示，对比munit和cd-gan，rcsgan生成的人脸图像更贴近于真实图像。
另外munit和cd-gan由于人脸风格与人脸内容不匹配，而有可能改变了最终人脸的身份特征；并且在图像的清晰度上，rcsgan和munit相差很小，cd-gan在不能够有效生成目标图像。cd-gan更适合风格特征变化大的图像集，而相对于表情生成，局部的表情变化使cdgan的风格编码器更难学习特征提取有效性，提取的风格特征更趋于噪声，导致整个模型出现错误的状态，而munit和rcsgan是通过随机采样的变量来代替风格特征参与训练，相当于将模型分为编码和生成两大过程进行训练，可以使生成器和编码器更高效地学习本身更相关的任务，分别有助于提高特征的提取能力和生成图像能力。
实施例4
基于caspeal数据集的随机表情风格图像生成：
本实施例设置rscgan模型的价值函数的各项损失权重为λ1＝1，λ2＝1，λ3＝1，λ4＝10，λ5＝6，λ6＝1，内容和风格特征双循环重建损失函数的比例参数μ＝0.1。为了公平性，同样的对cd-gan模型保持作者原来调整好的默认的设置，而munit在内容重建、风格重建、图像自重建过程的损失权重保持与rcsgan相同。同时为了验证自注意力模块的效果，本实施例将不添加自注意力模块的rcsgan记为rcsgan，caspeal人脸数据集随机风格生成结果如图5所示；rcsgan通过特征关联模型使原本munit合成错误的区域(如第3行第4列人物嘴巴)重新纠正为正常的笑脸(如第5行第4列人物嘴巴)，由于caspeal数据集的不同人脸变化比ar人脸大，生成人脸的难度更高，因此，munit会生成边界细节混乱的图像。而rcsgan的内容和风格链接模块可以起到纠正这种错误的作用，但是生成图像也带来了稍微的模糊。另一方面，自注意力的模块可以很好地为模型提供更好的全局性特征，提升了生成器的生成能力。为了更好地表现，以上对比模型的性能，通过预训练好的inception网络进行人脸分类任务，并最终计算出inception得分用于衡量人脸生成图像的质量；同时，使用结构相似性(structuralsimilarityindex)来进一步衡量与目标图像的相似性以此用来衡量身份保持性。特别说明是，cd-gan在本生成图像任务上，并没有有效地生成人脸，而是出现了模式崩溃问题，即任何不同输入图像生成器只产生一种输出结果(即相同的人脸图像)，这可能是由于该模型的生成器和鉴别器间的对抗学习出现脱离，此时衡量该结果是没有意义的，因此这里不提供该模型生成图像的inception得分(is)和ssim相似值。生成结果如下表：
caspeal数据集的人脸表情生成实验inception分数(is)和结构相似性(ssim)得分
实施例5
基于caspeal数据集的随机去遮挡风格图像生成：
为了进一步探究rcsgan模型的泛化能力，本实施例在caspeal数据集的去遮挡子集中，完成随机去遮挡风格图像生成。本实施例沿用了实施例4的参数设置。由于cdgan在该任务无法有效生成图像，因此本实施例结果不包含cd-gan在内，去遮挡生成结果如图6所示。
rcsgan在caspeal数据集随机去遮挡风格图像生成实验取得了最好的效果，虽然是rcsgan比munit的结果稍微模糊(如第4行第2列rcsgan生成的图像稍微比munit模糊)，但是却很好地弥补了生成结果中部分区域严重的生成痕迹(如第2行第3列与第4行的第5列生成图像相比)，而相反，munit因为随机采样的风格特征影响了人脸生成的表达能力，使图像受干扰变得更加严重。对于rcsgan和没有自注意力模块的rcsgan-相比，自主力模块使一些细节干扰得到更好地优化(如第1行的1列和第1行的4列在人脸的左眼角墨镜的残余有效地去除了)。通过is和ssim两项分数验证模型的生成能力和保持人脸身份能力，如下表：
caspeal数据集的随机去遮挡风格图像生成实验inception分数(is)和结构相似性(ssim)得分
结果表明，自注意力通过牺牲轻微图片的清晰，而获取了更高地保持人脸身份的能力，这由于自注意力虽然通过全局的特征和信息更好地生成图像，但是会损伤模型在细节或者边缘的表达能力，从而导致生成图像相比更加模糊，但是全局的信息同样使局部一些干扰得到去除，而身份保持能力变得更强大。
实施例6
基于cmumpie数据集的随机表情风格图像生成：
cmumpie人脸数据集包含了大量不同条件的图像，本实施例仅在正面人脸的表情变化数据子集上完成人脸随机风格生成。为了公平性，cd-gan采用其原文提供的代码和超参数设置，这些设置都是经过调优好的，代表了模型本来的生成能力，并且本实施例在cmumpie人脸表情数据子集上重新训练和测试cd-gan模型。munit和rcsgan保持对抗学习，内容重建、风格重建、图像自重建权重参数统一，具体设置为λ1＝1，λ2＝1，λ3＝1，λ4＝10，设置rcsgan的λ5＝3且μ＝0.1，设置munit的λ5＝3，设置λ6＝1。生成图像结果如图7所示。通过is和ssim两项分数验证模型的生成能力和保持人脸身份能力，如下表：
cmumpie数据集随机表情风格图像生成实验is和ssim得分
可以看出在非配对数据集完成人脸身份保持和逼真性的生成任务上，rcsgan比现阶段的基于风格和内容生成人脸图像的生成式对抗网络更有优势。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！