一种基于深度学习的戏曲脸谱生成方法及系统

1.本发明为图像处理领域，具体涉及一种基于深度学习的戏曲脸谱生成方法及系统。


背景技术：

2.近年来，随着ai智能领域技术的发展和应用，科技不断的更新，深度学习也日趋成熟，其应用范围也在不断的创新，逐渐朝着传统文化方向发展，成为了计算机视觉领域热门的研究方向之一，因此，模拟生成戏曲脸谱技术也显得尤为重要。
3.中国专利文献号cn 111950432 a公开(公告)日2020.11.17，公开了一种基于区域风格一致性的妆容风格迁移方法及系统，该方法包括：获取妆容风格区域，其中妆容风格区域包括整个妆容的不同子区域的分割近似结果；构建生成对抗网络；以及依据归一化方式增强远距离相似妆容区域一致性生成目标图像。该方法虽然能够提取和生成细节，但是需要获取多个分割子区域，同时需要人工打标签的方式，这是非常耗时且麻烦的，而且提取的特征直接影响最终的生成结果，不适用于戏曲脸谱艺术场景，方法的鲁棒性也不够好。
4.总之，现有方法普遍适用于生活常见人脸图像，并且主要依赖于生成对抗网络，该过程麻烦且难以收敛，而且所构建的模型在戏曲脸谱的细节表现上较差，在实际戏曲脸谱艺术场景上还不能很好的实现，并且应用场景的局限性较强，泛化能力差。


技术实现要素：

5.为了解决上述技术问题，本发明提供一种基于深度学习的戏曲脸谱生成方法及系统。
6.本发明技术解决方案为：一种基于深度学习的戏曲脸谱生成方法，包括：
7.步骤s1：对人脸图片进行数据清洗与预处理，构建戏曲脸谱图像数据集；
8.步骤s2：根据素颜人脸图像和戏曲脸谱图像的人脸关键点，建立二者的映射关系；将对应所述人脸关键点进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像；
9.步骤s3：将所述素颜人脸图像和所述戏曲脸谱图像输入深度学习生成网络，生成结果图像；
10.步骤s4：根据所述戏曲脸谱图像、所述伪戏曲脸谱图像以及所述结果图像，并根据人脸特征关键点映射关系计算生成指定大小的k个局部戏曲妆容特征区域，输入所述深度学习生成网络，构建k个重叠人脸局部鉴别器，同时采用边缘感知处理实现面部色彩纹理高频细节增强，与所述深度学习生成网络生成的所述结果图像同步进行对抗，实现对戏曲脸谱高频细节的提取和鉴别，最终输出目标戏曲脸谱图像。
11.本发明与现有技术相比，具有以下优点：
12.1、本发明提供的方法训练简单方便，省去了人工方式打标签进行图像建模的模式，直接通过基于深度学习的技术进行不同域之间的戏曲脸谱建模。
13.2、本发明提供的方法实用性、泛化能力强，解决了相关技术存在的不同人脸场景
的局限性。
14.3、本发明提供的方法可对戏曲脸谱的高频色彩、纹理特征进行迁移，生成逼真的戏曲脸谱艺术生成效果。
附图说明
15.图1为本发明实施例中一种基于深度学习的戏曲脸谱生成方法的流程图；
16.图2为本发明实施例中一种基于深度学习的戏曲脸谱生成方法中步骤s1：对人脸图片进行数据清洗与预处理，构建戏曲脸谱图像数据集的流程图；
17.图3为本发明实施例中一种基于深度学习的戏曲脸谱生成方法中步骤s2：根据素颜人脸图像和戏曲脸谱图像的人脸关键点，建立二者的映射关系；将对应人脸关键点进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像的流程图；
18.图4为本发明实施例中对人脸图像中的人脸特征关键点提取的结果示意图；
19.图5为本发明实施例中提取人脸关键点以及建立关键点映射关系的操作步骤示意图；
20.图6为本发明实施例根据素颜人脸图像和戏曲脸谱图像生成的伪戏曲脸谱图像示意图；
21.图7为本发明实施例中深度学习生成网络的结构示意图；
22.图8为本发明实施例中一种基于深度学习的戏曲脸谱生成方法中步骤s4：根据戏曲脸谱图像、伪戏曲脸谱图像以及结果图像，并根据人脸特征关键点映射关系计算生成指定大小的k个局部戏曲妆容特征区域，输入深度学习生成网络，构建k个重叠人脸局部鉴别器，同时采用边缘感知处理实现面部色彩纹理高频细节增强，与深度学习生成网络生成的结果图像同步进行对抗，实现对戏曲脸谱高频细节的提取和鉴别，最终输出目标戏曲脸谱图像的流程图；
23.图9为本发明实施例中k个重叠的人脸局部鉴别器的结构示意图；
24.图10为本发明实施例中一种基于深度学习的戏曲脸谱生成系统的结构框图。
具体实施方式
25.本发明提供了一种基于深度学习的戏曲脸谱生成方法，通过基于深度学习的技术进行不同域之间的戏曲脸谱艺术建模，解决了相关技术存在的不同人脸场景的局限性，戏曲脸谱艺术的高频色彩、纹理特征进行迁移，生成逼真的戏曲脸谱艺术生成效果。
26.为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
27.实施例一
28.如图1所示，本发明实施例提供的一种基于深度学习的戏曲脸谱生成方法，包括下述步骤：
29.步骤s1：对人脸图片进行数据清洗与预处理，构建戏曲脸谱图像数据集；
30.步骤s2：根据素颜人脸图像和戏曲脸谱图像的人脸关键点，建立二者的映射关系；将对应人脸关键点进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像；
31.步骤s3：将素颜人脸图像和戏曲脸谱图像输入深度学习生成网络，生成结果图像；
32.步骤s4：根据戏曲脸谱图像、伪戏曲脸谱图像以及结果图像，并根据人脸特征关键点映射关系计算生成指定大小的k个局部戏曲妆容特征区域，输入深度学习生成网络，构建k个重叠人脸局部鉴别器，同时采用边缘感知处理实现面部色彩纹理高频细节增强，与深度学习生成网络生成的结果图像同步进行对抗，实现对戏曲脸谱高频细节的提取和鉴别，最终输出目标戏曲脸谱图像。
33.如图2所示，在一个实施例中，上述步骤s1：对人脸图片进行数据清洗与预处理，构建戏曲脸谱图像数据集，具体包括：
34.步骤s11：去除收集到的戏曲脸谱图像中的低质量的人脸图像，低质量的人脸图像包括：分辨率过低、图像尺寸过小的人脸图像；
35.步骤s12：删除非法格式的人脸图像、不符合要求的人脸图像，不符合要求场景包括大角度、有遮挡、人脸区域模糊、夸张人脸表情等场景；
36.步骤s13：将所剩的合格的人脸图像进行预处理，去除人脸以外的多余背景信息，避免背景带来的噪声影响，并根据级联分类器(cascade classifier)自动定位人脸中心位置，并指定大小对图像进行切割，统一将图像尺寸变换为512*512人脸图像。
37.由此，得到可用的戏曲脸谱人脸数据集，并将该数据集划分为训练集和验证集，并保留小部分作为测试机随机选择生成。
38.如图3所示，在一个实施例中，上述步骤s2：根据素颜人脸图像和戏曲脸谱图像的人脸关键点，建立二者的映射关系；将对应人脸关键点进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像，具体包括：
39.步骤s21：分别提取素颜人脸图像和戏曲脸谱图像的人脸特征关键点，并建立二者的映射关系；
40.在本步骤中，对输入的素颜人脸图像和戏曲脸谱图像进行关键点的提取，并对关键点进行标准化处理，对每一对素颜和戏曲脸谱图像记录生成一个映射关系。其中特征向量包括眼部(eye)、眉毛(eyebrow)、鼻子(nose)、嘴巴(mouth)、轮廓(contour)五大维特征，各维特征进行细分并分配一个key。其中素颜人脸图像和戏曲脸谱图像会通过命名规范和标签(type)加以区分，其中，第i张图像对应的特征向量feature i，且feature i＝[eye,eyebrow,mouth,nose,contour]。
[0041]
如图4所示，展示了对人脸图像中的101个人脸特征关键点提取的结果。
[0042]
步骤s22：根据素颜人脸图像和戏曲脸谱图像的人脸特征关键点的映射关系，将素颜人脸图像的人脸结构信息和戏曲脸谱图像的戏曲脸谱色彩纹理特征利用泊松融合方法进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像。
[0043]
根据素颜人脸图像和戏曲脸谱图像的特征关键点映射关系计算相对坐标，将给定的控制点进行局部相似三角形仿射变换，通过计算变换矩阵分析每个像素点值的变化，结合泊松融合方法，将素颜人脸图像的人脸结构信息和戏曲脸谱图像的戏曲脸谱色彩纹理特征相结合，生成伪戏曲脸谱图像。伪戏曲脸谱图像具有素颜人脸结构，同时又保留了戏曲脸谱的色彩和纹理细节，为后续的深度学习生成网络生成目标结果进行指导。
[0044]
如图5所示，展示了提取人脸关键点以及建立关键点映射关系的操作步骤示意图。
[0045]
如图6所示，展示了根据素颜人脸图像和戏曲脸谱图像生成的伪戏曲脸谱图像。
[0046]
在一个实施例中，上述步骤s3：将素颜人脸图像和戏曲脸谱图像输入深度学习生
成网络，生成结果图像，具体包括：
[0047]
构建深度学习生成网络并进行训练，如图7所示，展示了深度学习生成网络的结构示意图，其中，深度学习生成网络包括：生成器g(x)、f(y)和全局鉴别器d(x,y)。
[0048]
生成器g(x)、f(y)包括深度卷积网络层和反深度卷积网络层，其作用是实现素颜人脸图像和戏曲脸谱图像间的相互转化从而不断对抗学习，其中，表示素颜人脸图像域，表示戏曲脸谱图像域；
[0049]
鉴别器d(x,y)是一个卷积网络，根据生成器所生成的图像提取特征，以鉴别所提取的特征是否和输入的真实图像相似，最后添加一个生成一维输出的卷积层完成鉴别工作。
[0050]
如图8所示，在一个实施例中，上述步骤s4：根据戏曲脸谱图像、伪戏曲脸谱图像以及结果图像，并根据人脸特征关键点映射关系计算生成指定大小的k个局部戏曲妆容特征区域，输入深度学习生成网络，构建k个重叠人脸局部鉴别器，同时采用边缘感知处理实现面部色彩纹理高频细节增强，与深度学习生成网络生成的结果图像同步进行对抗，实现对戏曲脸谱高频细节的提取和鉴别，最终输出目标戏曲脸谱图像，具体包括；
[0051]
步骤s41：根据戏曲脸谱图像、伪戏曲脸谱图像以及结果图像，并根据人脸特征关键点映射关系，计算生成指定大小的k个局部戏曲妆容特征区域，得到k个局部戏曲脸谱特征矩阵向量；
[0052]
将戏曲脸谱图像、伪戏曲脸谱图像以及结果图像根据步骤s21得到的人脸特征映射关系结果，得到102*102*3的局部区域并分别将两对和沿着颜色通道得到每个对应区域的扩展变量并输出到输入到深度学习生成网络中，得到k个局部戏曲脸谱特征矩阵向量；
[0053]
步骤s42：将k个局部戏曲脸谱特征矩阵向量输入深度学习生成网络，对每个戏曲脸谱人脸子区域单独控制，为每个指定区域创建空间上不同的归一化参数，通过归一化方式保证戏曲脸谱图像、伪戏曲脸谱图像和结果图像对应相同子区域的色彩、纹理具有相似性；
[0054]
步骤s43：通过对k个特征矩阵进行计算平均值并输出相同戏曲脸谱风格的图像对应的概率值，采用边缘感知处理实现增强面部色彩纹理高频细节，最终输出目标戏曲脸谱图像。
[0055]
如图9所示，展示了k个重叠的人脸局部鉴别器的结构示意图。
[0056]
在本步骤中，将步骤s41得到的每个k个局部戏曲脸谱特征向量，按照前n个卷积层输出实现光谱归一化，并结合负值非零斜率处理计算出相同戏曲脸谱风格的图像对的对应概率值；然后，通过滤波模板mask在伪戏曲脸谱图像和结果图像上不断平移变量，然后mask中数值与其重合的高频细节相乘后求和，赋给与mask中心重合结果，使得相同局部高频细节区域值保持相同。
[0057]
在上述人脸局部鉴别器与深度学习生成网络进行同步对抗的同时，构建损失函数，根据损失值结果对参数进行微调，直到趋近于最小化以及达到效果最优时停止迭代优化。
[0058]
本发明实施例中，k个重叠人脸局部鉴别器总损失函数如下所示：
[0059][0060]
对于x表示素颜人脸图像域到y表示戏曲脸谱图像域和伪戏曲脸谱图像的鉴别器d(x,y)，定义脸谱人脸子区域损失函数：
[0061][0062]
其中，e为期望，分别是在戏曲脸谱图像、伪戏曲脸谱图像以及生成的结果图像中分别crop出尺寸大小为102*102*3的局部区域，通过k个脸谱细节鉴别学习判断是否为相同戏曲脸谱风格，是否为不同的戏曲脸谱风格图像。
[0063]
对于脸谱色彩、纹理细节和眉毛纹理细节约束，定义了高频戏曲脸谱细节损失函数：
[0064][0065]
其中，h
k
表示局部区域的权重，代表使用拉普拉斯滤波器对图像进行计算。
[0066]
本发明提供的一种基于深度学习的戏曲脸谱生成方法，训练简单方便，省去了人工方式打标签进行图像建模的模式，直接通过基于深度学习的技术进行不同域之间的戏曲脸谱艺术建模。本发明提供的方法实用性、泛化能力强，解决了相关技术存在的不同人脸场景的局限性。本发明提供的方法可对戏曲脸谱的高频色彩、纹理特征进行迁移，生成逼真的戏曲脸谱艺术生成效果。
[0067]
实施例二
[0068]
如图10所示，本发明实施例提供了一种基于深度学习的戏曲脸谱生成系统，包括下述模块：
[0069]
获取数据集模块51，用于对人脸图片进行数据清洗与预处理，构建戏曲脸谱图像数据集；
[0070]
获取伪戏曲脸谱图像模块52，用于根据素颜人脸图像和戏曲脸谱图像的人脸关键点，建立二者的映射关系；将对应人脸关键点进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像；
[0071]
生成结果图像模块53，用于将素颜人脸图像和戏曲脸谱图像输入深度学习生成网络，生成结果图像；
[0072]
获取目标戏曲脸谱图像模块54，根据戏曲脸谱图像、伪戏曲脸谱图像以及结果图像，并根据人脸特征关键点映射关系计算生成指定大小的k个局部戏曲妆容特征区域，输入深度学习生成网络，构建k个重叠人脸局部鉴别器，同时采用边缘感知处理实现面部色彩纹理高频细节增强，与深度学习生成网络生成的结果图像同步进行对抗，实现对戏曲脸谱高频细节的提取和鉴别，最终输出目标戏曲脸谱图像。
[0073]
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。