基于生成对抗网络的敦煌壁画艺术风格迁移方法及系统

本发明属于图像处理、计算机视觉以及图像转换领域，具体涉及到一种基于生成对抗网络的敦煌壁画艺术风格迁移方法及系统。

背景技术：

1、作为一种绘制在墙壁上的视觉绘画艺术，敦煌壁画是中国伟大的文化艺术瑰宝之一，也是世界艺术的最大宝库，其以悠久的历史、丰富而深刻的绘画内容以及极高的美术价值而闻名于世。然而，由于敦煌壁画存在形式的特殊性以及绘制过程的高难度等因素，其无法像其它艺术如油画、水墨画等在人们的生活中流行起来。另外，随着时间的推移，由于各种自然和人为因素引起壁画的脱落、颜色退变等损伤，敦煌壁画正面临着灭绝的威胁。对此，实现敦煌壁画艺术风格的自动创作对于保护、传承和发扬这类艺术是非常重要的。

2、近年来，以gatys为首提出的基于cnn的风格迁移技术，能够将一张图像的风格迁移为参考图像的风格，这使得实现敦煌壁画艺术风格的自动创作成为了可能。然而，这种技术的风格生成效果严重依赖于参考的风格图像，而且仅凭一张参考的风格图像是难以完整表达一类艺术的风格。以cyclegan(出自论文《unpaired image-to-image translationusing cycle-consistent adversarial networks》)为代表提出的基于生成对抗网络(generation adversarial networks，gan)的图像转换技术能够较好的克服这一问题，它能够实现两个域图像集的风格迁移(如将内容为黑夜场景的图像转换为内容为白天场景的图像)，充分学习一类艺术的风格特点。但是cyclegan采用的循环一致性结构对于实现风格差异较大(自然图像和敦煌壁画图像的风格)的转换任务能力有限。

3、2020年，taesung park等提出的cut(出自论文《contrastive learning forunpaired image-to-image translation》)首次将对比学习引入到图像转换领域当中，通过最大化输入和输出图像的相应图块间的互信息(对比损失)来保证内容一致性，同时在对抗损失的约束下学习目标图像域的风格特征。该方法以简单的模型在多个图像风格迁移任务(如将内容为马的图像转换为内容为斑马的图像、将自然图像的风格迁移为西方艺术风格)当中实现了优秀的转换性能，同时对于风格差异较大的图像转换任务仍能表现出优秀的转换性能。尽管如此，直接将该方法应用到自然图像转换为敦煌壁画风格的任务无法取得逼真的风格迁移效果，甚至出现生成图像退化问题，这主要是因为敦煌壁画艺术在风格特点上与以往研究的视觉艺术有着很大的不同。敦煌壁画是一种东西方文化交流的融合产物，其风格在中西方绘画风格的影响下，形成了自身独有的艺术风格。敦煌壁画艺术风格是线描造型、装饰性构图、工笔重彩、以形写神等几个方面有机结合的产物。

技术实现思路

1、有鉴于此，本发明提供了一种基于生成对抗网络的敦煌壁画艺术风格迁移方法、系统、计算机设备及存储介质，其引入基于内容的对比损失，克服在使用同一个编码器提取特征时存在的域间风格差异而导致的图像退化和模型优化困难等问题，以及引入语义损失、线条损失、色彩对比损失和色彩促进的对抗损失以约束网络充分学习敦煌壁画的各种风格特点，从而生成效果更好、质量更高的敦煌壁画风格迁移图像。

2、本发明的第一个目的在于提供一种基于生成对抗网络的敦煌壁画艺术风格迁移方法。

3、本发明的第二个目的在于提供一种基于生成对抗网络的敦煌壁画艺术风格迁移系统。

4、本发明的第三个目的在于提供一种计算机设备。

5、本发明的第四个目的在于提供一种存储介质。

6、本发明的第一个目的可以通过采取如下技术方案达到：

7、一种基于生成对抗网络的敦煌壁画艺术风格迁移方法，所述方法包括：

8、获取数据集，所述数据集包括敦煌壁画图像数据集以及与敦煌壁画图像数据集对应的自然图像数据集；

9、对数据集进行预处理，并划分出训练集，所述训练集分为敦煌壁画图像训练集和自然图像训练集；

10、构建基于对比学习和多损失约束的生成对抗网络模型，所述基于对比学习和多损失约束的生成对抗网络模型包括生成对抗网络结构以及约束网络结构优化的损失函数，所述生成对抗网络结构采用lsgan结构，包括一个以残差块为核心的基于编码解码结构的生成器和一个基于patchgan结构的判别器，所述约束网络结构优化的损失函数包括基于内容的对比损失、语义损失、线条损失、色彩对比损失和色彩促进的对抗损失；

11、利用训练集对基于对比学习和多损失约束的生成对抗网络模型进行训练，将训练好的基于对比学习和多损失约束的生成对抗网络模型作为敦煌壁画艺术风格迁移模型；

12、获取待处理自然图像；

13、将待处理自然图像输入敦煌壁画艺术风格迁移模型，得到敦煌壁画风格图像，实现对自然图像的敦煌壁画风格迁移。

14、进一步的，所述基于对比学习和多损失约束的生成对抗网络模型包括生成对抗网络结构以及约束网络结构优化的损失函数；

15、所述生成对抗网络结构采用lsgan结构，包括一个以残差块为核心的基于编码解码结构的生成器和一个基于patchgan结构的判别器；

16、所述约束网络结构优化的损失函数包括基于内容的对比损失、语义损失、线条损失、色彩对比损失和色彩促进的对抗损失。

17、进一步的，所述基于内容的对比损失由生成器中的特征编码器和一个两层感知器网络提取的特征计算最大化互信息损失而得，计算公式如下：

18、

19、其中，为最大化互信息损失，计算公式如下：

20、

21、进一步的，所述语义损失通过计算由训练好的分割网络作为语义区域提取模块提取的输入自然图像和对应生成图像的部分可能风格失真区域的结构相似性损失而得，计算公式如下：

22、

23、进一步的，所述线条损失通过计算由训练好的细密边缘提取模块dexined网络提取的输入自然图像和对应生成图像的边缘提取图的平衡交叉熵损失而得，计算公式如下：

24、

25、进一步的，所述色彩对比损失通过计算生成的敦煌壁画风格图像、真实敦煌壁画图像和经过随机色彩变化的真实敦煌壁画图像的色调直方图向量的对比损失计算而得，计算公式如下：

26、

27、其中，zg(x)，和为提取的色调直方图向量。

28、进一步的，所述色彩促进的对抗损失通过生成的敦煌壁画风格图像、真实敦煌壁画图像和经过随机色彩变化的真实敦煌壁画图像真伪判别概率而得，计算公式如下：

29、

30、进一步的，所述利用训练集对基于对比学习和多损失约束的生成对抗网络模型进行训练，将训练好的基于对比学习和多损失约束的生成对抗网络模型作为敦煌壁画艺术风格迁移模型，具体包括：

31、采用高斯分布对基于对比学习和多损失约束的生成对抗网络模型参数进行初始化，并设置基于对比学习和多损失约束的生成对抗网络模型参数以及损失函数权重参数；

32、将训练集输入到归一化对比学习生成对抗网络进行迭代训练，将从自然图像训练集随机选取的一张自然图像输入到生成器，将生成的图像输入到判别器进行判别，同时从敦煌壁画图像训练集随机选取的一张敦煌壁画图像到判别器进行判别，将得到的判别结果进行各个损失的计算；

33、采用随机梯度下降法的优化策略，更新网络参数，使损失逐渐减小至收敛，从而得到训练好的基于对比学习和多损失约束的生成对抗网络模型，将训练好的基于对比学习和多损失约束的生成对抗网络模型作为敦煌壁画艺术风格迁移模型。

34、本发明的第二个目的可以通过采取如下技术方案达到：

35、一种敦煌壁画艺术风格迁移系统，所述系统包括：

36、第一获取单元，用于获取数据集，所述数据集包括敦煌壁画图像数据集以及与敦煌壁画图像数据集对应的自然图像数据集；

37、预处理单元，用于对数据集进行预处理，并划分出训练集，所述训练集分为敦煌壁画图像训练集和自然图像训练集；

38、构建单元，用于构建单元，用于构建基于对比学习和多损失约束的生成对抗网络模型，所述基于对比学习和多损失约束的生成对抗网络模型包括生成对抗网络结构以及约束网络结构优化的损失函数，所述生成对抗网络结构采用lsgan结构，包括一个以残差块为核心的基于编码解码结构的生成器和一个基于patchgan结构的判别器，所述约束网络结构优化的损失函数包括基于内容的对比损失、语义损失、线条损失、色彩对比损失和色彩促进的对抗损失；

39、训练单元，用于利用训练集对基于对比学习和多损失约束的生成对抗网络模型进行训练，将训练好的基于对比学习和多损失约束的生成对抗网络模型作为敦煌壁画艺术风格迁移模型；

40、第二获取单元，用于获取待处理自然图像；

41、风格迁移单元，用于将待处理自然图像输入敦煌壁画艺术风格迁移模型，得到敦煌壁画风格图像，实现对自然图像的敦煌壁画风格迁移。

42、本发明的第三个目的可以通过采取如下技术方案达到：

43、一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的敦煌壁画艺术风格转化方法。

44、本发明的第四个目的可以通过采取如下技术方案达到：

45、一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的敦煌壁画艺术风格转化方法。

46、本发明相对于现有技术具有如下的有益效果：

47、1、本发明提出的基于对比学习和多损失约束的生成对抗网络模型，在结构方面包含了以残差块为核心的生成器(对应自然图像转换为敦煌壁画风格图像的生成器)和基于patchgan结构的判别器，在优化损失函数方面包含了基于内容的对比损失、语义损失、线条损失、色彩对比损失和色彩促进的对抗损失函数。基于生成对抗网络的结构基础，以及在多个损失函数的组合优化下，在不增加模型的训练参数、提升训练模型速度的基础上，能够结合自然图像和敦煌壁画图像，实现高质量的敦煌壁画风格迁移效果。

48、2、本发明提出的基于内容的对比损失，针对的问题是基线模型cut采用的对比损失无法有效克服域风格差异带来的图像退化和模型优化困难的问题，用于提高模型训练的稳定性和效率性，同时改善生成图像的质量。

49、3、本发明提出的语义损失，针对的问题是模型在实现敦煌壁画风格迁移过程中存在部分区域风格混乱的问题，用于提高敦煌壁画风格生成图像的视觉质量。

50、4、本发明提出的线条损失、色彩对比损失和色彩促进的对抗损失函数，针对的问题是模型在实现敦煌壁画风格迁移时无法有效学习逼真的敦煌壁画风格的问题，用于促进模型生成更为逼真、更具敦煌壁画风格的图像。

51、5、本发明能够实现各种自然图像的敦煌壁画风格迁移，大大简化和创新获取以及创作敦煌壁画艺术的方式，有利于敦煌壁画艺术的保护、传承和发扬。