具有风格引导的中国山水画图像智能生成系统

本发明属于非物质文化遗产数字化创意创作，特别涉及具有风格引导的中国山水画图像智能生成系统。

背景技术：

1、随着社会的发展，触屏设备的大面积普及，草图绘制的难度大幅度降低，越来越多的应用软件为艺术创作提供了便利。

2、对于大多数人而言，想要创作出令人满意的中国书画却充满了挑战，通常只有经过长期、系统的学习才能掌握中国书画绘画技法的精髓。

3、对于没有绘画经验的用户来说，在进行书画创作时，往往只能绘画出大致的山水画轮廓，然后系统根据用户提供的轮廓生成具有相同轮廓结构的山水画。尽管目前一些技术能够实现一些技术从用户轮廓草图中生成山水画，但是最终生成的山水画风格是随机的。并且在山水画创意生成的过程中，不仅仅只有绘画草图，用户还可以根据不同画家的绘画风格来指定自己绘画的草图最终的生成效果，更好的满足用户的创作期待。

4、最近几年中，关于中国书画文化的数字化工作正不断的发展，其中chipgan，通过考虑了中国水墨画的三个基本技术：空白、笔触、水墨色调扩散，提出了一种基于端到端的生成对抗性网络体系结构，用于将照片转化为中国水墨画。而sapgan模型则是实现了无条件随机生成山水画，它是考虑到传统中国山水画在绘制过程中，一般有勾、皴、点、染等步骤，顾名思义，就是先勾画出大致轮廓，再进行渲染，所以为了实现这一过程，它将生成分为两个阶段，第一阶段从样本中采集高分辨的边缘图，而第二阶段则是根据第一阶段的生成进行翻译创作，从而生成一幅完整的山水画。但是基于草图的中国书画图像创作工作还是少有人展开进行。随着当今时代信息科技的不断发展，触屏设备的大面积普及，草图绘制的难度大幅度降低，为了继承和发扬中国书画文化形式，则需要在该方面进行进一步分研究。

5、目前的技术存在以下问题：

6、1、数据集的缺少。数据集是模型能够辅助用户创作的动力源泉，在草图中可使用的数据集本身比较稀少，大多数草图数据集都集中在自然图片上，与中国书画图像配对的草图在这之前几乎从未有人提出过。同时，中国画图像的数字化资源本身也是稀缺的，在网络及各种资料中，能获得的中国书画图像的数量较少。因此，需要定制数据集从而辅助研究继续开展。

7、2、中国书画在发展过程中，每位画家都有属于自己的绘画风格，而草图本身只包含稀疏的几组线条，除此之外没有其他任何的信息，传统意义上的风格迁移任务将一张图的风格迁移到另一张图的内容上,然而这类方法显然也是不合适的，因为素描图基本没有什么内容，而风格迁移不会给素描图补充内容，所以直接使用相关风格迁移算法无法得到良好的生成结果。

8、3、与自然图像相比，手绘草图极其抽象，主要由简单的线条构成，缺少纹理和颜色等信息。这类差异使得草图和图像之间产生很大的模态差异。尽管一些现有的研究能够使用成对或者不对成的数据，通过有监督和无监督的方法来完成图像之间的风格迁移。但这些方法直接应用在草图的风格迁移上始终无法获得好的效果。

技术实现思路

1、本发明针对现有技术存在的问题，公开了一种具有风格引导的中国山水画图像智能生成系统，能够根据用户指定的山水画风格图片，根据用户绘画的草图生成于用户指定风格一致的中国山水画图片。

2、本发明提供了一种具有风格引导的中国山水画图像智能生成系统，包括风格指引区域单元、画板区域单元、最终结果区域展示单元；

3、所述风格指引区域单元用于用户选择想要生成的山水画风格；

4、所述画板区域单元用于用户绘画并显示想要生成山水画的轮廓结构，基于特定风格样式引导的草图生成中国书画网络在风格指引区域提供的风格图片以及在画板区域单元绘制的草图进行中国山水画创作；

5、所述最终结果区域展示单元用于展示最终的创作结果。

6、进一步的方案为，所述特定风格样式引导的草图生成中国书画网络包括编码器模块、解码器模块、风格迁移模块，判别器模块；

7、所述编码器模块包括内容编码器和风格编码器，所述风格编码器用于从用户指定的风格图片中提取风格特征；所述内容编码器用于训练提取内容特征；

8、所述解码器模块用于控制所述风格特征和内容特征进行融合，通过在不同大小特征图上融合内容特征和风格特征，从而控制生成的中国山水画图片具有用户绘画的草图轮廓和指定的生成风格；

9、所述风格迁移模块用于去除风格图像的形状对生成效果的影响；

10、所述判别器模块用于判别生成图片的真实性，以及通过反解码的方式解耦出生成山水画图片的内容轮廓信息和风格特征。

11、进一步的方案为，所述编码器模块和解码器模块的编解码过程为：

12、fstyle＝encoders(xs)

13、fcontent＝encoderc(xc)

14、img＝decoder(fcontent,fstyle)

15、其中，fstyle表示从中国山水画图片提取到的风格特征，fcontent表示从手绘草图中提起到的内容特征，encoders表示经过提前预训练的vgg-19预训练网络模型作为风格编码器，encoderc表示内容编码器，xs表示引导生成的中国山水画参考图片，xc表示手绘草图图片，img表示经过风格引导后生成的中国山水画图像，decoder表示解码器模块。

16、进一步的方案为，所述判别器模块用于判别生成的图像是否与指定图像的风格一致以及生成图像时是否保持用户草图的轮廓；所述判别器模块将中国山水画图像作为输入，输出预测的风格向量、预测的内容信息以及图像的真假信息；

17、所述判别器模块的输出过程表示为：

18、μ/style＝conv(fstyle)

19、σ/style＝σ(fstyle-μ/style)

20、

21、式中，fstyle表示得到的风格化图像特征，conv(·)代表两个卷积层，基于卷据层来预测风格信息的均值μ/style和方差σ/style，并将输出重塑与σ/style形状相同的向量，将μ/style和σ/style连接起来，使用多层感知机来预测整体风格信息，fcontent表示内容特征，通过对图像特征fstyle进行反解码得到，在fcontent上使用卷积层来预测草图特征信息，实现内容信息和风格信息的分离。

22、进一步的方案为，所述风格特征转移模块的输入为用户草图、风格指导图像的草图、经由风格编码器提取的风格图像的特征图；其中风格指导图像是用来指导最终生成的山水画的风格，其对应的素描利用边缘检测器实现，具体过程包括：

23、通过提取风格指导图像的边缘草图像作为掩膜，与风格图像特征相乘得到两组特征，即包括轮廓周围的边缘特征和包括普通区域的平原特征

24、

25、

26、其中fstyle_feat指的是从风格提取器中提取到的风格特征图，sketchstyle指的是从风格参考图中提取到的边缘草图；

27、对两组特征值应用最大池化和平均池化操作得到新的边缘特征和风格特征

28、再次将输入的用户草图作为掩膜来过滤所述边缘特征和风格特征得到两个新的特征和和相加得到最终的结果ft，ft特征中保留了风格指导图像风格特征的同时，又处理掉了风格指导图像边缘信息对最终生成效果的干扰，然后将ft连接到解码器模块相应大小的特征上，并通过卷积层对其进行处理；

29、

30、

31、ft＝ftc′+ftp′

32、其中，sketchcontent为用户输入草图，ft为最终包含用户输入草图的形状以及风格引导图像的风格的特征。

33、进一步的方案为，所述特定风格样式引导的草图生成中国书画网络通过损失函数进行训练。

34、进一步的方案为，所述损失函数表示为：

35、ladv＝log(d(istyle))+log(1-d(g(ireal-sketch,istyle)))

36、式中，ladv是对抗损失函数，用于训练对抗生成网络，d(·)表示判别器网络的输出，istyle表示风格引导图像，ireal-sketch表示用户输入草图图像；

37、

38、式中，是判别器风格信息损失函数，用于训练判别器模块能分离风格向量信息，以便于解码器模块生成图像的风格能够与指导图像保持一致，istyle表示风格引导图,s(·)是判别器预测的风格向量信息，e(·)表示从风格编码器中提取的风格信息，||·||2表示l2范式；

39、

40、是解码器模块风格信息损失函数，用于训练过程中能够保持生成的山水画能够与指导的山水画图像风格一致，其中g(isketch,istyle)表示用户草图在风格图像指导下生成的山水画图像，istyle表示风格引导图像,ireal-sketch表示用户输入的真实草图,e(·)表示从风格编码器中提取的风格信息，s(·)是判别器预测的风格向量信息,||·||2表示l2范式；

41、

42、表示判别器内容信息损失，用于训练判别器能够更好的分离内容草图轮廓信息；其中c(·)表示从判别器中分离的内容向量信息，istyle表示风格引导图像,istyle-sketch表示从风格指导图片中提取到的边缘草图，||·||2表示l2范式；

43、

44、表示解码器模块内容信息损失，用于训练过程中能够保持生成的山水画轮廓信息能够保持用户草图的轮廓；其中c(·)表示从判别器中分离的内容向量信息,istyle表示风格引导图像,ireal-sketch表示用户输入的真实草图，||·||2表示l2范式；

45、最终的损失是上述损失的加权和，表示为：

46、

47、其中，λ1，λ2，λ3，λ4，λ5分别代表不同损失函数的损失权重，用于控制训练过程。

48、与现有技术相比，本发明的有益效果在于：

49、在网络及各种资料中，国画图像的数字化资源的稀缺，使得与中国书画图像配对的草图在这之前几乎从未有人提出过。对书画图像提取草图时，本发明参考了基于神经网络的多尺度图像边缘检测算法，这种方式得到的边界图很少有边缘不连续，错误边界，存在噪声等情况的发生。第二步是对边界提取获得的边缘图进行图像处理，在这一步中，一个重要的步骤是设法使边界图更清晰，并可能消除多余的信息。具体过程为：将图像灰度处理、统计像素的分布、消除多余的像素值、草图简化和去毛刺处理草图，使得图像变得更加清晰。

50、传统的风格迁移通常提供一张内容图像和一张风格图像进行风格迁移，而本发明使用的素描图基本没有什么内容，而风格迁移不会给素描图补充内容，所以直接使用相关风格迁移算法无法得到良好的生成结果，同时风格图像的轮廓信息同时也会影响最终的生成效果。所以在本发明中，通过风格迁移模块去处理风格编码器提取到的风格特征图，使得处理之后的风格特征保留了其样式特征的同时丢弃其内容结构，并在解码器部分将草图的内容特征与风格图像的风格特征进行在不同尺度进行融合，使得风格特征能更更好的融合到用户草图的内容特征中。