基于拉普拉斯金字塔的中国传统绘画风格迁移方法及系统

本发明涉及计算机视觉，特别是涉及一种基于拉普拉斯金字塔的中国传统绘画风格迁移方法及系统。

背景技术：

1、随着计算机视觉领域技术的不断拓展，风格迁移作为一项新的图像处理技术运用也越来越广泛。风格迁移的任务是通过结合一张内容图片的基本内容结构和一张风格图片的风格模板生成一张风格化图片。在风格化图片中保留了内容图片中的基本内容结构，如物体的形状、轮廓等，同时整体的颜色纹理风格与风格图片相似。

2、目前虽然有大量基于神经网络的风格迁移模型，但大多数都是使用色彩丰富、纹理复杂的西方绘画作为风格图片来进行风格迁移的。与大多数西方绘画不同，中国传统绘画具有画面干净、内容抽象、布局简单、色调朴素的特点，当直接利用现有风格迁移模型对中国传统绘画进行风格迁移时，生成的风格化图片上会产生大量凌乱且不自然的纹理，影响整体的视觉效果。

技术实现思路

1、鉴于中国传统绘画的特点，本发明提供了一种基于拉普拉斯金字塔的中国传统绘画风格迁移方法及系统。

2、为实现上述目的，本发明提供了如下方案：

3、第一方面，本发明提供了一种基于拉普拉斯金字塔的中国传统绘画风格迁移方法，包括：

4、获取内容图像数据集和风格图像数据集，并对所述内容图像数据集和所述风格图像数据集分别进行预处理；所述风格图像为中国传统绘画风格；

5、构建基于拉普拉斯金字塔的多尺度风格迁移模型；所述多尺度风格迁移模型包括拉普拉斯金字塔分解模块、基础风格迁移网络、细节增强网络、边缘信息选择模块和拉普拉斯金字塔重构模块；

6、将预处理后的所述内容图像数据集和预处理后的所述风格图像数据集输入到所述多尺度风格迁移模型中进行训练，并使用风格损失函数和内容损失函数来优化所述多尺度风格迁移模型，得到一个多尺度风格迁移生成模型；

7、将目标内容图像输入到多尺度风格迁移生成模型，生成中国传统绘画风格的风格化图像。

8、第二方面，本发明还提供了一种基于拉普拉斯金字塔的中国传统绘画风格迁移系统，包括：

9、数据预处理模块，用于获取内容图像数据集和风格图像数据集，并对所述内容图像数据集和所述风格图像数据集分别进行预处理；所述风格图像为中国传统绘画风格；

10、多尺度风格迁移模型构建模块，用于构建基于拉普拉斯金字塔的多尺度风格迁移模型；所述多尺度风格迁移模型包括拉普拉斯金字塔分解模块、基础风格迁移网络、细节增强网络、边缘信息选择模块和拉普拉斯金字塔重构模块；

11、多尺度风格迁移生成模型生成模块，用于将预处理后的所述内容图像数据集和预处理后的所述风格图像数据集输入到所述多尺度风格迁移模型中进行训练，并使用风格损失函数和内容损失函数来优化所述多尺度风格迁移模型，得到一个多尺度风格迁移生成模型；

12、风格化图像生成模块，用于将目标内容图像输入到多尺度风格迁移生成模型，生成中国传统绘画风格的风格化图像。

13、根据本发明提供的具体实施例，本发明公开了以下技术效果：

14、本发明公开了一种基于拉普拉斯金字塔的中国传统绘画风格迁移方法及系统，针对中国传统绘画具有画面干净、内容抽象、布局简单、色调朴素的特点，运用深度神经网络模型和拉普拉斯金字塔图像分解重构的方法实现了多尺度的迁移学习，最后可以生成高质量的具有中国传统绘画风格的风格化图像。本实施例提供的深度神经网络模型包括了一个基础风格迁移网络、一个细节增强网络和一个边缘信息选择模块。基础风格迁移网络用于在低分辨率下进行初步的风格迁移，也就是用一张低分辨率的内容图像和一张低分辨率的风格图像生成一张低分辨率的风格化图像。细节增强网络用于在高分辨率下逐步地增强风格化图像的细节，包括一些风格局部纹理和内容结构细节，最后生成高分辨的风格化图像。边缘信息模块用于在细节增强网络中选择一些更重要的语义的边缘信息进行训练，使得最后的风格化图像保留一些关键的内容结构。因此，本发明提供的上述方法或者系统能够生成高质量的具有中国传统绘画风格的风格化图像。

技术特征：

1.一种基于拉普拉斯金字塔的中国传统绘画风格迁移方法，其特征在于，包括：

2.根据权利要求1所述的一种基于拉普拉斯金字塔的中国传统绘画风格迁移方法，其特征在于，预处理后的所述内容图像数据集包括多张预处理后的内容图像，预处理后的所述风格图像数据集包括多张预处理后的风格图像；在所述拉普拉斯金字塔分解模块中，

3.根据权利要求2所述的一种基于拉普拉斯金字塔的中国传统绘画风格迁移方法，其特征在于，所述基础风格迁移网络包括一个预训练的vgg-19网络、两个风格注意模块和一个与vgg-19网络对称的解码器网络；在所述基础风格迁移网络中，根据低分辨率的内容图像和低分辨率的风格图像，生成低分辨率的风格化图像。

4.根据权利要求3所述的一种基于拉普拉斯金字塔的中国传统绘画风格迁移方法，其特征在于，在所述细节增强网络中，

5.根据权利要求4所述的一种基于拉普拉斯金字塔的中国传统绘画风格迁移方法，其特征在于，所述对低分辨率的内容图像和低分辨率的风格化图像分别进行上采样处理，得到上采样后的低分辨率内容图像和上采样后的低分辨率风格化图像，具体包括：

6.根据权利要求4所述的一种基于拉普拉斯金字塔的中国传统绘画风格迁移方法，其特征在于，所述细节增强网络包括若干个卷积激活函数层、若干个残差块以及一个卷积层，所述卷积激活函数层包括卷积层、以及与所述卷积层的输出端连接的激活函数层；所述根据中分辨率的内容残差图像、上采样后的低分辨率内容图像和上采样后的低分辨率风格化图像，使用边缘信息选择模块和卷积激活函数层，输出中分辨率的风格化残差图像，具体包括：

7.根据权利要求6所述的一种基于拉普拉斯金字塔的中国传统绘画风格迁移方法，其特征在于，在所述边缘信息选择模块中，

8.根据权利要求6所述的一种基于拉普拉斯金字塔的中国传统绘画风格迁移方法，其特征在于，在所述细节增强网络中，

9.根据权利要求8所述的一种基于拉普拉斯金字塔的中国传统绘画风格迁移方法，其特征在于，在所述拉普拉斯金字塔重构模块中，

10.一种基于拉普拉斯金字塔的中国传统绘画风格迁移系统，其特征在于，包括：

技术总结
本发明公开一种基于拉普拉斯金字塔的中国传统绘画风格迁移方法及系统，涉及计算机视觉技术领域，该方法构建基于拉普拉斯金字塔的多尺度风格迁移模型；多尺度风格迁移模型包括拉普拉斯金字塔分解模块、基础风格迁移网络、细节增强网络、边缘信息选择模块和拉普拉斯金字塔重构模块；将预处理后的内容图像数据集和预处理后的风格图像数据集输入到多尺度风格迁移模型中进行训练，并使用风格损失函数和内容损失函数来优化所述多尺度风格迁移模型，得到一个多尺度风格迁移生成模型；将目标内容图像输入到多尺度风格迁移生成模型，生成中国传统绘画风格的风格化图像。本发明能够生成高质量的具有中国传统绘画风格的风格化图像。

技术研发人员：袁国武,刘昆晓,周浩,吴昊,钱文华,普园媛
受保护的技术使用者：云南大学
技术研发日：
技术公布日：2024/1/13