一种图像风格迁移模型建模方法、装置、终端及介质

本技术涉及图像处理，尤其涉及一种图像风格迁移模型建模方法及装置。

背景技术：

1、如今随着人工智能技术的快速发展，风格迁移技术成为了计算机视觉研究领域的一个重要话题，只需要给定一张手机拍摄的图像，加上一副自己喜欢的艺术家的画作，就能用风格迁移方法合成一张具有该画作风格的图像，以满足人们的个性化艺术性追求。

2、在风格迁移任务中，最关键的步骤就是如何得到恰当的风格定义，目前常用的风格迁移处理方法多为基于深度学习的风格迁移处理方法，如用深度神经网络对图像的风格信息进行语义建模为风格特征，进而通过迭代优化生成风格化图像，但现有的图像风格迁移方法受限于学习样本的质量，风格迁移效果不准确的技术问题。

技术实现思路

1、本技术提供了一种图像风格迁移模型建模方法、装置、终端及介质，用于解决现有的图像风格迁移方法受限于学习样本的质量，风格迁移效果不准确的技术问题。

2、为解决上述技术问题，本技术第一方面提供了一种图像风格迁移模型建模方法，包括：

3、获取内容图像和风格图像，其中，所述风格图像包括：作为基准样本和正样本的目标风格图像以及作为负样本的非目标风格图像；

4、通过预设的对比学习模型的生成器，基于所述内容图像和所述目标风格图像生成风格合成图像，并构建所述生成器中的内容结构损失函数，其中，所述生成器包括：编码模块、迁移模块和解码模块，其中，所述编码模块为基于vgg-19网络的图像编码模块，用于提取图像特征，所述迁移模块用于通过精确直方图匹配方式对所述图像特征进行风格特征的融合，所述解码模块用于输出融合后的风格合成图像；

5、将所述目标风格图像、所述非目标风格图像和所述风格合成图像输入到所述对比学习模型的风格提取器，以提取所述风格图像和所述风格合成图像的风格特征，并构建所述风格提取器中的风格合成对比损失函数和风格提取对比损失函数；

6、将所述风格图像和所述风格合成图像输入到所述对比学习模型的判别器进行学习，并构建所述判别器中的对抗损失函数；

7、基于所述内容结构损失函数、所述风格合成对比损失函数、所述风格提取对比损失函数和所述对抗损失函数对应的系数，构建所述对比学习模型的目标函数，对所述目标函数中的各个系数进行模型优化，以得到图像风格迁移模型。

8、优选地，所述风格合成对比损失函数具体为：

9、

10、

11、

12、

13、

14、

15、式中，为所述风格合成对比损失系数，和分别代表第i幅风格合成图像和第i幅风格图像的风格特征，τ+，τ-分别为正样本温度系数，负样本温度系数，代表输入的基准样本图像与目标风格图像间的风格特征相似性，代表输入的基准样本图像与非目标风格图像间的风格特征相似性，α+、β+、α-和β-为可学习的参数，和表示τ-的范围和下界，和表示τ+的范围和下界，为内容图像风格特征。

16、优选地，所述风格提取对比损失函数具体为：

17、

18、式中，为所述风格提取对比损失系数，r表示排序操作，τ为一个固定数值的温度系数，m为vgg-19网络选择的特征投影层，zi为基准样本风格特征，为正样本风格特征，为负样本风格特征。

19、优选地，所述对比学习模型的目标函数包括：设置在所述生成器和所述判别器中的第一目标函数和设置在所述风格提取器中的第二目标函数；

20、其中，所述第一目标函数具体为：

21、

22、式中，l(g,d)为所述第一目标函数的输出值，ladv、lidentity、分别为所述对抗损失系数、所述内容结构损失系数、所述风格合成对比损失系数，λadv、λidentity、λcontrag分别为所述对抗损失系数、所述内容结构损失系数、所述风格合成对比损失系数的权重；

23、所述第二目标函数具体为：

24、

25、式中，l(se)为所述第二目标函数的输出值。

26、同时，本技术第二方面提供了一种图像风格迁移模型建模装置，包括：

27、图像获取单元，用于获取内容图像和风格图像，其中，所述风格图像包括：作为基准样本和正样本的目标风格图像以及作为负样本的非目标风格图像；

28、生成器处理单元，用于通过预设的对比学习模型的生成器，基于所述内容图像和所述目标风格图像生成风格合成图像，并构建所述生成器中的内容结构损失函数，其中，所述生成器包括：编码模块、迁移模块和解码模块，其中，所述编码模块为基于vgg-19网络的图像编码模块，用于提取图像特征，所述迁移模块用于通过精确直方图匹配方式对所述图像特征进行风格特征的融合，所述解码模块用于输出融合后的风格合成图像；

29、风格提取器处理单元，用于将所述目标风格图像、所述非目标风格图像和所述风格合成图像输入到所述对比学习模型的风格提取器，以提取所述风格图像和所述风格合成图像的风格特征，并构建所述风格提取器中的风格合成对比损失函数和风格提取对比损失函数；

30、判别器处理单元，用于将所述风格图像和所述风格合成图像输入到所述对比学习模型的判别器进行学习，并构建所述判别器中的对抗损失函数；

31、对比学习模型训练单元，用于基于所述内容结构损失函数、所述风格合成对比损失函数、所述风格提取对比损失函数和所述对抗损失函数对应的系数，构建所述对比学习模型的目标函数，对所述目标函数中的各个系数进行模型优化，以得到图像风格迁移模型。

32、优选地，所述风格合成对比损失函数具体为：

33、

34、

35、

36、

37、

38、

39、式中，为所述风格合成对比损失系数，和分别代表第i幅风格合成图像和第i幅风格图像的风格特征，τ+，τ-分别为正样本温度系数，负样本温度系数，代表输入的基准样本图像与目标风格图像间的风格特征相似性，代表输入图像与非目标风格图像间的风格特征相似性，α+、β+、α-和β-为可学习的参数，和表示τ-的范围和下界，和表示τ+的范围和下界，为内容图像风格特征。

40、优选地，所述风格提取对比损失函数具体为：

41、

42、式中，为所述风格提取对比损失系数，r表示排序操作，τ为一个固定数值的温度系数，m为vgg-19网络选择的特征投影层，zi为基准样本风格特征，为正样本风格特征，为负样本风格特征。

43、优选地，所述对比学习模型的目标函数包括：设置在所述生成器和所述判别器中的第一目标函数和设置在所述风格提取器中的第二目标函数；

44、其中，所述第一目标函数具体为：

45、

46、式中，l(g,d)为所述第一目标函数的输出值，ladv、lidentity、分别为所述对抗损失系数、所述内容结构损失系数、所述风格合成对比损失系数，λadv、λidentity、λcontrag分别为所述对抗损失系数、所述内容结构损失系数、所述风格合成对比损失系数的权重；

47、所述第二目标函数具体为：

48、

49、式中，l(se)为所述第二目标函数的输出值。

50、本技术第三方面提供了一种图像风格迁移模型建模终端，包括：存储器和处理器；

51、所述存储器用于存储如本技术第一方面提供的一种图像风格迁移模型建模方法相对应的程序代码；

52、所述处理器用于执行所述程序代码。

53、本技术第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中保存有如本技术第一方面提供的一种图像风格迁移模型建模方法相对应的程序代码。

54、从以上技术方案可以看出，本技术具有以下优点：

55、本技术提供的技术方案基于对比学习的框架，先通过对比学习模型中的生成器，根据内容图像和目标风格图像生成相应的风格合成图像，并利用转移模块中采用的精确直方图匹配的方式进行图像风格特征融合，实现多层次对齐风格特征和内容特征的高阶统计量，进而实现更好的风格信息与内容信息融合效果，再通过风格提取器，基于输入的风格合成图像、目标风格图像以及非目标风格图像，从中提取高质量的风格特征作为对比学习样本，并对作为负样本的非目标风格图像进行优化，通过关注更少但质量更高的负样本，提高了学习风格表示的效率和有效性，从而使得本技术构建的风格迁移模型能够达到更好的风格迁移处理效果。