一种基于区域语义的数字湘绣图像的风格迁移方法和装置

本技术实施例涉及图像处理，尤其涉及一种基于区域语义的数字湘绣图像的风格迁移方法和装置。

背景技术：

1、湘绣，作为中国四大名绣之一，以其精湛的工艺和独特的艺术风格闻名于世。

2、风格迁移是一项热门的图像生成技术，它通过将一张艺术图像中的艺术风格迁移到另外一张内容图像中，旨在使用艺术图像中的艺术风格重新展现内容图中的对象，从而生成一张全新的艺术图像。

3、目前，主要通过imagenet数据集预训练的深度卷积网络上提取特征，通过对这些特征计算gram矩阵，均值方差等高阶统计量来表示风格，为实现基于深度卷积网络的风格迁移方法奠定基础。但是，这类方法对于局部风格特点的把握，尤其是类似湘绣不同针法的迁移效果比较有限。同时，艺术图像中不同语义物体的纹理，色彩，针法等风格特点不尽相同。如果只是从整体风格特征的角度对图像进行风格迁移，而不考虑湘绣风格图像与内容图像中物体的语义关系，最终生成的视觉效果也会受到比较大的影响。

技术实现思路

1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

2、本技术旨在至少解决现有技术中存在的技术问题。为此，本技术提出一种基于区域语义的数字湘绣图像的风格迁移方法和装置，方法依据内容图像中语义分割区域的语义信息，从数字湘绣图像中找到最接近的语义分割区域的语义信息，为不同语义分割区域实现区域风格迁移，得到局部的风格化特征，依据来自内容图像的特征与数字湘绣图像的特征进行全局风格迁移，得到全局的风格化特征，使得风格迁移模型通过融合了局部的风格化特征和全局的风格化特征的整体风格化特征，生成具有更多的湘绣所特有的风格特色和纹理细节的湘绣风格图像。

3、本技术实施例的第一方面提供了一种基于区域语义的数字湘绣图像的风格迁移方法，所述方法包括：

4、获取目标内容图像和目标数字湘绣图像；

5、将所述目标内容图像和所述目标数字湘绣图像输入至预设的风格迁移模型，得到所述风格迁移模型输出所述目标内容图像对应的湘绣风格图像；所述风格迁移模型的训练过程包括：

6、提取第一图像的多个第一语义分割区域和提取第二图像的多个第二语义分割区域；所述第一图像是用于训练的内容图像，所述第二图像是用于训练的数字湘绣图像；

7、将多个所述第一语义分割区域和多个所述第二语义分割区域进行语义匹配，得到多个语义匹配对；任意一所述语义匹配对包括：一个所述第一语义分割区域和与其最接近的所述第二语义分割区域；

8、提取所述第一图像的第一图像特征和提取所述第二图像的第二图像特征；

9、根据所述第一图像特征和所述第二图像特征进行全局风格迁移，得到第一风格化特征；

10、计算每一个所述语义匹配对中第一语义分割区域对应的第一语义分割区域掩膜和所述第一图像特征的第一像素点乘结果，以及第二语义分割区域对应的第二语义分割区域掩膜和所述第二图像特征的第二像素点乘结果，并根据所述第一像素点乘结果和所述第二像素点乘结果进行区域风格迁移，得到每一个所述语义匹配对相应的第二风格化特征；

11、融合所述第一风格化特征和全部的第二风格化特征，得到整体风格化特征；

12、根据所述整体风格化特征，生成所述第一图像对应的湘绣风格图像。

13、本实施例至少具有如下有益效果：

14、本方法提供了一种风格迁移模型，通过该风格迁移模型能够首先对内容图像和数字湘绣图像进行语义分割，分别提取出了内容图像的语义分割区域和数字湘绣图像的语义分割区域；然后将内容图像的语义分割区域和数字湘绣图像的语义分割区域进行语义匹配，找到与内容图像的语义分割区域最相似的数字湘绣图像的语义分割区域；其次一方面能够根据内容图像和数字湘绣图像各自图像特征进行全局风格迁移，另外一方面能够根据语义匹配对、内容图像、数字湘绣图像进行局部的区域风格迁移；最后通过全局风格迁移获得的风格化特征和区域风格迁移的风格化特征融合，并根据融合结果生成内容图像对应的湘绣风格图像。本方法依据内容图像中语义分割区域的语义信息，从数字湘绣图像中找到最接近的语义分割区域的语义信息(如纹理，针法和色彩)，为不同语义分割区域实现区域风格迁移，得到局部的风格化特征；依据来自内容图像的特征与数字湘绣图像的特征进行全局风格迁移，得到全局的风格化特征，使得风格迁移模型通过融合了局部的风格化特征和全局的风格化特征的整体风格化特征，生成具有更多的湘绣所特有的风格特色和纹理细节的湘绣风格图像。

15、在一些实施例中，所述提取所述第一图像的第一图像特征和提取所述第二图像的第二图像特征，包括：

16、将所述第一图像输入至轻量可逆网络，以通过所述轻量可逆网络的前向过程提取所述第一图像的第一图像特征；

17、将所述第二图像输入至所述轻量可逆网络，以通过所述轻量可逆网络的前向过程提取所述第二图像的第二图像特征；

18、所述轻量可逆网络包括多个堆叠的可逆单元，所述轻量可逆网络的前向过程包括：

19、yk+1＝concat(yk+1[c+1：c]，yk+1[1：c])；

20、yk+1[c+1：c]＝yk[c+1：c]+h(yk[1：c])；

21、yk+1[1：c]＝yk[1：c]；

22、其中，yk+1为第k+1个可逆单元的输出，concat为通道拼接函数，[1：c]为任一个可逆单元的第1到第c层通道，[c+1：c]为任一个可逆单元的第c到第c层通道，yk+1[c+1：c]为第k+1个可逆单元在[1：c]的输出，yk+1[1：c]为第k+1个可逆单元在[c+1：c]的输出，h为映射函数。

23、在一些实施例中，所述根据所述整体风格化特征，生成所述第一图像对应的湘绣风格图像，包括：

24、将所述整体风格化特征输入至所述轻量可逆网络，以通过所述轻量可逆网络的逆向过程生成所述第一图像对应的湘绣风格图像；

25、所述轻量可逆网络的逆向过程包括：

26、yk＝concat(yk[c+1：c]，yk[1：c])；

27、yk[c+1：c]＝yk+1[1：c]-h(yk+1[1：c])；

28、yk[1：c]＝yk+1[1：c]；

29、其中，所述逆向过程的最后一个所述可逆单元输出所述第一图像对应的湘绣风格图像。

30、在一些实施例中，所述风格迁移模型的损失函数为内容损失函数风格损失函数第一一致性损失函数和第二一致性损失函数的加权和；

31、

32、其中，n为轻量可逆网络的总数，为轻量可逆网络从第一图像ic对应的湘绣风格图像ics中提取的第i层特征，为轻量可逆网络从第一图像ic中提取的第i层特征，为轻量可逆网络从第二图像is中提取的第i层特征，为特征的均值，为特征的均值，为特征的方差，为特征的方差，||·||为范数，||·||2为2范数，icc为第二图像is和第一图像ic均使用第一图像ic作为输入生成的湘绣风格图像，iss为第二图像is和第一图像ic均使用第二图像is作为输入生成的湘绣风格图像，为轻量可逆网络从icc中提取的第i层特征，为轻量可逆网络从iss中提取的第i层特征。

33、在一些实施例中，所述提取第一图像的多个第一语义分割区域和第二图像的多个第二语义分割区域，包括：

34、根据第一语义分割网络提取第一图像的多个第一语义分割区域掩膜；

35、通过第二语义分割网络提取第二图像的多个第二语义分割区域掩膜；所述第二语义分割网络为深度学习sam网络；

36、将多个所述第一语义分割区域掩膜分别与所述第一图像进行逐像素点乘，得到多个第一语义分割区域；

37、将多个所述第二语义分割区域掩膜分别与所述第二图像进行逐像素点乘，得到多个第二语义分割区域。

38、在一些实施例中，计算第一风格化特征的过程包括：

39、

40、其中，adain为adain迁移函数，fc为第一图像特征，fs为第二图像特征，为第一风格化特征。

41、在一些实施例中，计算第二风格化特征的过程包括：

42、

43、其中，adain为adain迁移函数，dawn(mcmatch(j))⊙fc为dawn(mcmatch(j))和fc的第一像素点乘结果，dawn(mcmatch(j))为mcmatch(j)的下采样，mcmatch(j)为第一语义分割区域掩膜j，fc为第一图像特征，dawn(msj)⊙fs为dawn(msj)和fs的第二像素点乘结果，dawn(msj)为msj的下采样，msj为第二语义分割区域掩膜j，fs为第二图像特征，mcmatch(j)对应的第一语义分割区域和msj对应的第二语义分割区域组成一对语义匹配对j；为语义匹配对j对应的第二风格化特征。

44、在一些实施例中，所述将多个所述第一语义分割区域和多个所述第二语义分割区域进行语义匹配，得到多个语义匹配对，包括：

45、将多个所述第二语义分割区域和多个所述第一语义分割区域对应的第一语义标签输入至多模态clip网络，得到多模态clip网络输出的多个匹配结果，其中多模态clip网络生成任意一个匹配结果的过程包括：

46、cmatch(j)l＝argmax clip(cil，sj)；

47、其中，cil为第一语义分割区域i对应的第一语义标签，sj为第二语义分割区域j，cmatch(j)l为cil和sj的匹配结果，argmax为取最大值函数，clip()为多模态clip网络函数；

48、根据每一个所述匹配结果中的所述第一语义标签更换成对应的所述第一语义分割区域，得到多个语义匹配对。

49、在一些实施例中，所述融合所述第一风格化特征和全部的第二风格化特征，得到整体风格化特征，包括：

50、

51、其中，为第一风格化特征，为融合全部的第二风格化特征之后的特征，concat为通道拼接函数，avg为平均池化函数，convs为卷积函数。

52、本技术实施例的第二方面提供了一种基于区域语义的数字湘绣图像的风格迁移装置，所述装置包括：

53、数据获取模块，用于获取目标内容图像和目标数字湘绣图像；

54、风格迁移模块，用于将所述目标内容图像和所述目标数字湘绣图像输入至预设的风格迁移模型，得到所述风格迁移模型输出所述目标内容图像对应的湘绣风格图像；所述风格迁移模型的训练过程包括：

55、提取第一图像的多个第一语义分割区域和提取第二图像的多个第二语义分割区域；所述第一图像是用于训练的内容图像，所述第二图像是用于训练的数字湘绣图像；

56、将多个所述第一语义分割区域和多个所述第二语义分割区域进行语义匹配，得到多个语义匹配对；任意一所述语义匹配对包括：一个所述第一语义分割区域和与其最接近的所述第二语义分割区域；

57、提取所述第一图像的第一图像特征和提取所述第二图像的第二图像特征；

58、根据所述第一图像特征和所述第二图像特征进行全局风格迁移，得到第一风格化特征；

59、计算每一个所述语义匹配对中第一语义分割区域对应的第一语义分割区域掩膜和所述第一图像特征的第一像素点乘结果，以及第二语义分割区域对应的第二语义分割区域掩膜和所述第二图像特征的第二像素点乘结果，并根据所述第一像素点乘结果和所述第二像素点乘结果进行区域风格迁移，得到每一个所述语义匹配对相应的第二风格化特征；

60、融合所述第一风格化特征和全部的第二风格化特征，得到整体风格化特征；

61、根据所述整体风格化特征，生成所述第一图像对应的湘绣风格图像。