一种双尺度解耦的逼真图像颜色迁移方法及设备

1.本发明涉及人工智能领域，具体涉及一种双尺度解耦的逼真图像颜色迁移方法及设备。


背景技术：

2.现有的图像风格迁移技术，是指利用各类算法，将参考图像的风格迁移到输入图像的技术。逼真图像风格迁移技术是根据参考图像的风格及输入图像的内容重新生成一张新的图像，其本质为将参考图像的颜色迁移到输入图像。现有逼真图像颜色迁移技术有两大主流技术：一是基于参考风格损失与输入内容特征损失的损失函数的图像风格迁移方法；二是对输入图像进行去风格处理，然后在此基础上迁入参考图像风格。这两种方法的特点是图像的风格迁移与内容特征保持模块相互融合且造成相互干扰，导致最后生成的图像风格迁移结果产生颜色溢出、特征模糊等问题。


技术实现要素：

3.本发明的目的在于在不损失甚至加强输入图像纹理特征的前提下，提供一种双尺度解耦的逼真图像颜色迁移方法及设备。
4.本发明设计的一种双尺度解耦的逼真图像颜色迁移方法，包括以下步骤：步骤1，对图像进行语义分割；步骤2，对输入图像与参考风格图像均进行解耦获得其结构层与特征纹理层；步骤3，对图像结构层进行分通道颜色迁移； 步骤4，对步骤2得到特征纹理层与步骤3中颜色迁移提取的特征纹理层加权融合；步骤5，对步骤3和步骤4处理后的图像进行融合得到颜色迁移结果图。
5.进一步地，步骤2中采用wls滤波器提取输入图像与参考图像的结构层，设c表示输入图像，用r表示参考图像，wls滤波器表示为：其中in是输入图像。c与r作为in依次输入滤波器，s是in的滤波结果。是引导滤波的与in相关的变量，其结构与in一致。其默认值为；λ用于平衡数据项与滤波项；in为c时，设是l(c)与c的对数值之和，l(c)是c的光照信息：其中指变量的平均值；τ是控制使用log(l(c))和log(c)的阈值；是值为0或1的触发器；其中当，，当。
6.进一步地，步骤3中颜色迁移使用的编码与解码结构如下：从conv1_1层至conv4_1层，编码器采用预训练的vgg-19网络结构以及haar小波池；解码部分是编码部分的镜向对称；在每一个解码层我们增加了一个结构优化模块来修
复原网络产生的不自然的边界效应，其结构优化过程公式如下：其中oj是优化结果，表示c在j通道的特征纹理层；。是卷积层的输出，为其权值，sj是c的wls滤波结果j通道分量，为其权值，的滤波平滑结果，为其权值。
7.进一步地，所步骤3中颜色迁移过程如下：对c和r进行语义分割以获得mc和mr；在每一个r、g、b通道，对sc和sr的rgb分量sc_r、sc_g、sc_b以及它们的语义分割输入编码-解码器，用基于wct的原则进行颜色迁移。提取sc的特征如下：j表示r、g、b通道，是具有协方差矩阵的特征值的对角矩阵。，是特征向量对应的正交矩阵，满足；的矢量化vgg特征；ch是通道的数量；将rc的颜色迁移至sc；其中表示颜色迁移结果c的第jth通道，是具有协方差矩阵的特征值的对角矩阵，，是特征向量对应的正交矩阵，满足，的平均值，最后将输入解码器获得图像在rgb通道的颜色迁移结果。
8.进一步地，步骤4中图像特征提取采用的编码与解码结构与颜色迁移使用的编码与解码结构相同。
9.优选地，所述步骤5中图像的融合具体过程如下：融合如下：其中和fc的权值。结合步骤4加权融合过程，得到根据编码与解码结构，2个结构层的权值之和为0，其他项的权值为1，因此，设其中；通过调整值获得不同程度的颜色迁移结果。
10.基于同一发明构思，本发明还设计了一种电子设备，其特殊之处包括：
一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一所述的方法。
11.基于同一发明构思，本发明还设计了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任一所述的方法。
12.本发明的优点在于：本发明基于深度学习的图像风格迁移系统，在进行逼真颜色迁移时，对输入图像与参考风格图像均进行解耦获得其结构层与特征纹理层。然后在其结构层进行逐通道的颜色迁移获得新的结构层，并提取输入图像的特征纹理信息。对上述两个结果进行融合，从而获得特征无损失、靓丽显著的逼真图像颜色迁移结果。图像的颜色迁移结果特征保持较现有方法更加清晰、完整。可通过调整参数获得不同的颜色迁移程度，但特征保持一致的图像颜色迁移结果。
附图说明
13.图1双尺度解耦的逼真图像颜色迁移框架图。
具体实施方式
14.为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
15.为描述方便，本说明书统一用c表示输入图像，用r表示参考图像。
16.本发明所采用的技术方案是包括以下步骤：步骤1，对图像进行语义分割；步骤2，对输入图像与参考风格图像均进行解耦获得其结构层与特征纹理层；步骤3，对图像结构层进行分通道颜色迁移；步骤4，对步骤2得到特征纹理层与步骤3中颜色迁移提取的特征纹理层加权融合；步骤5，对步骤3和步骤4处理后的图像进行融合得到颜色迁移结果图。
17.所述步骤1具体如下：图像的语义分割方法如下：采用deeplab语义分割算法进行图像的语义分割。识别150个基础分类，采用合并简化的分类结果即合并了相似的分类，如，湖泊、江河、海洋和水流归为一类等，由此生成一组精简的分类，以产生更清晰，更简单的分割，最终生成更稳定的输出。
18.所述步骤2具体如下：图像的自适应解耦步骤如下：采用wls滤波器提取输入图像与参考图像的结构层和特征纹理层。wls滤波器表示为： (1)其中in是输入图像。c与r作为in依次输入滤波器，s是in的滤波结果。是引导滤波的与in相关的变量，其结构与in一致。其默认值为。λ用于平衡数据项与滤波项，默认值为1。in为c时，设是l(c)与c的对数值之和，l(c)是c的光照信息：
ꢀ
(2)其中变量的平均值。τ是控制使用log(l(c))和log(c)的阈值。是值为0或1的触发器。其中当，，当。本实施例中，该值可根据实验或经验确定。r与c是风格迁移输入的一对图像，需要对它们都进行滤波。当in为r时，l(r)的计算过程与计算l(c)一样。
19.所述步骤3具体如下：图像结构层的分通道颜色迁移：编码器与解码器的网络结构：对颜色迁移及特征提取使用相同的编码和解码结构。从conv1_1层至conv4_1层，编码器采用预训练的vgg-19网络结构以及haar小波池。解码部分是编码部分的镜向对称。在每一个解码层我们增加了一个结构优化模块来修复原网络产生的不自然的边界效应。结构优化过程如公式5所示。
20.对c和r进行语义分割以获得mc和mr；在每一个r、g、b通道，对sc和sr的rgb分量sc_r、sc_g、sc_b以及它们的语义分割输入编码-解码器，用基于wct的原则进行颜色迁移。提取sc的特征如下：j表示r、g、b通道，是具有协方差矩阵的特征值的对角矩阵。，是特征向量对应的正交矩阵，满足；的矢量化vgg特征；ch是通道的数量。
21.将rc的颜色迁移至sc； (4)其中表示颜色迁移结果c的第jth通道，是具有协方差矩阵的特征值的对角矩阵，，是特征向量对应的正交矩阵，满足，的平均值，最后将输入解码器获得图像在rgb通道的颜色迁移结果。
22.本发明对图像颜色迁移的结构进行了优化：颜色迁移网络结构从conv1_1层至conv4_1层，编码器采用预训练的vgg-19网络结构，本设计中将pooling层换成haar小波池化层，upsample换成haar小波池unpooling。vgg-19网络结构mean pooling或max pooling是不可逆的，一旦进行平均池化或者最大池化，新的特征空间无法保留原先特征空间的所有信息，采用小波变换能恢复所有的原始特征，解码部分是编码部分的镜向对称。在每一个解码层本设计增加了一个结构优化模块来修复原网络产生的不自然的边界问题。因此设计了结构优化模块对其进行改善： (5)其中oj是优化结果，表示c在j通道的特征纹理层；。是卷积层的输出，为其权值，sj是c的wls滤波结果j通道分量，为其权值，的滤波
平滑结果，为其权值。实验中，设。
23.所述步骤4具体如下：对步骤2得到特征纹理层进行特征提取：由一种算法提取的图像特征可能不够完整，因此采用两种算法提取图像特征并对其加权融合。具体如下：将c输入编码器得到 (6)然后将输入解码器获得c的特征f
c1
。使用c和sc提取内容特征f
c2
。
[0024] (7)其中。对f
c1
和f
c2
求和，得到最后的特征值fc： (8)其中。设。
[0025]
所述步骤5对步骤3和步骤4处理后的图像进行融合得到颜色迁移结果图具体如下：融合如下：其中和fc的权值。结合公式7和8，得到 (10)根据公式5，2个结构层的权值之和为0，其他项的权值为1，因此，设 (11)其中。值由实验确定。可以通过调整值获得不同程度的颜色迁移结果，而纹理特征始终保持不变。
[0026]
基于同一发明构思，本发明还设计了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一所述的方法。
[0027]
基于同一发明构思，本发明还设计了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任一所述的方法。
[0028]
以上所述仅是对本发明的较佳实施方式而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。