一种基于深度图像类比的视觉特性迁移方法与流程

本发明涉及图像重构领域，尤其是涉及了一种基于深度图像类比的视觉特性迁移方法。

背景技术：

长久以来，图像重构都是计算机视觉领域受到广泛关注的议题，尤其在近些年来海量图像开始出现，人们开始关注自己的图像风格。图像重构可以利用固有的图像风格让用户进行选择，即可将已存在的照片往想要的风格发展，由此催生视觉特性迁移方法。从一张图像中复制其颜色、纹理和风格等特性到另一张图像中去，使得后者具有明显的前者风格，这种操作除了在社交领域中起到极大的娱乐作用外，在实用工程学中也有启发意义。在深海远洋中，涉及辽阔的海域面积，对不同的海域进行独立风格的绘图、对灰度遥感图像的视觉特性分割，尤其在航道归类、专业海拔地图绘制等方面具有巨大潜能。

视觉特性的迁移如今仍然是非常开放的问题。由于任务中涉及特征的分类及提取、图像的重构及合成、原始图像的信息保留程度等都需要利用到图像本身尽可能多的信息，而以往的方法更多地聚集在低阶信息中，只注重模糊风格处理，给这种视觉上要求更高的特性迁移造成很高难度。

本发明提出了一种深度学习网络提取视觉特性的新框架。首先将两张图像输入到预训练的网络中，初始化最后5层网络，对该5层网络进行前向最近邻场搜寻和逆向最近邻场搜寻，再由底层往上进行上采样操作，使得以斑块为主的最近邻场由粗往细调整，最后得到的输出特征进行图像重构，产生具有相互视觉特性的目标图像。本发明可以针对不同风格、纹理、颜色等特征的图像，提供一个深度学习框架来进行视觉特性的提取与迁移，极大程度提高图像重构的效果。

技术实现要素：

针对解决在图像特性在重构中的问题，本发明的目的在于提供一种基于深度图像类比的视觉特性迁移方法，提出了一种深度学习网络提取视觉特性的新框架。

为解决上述问题，本发明提供一种基于深度图像类比的视觉特性迁移方法，其主要内容包括：

(一)双向迁移约束条件；

(二)深度网络预处理；

(三)图像类比算法；

(四)数据整合。

其中，所述的双向迁移约束条件，设定进行视觉特性迁移的配对原始图像为a和b′，其经过视觉迁移后的图像分别为a′和b，即图像a′具有图像b′的视觉特性，图像b具有图像a的视觉特性，则在特性迁移过程中具有双向约束条件：

(1)a和a′、b和b′在相同空域位置上相互对应；

(2)a和b、a′和b′在外观上有相似结构，如颜色、光照、纹理等特征；

(3)从a到a′、b′到b为正向映射函数，将像素p从原位匹配过去，用φa→b表示，反之用φb→a表示，由上各匹配图像的关系有双向迁移约束条件：

a(p)＝b(φa→b(p))，a(p)＝b'(φa→b(p))(1)

以及，

φa→b(φa→b(p))＝p，φb→a(φb→。(p))＝p(2)

其中提及的像素p都是原位置匹配。

进一步地，所述的深度网络预处理，使用已经在imagenet数据库上进行训练得到的深度学习网络vgg19型的权值网络，将图像a和b′输入到网络中去，取最后的5层输出特征图和({l＝1…5})，且该特征图取自各层的修正线性单元层结果，该结果具有三维张量；

分辨率由特征图的低层往高层时会递增，即是一个粗糙到精良的调整过程，因此初始化过程中让

进一步地，所述的图像类比算法，包括最近邻场搜寻、图像重建、最近邻场上采样。

进一步地，所述的最近邻场搜寻，在第l层，通过对像素p周围的斑块进行搜寻特征，从而与待匹配图像之间进行斑块相似性衡量，具体地：

(1)在前向最近邻场和逆向最近邻场中，它们的映射函数用和表示，其值可以通过最小化以下公式得到：

其中，n(p)表示在p点周围的斑块，这个斑块的大小设置为：当l＝5,4,3时，尺寸为3×3，当l＝2,1时，尺寸为5×5；

(2)对于源图像a(或a′)，我们通过公式(3)找到目标图像b(或b′)中的最近邻位置q，即

(3)公式(3)中的函数f(x)是一个向量，代表在位置x的第l层特征图的所有通道，由于相对值比绝对值在这个场景中更有意义，于是将该特征图向量归一化，即：

(4)在每一层，在做最近邻场搜寻之前都需要对a′和b还原特征，具体地，对a′：假设特征图为适应a的图形结构而修正为则可用加权和计算：

其中，°是对每个通道的特征图中按元素作乘法运算，是一个二维的权值图，其元素值域为0到1，对b还原特征的过程与上相似；

(5)公式(4)中，由预处理网络中可以得到，则应当与存在对应关系，具体为：由下一步图像重建中计算得到，此外，令表示深度学习网络中在l-1和l层之间所有的计算单元，为了让尽可能靠近通过最小化以下损失函数：

其中，梯度可用于数值优化策略。

进一步地，所述的图像重建，公式(4)中的二维权值图用于从图像细节中分离出内容结构，通过再次乘以即可提取出该项的内容信息，用于图像的内容重建，具体为：

其中，是关于第l-1层的神经单元相应的量级，具体可用sigmoid函数计算得到：

其中，κ＝300，τ＝0.05，被归一化到区间(0,1)；标量αl-1用来控制内容与视觉特性之间的平衡度，αl-1→1则表明a′在结构上完全跟a一模一样，在本算法中，该项设置为

同样地，可以用计算得到。

进一步地，所述的最近邻场上采样，在最近邻场搜寻由粗到细的方法中，第5层的传递映射和随机初始化，而其它层的初始化，则通过上采样将l层扩充至l-1层的大小，同时在vgg19型网络中，每一层的搜索半径分别为rl＝4,3,2,1＝{6,6,4,4}。

进一步地，所述的数据整合，包括视觉特性类别和输出特征重构。

进一步地，所述的视觉特性类别，对源图像a，在深度学习网络的其它层中，选择性地提取内容和细节信息，具体为：

(1)颜色信息；

(2)纹理信息；

(3)风格信息。

进一步地，所述的输出特征重构，从这5层特征图中得到最底层的最近邻场即和时，由于最底层的特征具有与输入源图像相同的空域维度，我们让公式(1)中的像素映射函数与之相同，即：

随后，在像素层用斑块聚集的方法重构图像a′，具体为：

此时n(p)的尺寸为5×5；b可经过同样的方法得到。

附图说明

图1是本发明一种基于深度图像类比的视觉特性迁移方法的系统流程图。

图2是本发明一种基于深度图像类比的视觉特性迁移方法的实验结果图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于深度图像类比的视觉特性迁移方法的系统流程图。主要包括双向迁移约束条件；深度网络预处理；图像类比算法；数据整合。

其中，双向迁移约束条件，设定进行视觉特性迁移的配对原始图像为a和b′，其经过视觉迁移后的图像分别为a′和b，即图像a′具有图像b′的视觉特性，图像b具有图像a的视觉特性，则在特性迁移过程中具有双向约束条件：

(1)a和a′、b和b′在相同空域位置上相互对应；

(2)a和b、a′和b′在外观上有相似结构，如颜色、光照、纹理等特征；

(3)从a到a′、b′到b为正向映射函数，将像素p从原位匹配过去，用φa→b表示，反之用φb→a表示，由上各匹配图像的关系有双向迁移约束条件：

a(p)＝b(φa→b(p))，a(p)＝b'(φa→b(p))(1)

以及，

φa→b(φa→b(p))＝p，φb→a(φb→a(p))＝p(2)

其中提及的像素p都是原位置匹配。

深度网络预处理，使用已经在imagenet数据库上进行训练得到的深度学习网络vgg19型的权值网络，将图像a和b′输入到网络中去，取最后的5层输出特征图和({l＝1…5})，且该特征图取自各层的修正线性单元层结果，该结果具有三维张量；

分辨率由特征图的低层往高层时会递增，即是一个粗糙到精良的调整过程，因此初始化过程中让

图像类比算法，包括最近邻场搜寻、图像重建、最近邻场上采样。

最近邻场搜寻，在第l层，通过对像素p周围的斑块进行搜寻特征，从而与待匹配图像之间进行斑块相似性衡量，具体地：

(1)在前向最近邻场和逆向最近邻场中，它们的映射函数用和表示，其值可以通过最小化以下公式得到：

其中，n(p)表示在p点周围的斑块，这个斑块的大小设置为：当l＝5,4,3时，尺寸为3×3，当l＝2,1时，尺寸为5×5；

(2)对于源图像a(或a′)，我们通过公式(3)找到目标图像b(或b′)中的最近邻位置q，即

(3)公式(3)中的函数f(x)是一个向量，代表在位置x的第l层特征图的所有通道，由于相对值比绝对值在这个场景中更有意义，于是将该特征图向量归一化，即：

(4)在每一层，在做最近邻场搜寻之前都需要对a′和b还原特征，具体地，对a′：假设特征图为适应a的图形结构而修正为则可用加权和计算：

其中，°是对每个通道的特征图中按元素作乘法运算，是一个二维的权值图，其元素值域为0到1，对b还原特征的过程与上相似；

(5)公式(4)中，由预处理网络中可以得到，则应当与存在对应关系，具体为：由下一步图像重建中计算得到，此外，令表示深度学习网络中在l-1和l层之间所有的计算单元，为了让尽可能靠近通过最小化以下损失函数：

其中，梯度可用于数值优化策略。

图像重建，公式(4)中的二维权值图用于从图像细节中分离出内容结构，通过再次乘以即可提取出该项的内容信息，用于图像的内容重建，具体为：

其中，是关于第l-1层的神经单元相应的量级，具体可用sigmoid函数计算得到：

其中，κ＝300，τ＝0.05，被归一化到区间(0,1)；标量αl-1用来控制内容与视觉特性之间的平衡度，αl-1→1则表明a′在结构上完全跟a一模一样，在本算法中，该项设置为

同样地，可以用计算得到。

最近邻场上采样，在最近邻场搜寻由粗到细的方法中，第5层的传递映射和随机初始化，而其它层的初始化，则通过上采样将l层扩充至l-1层的大小，同时在vgg19型网络中，每一层的搜索半径分别为

数据整合，包括视觉特性类别和输出特征重构。

视觉特性类别，对源图像a，在深度学习网络的其它层中，选择性地提取内容和细节信息，具体为：

(1)颜色信息；

(2)纹理信息；

(3)风格信息。

输出特征重构，从这5层特征图中得到最底层的最近邻场即和时，由于最底层的特征具有与输入源图像相同的空域维度，我们让公式(1)中的像素映射函数与之相同，即：

随后，在像素层用斑块聚集的方法重构图像a′，具体为：

此时n(p)的尺寸为5×5；b可经过同样的方法得到。。

图2是本发明一种基于深度图像类比的视觉特性迁移方法的实验结果图。如图所示，可以观察到输入完全不同风格的两张图形，经过本发明的方法后发生视觉特性的迁移。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。