一种图像的风格化重建方法及装置与流程

本发明涉及图像处理技术领域，更具体地，涉及一种图像的风格化重建方法及装置。

背景技术：

目前，随着真实图像的模拟技术的日益成熟，非真实感渲染图像的模拟也开始受到各方学者的关注。

图像的风格化处理属于非真实感图像渲染(non-photorealisticrendering,npr)范畴，是指通过计算机技术将一张普通的图像处理成具有不同风格的图像，近十几年更是引起了广泛关注和应用，例如油画、水彩画、卡通、素描等。

一直以来，有许多学者试图将图像样式从一个图像转移到另一个图像，但是存在纹理传输问题。而对于这种纹理合成，需要使用强大的非参的算法，虽然这些算法获得了显着的结果，但是仍然存在一个基本的限制：仅使用目标图像的低级图像特征来影响纹理传输，得到的目标图像看上去像是两个图像的内容结合，而不是风格的迁移。另外，现有的图像风格化重建方法只能将某种特定风格的图像重建为另一种特定风格的图像，图像重建的通用性较差。

技术实现要素：

本发明提供一种克服上述问题或者至少部分地解决上述问题的图像的风格化重建方法及装置。

根据本发明的一个方面，提供一种图像的风格化重建方法，包括：

s1，基于多对相同场景的源风格图像，提取每一个源风格图像的不同种类的风格特征数据形成第一风格特征图，以获得第一风格特征图集合；

基于一个待处理图像，利用卷积神经网络vgg-19获得第一内容特征图集合；

s2，基于所述第一风格特征图集合、所述第一内容特征图集合及随机给定的噪声图，利用卷积神经网络vgg-19获得所述待处理图像的风格化图像。

根据本发明的另一个方面，还提供一种图像的风格化重建装置，包括特征模块和输出模块；

所述特征模块，用于基于多对相同场景的源风格图像，提取每一个源风格图像的不同种类的风格特征数据形成第一风格特征图，以获得第一风格特征图集合；基于一个待处理图像，利用卷积神经网络vgg-19获得第一内容特征图集合；

所述输出模块，基于所述第一风格特征图集合、所述第一内容特征图集合及随机给定的噪声图，利用卷积神经网络vgg-19获得所述待处理图像的风格化图像

本发明提出一种图像的风格化重建方法及装置，通过采集源风格图像的特征数据和待处理图像的内容数据，并通过随机给定的噪声图进行迭代处理，获得风格和内容相融合的风格化图像。本发明所生成的风格化图像不同于传统的真实感图像，而更在于一种艺术模拟，可以运用在旅游景区中，游客可以将所在遗址的照片与艺术文化相结合，生成各种艺术风格的图像，增加旅游中的乐趣，更多地吸引游客。

附图说明

图1为本发明实施例一种图像的风格化重建方法流程图；

图2为本发明实施例提取风格特征和内容特征并输出风格图像的流程示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，一种图像的风格化重建方法，包括：

s1，基于多对相同场景的源风格图像，提取每一个源风格图像的不同种类的风格特征数据形成第一风格特征图，以获得第一风格特征图集合；

基于一个待处理图像，利用卷积神经网络vgg-19获取第一内容特征图集合；

s2，基于所述第一风格特征图集合、所述第一内容特征图集合及随机给定的噪声图，利用卷积神经网络vgg-19获得所述待处理图像的风格化图像。

本实施例提出一种图像的风格化重建方法及装置，通过采集源风格图像的特征数据和待处理图像的内容数据，并通过随机给定的噪声图进行迭代处理，获得风格和内容相融合的风格化图像。本发明所生成的风格化图像不同于传统的真实感图像，而更在于一种艺术模拟，可以运用在旅游景区中，游客可以将所在遗址的照片与艺术文化相结合，生成各种艺术风格的图像，增加旅游中的乐趣，更多地吸引游客。

卷积神经网络(convolutionalneuralnetwork,cnn)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层(alternatingconvolutionallayer)和池层(poolinglayer)。vgg-19是一种深度卷积神经网络模型，19表示其深度，将训好的模型都在caffe里面可以直接用。

而随着深层卷积神经网络的发展，它已经产生了强大的计算机视觉系统，能够从自然图像提取出高级的语义信息。这表明可以利用卷积神经网络来克服前人工作上的不足，利用高级图像特征来影响纹理传输。

具体的，s1中所述不同种类的风格特征数据包括：颜色变化特征、线条轮廓特征和纹理特征中的至少一种。

提取有效的风格特征来描述图像的艺术风格，是艺术风格研究的一个重要组成部分。对于源风格图像进行风格特征提取，得到能够代表该类图像的风格特征，不同的特征具有不同的区分能力。

本实施例中不同的源风格图像的可以提取不同的风格特征数据，根据源风格图像的不同和具体应用的需要，可按需提取。本实施例仅以卡通图像为例来说明，当卡通图像作为源风格图像时，可以提取颜色变化特征和线条轮廓特征。由于卡通图像通常有比较急剧的明暗对比度，即颜色变化比较剧烈，那么可以提取卡通数据集的颜色特征作为卡通图的一个风格特征；另一方面，卡通图像一般具有比较明显的边缘黑线，即有较强的明显的轮廓感，那么可以提取卡通数据集的轮廓线作为卡通图的另一个风格特征。

在一个实施例中，s1中所述获得第一风格特征图集合具体包括：

基于一个源风格图像，进行二值化处理后得到二值化风格图像；从所述二值化风格图像上提取不同种类的风格特征数据，利用所述风格特征数据生成第一风格特征图；

基于多对相同场景的源风格图像，生成多个第一风格特征图，获得第一风格特征图集合a。

本实施例对源风格图像的风格特征数据不是通过卷积神经网络来提取，而是通过本实施例方法提取后生成风格特征图集合来供卷积神经网络进一步使用。

本实施例中对一个源风格图像提取不同种类的风格特征数据，包括颜色变化特征、线条轮廓特征和纹理特征中至少一种；通过一个源风格图像提取风格特征后生成一个风格特征图。针对多对相同场景的源风格图像，按照本实施例处理一个源风格图像的方法分别进行处理，获得多个风格特征图，对这些风格特征图进行组合后得到风格特征图集合，即第一风格特征图集合a。

在一个实施例中，s1中所述获得第一内容特征图集合具体包括：

将所述待处理图像输入卷积神经网络vgg-19，获取多个卷积层的第一特征图；

基于所述多个卷积层的第一特征图，进行组合后得到第一内容特征图集合。

卷积神经网络是今年来兴起的一种人工神经网络与深度学习理论相结合的模式识别方法。起初，卷积神经网络用于手写数字的识别，随后，国内外研究者提出多种卷积神经网络形式，目前已经成为图像处理领域中的研究热点之一。

本实施例中待处理图像的内容特征数据通过卷积神经网络vgg-19获取。待处理图像经过卷积神经网络vgg-19后，在每一个卷积层都得到一个特征图，则多个卷积层可以得到多个特征图，这些特征图组合后得到第一内容特征图集合p。

如图2所示，在一个实施例中，所述s2进一步包括：

s2.1，将所述随机给定的噪声图输入卷积神经网络vgg-19，获得多个卷积层的第二特征图；基于所述多个卷积层的第二特征图，提取风格特征数据和内容特征数据，获取第二风格特征图集合和第二内容特征图集合；

s2.2，基于所述第一风格特征图集合、所述第一内容特征图集合、第二风格特征图集合和第二内容特征图集合，利用下式获取风格内容总损失函数：

totalloss＝loss(a-g)+loss(p-f)，

其中，a为第一风格特征图集合，g为第二风格特征图集合，p为第一内容特征图集合，f为第二内容特征图集合；

s2.3，基于所述风格内容总损失函数，生成所述待处理图像的风格图像，并利用所述随机给定的噪声图进行输出。

本实施例中，优化目标为风格内容总损失函数，所述风格内容总损失函数由风格损失、内容损失构成。图像风格化的核心是优化一张噪声图像，最后使得随机噪声图像x既保持普通图像的内容，又有一定的风格图像的风格。

所述风格是指所述源风格图像的风格特征，所述内容是指所述待处理图像的内容特征，通过二者的叠加融合形成一个具有风格的图像；所述随机给定的噪声图作为待优化图片，用来迭代优化，同时又是最后输出的图像。

在一个实施例中，基于风格内容总损失函数，设置配置参数α和β，通过下式调节输出图像中内容和风格的比例：

totalloss＝αloss(a-g)+βloss(p-f)，

其中，a为第一风格特征图集合，g为第二风格特征图集合，p为第一内容特征图集合，f为第二内容特征图集合。

本实施例中，通过配置参数α和β调节风格内容总损失函数，以调节输出图像中内容和风格的比例，即输出图像是偏内容多一些还是偏风格多一些。

在一个实施例中，所述线条轮廓特征通过以下方法获取：

对所述源风格图像进行灰度处理，获得灰度图；

基于所述灰度图，利用高斯滤波器进行平滑处理，获得平滑图像；

利用一阶偏导有限差分计算所述平滑图像的边缘的梯度幅值和方向，对所述梯度幅值进行非极大值抑制；基于所述梯度幅值和方向，利用双阈值算法检测边缘，并连接边缘，获得线条轮廓特征。

常用的边缘检测算子包括robert、prewitt、sobel、laplacian、canny和log等方法。本实施例以卡通图像为例，一般具有比较明显的边缘黑线，即有较强的明显的轮廓感，可以采用canny边缘检测作为源风格图像的轮廓提取方法，通过灰度处理，平滑处理边缘检测，通过这样的处理可以提取源风格图像的线条轮廓。

在边缘检测中，选择两个阈值，根据高阈值得到一个边缘图像，这样一个图像含有很少的假边缘，但是由于阈值较高，产生的图像边缘可能不闭合，为解决这样一个问题又采用了一个低阈值。

在一个实施例中，利用下式进行所述灰度处理：

gray＝(r+g+b)/3，

其中，r、g和b分别为红色通道、绿色通道和蓝色通道的值，gray为处理后的灰度值。

本发明实施例卷积神经网络vgg-19处理是灰度图像，当源风格图像为彩色图像时，需要对彩色图像进行灰度处理。对一幅彩色图进行灰度化，就是根据图像各个通道的采样值进行加权平均。本实施例以rgb格式的彩图为例给出了一张灰度化的方法。

在一个实施例中，利用两个一维高斯核分别两次加权实现所述高斯滤波器，或者利用一个二维高斯核一次卷积实现所述高斯滤波器；

所述一维高斯核为确定参数的一维高斯核函数，所述一维高斯核函数通过下式表示：

所述二维高斯核为确定参数的二维高斯核函数，所述二维高斯核函数通过下式表示：

在一个实施例中，根据图像灰度值获取图像边缘梯度可使用一阶有限差分来进行近似，这样就可以得图像在x和y方向上偏导数的两个矩阵。

canny算法中所采用的卷积算子表达如下：

本发明还提供一种图像的风格化重建装置，包括特征模块和输出模块；

所述特征模块，用于基于多对相同场景的源风格图像，提取每一个源风格图像的不同种类的风格特征数据形成第一风格特征图，以获得第一风格特征图集合；基于一个待处理图像，利用卷积神经网络vgg-19获得第一内容特征图集合；

所述输出模块，用于基于所述第一风格特征图集合、所述第一内容特征图集合及随机给定的噪声图，利用卷积神经网络vgg-19获得所述待处理图像的风格化图像。

本发明提出了一种图像的风格化重建方法，关于风格特征，可以根据需要形成多种不同的风格形式，比如素描、水墨画、油画等，具体实现该技术方案的方法和途径有很多；通过采集源风格图像的特征数据和待处理图像的内容数据，并通过随机给定的噪声图进行迭代处理，获得风格和内容相融合的风格化图像。

本发明采用风格特征提取和卷积神经网络相结合的方法，使得最终生成的图像可以有选择性的更偏向风格还是内容，具有很高的灵活性。本发明所生成的风格化图像不同于传统的真实感图像，而更在于一种艺术模拟，可以运用在旅游景区中，游客可以将所在遗址的照片与艺术文化相结合，生成各种艺术风格的图像，增加旅游中的乐趣，更多地吸引游客。

最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。