图像真实感风格迁移方法、装置、设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及到一种图像真实感风格迁移方法、装置、设备及存储介质。


背景技术：

2.随着数字媒体的快速发展，特别是数字创意在制作的过程中，图像真实感风格迁移成为非常重要的挑战。例如在虚拟拍摄的过程中，多个led屏幕中显示的内容因为硬件条件的不同而产生不同的颜色从而导致最终呈现的效果在颜色上存在差异。同时，虚拟内容与实际场景中的内容融合的过程中，也存在风格不一致的现象。因此，如何以风格图作为参考，将风格图中的风格真实的迁移到内容图中，从而实现真实感图像的迁移。
3.然而，现有的风格迁移方法具有以下不足之处，现有的风格迁移方法在超大分辨率图像处理时需要耗费较长的处理时间；现有的风格迁移方法大多只能实现艺术化的风格迁移，难以实现图像真实感的风格迁移；现有方法在图像真实感风格迁移的过程中，通常会出现大量的伪影，从而降低了图像真实感风格迁移的效果。因此，如何提高图像真实感风格迁移的处理速度以及呈现效果，是一个亟需解决的技术问题。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种图像真实感风格迁移方法、装置、设备及存储介质，旨在解决目前图像真实感风格迁移的处理速度以及呈现效果不高的技术问题。
6.为实现上述目的，本发明提供一种图像真实感风格迁移方法，所述方法包括以下步骤：
7.获取训练数据集；其中，所述训练数据集包括风格图像集和内容图像集，所述风格图像集与所述内容图像集中的图像相互对应；
8.提取所述风格图像的风格特征和所述内容图像的内容特征，并根据所述风格特征和所述内容特征的特征尺度，构建基于流模型的神经网络模型；
9.基于所述风格特征和所述内容特征，确定所述神经网络模型的风格损失和内容损失，并利用所述风格特征和所述内容特征对所述神经网络模型进行训练，获得图像真实感风格迁移模型；
10.在接收到风格图和内容图时，利用所述图像真实感风格迁移模型对所述风格图和所述内容图进行图像真实感风格迁移处理，获得风格化的内容图。
11.可选的，所述获取训练数据集步骤，具体包括：
12.获取测试风格图和测试内容图，并对所述测试风格图和所述测试内容图进行数据增强处理，获得风格图像集和内容图像集；
13.对所述风格图像集中的测试风格图和所述内容图像集中的测试内容图进行随机
配对，以使所述风格图像集与所述内容图像集中的图像相互对应。
14.可选的，所述根据所述风格特征或所述内容特征的特征尺度，构建基于流模型的神经网络模型步骤，具体包括：
15.根据所述风格特征或所述内容特征的特征尺度，生成每个特征尺度对应的流模型和卷积核；
16.将前一特征尺度的卷积核和当前特征尺度对应的流模型连接至当前特征尺度的卷积核；
17.根据所述风格图像和所述内容图像，生成图像对应的流模型和卷积核；
18.将末尾处的特征尺度的卷积核和图像的流模型连接至图像的卷积核，获得基于流模型的神经网络模型。
19.可选的，所述特征尺度对应的流模型用于执行自适应规范化处理，并将输入的风格特征和内容特征融合为风格化特征；其中，自适应规范化处理的表达式为：
[0020][0021]
式中，x代表内容特征张量，y代表风格特征张量，μ(x)代表内容特征张量的均值，μ(y)代表风格特征张量的均值，σ(x)代表内容特征张量的方差，σ(y)代表风格特征张量的方差。
[0022]
可选的，在执行所述自适应规范化处理步骤之前，所述流模型还用于对接收的风格特征和内容特征依次执行前项的挤压、激活规范化、可逆二维卷积和仿射耦合处理；在执行所述自适应规范化处理步骤之后，所述流模型还用于对生成的风格化特征执行逆向的仿射耦合、可逆二维卷积、激活规范化和挤压处理。
[0023]
可选的，所述风格损失为每个特征尺度的风格化特征和风格特征的均方误差损失和，所述内容损失为每个特征尺度的风格化特征和内容特征的均方误差。
[0024]
可选的，所述方法还包括：
[0025]
对所述内容图进行上采样处理，获得第一风格化图像，并利用高斯模糊处理，提取所述高分辨率内容图在yuv空间上的uv通道；
[0026]
对所述风格图和内容图进行自适应规范化处理，获得第二风格化图像，提取yuv空间上的y通道；
[0027]
拼接所述uv通道和所述y通道，获得高分辨率yuv图像，并将所述高分辨率yuv图像转换为高分辨率rgb图像。
[0028]
此外，为了实现上述目的，本发明还提供了一种图像真实感风格迁移装置，所述图像真实感风格迁移装置包括：
[0029]
获取模块，用于获取训练数据集；其中，所述训练数据集包括风格图像集和内容图像集，所述风格图像集与所述内容图像集中的图像相互对应；
[0030]
构建模块，用于提取所述风格图像的风格特征和所述内容图像的内容特征，并根据所述风格特征和所述内容特征的特征尺度，构建基于流模型的神经网络模型；
[0031]
训练模块，用于基于所述风格特征和所述内容特征，确定所述神经网络模型的风格损失和内容损失，并利用所述风格特征和所述内容特征对所述神经网络模型进行训练，获得图像真实感风格迁移模型；
[0032]
处理模块，用于在接收到风格图和内容图时，利用所述图像真实感风格迁移模型对所述风格图和所述内容图进行图像真实感风格迁移处理，获得风格化的内容图。
[0033]
此外，为了实现上述目的，本发明还提供了一种图像真实感风格迁移设备，所述图像真实感风格迁移设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像真实感风格迁移程序，所述图像真实感风格迁移程序被所述处理器执行时实现如上所述的图像真实感风格迁移方法的步骤。
[0034]
此外，为了实现上述目的，本发明还提供了一种存储介质，所述存储介质上存储有图像真实感风格迁移程序，所述图像真实感风格迁移程序被处理器执行时实现如上所述的图像真实感风格迁移方法的步骤。
[0035]
此外，为了实现上述目的，本发明还提供了一种存储介质，所述存储介质上存储有图像真实感风格迁移程序，所述图像真实感风格迁移程序被处理器执行时实现上述的图像真实感风格迁移方法的步骤。
[0036]
本发明实施例提出的一种图像真实感风格迁移方法、装置、设备及存储介质，该方法包括获取训练数据集；提取风格图像的风格特征和内容图像的内容特征，并构建基于流模型的神经网络模型；基于风格特征和内容特征，确定神经网络模型的风格损失和内容损失，对所述神经网络模型进行训练，获得图像真实感风格迁移模型；在接收到风格图和内容图时，利用所述图像真实感风格迁移模型对风格图和内容图进行图像真实感风格迁移处理，获得风格化的内容图。本发明通过构建基于流模型的神经网络模型，并根据风格特征和内容特征，确定风格损失和内容损失，以获得图像真实感风格迁移模型，进而可利用该模型对风格图和内容图进行风格化处理，提高了图像真实感风格迁移的处理速度以及真实感呈现效果。
附图说明
[0037]
图1为本发明实施例中图像真实感风格迁移设备的结构示意图；
[0038]
图2为本发明实施例中图像真实感风格迁移方法的流程示意图；
[0039]
图3为本发明实施例中图像真实感风格迁移的原理示意图；
[0040]
图4为本发明实施例中流模型的结构示意图；
[0041]
图5为本发明实施例方法与现有方法进行真实感风格迁移的对比效果图；
[0042]
图6为本发明实施例中图像真实感风格迁移装置的结构框图。
[0043]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0044]
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0045]
随着数字媒体的快速发展，特别是数字创意在制作的过程中，图像真实感风格迁移成为非常重要的挑战。例如在虚拟拍摄的过程中，多个led屏幕中显示的内容因为硬件条件的不同而产生不同的颜色从而导致最终呈现的效果在颜色上存在差异。同时，虚拟内容与实际场景中的内容融合的过程中，也存在风格不一致的现象。因此，如何以风格图作为参考，将风格图中的风格真实的迁移到内容图中，从而实现真实感图像的迁移。
[0046]
然而，现有的风格迁移方法具有以下不足之处，现有的风格迁移方法在超大分辨
率图像处理时需要耗费较长的处理时间；现有的风格迁移方法大多只能实现艺术化的风格迁移，难以实现图像真实感的风格迁移；现有方法在图像真实感风格迁移的过程中，通常会出现大量的伪影，从而降低了图像真实感风格迁移的效果。因此，如何提高图像真实感风格迁移的处理速度以及呈现效果，是一个亟需解决的技术问题。
[0047]
为了解决这一问题，提出本发明的图像真实感风格迁移方法的各个实施例。本发明提供的图像真实感风格迁移方法通过构建基于流模型的神经网络模型，并根据风格特征和内容特征，确定风格损失和内容损失，以获得图像真实感风格迁移模型，进而可利用该模型对风格图和内容图进行风格化处理，提高了图像真实感风格迁移的处理速度以及呈现效果。
[0048]
参照图1，图1为本发明实施例方案涉及的图像真实感风格迁移设备的结构示意图。
[0049]
设备可以是移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(pda)、平板电脑(pad)等用户设备(user equipment，ue)、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备、移动台(mobile station，ms)等。设备可能被称为用户终端、便携式终端、台式终端等。
[0050]
通常，设备包括：至少一个处理器301、存储器302以及存储在所述存储器上并可在所述处理器上运行的图像真实感风格迁移程序，所述图像真实感风格迁移程序配置为实现如前所述的图像真实感风格迁移方法的步骤。
[0051]
处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。处理器301还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关图像真实感风格迁移操作，使得图像真实感风格迁移模型可以自主训练学习，提高效率和准确度。
[0052]
存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本技术中方法实施例提供的图像真实感风格迁移方法。
[0053]
在一些实施例中，终端还可选包括有：通信接口303和至少一个外围设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303相连。具体地，外围设备包括：射频电路304、显示屏305和电源306中的至少一种。
[0054]
通信接口303可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。通信接口303通过外围设备用于接收用户上传的多个移
动终端的移动轨迹以及其他数据。在一些实施例中，处理器301、存储器302和通信接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
[0055]
射频电路304用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信，从而可获取多个移动终端的移动轨迹以及其他数据。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路304包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路304还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
[0056]
显示屏305用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时，显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时，显示屏305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏305可以为一个，电子设备的前面板；在另一些实施例中，显示屏305可以为至少两个，分别设置在电子设备的不同表面或呈折叠设计；在再一些实施例中，显示屏305可以是柔性显示屏，设置在电子设备的弯曲表面上或折叠面上。甚至，显示屏305还可以设置成非矩形的不规则图形，也即异形屏。显示屏305可以采用lcd(liquidcrystal display，液晶显示屏)、oled(organic light-emitting diode,有机发光二极管)等材质制备。
[0057]
电源306用于为电子设备中的各个组件进行供电。电源306可以是交流电、直流电、一次性电池或可充电电池。当电源306包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
[0058]
本领域技术人员可以理解，图1中示出的结构并不构成对图像真实感风格迁移设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0059]
本发明实施例提供了一种图像真实感风格迁移方法，参照图2，图2为本发明图像真实感风格迁移方法的第一实施例的流程示意图。
[0060]
本实施例中，所述图像真实感风格迁移方法包括以下步骤：
[0061]
步骤s100，获取训练数据集；其中，所述训练数据集包括风格图像集和内容图像集，所述风格图像集与所述内容图像集中的图像相互对应。
[0062]
具体而言，在实际应用中，获取训练数据集包括获取测试风格图和测试内容图，并对所述测试风格图和所述测试内容图进行数据增强处理，获得风格图像集和内容图像集；对所述风格图像集中的测试风格图和所述内容图像集中的测试内容图进行随机配对，以使所述风格图像集与所述内容图像集中的图像相互对应。
[0063]
步骤s200，提取所述风格图像的风格特征和所述内容图像的内容特征，并根据所述风格特征和所述内容特征的特征尺度，构建基于流模型的神经网络模型。
[0064]
具体而言，如图3所示，提取所述风格图像的风格特征和所述内容图像的内容特
征，通常先将高分辨率的风格图和内容图压缩为低分辨率的风格图和内容图。再进行特征提取。
[0065]
进一步的，特征提取通过利用vgg16分别对低分辨率的风格图和内容进行特征提取，得到不同尺度的风格特征和内容特征。再利用流模型和卷积对不同尺度的风格特征和内容特征进行融合得到风格化的低分辨率图，其中不同尺度的风格特征和内容特征采用一组流模型和卷积的组合。
[0066]
容易理解的，在构建基于流模型的神经网络模型时，可通过根据所述风格特征或所述内容特征的特征尺度，生成每个特征尺度对应的流模型和卷积核；将前一特征尺度的卷积核和当前特征尺度对应的流模型连接至当前特征尺度的卷积核；根据所述风格图像和所述内容图像，生成图像对应的流模型和卷积核；将末尾处的特征尺度的卷积核和图像的流模型连接至图像的卷积核，获得基于流模型的神经网络模型。
[0067]
需要说明的是，特征尺度对应的流模型用于执行自适应规范化处理，并将输入的风格特征和内容特征融合为风格化特征；其中，自适应规范化处理的表达式为：
[0068][0069]
式中，x代表内容特征张量，y代表风格特征张量，μ(x)代表内容特征张量的均值，μ(y)代表风格特征张量的均值，σ(x)代表内容特征张量的方差，σ(y)代表风格特征张量的方差。
[0070]
另外，如图4所示，在执行所述自适应规范化处理步骤之前，所述流模型还用于对接收的风格特征和内容特征依次执行前项的挤压、激活规范化、可逆二维卷积和仿射耦合处理；在执行所述自适应规范化处理步骤之后，所述流模型还用于对生成的风格化特征执行逆向的仿射耦合、可逆二维卷积、激活规范化和挤压处理。
[0071]
步骤s300，基于所述风格特征和所述内容特征，确定所述神经网络模型的风格损失和内容损失，并利用所述风格特征和所述内容特征对所述神经网络模型进行训练，获得图像真实感风格迁移模型。
[0072]
具体而言，基于所述风格特征和所述内容特征，确定所述神经网络模型的风格损失和内容损失，其中，风格损失为每个特征尺度的风格化特征和风格特征的均方误差损失和，所述内容损失为每个特征尺度的风格化特征和内容特征的均方误差。
[0073]
在实际应用中，在定义风格损失时，首先分别计算风格化图的特征和风格特征的均值与方差，再计算风格化图的特征和风格特征均值与方差的均方误差损失，最后计算多个尺度的风格化图的特征和风格特征的均方误差损失之和作为风格损失来约束基于流模型的神经网络。
[0074]
在定义内容损失时，计算风格化图的与内容图的特征的均方误差作为内容损失来约束基于流模型的神经网络。
[0075]
步骤s400，在接收到风格图和内容图时，利用所述图像真实感风格迁移模型对所述风格图和所述内容图进行图像真实感风格迁移处理，获得风格化的内容图。
[0076]
具体而言，在接收到风格图和内容图时，利用所述图像真实感风格迁移模型对所述风格图和所述内容图进行图像真实感风格迁移处理，获得风格化的低分辨率图。在此之后，还需要对低分辨率图进行处理，以获得高分辨率的风格化的内容图。
[0077]
在实际应用中，对低分辨率图进行处理包括对所述内容图进行上采样处理，获得第一风格化图像，并利用高斯模糊处理，提取所述高分辨率内容图在yuv空间上的uv通道；对所述风格图和内容图进行自适应规范化处理，获得第二风格化图像，提取yuv空间上的y通道；拼接所述uv通道和所述y通道，获得高分辨率yuv图像，并将所述高分辨率yuv图像转换为高分辨率rgb图像。
[0078]
需要说明的是，对风格图和内容图的自适应规范化处理与内容特征和风格特征的自适应规范化处理采用相同的处理过程，本实施例不做赘述。
[0079]
在本实施例中，提供一种图像真实感风格迁移方法，通过构建基于流模型的神经网络模型，并根据风格特征和内容特征，确定风格损失和内容损失，以获得图像真实感风格迁移模型，进而可利用该模型对风格图和内容图进行风格化处理，提高了图像真实感风格迁移的处理速度以及呈现效果。
[0080]
本发明利用构建的基于流模型的神经网络用于对风格图和内容图进行真实感风格迁移，基于采用低分辨率的多尺度风格和内容特征提取使得处理速度相比于其他方法更优。同时，通过将风格化的低分辨率图上采样到风格化的高分辨率图并通过高斯模糊提取yuv空间的uv通道，再将高分辨率的风格图和高分辨率的内容通过自适应规范化操作后提取yuv空间的y通道，接着将提取到的uv通道和y通道拼接后转换为rgb图，最终输出为高分辨输出图，这种方法在真实感迁移在效果上优于其他方法。
[0081]
为了更好地提现本发明实施例在图像真实感风格迁移时的真实感呈现效果，现将本发明实施例的方法与其他方法进行真实感风格迁移任务上的进行了比较。如图5所示，为目前现有的真实感风格迁移方法与本方法的对比效果图。
[0082]
具体的，photowct方法为论文《a closed-form solution to photorealistic image stylization》提出的图像风格迁移方法，lst方法为论文《learning linear transformations for fast image and video style transfer》提出的图像风格迁移方法，wct2为论文《photorealistic style transfer via wavelet transforms》提出的图像风格迁移方法。由图5可以清楚的表明本实施例提出的图像真实感风格迁移方法相比于现有的图像迁移方法，几乎没有伪影，图像真实感呈现效果更好。
[0083]
参照图6，图6为本发明图像真实感风格迁移装置第一实施例的结构框图。
[0084]
如图6所示，本发明实施例提出的图像真实感风格迁移装置包括：
[0085]
获取模块10，用于获取训练数据集；其中，所述训练数据集包括风格图像集和内容图像集，所述风格图像集与所述内容图像集中的图像相互对应；
[0086]
构建模块20，用于提取所述风格图像的风格特征和所述内容图像的内容特征，并根据所述风格特征和所述内容特征的特征尺度，构建基于流模型的神经网络模型；
[0087]
训练模块30，用于基于所述风格特征和所述内容特征，确定所述神经网络模型的风格损失和内容损失，并利用所述风格特征和所述内容特征对所述神经网络模型进行训练，获得图像真实感风格迁移模型；
[0088]
处理模块40，用于在接收到风格图和内容图时，利用所述图像真实感风格迁移模型对所述风格图和所述内容图进行图像真实感风格迁移处理，获得风格化的内容图。
[0089]
本发明图像真实感风格迁移装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
[0090]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有图像真实感风格迁移程序，所述图像真实感风格迁移程序被处理器执行时实现如上文所述的图像真实感风格迁移方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述。确定为示例，程序指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
[0091]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0092]
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0093]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。