图像处理方法、装置、电子设备和计算机可读存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.超分辨率(super resolution，简称sr)是一种提升图像分辨率的方法，能够在不改变硬件设备的同时，将低分辨率图像或视频变成清晰的高分辨率结果。传统的方法是利用超分神经网络对图像实现分辨率放大，例如利用超分神经网络结合人脸关键点和人脸解析分割图来实现分辨率的放大，人脸关键点和人脸解析分割图作为人脸几何先验可以帮助超分神经网络更好的重建人脸的形状，防止出现人脸的畸变。
3.然而，传统方法重建的图像中往往存在图像细节纹理缺失的问题。


技术实现要素：

4.本技术实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以在图像进行超分辨率重建过程中增加图像的细节纹理，使得图像更真实。
5.一种图像处理方法，包括：
6.获取第一图像；
7.对所述第一图像进行编码以提取特征，得到对应的编码特征图；
8.获取随机噪声，在解码过程中基于所述随机噪声对所述编码特征图进行图像重建，得到第二图像；
9.其中，所述第二图像的第二分辨率大于所述第一图像的第一分辨率。
10.一种图像处理装置，所述装置包括：
11.获取模块，用于获取第一图像；
12.提取模块，用于对所述第一图像进行编码以提取特征，得到对应的编码特征图；
13.重建模块，用于获取随机噪声，在解码过程中基于所述随机噪声对所述编码特征图进行图像重建，得到第二图像；
14.其中，所述第二图像的第二分辨率大于所述第一图像的第一分辨率。
15.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
16.获取第一图像；
17.对所述第一图像进行编码以提取特征，得到对应的编码特征图；
18.获取随机噪声，在解码过程中基于所述随机噪声对所述编码特征图进行图像重建，得到第二图像；
19.其中，所述第二图像的第二分辨率大于所述第一图像的第一分辨率。
20.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
21.获取第一图像；
22.对所述第一图像进行编码以提取特征，得到对应的编码特征图；
23.获取随机噪声，在解码过程中基于所述随机噪声对所述编码特征图进行图像重建，得到第二图像；
24.其中，所述第二图像的第二分辨率大于所述第一图像的第一分辨率。
25.上述图像处理方法、装置、电子设备和计算机可读存储介质，获取第一图像，在对第一图像进行编码的过程中提取图像特征，得到对应的编码特征图。获取随机噪声，在解码过程中基于随机噪声对编码特征图进行图像重建，能够将随机噪声作为高频信号源增加到图像中，能够更好地拟合出重建得到的第二图像中的纹理细节。第二图像的分辨率大于第一图像的分辨率，能够通过编解码将低分辨率图像重建为高分辨图像。并且在解码过程中引入随机噪声，使得重建获得的高分辨图像的纹理细节更丰富，所获得的高分辨图像更真实。
26.一种重建网络的训练方法，包括：
27.获取样本图像和对应的样本标签，将所述样本图像输入待训练的重建网络；所述待训练的重建网络包括编码器、解码器和判别器；
28.通过所述编码器对所述样本图像进行特征提取，得到对应的样本编码特征图；
29.获取样本随机噪声，基于所述样本随机噪声和所述解码器中的噪声权重参数对所述样本编码特征图进行图像重建，得到重建结果；
30.通过所述判别器分别提取所述重建结果和所述样本标签的图像特征，基于所述重建结果的图像特征和所述样本标签的图像特征，构建目标损失函数；
31.通过所述目标损失函数对所述待训练的重建网络进行训练，并在训练过程中调整所述解码器中的噪声权重参数，直至达到训练停止条件时停止，得到训练好的重建网络；所述训练好的重建网络中包括所述解码器中的噪声权重。
32.一种重建网络的训练装置，包括：
33.样本获取模块，用于获取样本图像和对应的样本标签，将所述样本图像输入待训练的重建网络；所述待训练的重建网络包括编码器、解码器和判别器；
34.样本提取模块，用于通过所述编码器对所述样本图像进行特征提取，得到对应的样本编码特征图；
35.样本重建模块，用于获取样本随机噪声，基于所述样本随机噪声和所述解码器中的噪声权重参数对所述样本编码特征图进行图像重建，得到重建结果；
36.构建模块，用于通过所述判别器分别提取所述重建结果和所述样本标签的图像特征，基于所述重建结果的图像特征和所述样本标签的图像特征，构建目标损失函数；
37.训练模块，用于通过所述目标损失函数对所述待训练的重建网络进行训练，并在训练过程中调整所述解码器中的噪声权重参数，直至达到训练停止条件时停止，得到训练好的重建网络；所述训练好的重建网络中包括所述解码器中的噪声权重。
38.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
39.获取样本图像和对应的样本标签，将所述样本图像输入待训练的重建网络；所述待训练的重建网络包括编码器、解码器和判别器；
40.通过所述编码器对所述样本图像进行特征提取，得到对应的样本编码特征图；
41.获取样本随机噪声，基于所述样本随机噪声和所述解码器中的噪声权重参数对所述样本编码特征图进行图像重建，得到重建结果；
42.通过所述判别器分别提取所述重建结果和所述样本标签的图像特征，基于所述重建结果的图像特征和所述样本标签的图像特征，构建目标损失函数；
43.通过所述目标损失函数对所述待训练的重建网络进行训练，并在训练过程中调整所述解码器中的噪声权重参数，直至达到训练停止条件时停止，得到训练好的重建网络；所述训练好的重建网络中包括所述解码器中的噪声权重。
44.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
45.获取样本图像和对应的样本标签，将所述样本图像输入待训练的重建网络；所述待训练的重建网络包括编码器、解码器和判别器；
46.通过所述编码器对所述样本图像进行特征提取，得到对应的样本编码特征图；
47.获取样本随机噪声，基于所述样本随机噪声和所述解码器中的噪声权重参数对所述样本编码特征图进行图像重建，得到重建结果；
48.通过所述判别器分别提取所述重建结果和所述样本标签的图像特征，基于所述重建结果的图像特征和所述样本标签的图像特征，构建目标损失函数；
49.通过所述目标损失函数对所述待训练的重建网络进行训练，并在训练过程中调整所述解码器中的噪声权重参数，直至达到训练停止条件时停止，得到训练好的重建网络；所述训练好的重建网络中包括所述解码器中的噪声权重。
50.上述重建网络的训练方法、装置、电子设备和计算机可读存储介质，待训练的重建网络包括编码器、解码器和判别器，通过获取样本图像和对应的样本标签，将样本图像输入待训练的重建网络，通过编码器对样本图像进行特征提取，得到对应的样本编码特征图，获取样本随机噪声，基于样本随机噪声和解码器中的噪声权重参数对样本编码特征图进行图像重建，得到重建结果，将生成的高分辨率图像和真实的高分辨率图像分别经过判别器提取出特征,根据这两个特征来计算损失,以该损失作为重建网络的目标损失，从而对待训练的重建网络进行训练，并在训练过程中调整解码器中的噪声权重参数，直至达到训练停止条件时停止，得到训练好的重建网络，从而使得训练好的重建网络具备更高的重建精度和准确性。并且，通过训练确定解码器中每层对应的噪声权重，使得能够在解码过程中将随机噪声作为高分辨图像中的高频信息，从而使得重建获得的高分辨图像的纹理细节更丰富，所获得的高分辨图像更真实、自然。
附图说明
51.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
52.图1为一个实施例中图像处理方法的应用环境图；
53.图2为一个实施例中图像处理方法的流程图；
54.图3为一个实施例中基于随机噪声和解码器中的噪声权重对编码特征图进行图像重建，得到第二图像的步骤的流程图；
55.图4为一个实施例中将输出通道的各通道特征图重新排列的示意图；
56.图5为一个实施例中重建网络的训练方法的流程图；
57.图6为一个实施例中训练过程的重建网络的架构图；
58.图7为一个实施例中图像处理装置的结构框图；
59.图8为一个实施例中重建网络的训练装置的结构框图；
60.图9为一个实施例中电子设备的内部结构框图。
具体实施方式
61.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
62.可以理解，本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本技术的范围的情况下，可以将第一图像称为第二图像，且类似地，可将第二图像称为第一图像。第一图像和第二图像两者都是图像，但其不是同一图像。
63.图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备110和服务器120。电子设备110获取第一图像，将第一图像发送至服务器120。服务器120对第一图像进行编码以提取特征，得到对应的编码特征图。服务器120获取随机噪声，在解码过程中基于随机噪声对编码特征图进行图像重建，得到第二图像；其中，第二图像的第二分辨率大于第一图像的第一分辨率。服务器120将第二图像返回至电子设备110。
64.图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图1中的电子设备上为例进行描述。如图2所示，该图像处理方法包括：
65.步骤202，获取第一图像。
66.其中，第一图像可以是rgb(red，green，blue)图像、raw图像、灰度图像、深度图像、yuv图像中的y分量所对应的图像等其中的任意一种。其中，raw图像是图像感应器将捕捉到的光源信号转化为数字信号的原始数据。yuv图像中的“y”表示明亮度(luminance或luma)，也就是灰阶值，“u”和“v”表示的则是色度(chrominance或chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。第一图像具体可以是人脸图像、半身图像和全身图像，但不限于此。
67.具体地，电子设备可从本地或其他设备或网络上获取第一图像，或者电子设备通过摄像头拍摄场景得到第一图像。第一图像还可以是从本地或其他设备或网络上获取的视频中的视频帧，或者通过摄像头拍摄的视频中的视频帧。该第一图像对应的分辨率为第一分辨率，该第一分辨率可以是比较低的分辨率。
68.步骤204，对第一图像进行编码以提取特征，得到对应的编码特征图。
69.具体地，电子设备对第一图像进行编码，在编码过程中提取第一图像的特征，得到对应的编码特征图。
70.在一个实施例中，电子设备可通过卷积处理对第一图像进行编码，通过多次卷积
获得对应的编码特征图，还可以获取每层卷积所得到的编码特征图。
71.步骤206，获取随机噪声，在解码过程中基于随机噪声对编码特征图进行图像重建，得到第二图像；其中，第二图像的第二分辨率大于第一图像的第一分辨率。
72.其中，随机噪声是指随机选取的噪声，包括但不限于高斯噪声，椒盐噪声。高斯噪声是指概率密度函数服从高斯分布(即正态分布)的一类噪声。常见的高斯噪声包括起伏噪声、宇宙噪声、热噪声和散粒噪声等等。椒盐噪声也称为脉冲噪声，是一种随机出现的白点或者黑点，可能是亮的区域有黑色像素或是在暗的区域有白色像素，或者两者皆有。该第二图像对应的分辨率为第二分辨率，该第二分辨率大于第一分辨率。
73.具体地，电子设备获取预先设置好的随机噪声。在一个实施例中，获取随机噪声，包括：从预设噪声范围内随机选取噪声，将所选取的噪声作为随机噪声。
74.电子设备对编码特征图进行解码处理，在解码过程中加入随机噪声，基于随机噪声对编码特征图进行图像重建处理，得到第二图像。第一图像为低分辨率的图像，第二图像为高分辨率的图像，即第二图像的第二分辨率大于第一图像的第一分辨率。例如，第一图像的分辨率为400*200，第二图像的分辨率为800*400。
75.在一个实施例中，电子设备可获取随机噪声，在解码过程中对编码特征图进行解码处理，并基于随机噪声对解码得到的特征进行图像重建，得到第二图像。
76.本实施例中，获取第一图像，在对第一图像进行编码的过程中提取图像特征，得到对应的编码特征图。获取随机噪声，在解码过程中基于随机噪声对编码特征图进行图像重建，能够将随机噪声作为高频信号源增加到图像中，能够更好地拟合出重建得到的第二图像中的纹理细节。第二图像的分辨率大于第一图像的分辨率，能够通过编解码将低分辨率图像重建为高分辨图像。并且在解码过程中引入随机噪声，使得重建获得的高分辨图像的纹理细节更丰富，所获得的高分辨图像更真实。
77.在一个实施例中，对第一图像进行编码以提取特征，得到对应的编码特征图，包括：
78.将第一图像输入重建网络；重建网络包括编码器和解码器；通过编码器对第一图像进行特征提取，得到对应的编码特征图；
79.在解码过程中基于随机噪声对编码特征图进行图像重建，得到第二图像，包括：基于随机噪声和解码器中的噪声权重对编码特征图进行图像重建，得到第二图像。
80.具体地，重建网络用于将低分辨率图像重建为高分辨图像，例如将第一分辨率的图像重建为第二分辨率的图像，第二分辨率大于第一分辨率。
81.该重建网络包括编码器(encoder)和解码器(decoder)，电子设备将第一图像输入重建网络的编码器。编码器对第一图像进行编码处理，得到对应的编码特征图。进一步地，该编码器中包含多层卷积神经网络，例如3
‑
5层。编码器通过各层卷积神经网络对第一图像进行卷积处理，可将上一层输出的特征作为下一层的输入，直至得到最后一层输出的编码特征图，还可以得到每层输出的编码特征图。
82.电子设备获取随机噪声，将编码特征图和随机噪声作为重建网络中的解码器的输入，通过解码器中各层分别对应的噪声权重和随机噪声对编码特征图进行图像重建，得到第二图像。第二图像的分辨率大于第一图像的分辨率。
83.本实施例中，该重建网络包括编码器和解码器，通过重建网络的编码器对第一图
像进行特征提取，从而在编码过程中提取出第一图像的关键特征，获得对应的编码特征图。在解码器解码的过程中，基于随机噪声和解码器中的噪声权重对编码特征图进行图像重建，能够将随机噪声作为高频信号源增加到图像中，能够更好地拟合出重建的高分辨图像中的纹理细节，使得高分辨图像的纹理细节更丰富，从而使得重建的高分辨图像更真实。
84.在一个实施例中，如图3所示，解码器包括解码层和放大层；基于随机噪声和解码器中的噪声权重对编码特征图进行图像重建，得到第二图像，包括：
85.步骤302，基于随机噪声和初始解码层对应的噪声权重对编码特征图进行解码，得到解码特征图。
86.具体地，解码器中包括解码层和放大层，电子设备将编码器的输出作为解码器的输入。进一步地，将随机噪声和编码特征图作为解码器中初始解码层的输入，初始解码层基于该层对应的噪声权重和该随机噪声，对该编码特征图进行解码处理，得到初始解码层输出的解码特征图。
87.步骤304，将上一解码层输出的解码特征图和随机噪声作为下一解码层的输入，基于随机噪声和下一解码层对应的噪声权重对输入的解码特征图进行解码，直至得到最后一解码层输出的解码特征图。
88.具体地，从解码器的第二层起，将上一解码层输出的解码特征图和随机噪声作为下一解码层的输入。每个解码层具有对应的噪声权重，解码层根据随机噪声和该层对应的噪声权重，对上一解码层输出的解码特征图进行进一步解码，得到该解码层输出的解码特征图。按照相应的处理方式，可得到该解码器中最后一解码层输出的解码特征图。
89.在一个实施例中，该解码层对上一解码层输出的解码特征图进行进一步解码，并根据随机噪声和该解码层对应的噪声权重，对解码所得到的特征进行加噪处理，得到该解码层输出的解码特征图。
90.在一个实施例中，该解码层计算随机噪声和该层对应的噪声权重的乘积，将乘积分别与解码所得到的特征中各像素的像素值之和，作为待生成的解码特征图中相应像素点的像素值，直至得到待生成的解码特征图中各像素点对应的像素值后，获得该解码层对应的解码特征图。
91.步骤306，通过放大层对最后一解码层输出的解码特征图进行上采样处理，得到第二图像。
92.其中，上采样(upsampling)处理是指放大图像，以获得更高分辨率的图像。
93.具体地，解码器中还包括放大层，将最后一解码层输出的解码特征图作为该放大层的输入。放大层将该解码特征图上采样至第二分辨率下，得到满足分辨率要求的图像。
94.在一个实施例中，放大层具有对应的噪声权重，将随机噪声和最后一解码层输出的解码特征图作为该放大层的输入。放大层基于该随机噪声和对应的噪声权重对该解码特征图进行上采样处理，得到第二图像。
95.在一个实施例中，通过放大层对最后一解码层输出的解码特征图进行上采样处理，基于随机噪声和放大层对应的噪声权重对上采样处理得到的特征进行加噪处理，得到第二图像。
96.本实施例中，解码器中各解码层均对应各自的噪声权重，将随机噪声和上一解码层输出的解码特征图作为下一解码层的输入，能够在解码过程中将随机噪声作为高频信息
增加到图像中，以补充图像的纹理细节。而解码层根据对应的噪声权重能够控制该层对图像加入的噪声的量，避免噪声加入过多导致图像不清晰的问题。在解码器的方大层将图像上采样至需要的分辨率，从而能够在图像的超分辨率重建过程中既增加高分辨图像中的纹理细节，又保证高分辨图像的清晰度。
97.在一个实施例中，基于随机噪声和初始解码层对应的噪声权重对编码特征图进行解码，得到解码特征图，包括：
98.通过初始解码层对编码特征图进行解码处理，根据随机噪声和初始解码层对应的噪声权重对解码得到的特征进行加噪处理，得到解码特征图。
99.其中，加噪处理用于对图像增加噪声。
100.具体地，将随机噪声和编码特征图作为解码器中初始解码层的输入。初始解码层具有对应的噪声权重，初始解码层对该输出的编码特征图进行解码处理。根据初始层对应的噪声权重和该随机噪声，对解码得到的特征进行加噪处理，得到初始解码层输出的解码特征图。
101.在一个实施例中，根据随机噪声和初始解码层对应的噪声权重对解码得到的特征进行加噪处理，得到解码特征图，包括：
102.确定随机噪声和初始解码层对应的噪声权重的乘积；将乘积分别与解码所得到的特征中各像素的像素值之和，作为待生成的解码特征图中相应像素点的像素值，直至得到待生成的解码特征图中各像素点对应的像素值后，获得解码特征图。
103.具体地，计算确定随机噪声和初始解码层对应的噪声权重的乘积，将乘积分别和解码所得到的特征中各像素点对应的像素值求和，从而更新各像素点的像素值，更新后的各像素值作为解码特征图中各像素点对应的像素值。
104.本实施例中，先通过初始解码层对编码特征图进行解码处理，初始解码层对应的噪声权重能够控制该层对图像所增加的随机噪声的量，避免所得到的解码特征图噪声过多，影响后续重建图像的清晰度。
105.在一个实施例中，编码器中各层和解码器中各解码层相对应；将上一解码层输出的解码特征图和随机噪声作为下一解码层的输入，基于随机噪声和下一解码层对应的噪声权重对输入的解码特征图进行解码，直至得到最后一解码层输出的解码特征图，包括：
106.将上一解码层输出的解码特征图和上一解码层在编码器中的相应层输出的编码特征图进行拼接处理，得到拼接特征图；将拼接特征图和随机噪声作为下一解码层的输入，基于随机噪声和下一解码层对应的噪声权重对拼接特征图进行解码，直至得到最后一解码层输出的解码特征图。
107.具体地，编码器中各层和解码器中各解码层一一对应，得到上一解码层输出的解码特征图后，确定该上一解码层在编码器的相应层。将上一解码层输出的解码特征图和该上一解码层在编码器的相应层输出的编码特征图进行拼接处理，得到拼接特征图。将该拼接特征图和该随机噪声作为下一解码层的输入。每个解码层具有对应的噪声权重，解码层根据随机噪声和该层对应的噪声权重，对输入的拼接特征图进行进一步解码，得到该解码层输出的解码特征图。按照相应的处理方式，可得到该解码器中最后一解码层输出的解码特征图。
108.在一个实施例中，该解码层对上一解码层输出的解码特征图进行进一步解码，并
根据随机噪声和该解码层对应的噪声权重，对解码所得到的特征进行加噪处理，得到该解码层对应的解码特征图。将该解码层对应的解码特征图和相应的编码特征图进行拼接处理，得到该解码层对应的拼接特征图。
109.本实施例中，将上一解码层输出的解码特征图和上一解码层在编码器中的相应层输出的编码特征图进行拼接处理，得到拼接特征图，将拼接特征图和随机噪声作为下一解码层的输入，基于随机噪声和下一解码层对应的噪声权重对拼接特征图进行解码，直至得到最后一解码层输出的解码特征图，能够在解码过程中参考编码器不同层的特征，避免重建出来的图像偏差过大,出现人像畸变或伪影等缺陷，从而保证重建得到的高分辨图像的清晰度。
110.在一个实施例中，通过放大层对最后一解码层输出的解码特征图进行上采样处理，得到第二图像，包括：
111.获取最后一解码层中各输出通道输出的通道特征图；将同一输出通道的各通道特征图按照预设块尺寸进行排列，得到同一输出通道对应的排列特征图；将各个输出通道对应的排列特征图进行拼接处理，并基于随机噪声和放大层对应的噪声权重对拼接处理得到的特征进行加噪处理，得到第二图像。
112.具体地，获取最后一解码层中各输出通道输出的通道特征图，每个输出通道可对应多个通道图。将各输出通道输出的通道特征图和随机噪声作为放大层的输入。放大层从各输出通道中选择输出通道，将所选择的输出通道对应的各通道特征图按照预设块尺寸进行重新排列，得到所选择的输出通道对应的至少一个排列特征图。按照相同的处理方式，可得到每个输出通道分别对应的排列特征图。
113.将各个输出通道对应的排列特征图进行拼接处理，得到第二分辨率的拼接图。将随机噪声和放大层对应的噪声权重的乘积，分别和第二分辨率的拼接图中各像素点的像素值求和，得到第二图像中各像素点的像素值，从而得到第二分辨率的第二图像。
114.在一个实施例中，对于各输出通道分别对应的通道特征图，可按照预设顺序选择输出通道。得到每个输出通道分别对应的排列特征图后，可按照预设顺序将各排列特征图进行拼接处理。例如，按照宽度维度优先于高度维度的顺序选择输入通道进行处理，得到每个输出通道分别对应的排列特征图后，仍然按照宽度维度优先于高度维度的顺序将各排列特征图进行拼接处理。
115.在一个实施例中，放大层由不同层数的上采样(depth to space)模块构成，上采样时将不同通道的通道特征图的像素点分别排布到不同的空间维度上，即把depth维度的数据移到space维度上，该空间维度包括图像的高度维度(height)和宽度维度(width)。例如在分辨率变为原分辨率4倍的同时,通道数变为原通道数的1/4。上采样(depth to space)模块与降采样(space to depth)模块正好相反，降采样的时候将相邻的特征图像素点分别排布到不同的通道中去(space to depth),例如在分辨率变为原分辨率1/4的同时,通道数变为原通道数的4倍，如图4所示。
116.如图4所示，在通过depth to space将输出通道的各通道特征图重新排列为排列特征图时，预设块尺寸为block_size*block_size，例如为2*2。经过depth to space处理，输出的图像的width为(input_width*block_size)，输出的图像的height为(input_height*block_size)，输出的图像的depth为[input_depth/(block_size*block_size)]。
[0117]
本实施例中，获取最后一解码层中各输出通道输出的通道特征图，将同一输出通道的各通道特征图按照预设块尺寸进行排列，得到同一输出通道对应的排列特征图，从而能够将图像在通道维度的特征分别排布到图像的空间维度上，以增加图像的分辨率。将各个输出通道对应的排列特征图进行拼接处理，并基于随机噪声和放大层对应的噪声权重对拼接处理得到的特征进行加噪处理，并基于该层的噪声权重控制所加入的噪声的量，使得在保证高分辨图像清晰的同时，增加了高分辨图像的纹理细节，使得高分辨图像更真实自然。
[0118]
在一个实施例中，通过放大层对最后一解码层输出的解码特征图进行上采样处理，得到第二图像，包括：
[0119]
通过放大层对最后一解码层输出的解码特征图进行插值处理，得到第二分辨率的插值图像；基于随机噪声和放大层对应的噪声权重，对第二分辨率的插值图像进行加噪处理，得到第二图像。
[0120]
具体地，放大层具有对应的噪声权重，将随机噪声和最后一解码层输出的解码特征图作为该放大层的输入。放大层对解码特征图进行插值处理，以将解码特征图放大至第二分辨率，得到第二分辨率的插值图像。通过随机噪声和放大层对应的噪声权重，对第二分辨率的插值图像进行加噪处理，得到第二图像。
[0121]
进一步地，确定随机噪声和放大层对应的噪声权重的乘积；将乘积分别与第二分辨率的插值图像中各像素的像素值之和，作为待生成的第二图像中相应像素点的像素值，直至得到待生成的第二图像中各像素点对应的像素值后，获得第二分辨率的第二图像。
[0122]
该插值处理可以是bicubic(双三次插值)、bilinear(双线性插值)或lanczos，但不限于此。
[0123]
在其他实施例中，还可以通过反卷积处理实现上采样处理。
[0124]
在一个实施例中，通过放大层对最后一解码层输出的解码特征图进行插值处理，得到第二分辨率的插值图像，包括：根据最后一解码层输出的解码特征图中的各像素点，确定解码特征图在第二分辨率下的各待插值点；对于每个待插值点，确定在待插值点的预设范围内各采样点的位置，根据各采样点的位置和对应的权重，确定待插值点在第二分辨率下对应的像素值，直至得到解码特征图在第二分辨率下的每个待插值点对应的像素值后，获得第二分辨率的插值图像。
[0125]
具体地，根据最后一解码层输出的解码特征图中的各像素点，确定解码特征图在第二分辨率下的各待插值点。对应每个待插值点，确定该待插值点的预设范围内的各个采样点在该解码特征图中的位置，并确定各个采样点分别对应的权重。采样点可以是在预设范围内的特征点，也可以是从预设范围内的特征点中采样得到。采样点与插值点距离越近，权重越大，距离越远，权重越小。
[0126]
根据各采样点的位置和对应的权重，确定预设范围内每行对应的中间插值点或者每列对应的中间插值点。根据中间插值点的坐标和对应的插值权重，确定待插值点在第二分辨率下对应的像素值。按照相同的处理方式，可得到每个待插值点在第二分辨率下对应的像素值，将各待插值点作为第二图像中的各像素点，将各待插值点对应的像素值作为第二图像中各像素点对应的像素值。
[0127]
在一个实施例中，根据各采样点的位置和对应的权重，确定待插值点在第二分辨
率下对应的像素值，包括：根据各采样点的位置和对应的权重，确定预设范围内每列对应的中间插值点；针对每个中间插值点，确定中间插值点和待插值点之间的欧式距离，将欧式距离作为中间插值点对应的插值权重；基于每个中间插值点和对应的插值权重，确定待插值点在第二分辨率下对应的像素值
[0128]
在一个实施例中，根据各采样点的位置和对应的权重，确定待插值点在第二分辨率下对应的像素值，包括：根据各采样点的位置和对应的权重，确定预设范围内每行对应的中间插值点；针对每个中间插值点，确定中间插值点和待插值点之间的欧式距离，将欧式距离作为中间插值点对应的插值权重；基于每个中间插值点和对应的插值权重，确定待插值点在第二分辨率下对应的像素值。
[0129]
具体地，电子设备根据预设范围内每行的采样点在解码特征图中的位置，以及各个采样点分别对应的权重，确定每行对应的中间插值点的位置。对于每个中间插值点，计算中间插值点和待插值点之间的欧式距离，将欧式距离作为该中间插值点对应的插值权重。计算每个中间插值点和对应的插值权重的乘积，并计算各乘积之和，计算各个插值权重之和，将各乘积之和与插值权重之和的比值，作为待插值点在第二分辨率下对应的像素值。
[0130]
本实施例中，通过放大层对最后一解码层输出的解码特征图进行插值处理，得到第二分辨率的插值图像，基于随机噪声和放大层对应的噪声权重，对第二分辨率的插值图像进行加噪处理，得到第二图像，使得重建得到的高分辨图像的纹理细节更丰富。
[0131]
在一个实施例中，如图5所示，一种重建网络的训练方法，包括：
[0132]
步骤502，获取样本图像和对应的样本标签，将样本图像输入待训练的重建网络；待训练的重建网络包括编码器、解码器和判别器。
[0133]
具体地，电子设备可获取各样本图像和各样本图像分别对应的样本标签，该样本标签为该样本图像对应的高分辨率图像，即样本标签对应的分辨率大于相应样本图像的分辨率。
[0134]
样本图像可以是rgb(red，green，blue)图像、raw图像、灰度图像、深度图像、yuv图像中的y分量所对应的图像等其中的任意一种。
[0135]
待训练的重建网络包括编码器、解码器和判别器。电子设备将样本图像和样本图像对应的样本标签输入待训练的重建网络。
[0136]
步骤504，通过编码器对样本图像进行特征提取，得到对应的样本编码特征图。
[0137]
具体地，编码器中可包含多层卷积神经网络，通过多层卷积神经网络对样本图像进行特征提取，得到每层分别输出的样本编码特征图。可以理解的是，将编码器的上一层输出的样本编码特征作为下一层的输入，直至得到最后一层输出的样本编码特征图。
[0138]
步骤506，获取样本随机噪声，基于样本随机噪声和解码器中的噪声权重参数对样本编码特征图进行图像重建，得到重建结果。
[0139]
具体地，电子设备获取样本随机噪声，将样本编码特征图和随机噪声作为解码器的输入，通过解码器中各层分别对应的噪声权重和随机噪声对样本编码特征图进行图像重建，得到重建结果。
[0140]
步骤508，通过判别器分别提取重建结果和样本标签的图像特征，基于重建结果的图像特征和样本标签的图像特征，构建目标损失函数。
[0141]
具体地，判别器对重建结果进行特征提取，并对对应的样本标签进行特征提取，得
到重建结果的图像特征和样本标签的图像特征。基于重建结果的图像特征和样本标签的图像特征，构建目标损失函数。
[0142]
判别器的作用是判别解码器生成的高分辨率人像接近真实的高分辨率人像的程度,即将生成的高分辨率人像(fake sr face)和真实的高分辨率人像(real hr face)分别经过判别器提取出特征,根据这两个特征来计算损失(l
d
),以该损失(l
d
)作为重建网络的损失。目标损失函数l
d
的计算如下所示：
[0143][0144]
其中，d就是判别器,z
(i)
是不同训练批次的真实高分辨率图像样本，即样本标签,m为样本数量，g(x
(i)
)是对应批次的生成的高分辨率图像结果，即重建结果,x
(i)
是输入的低分辨率图像，即样本图像，g就是encoder+decoder。
[0145]
判别器的结构接近encoder,都是在特征图缩小的同时增加输出的通道,逐渐从图像信号中抽取特征。
[0146]
本实施例中不采用通常人脸超分通常会采用的像素损失，比如l1、l2或者是ssim等结构损失,避免像素的损失抵消所补充的随机噪声的正向作用。
[0147]
步骤510，通过目标损失函数对待训练的重建网络进行训练，并在训练过程中调整解码器中的噪声权重参数，直至达到训练停止条件时停止，得到训练好的重建网络；训练好的重建网络中包括解码器中的噪声权重。
[0148]
具体地，通过目标损失函数对待训练的重建网络进行训练，在训练过程中根据产生的损失误差调整编码器、解码器的参数，以及解码器中各层对应的噪声权重参数，直至达到训练停止条件时停止，得到训练好的重建网络。训练好的重建网络中包括编码器和解码器，解码器中每层具有对应的噪声权重。
[0149]
在本实施例中，训练停止条件可以为重建网络的损失误差小于或等于损失阈值、重建网络的迭代次数达到预设迭代次数，以及迭代时间达到预设迭代时间，重建性能达到预设性能指标等中的至少一种。
[0150]
例如，计算出重建网络每次训练中产生的损失误差，基于损失误差和损失阈值之间的差异调整该重建网络的各个参数并继续训练，直到训练停止，得到训练好的重建网络。
[0151]
本实施例中，待训练的重建网络包括编码器、解码器和判别器，通过获取样本图像和对应的样本标签，将样本图像输入待训练的重建网络，通过编码器对样本图像进行特征提取，得到对应的样本编码特征图，获取样本随机噪声，基于样本随机噪声和解码器中的噪声权重参数对样本编码特征图进行图像重建，得到重建结果，将生成的高分辨率图像和真实的高分辨率图像分别经过判别器提取出特征,根据这两个特征来计算损失,以该损失作为重建网络的目标损失，从而对待训练的重建网络进行训练，并在训练过程中调整解码器中的噪声权重参数，直至达到训练停止条件时停止，得到训练好的重建网络，从而使得训练好的重建网络具备更高的重建精度和准确性。并且，通过训练确定解码器中每层对应的噪声权重，使得能够在解码过程中将随机噪声作为高分辨图像中的高频信息，从而使得重建获得的高分辨图像的纹理细节更丰富，所获得的高分辨图像更真实、自然。
[0152]
如图6所示，为一个实施例中训练过程的重建网络的架构图。该重建网络包括编码器、解码器和判别器。通过编码器提取低分辨率图像的特征，在提取特征的过程中，每层卷
积会降低分辨率而增加通道数，将图像特征逐渐提取到不同的通道上，图6中是一个由4层卷积神经网构成的编码器，编码器每层的参数如下表1所示。
[0153]
表1 编码器各层的结构参数
[0154][0155]
传统的超分辨率图像重建方式从低分辨率图像中提取的特征是缺少高频成分的，由于没有高频信息的输入，重建出来的高分辨率图像也会缺少高频细节,导致图像看起来不真实。而本实施例中解码器的作用是从提取的特征中重建出高分辨率图像，并且在解码器每一层生成的特征图中加入随机噪声，每层对应各自的噪声权重(ω
i
)。另外，解码器每一层输出的特征图会和对应编码器层的特征图做拼接(concat),目的是参考编码器不同层的特征，以免重建出来的图像偏差过大，出现图像畸变或产生伪影，则本实施例中的解码器和编码器的层数是对应的。与表1的编码器各层的结构参数对应，解码器各层的结构参数如表2所示。
[0156]
表2 解码器各层的结构参数
[0157][0158]
在解码器的最后还会有一层放大层(upsample层),放大层根据放大倍数的不同由不同层数的depth to space模块构成，通过放大层将图像重建为高分辨率的图像。
[0159]
判别器的作用是判别重建的高分辨率图像接近真实的高分辨率图像的程度,根据重建的高分辨率图像和真实的高分辨率图像之间的特征来计算损失，从而对重建网络进行训练。
[0160]
可以理解的是，卷积神经网络每个层的单位结构可以不是卷积核而是卷积核的组合，比如用1
×
1+3
×
3两个卷积核串联替代3
×
3结构。
[0161]
卷积神经网络每个层的单位结构还可以用多个卷积核并联的方式，比如1
×
1和3
×
3两个卷积核并联替代3
×
3结构。
[0162]
在其他实施例中，编码器的编码过程保证分辨率不变，在解码器的各解码层同样保持分辨率不变，仅在放大层有通过上采样把图像放大到需要的分辨率。
[0163]
在一个实施例中，提供了一种图像处理方法，包括：
[0164]
训练过程：
[0165]
电子设备获取样本图像和对应的样本标签，将样本图像输入待训练的重建网络；待训练的重建网络包括编码器、解码器和判别器。
[0166]
接着，通过编码器对样本图像进行特征提取，得到对应的样本编码特征图；获取样本随机噪声，基于样本随机噪声和解码器中的噪声权重参数对样本编码特征图进行图像重
建，得到重建结果。
[0167]
进一步地，电子设备通过判别器分别提取重建结果和样本标签的图像特征，基于重建结果的图像特征和样本标签的图像特征，构建目标损失函数。
[0168]
进一步地，电子设备通过目标损失函数对待训练的重建网络进行训练，并在训练过程中调整解码器中的噪声权重参数，直至达到训练停止条件时停止，得到训练好的重建网络；训练好的重建网络中包括解码器中的噪声权重。
[0169]
应用过程：
[0170]
电子设备获取第一图像，将第一图像输入重建网络；重建网络包括编码器和解码器；通过编码器对第一图像进行特征提取，得到对应的编码特征图。
[0171]
接着，通过初始解码层对编码特征图进行解码处理，根据随机噪声和初始解码层对应的噪声权重对解码得到的特征进行加噪处理，得到解码特征图。
[0172]
进一步地，将上一解码层输出的解码特征图和上一解码层在编码器中的相应层输出的编码特征图进行拼接处理，得到拼接特征图。
[0173]
接着，将拼接特征图和随机噪声作为下一解码层的输入，基于随机噪声和下一解码层对应的噪声权重对拼接特征图进行解码，直至得到最后一解码层输出的解码特征图；最后一解码层输出的解码特征图包括最后一解码层中各输出通道输出的通道特征图。
[0174]
接着，将同一输出通道的各通道特征图按照预设块尺寸进行排列，得到同一输出通道对应的排列特征图。
[0175]
进一步地，将各个输出通道对应的排列特征图进行拼接处理，并基于随机噪声和放大层对应的噪声权重对拼接处理得到的特征进行加噪处理，得到第二图像。其中，第二图像的第二分辨率大于第一图像的第一分辨率。
[0176]
本实施例中，通过待训练的重建网络将低分辨率图像重建为高分辨图像，并将重建的高分辨率图像和真实的高分辨率图像分别经过判别器提取出特征,根据这两个特征来计算损失,以该损失作为重建网络的目标损失，从而对待训练的重建网络进行训练，从而使得训练好的重建网络具备更高的重建精度和准确性。并且，通过训练确定解码器中每层对应的噪声权重，使得能够在解码过程中将随机噪声作为高分辨图像中的高频信息，从而使得重建获得的高分辨图像的纹理细节更丰富，所获得的高分辨图像更真实、自然。
[0177]
在应用过程中，通过重建网络的编码器对第一图像进行特征提取，从而在编码过程中提取出第一图像的关键特征，获得对应的编码特征图。
[0178]
在解码器解码的过程中，将随机噪声和上一解码层输出的解码特征图作为下一解码层的输入，能够在解码过程中将随机噪声作为高频信息增加到图像中，以补充图像的纹理细节。而解码层根据对应的噪声权重能够控制该层对图像加入的噪声的量，避免噪声加入过多导致图像不清晰的问题。在解码器的放大层将图像上采样至需要的分辨率，从而能够在图像的超分辨率重建过程中既增加高分辨图像中的纹理细节，又保证高分辨图像的清晰度，使得重建的高分辨图像更真实、自然。
[0179]
应该理解的是，虽然图2、图3、图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图3、图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然
是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0180]
图7为一个实施例的图像处理装置的结构框图。如图7所示，该装置包括：
[0181]
获取模块702，用于获取第一图像。
[0182]
提取模块704，用于对第一图像进行编码以提取特征，得到对应的编码特征图。
[0183]
重建模块706，用于获取随机噪声，在解码过程中基于随机噪声对编码特征图进行图像重建，得到第二图像；其中，第二图像的第二分辨率大于第一图像的第一分辨率。
[0184]
本实施例中，获取第一图像，在对第一图像进行编码的过程中提取图像特征，得到对应的编码特征图。获取随机噪声，在解码过程中基于随机噪声对编码特征图进行图像重建，能够将随机噪声作为高频信号源增加到图像中，能够更好地拟合出重建得到的第二图像中的纹理细节。第二图像的分辨率大于第一图像的分辨率，能够通过编解码将低分辨率图像重建为高分辨图像。并且在解码过程中引入随机噪声，使得重建获得的高分辨图像的纹理细节更丰富，所获得的高分辨图像更真实。
[0185]
在一个实施例中，提取模块704，还用于将第一图像输入重建网络；重建网络包括编码器和解码器；通过编码器对第一图像进行特征提取，得到对应的编码特征图；
[0186]
重建模块706，还用于基于随机噪声和解码器中的噪声权重对编码特征图进行图像重建，得到第二图像。
[0187]
本实施例中，该重建网络包括编码器和解码器，通过重建网络的编码器对第一图像进行特征提取，从而在编码过程中提取出第一图像的关键特征，获得对应的编码特征图。在解码器解码的过程中，基于随机噪声和解码器中的噪声权重对编码特征图进行图像重建，能够将随机噪声作为高频信号源增加到图像中，能够更好地拟合出重建的高分辨图像中的纹理细节，使得高分辨图像的纹理细节更丰富，从而使得重建的高分辨图像更真实。
[0188]
在一个实施例中，解码器包括解码层和放大层；重建模块706，还用于基于随机噪声和初始解码层对应的噪声权重对编码特征图进行解码，得到解码特征图；将上一解码层输出的解码特征图和随机噪声作为下一解码层的输入，基于随机噪声和下一解码层对应的噪声权重对输入的解码特征图进行解码，直至得到最后一解码层输出的解码特征图；通过放大层对最后一解码层输出的解码特征图进行上采样处理，得到第二图像。
[0189]
本实施例中，解码器中各解码层均对应各自的噪声权重，将随机噪声和上一解码层输出的解码特征图作为下一解码层的输入，能够在解码过程中将随机噪声作为高频信息增加到图像中，以补充图像的纹理细节。而解码层根据对应的噪声权重能够控制该层对图像加入的噪声的量，避免噪声加入过多导致图像不清晰的问题。在解码器的方大层将图像上采样至需要的分辨率，从而能够在图像的超分辨率重建过程中既增加高分辨图像中的纹理细节，又保证高分辨图像的清晰度。
[0190]
在一个实施例中，重建模块706，还用于通过初始解码层对编码特征图进行解码处理，根据随机噪声和初始解码层对应的噪声权重对解码得到的特征进行加噪处理，得到解码特征图。
[0191]
本实施例中，先通过初始解码层对编码特征图进行解码处理，初始解码层对应的噪声权重能够控制该层对图像所增加的随机噪声的量，避免所得到的解码特征图噪声过
多，影响后续重建图像的清晰度。
[0192]
在一个实施例中，重建模块706，还用于确定随机噪声和初始解码层对应的噪声权重的乘积；将乘积分别与解码所得到的特征中各像素的像素值之和，作为对应的解码特征图中相应像素点的像素值，直至得到解码特征图中各像素点对应的像素值后，得到对应的解码特征图。
[0193]
在一个实施例中，编码器中各编码层和解码器中各解码层相对应；重建模块706，还用于将上一解码层输出的解码特征图和与上一解码层相应的编码层输出的编码特征图进行拼接处理，得到拼接特征图；将拼接特征图和随机噪声作为下一解码层的输入，基于随机噪声和下一解码层对应的噪声权重对拼接特征图进行解码，直至得到最后一解码层输出的解码特征图。
[0194]
本实施例中，将上一解码层输出的解码特征图和上一解码层在编码器中的相应层输出的编码特征图进行拼接处理，得到拼接特征图，将拼接特征图和随机噪声作为下一解码层的输入，基于随机噪声和下一解码层对应的噪声权重对拼接特征图进行解码，直至得到最后一解码层输出的解码特征图，能够在解码过程中参考编码器不同层的特征，避免重建出来的图像偏差过大,出现人像畸变或伪影等缺陷，从而保证重建得到的高分辨图像的清晰度。
[0195]
在一个实施例中，重建模块706，还用于获取最后一解码层中各输出通道输出的通道特征图；将同一输出通道的各通道特征图按照预设块尺寸进行排列，得到同一输出通道对应的排列特征图；将各个输出通道对应的排列特征图进行拼接处理，并基于随机噪声和放大层对应的噪声权重对拼接处理得到的特征进行加噪处理，得到第二图像。
[0196]
本实施例中，获取最后一解码层中各输出通道输出的通道特征图，将同一输出通道的各通道特征图按照预设块尺寸进行排列，得到同一输出通道对应的排列特征图，从而能够将图像在通道维度的特征分别排布到图像的空间维度上，以增加图像的分辨率。将各个输出通道对应的排列特征图进行拼接处理，并基于随机噪声和放大层对应的噪声权重对拼接处理得到的特征进行加噪处理，并基于该层的噪声权重控制所加入的噪声的量，使得在保证高分辨图像清晰的同时，增加了高分辨图像的纹理细节，使得高分辨图像更真实自然。
[0197]
在一个实施例中，重建模块706，还用于通过放大层对最后一解码层输出的解码特征图进行插值处理，得到第二分辨率的插值图像；基于随机噪声和放大层对应的噪声权重，对第二分辨率的插值图像进行加噪处理，得到第二图像。
[0198]
本实施例中，通过放大层对最后一解码层输出的解码特征图进行插值处理，得到第二分辨率的插值图像，基于随机噪声和放大层对应的噪声权重，对第二分辨率的插值图像进行加噪处理，得到第二图像，使得重建得到的高分辨图像的纹理细节更丰富。
[0199]
图8为一个实施例的重建网络的训练装置的结构框图。如图8所示，该装置包括：
[0200]
样本获取模块802，用于获取样本图像和对应的样本标签，将样本图像输入待训练的重建网络；待训练的重建网络包括编码器、解码器和判别器。
[0201]
样本提取模块804，用于通过编码器对样本图像进行特征提取，得到对应的样本编码特征图。
[0202]
样本重建模块806，用于获取样本随机噪声，基于样本随机噪声和解码器中的噪声
权重参数对样本编码特征图进行图像重建，得到重建结果。
[0203]
构建模块808，用于通过判别器分别提取重建结果和样本标签的图像特征，基于重建结果的图像特征和样本标签的图像特征，构建目标损失函数。
[0204]
训练模块810，用于通过目标损失函数对待训练的重建网络进行训练，并在训练过程中调整解码器中的噪声权重参数，直至达到训练停止条件时停止，得到训练好的重建网络；该训练好的重建网络中包括解码器中的噪声权重。
[0205]
本实施例中，待训练的重建网络包括编码器、解码器和判别器，通过获取样本图像和对应的样本标签，将样本图像输入待训练的重建网络，通过编码器对样本图像进行特征提取，得到对应的样本编码特征图，获取样本随机噪声，基于样本随机噪声和解码器中的噪声权重参数对样本编码特征图进行图像重建，得到重建结果，将生成的高分辨率图像和真实的高分辨率图像分别经过判别器提取出特征,根据这两个特征来计算损失,以该损失作为重建网络的目标损失，从而对待训练的重建网络进行训练，并在训练过程中调整解码器中的噪声权重参数，直至达到训练停止条件时停止，得到训练好的重建网络，从而使得训练好的重建网络具备更高的重建精度和准确性。并且，通过训练确定解码器中每层对应的噪声权重，使得能够在解码过程中将随机噪声作为高分辨图像中的高频信息，从而使得重建获得的高分辨图像的纹理细节更丰富，所获得的高分辨图像更真实、自然。
[0206]
上述图像处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
[0207]
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0208]
图9为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、pda(personal digital assistant，个人数字助理)、pos(point of sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为cpu(central processing unit,中央处理单元)或dsp(digital signal processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
[0209]
本技术实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本技术实施例中所描述方法的步骤。
[0210]
本技术实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
[0211]
本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
[0212]
本技术所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括rom(read
‑
only memory，只读存储器)、prom(programmable read
‑
only memory，可编程只读存储器)、eprom(erasable programmable read
‑
only memory，可擦除可编程只读存储器)、eeprom(electrically erasable programmable read
‑
only memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括ram(random access memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如sram(static random access memory，静态随机存取存储器)、dram(dynamic random access memory，动态随机存取存储器)、sdram(synchronous dynamic random access memory，同步动态随机存取存储器)、双数据率ddr sdram(double data rate synchronous dynamic random access memory，双数据率同步动态随机存取存储器)、esdram(enhanced synchronous dynamic random access memory，增强型同步动态随机存取存储器)、sldram(sync link dynamic random access memory，同步链路动态随机存取存储器)、rdram(rambus dynamic random access memory，总线式动态随机存储器)、drdram(direct rambus dynamic random access memory，接口动态随机存储器)。
[0213]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。