图像处理方法及装置、电子设备和存储介质与流程

1.本公开的实施例涉及一种图像处理方法、图像处理装置、电子设备和非瞬时性计算机可读存储介质。


背景技术：

2.得益于硬件的迅猛发展，短短几年间，手机已更新了数代，老手机拍下的照片在大分辨率的屏幕上变得模糊起来。此外，年代久远的老照片由于当时的拍摄技术受限，图像清晰度低，图像细节不够丰富。在这种情景下，需要将原有的清晰度较低的图像进行清晰化处理，以得到清晰度较高的图像。


技术实现要素：

3.本公开至少一实施例提供一种图像处理方法，包括：获取待处理图像，其中，所述待处理图像包括目标区域；通过第一神经网络模型对所述待处理图像进行第一清晰化处理，以得到所述待处理图像对应的第一中间图像，其中，所述第一中间图像的清晰度大于所述待处理图像的清晰度；通过第二神经网络模型对所述第一中间图像中与所述目标区域对应的中间目标区域进行第二清晰化处理，以得到所述中间目标区域对应的第二中间图像；对所述第一中间图像和所述第二中间图像进行合成处理，以得到与所述待处理图像对应的合成图像。
4.例如，在本公开至少一实施例提供的图像处理方法中，在通过第二神经网络模型对所述第一中间图像中与所述目标区域对应的中间目标区域进行第二清晰化处理，以得到与所述中间目标区域对应的第二中间图像之前，该图像处理方法还包括：通过第三神经网络模型对所述第一中间图像进行识别处理，以得到在所述第一中间图像中与所述目标区域对应的所述中间目标区域。
5.例如，在本公开至少一实施例提供的图像处理方法中，所述第二中间图像的清晰度大于所述中间目标区域的清晰度。
6.例如，在本公开至少一实施例提供的图像处理方法中，对所述第一中间图像和所述第二中间图像进行合成处理，以得到与所述待处理图像对应的合成图像，包括：基于所述第一中间图像的色调，对所述第二中间图像进行色调处理，以得到第三中间图像，其中，所述第三中间图像的色调趋于所述第一中间图像的色调；对所述第一中间图像和所述第三中间图像进行图像合并处理，以得到所述合成图像。
7.例如，在本公开至少一实施例提供的图像处理方法中，所述目标区域为人脸区域。
8.例如，在本公开至少一实施例提供的图像处理方法中，所述第一神经网络模型与所述第二神经网络模型不同。
9.例如，在本公开至少一实施例提供的图像处理方法中，在通过第一神经网络模型对所述待处理图像进行第一清晰化处理之前，所述图像处理方法还包括：获取样本图像；对所述样本图像进行模糊处理，以得到待训练图像，其中，所述待训练图像的清晰度小于所述
样本图像的清晰度；基于所述样本图像和所述待训练图像，对待训练的第一神经网络模型和待训练的第二神经网络模型进行训练，以得到所述第一神经网络模型和所述第二神经网络模型。
10.例如，在本公开至少一实施例提供的图像处理方法中，对所述样本图像进行模糊处理，以得到待训练图像，包括：获取纹理切片，其中，所述纹理切片的尺寸与所述样本图像的尺寸相同；对所述样本图像进行第一模糊处理，以得到第一模糊图像，其中，所述第一模糊图像的清晰度小于所述样本图像的清晰度；将所述第一模糊图像与所述纹理切片进行颜色混合处理，以得到第二模糊图像；对所述第二模糊图像进行第二模糊处理，以得到所述待训练图像。
11.例如，在本公开至少一实施例提供的图像处理方法中，获取纹理切片，包括：获取至少一张预设纹理图像；从所述至少一张预设纹理图像中随机选择一张预设纹理图像，作为目标纹理图像；响应于所述目标纹理图像的尺寸与所述样本图像的尺寸相同，将所述目标纹理图像作为所述纹理切片；响应于所述目标纹理图像的尺寸大于所述样本图像的尺寸，基于所述样本图像的尺寸，对所述目标纹理图像进行随机切割，以得到与所述样本图像的尺寸相同的切片区域，将所述切片区域作为所述纹理切片。
12.例如，在本公开至少一实施例提供的图像处理方法中，所述第一模糊处理包括高斯模糊处理、噪声添加处理或基于任意顺序及任意数量的所述高斯模糊处理和所述噪声添加处理构成的组合处理；所述第二模糊处理包括所述高斯模糊处理、所述噪声添加处理或基于任意顺序及任意数量的所述高斯模糊处理和所述噪声添加处理构成的组合处理。
13.例如，在本公开至少一实施例提供的图像处理方法中，对所述样本图像进行第一模糊处理，以得到第一模糊图像，包括：对所述样本图像进行所述高斯模糊处理，以得到所述第一模糊图像；对所述第二模糊图像进行第二模糊处理，以得到所述待训练图像，包括：对所述第二模糊图像进行所述噪声添加处理，以得到中间模糊图像；对所述中间模糊图像进行所述高斯模糊处理，以得到所述待训练图像。
14.例如，在本公开至少一实施例提供的图像处理方法中，将所述第一模糊图像与所述纹理切片进行颜色混合处理，以得到第二模糊图像，包括：对所述第一模糊图像和所述纹理切片进行滤色处理，以得到所述第二模糊图像。
15.例如，在本公开至少一实施例提供的图像处理方法中，将所述第一模糊图像与所述纹理切片进行颜色混合处理，以得到第二模糊图像，包括：对所述纹理切片和所述第一模糊图像进行加亮处理，以得到所述第二模糊图像。
16.本公开至少一实施例提供一种图像处理装置，包括：图像获取单元，配置为获取待处理图像，其中，所述待处理图像包括目标区域；第一处理单元，配置为通过第一神经网络模型对所述待处理图像进行第一清晰化处理，以得到所述待处理图像对应的第一中间图像，其中，所述第一中间图像的清晰度大于所述待处理图像的清晰度；第二处理单元，配置为通过第二神经网络模型对所述第一中间图像中与所述目标区域对应的中间目标区域进行第二清晰化处理，以得到所述中间目标区域对应的第二中间图像；合成单元，配置为对所述第一中间图像和所述第二中间图像进行合成处理，以得到与所述待处理图像对应的合成图像。
17.例如，在本公开至少一实施例提供的图像处理装置中，所述合成单元包括色调处
理模块和图像合并处理模块，所述色调处理模块被配置为基于所述第一中间图像的色调，对所述第二中间图像进行色调处理，以得到第三中间图像，其中，所述第三中间图像的色调趋于所述第一中间图像的色调；所述图像合并处理模块被配置为对所述第一中间图像和所述第三中间图像进行图像合并处理，以得到所述合成图像。
18.本公开至少一实施例提供一种电子设备，包括：存储器，非瞬时性地存储有计算机可执行指令；处理器，配置为运行所述计算机可执行指令，其中，所述计算机可执行指令被所述处理器运行时实现根据本公开任一实施例所述的图像处理方法。
19.本公开至少一实施例提供一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现根据本公开任一实施例所述的图像处理方法。
附图说明
20.为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
21.图1为本公开至少一实施例提供的一种图像处理方法的示意性流程图；
22.图2为本公开至少一实施例提供的待处理图像的示意图；
23.图3为本公开至少一实施例提供的第一中间图像的示意图；
24.图4a为本公开至少一实施例提供的中间目标区域的示意图；
25.图4b为本公开至少一实施例提供的第二中间图像的示意图；
26.图5a为本公开至少一实施例提供的第三中间图像的示意图；
27.图5b为本公开一实施例提供的一种合成图像的示意图；
28.图6a示出了本公开至少一实施例提供的模糊处理的示意性流程图；
29.图6b为本公开至少一实施例提供的纹理切片的示意图；
30.图7a为本公开至少一实施例提供的样本图像；
31.图7b为本公开至少一实施例提供的待训练图像；
32.图8为本公开至少一实施例提供的一种图像处理装置的示意性框图；
33.图9为本公开至少一实施例提供的一种电子设备的示意图；
34.图10为本公开至少一实施例提供的一种非瞬时性计算机可读存储介质的示意图；
35.图11为本公开至少一实施例提供的一种硬件环境的示意图。
具体实施方式
36.为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
37.除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等
类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。为了保持本公开实施例的以下说明清楚且简明，本公开省略了部分已知功能和已知部件的详细说明。
38.对于存放多年的老照片或者其他清晰度不够的图像，可以对其进行图像清晰化处理使得其细节栩栩如生，深度学习的出现使得对图像的语义级操作成为可能，从而可以利用例如卷积神经网络对图像进行语义级操作，以实现图像的高清细节重现。
39.对于人脸图像，不同于例如风景、物体等其他对象，人脸图像的细节非常丰富，例如脸部纹路特征等，因此在对包含人脸图像的图像进行清晰化处理的过程中，采用传统方式所得到的人脸图像的清晰度不够，纹路特征不够明确，且经常会出现图像噪声。
40.本公开至少一实施例提供一种图像处理方法、图像处理装置、电子设备和非瞬时性计算机可读存储介质，该图像处理方法包括：获取待处理图像，其中，待处理图像包括目标区域；通过第一神经网络模型对待处理图像进行第一清晰化处理，以得到待处理图像对应的第一中间图像，其中，第一中间图像的清晰度大于待处理图像的清晰度；通过第二神经网络模型对第一中间图像中与目标区域对应的中间目标区域进行第二清晰化处理，以得到中间目标区域对应的第二中间图像；对第一中间图像和第二中间图像进行合成处理，以得到与待处理图像对应的合成图像。
41.该图像处理方法在对待处理图像进行第一清晰化处理后，再对目标区域进行第二清晰化处理，针对目标区域进行特殊优化，再将优化后的目标区域与第一中间图像进行合成，从而可以提高合成图像的清晰度，得到高清晰度且细节更加丰富的图像。
42.本公开实施例提供的图像处理方法可以应用在移动终端(例如，手机、平板电脑等) 中，在提高处理速度的基础上，提高合成图像的清晰度，还可以实现对移动终端采集的图像进行实时的清晰化处理。
43.需要说明的是，本公开实施例提供的图像处理方法可应用于本公开实施例提供的图像处理装置，该图像处理装置可被配置于电子设备上。该电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。
44.下面结合附图对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。
45.图1为本公开至少一实施例提供的一种图像处理方法的示意性流程图。图2为本公开至少一实施例提供的一种初始图像的示意图。
46.如图1所示，本公开至少一实施例提供的图像处理方法包括步骤s10至步骤s40。
47.步骤s10，获取待处理图像。
48.例如，待处理图像包括目标区域。
49.步骤s20，通过第一神经网络模型对待处理图像进行第一清晰化处理，以得到待处理图像对应的第一中间图像。
50.例如，第一中间图像的清晰度大于待处理图像的清晰度。
51.步骤s30，通过第二神经网络模型对第一中间图像中与目标区域对应的中间目标
区域进行第二清晰化处理，以得到中间目标区域对应的第二中间图像。
52.步骤s40，对第一中间图像和第二中间图像进行合成处理，以得到与待处理图像对应的合成图像。
53.例如，在步骤s10中获取的待处理图像可以为各种类型的图像，例如可以为风景图像、人物图像、物品图像等，例如风景图像可以包括山川、河流、植物、动物、天空等风景对象，人物图像为包括人(例如，人脸等)的图像，例如人物图像可以包括人脸区域，物品图像可以包括车辆、房屋等物品对象。当然，人物图像除人脸区域外，也可以包括风景对象、物品对象等对应的区域。例如，在一些实施例中，待处理图像可以为人物图像，例如可以为人的证件照，例如，在另一些实施例中，待处理图像也可以为带有风景对象或物品对象的人物图像。
54.例如，待处理图像的形状可以为矩形等。待处理图像的形状和尺寸等可以由用户根据实际情况自行设定。
55.例如，待处理图像可以为清晰度较低的模糊图像，例如，待处理图像可以为通过图像采集装置(例如，数码相机或手机等)拍摄的图像，该图像在大分辨率的屏幕上清晰度较低。例如，待处理图像可以通过扫描等方式得到，例如，待处理图像可以为对年代久远的老照片进行扫描或拍摄所得到的图像。又例如，待处理图像可以为对高清图像进行图像压缩以便于传输所得到的图像。
56.待处理图像可以为灰度图像，也可以为彩色图像。例如，为了避免待处理图像的数据质量、数据不均衡等对图像处理的影响，在处理待处理图像前，本公开的至少一实施例提供的图像处理方法还可以包括对待处理图像进行预处理的操作。预处理例如可以包括对待处理图像进行剪裁、伽玛(gamma)校正或降噪滤波等处理。预处理可以消除待处理图像中的无关信息或噪声信息，以便于后续更好地对待处理图像进行图像处理。
57.例如，目标区域可以为包括目标的区域，目标可以为人脸，从而目标区域可以为人脸区域。需要说明的是，根据图像处理需求，可以选择其他对象作为目标，例如，选择动物、车辆等作为目标，此时，目标区域为包括动物(例如，猫)的区域或包括车辆的区域，本公开对此不作限制。
58.例如，如图2所示，待处理图像可以为人物图像且包括人脸，目标区域为待处理图像中包括人脸的人脸区域，该人物图像通过对年代较远的老照片进行扫描或拍摄得到，从图2可以看出，该待处理图像的清晰度较低，图像细节缺失，且存在图像噪声。
59.例如，在步骤s20中，通过训练好的第一神经网络模型对待处理图像进行第一清晰化处理，获得清晰度更高的第一中间图像，也即第一中间图像的清晰度大于待处理图像的清晰度。
60.例如，第一神经网络模型可以采用pix2pixhd(pixel to pixel hd)模型，该pix2pixhd 模型利用多级生成器(coarse
‑
to
‑
fine generator)以及多尺度的判别器(multi
‑
scalediscriminator)等方式对待处理图像进行第一清晰化处理，生成高分辨率、高清晰度的第一中间图像。该pix2pixhd模型的生成器包括全局生成网络部分(global generator network) 和局部增强网络部分(local enhancer network)，全局生成网络部分采用u
‑
net结构，全局生成网络部分输出的特征与局部增强网络部分提取的特征融合，并作为局部增强网络部分的输入信息，由局部增强网络部分基于融合后信息输出高分辨率、
高清晰度的图像。
61.针对第一神经网络模型的训练过程如后文所述，这里不再赘述。
62.图3为本公开至少一实施例提供的对图2所示的待处理图像进行第一清晰化处理后所得到的第一中间图像的示意图。如图3所示，相比于图2所示的待处理图像，经过第一清晰化处理后的第一中间图像的清晰度得到了极大提高，但这种清晰化针对的是待处理图像的全局清晰化，无法针对目标区域，例如人脸区域，进行特殊优化，例如无法提供目标区域的高清细节，并且所得到的第一中间图像还会存在杂色线条等图像噪声。
63.例如，除了清晰度的差异，第一中间图像和待处理图像的其他性质(例如，尺寸等) 均完全或基本相同。
64.例如，在步骤s30中，中间目标区域为第一中间图像中与目标区域对应的区域。中间目标区域的尺寸和目标区域的尺寸相同，中间目标区域在第一中间图像中的相对位置和目标区域在待处理图像中的相对位置完全或基本相同。
65.例如，在步骤s30中，对第一中间图像所得到的与目标区域对应的中间目标区域进行第二清晰化处理，以在第一清晰化处理的基础上进一步丰富中间目标区域的图像细节，提高中间目标区域的清晰度，消除中间目标区域中存在的图像噪声，得到清晰度更高、图像细节更加丰富的第二中间图像。
66.例如，第二中间图像的清晰度大于中间目标区域的清晰度。例如，第二中间图像不存在杂色线条、噪点等图像噪声，第二中间图像的纹理、线条等较中间目标区域更加清晰、丰富。
67.例如，在一些实施例中，通过第二神经网络模型提取中间目标区域，并对中间目标区域进行第二清晰化处理，以得到第二中间图像。
68.例如，在另一些实施例中，待处理图像中的目标区域的位置相对固定，例如，待处理图像为证件照，目标区域为人脸区域，人脸区域一般位于证件照的中心位置，因而可以根据目标区域在待处理图像中的位置信息提取第一中间图像中的中间目标区域，通过第二神经网络模型对中间目标区域进行第二清晰化处理，以得到第二中间图像。
69.例如，在另一些实施例中，在步骤s20之前，本公开至少一实施例提供的图像处理方法还可以包括：通过第三神经网络模型对第一中间图像进行识别处理，以得到在第一中间图像中与目标区域对应的中间目标区域。
70.例如，目标区域为人脸区域，第三神经网络模型可以为人脸识别模型，第三神经网络模型可以被训练以识别第一中间图像中的人脸区域，以得到中间目标区域，也即第一中间图像中包括人脸部分的区域。需要说明的是，当目标区域为其他对象，例如，车辆时，第三神经网络模型可以训练为识别待识别图像中的该对象(即车辆)，从而可以通过第三神经网络模型对第一中间图像进行识别处理，以得到包括该对象(即车辆)的中间目标区域，本公开对此不作限制。
71.例如，在另一些实施例中，还可以采用人工提取等方式提取中间目标区域，通过第二神经网络模型对中间目标区域进行第二清晰化处理，以得到第二中间图像，本公开对此不作限制。
72.例如，第一神经网络模型与第二神经网络模型可以相同，或者，第一神经网络模型与第二神经网络模型可以不同。例如，第二神经网络模型可以为spade (spatially
‑
adaptive normalization)模型，该spade模型可以解决传统归一化层中容易丢失输入语义图像中的信息的问题。
73.针对第二神经网络模型的训练过程如后文所述，这里不再赘述。
74.例如，第一神经网络模型、第二神经网络模型和第三神经网络模型中的一个或多个可以为卷积神经网络模型。
75.图4a为本公开至少一实施例提供的中间目标区域的示意图，图4b为本公开至少一实施例提供的第二中间图像的示意图。
76.例如，通过第三神经网络模型对图3所示的第一中间图像进行识别处理，以得到图4a所示的中间目标区域；接着，通过第二神经网络模型对图4a所示的中间目标区域进行第二清晰化处理，以得到图4b所示的第二中间图像。如图4a及图4b所示，经过第二清晰化处理后的第二中间图像的纹理特征更加丰富，清晰度更高，且去除了中间目标区域中人脸鼻头至嘴巴处的黑色线条。例如，如图4b所示，在第二中间图像中，人脸上的原本存在的皱纹等细节得到体现，使得该人脸更加符合真实人脸的特征。
77.例如，基于第一清晰化处理得到的第一中间图像和基于第二清晰化处理过得到的第二中间图像的色调可能不统一，如果直接将第一中间图像和第二中间图像合成，则所得到的合成图像可能存在多种色调，因此，需要先对第一中间图像和第二中间图像进行色调处理，以使得二者的色调趋于一致，例如，二者的色调统一或一致，此时再进行图像合并处理就可以得到色调统一的合成图像。
78.例如，步骤s40可以包括：基于第一中间图像的色调，对第二中间图像进行色调处理，以得到第三中间图像，例如，第三中间图像的色调趋于第一中间图像的色调；对第一中间图像和第三中间图像进行图像合并处理，以得到合成图像。
79.例如，可以采用任何可以实现色调调整的算法、工具，基于第一中间图像的色调对第二中间图像进行色调处理，本公开对此不作限制。
80.需要说明的是，在上述描述中，将第二中间图像的色调调整为与第一中间图像的色调一致，但本公开不限于此，只要能够使得第一中间图像的色调和第二中间图像的色调一致即可，例如，在另一些实施例中，步骤s40可以包括：基于第二中间图像的色调，对第一中间图像进行色调处理，以得到第四中间图像，例如，第四中间图像的色调趋于第二中间图像的色调；对第二中间图像和第四中间图像进行图像合并处理，以得到合成图像。
81.例如，在一些实施例中，合成图像中的所有像素排列为n行m列，在步骤s40中，对第一中间图像和第三中间图像进行图像合并处理，以得到合成图像，可以包括：对于第一中间图像中的第t1行第t2列的像素：响应于第一中间图像中的第t1行第t2列的像素不位于中间目标区域，将第一中间图像中的第t1行第t2列的像素的像素值作为合成图像中的第t1行第t2列的像素的像素值；响应于第一中间图像中的第t1行第t2列的像素位于中间目标区域，将第三中间图像中的第二中间像素的像素值作为合成图像中的第t1 行第t2列的像素的像素值，其中，第二中间像素为第三中间图像中的与第一中间图像中的第t1行第t2列的像素所对应的像素，这里，n、m、t1、t2均为正整数，且t1小于等于n，t2小于等于m。
82.例如，当对第二中间图像和第四中间图像进行图像合并处理，以得到合成图像时，图像合并处理过程与上述过程相同，这里不再赘述。
83.需要说明的是，图像合并处理过程也可以采用其他合并方式，本公开对此不作限
制。
84.例如，该合成图像可以为彩色图像，例如彩色图像中的像素的像素值可以包括一组 rgb像素值，或者，该合成图像也可以为单色图像，例如，单色图像的像素的像素值可以为一个颜色通道的像素值。
85.图5a为本公开至少一实施例提供的第三中间图像的示意图，图5b为本公开一实施例提供的一种合成图像的示意图，例如，图5b为对图2所示的待处理图像执行本公开至少一实施例提供的图像处理方法所得到的合成图像。
86.如图5a所示，经过色调处理后的第三中间图像的色调与图3所示的第一中间图像的色调一致。
87.如图5b所示，合成图像的图像细节相较于待处理图像更丰富，清晰度更高，且合成图像中仅存在一种色调。
88.例如，在通过第一神经网络模型对待处理图像进行第一清晰化处理之前，本公开至少一实施例提供的图像处理方法还包括：获取样本图像；对样本图像进行模糊处理，以得到待训练图像，例如，待训练图像的清晰度小于样本图像的清晰度；基于样本图像和待训练图像，对待训练的第一神经网络模型和待训练的第二神经网络模型进行训练，以得到第一神经网络模型和第二神经网络模型。
89.例如，样本图像可以为清晰度大于清晰度阈值的图像，清晰度阈值可以由用户根据实际情况设置。例如，样本图像包括样本目标区域，例如，样本目标区域为人脸区域。例如，在对待训练的第一神经网络模型和待训练的第二神经网络模型进行训练时，可以将待训练图像作为神经网络模型的输入，将样本图像作为神经网络模型的目标输出，对待训练的第一神经网络模型和待训练的第二神经网络模型进行训练。
90.例如，神经网络模型的训练过程可以包括：利用待训练的神经网络模型对待训练图像进行处理，以得到训练输出图像；基于训练输出图像以及样本图像，通过待训练的神经网络模型对应的损失函数计算待训练的神经网络模型的损失值；以及基于该损失值对待训练的神经网络模型的参数进行修正；在待训练的神经网络模型对应的损失函数满足预定条件时，获得训练好的神经网络模型，在待训练的神经网络模型对应的损失函数不满足预定条件时，继续输入待训练图像以重复执行上述训练过程。此处，该待训练的神经网络模型可以为上述待训练的第一神经网络模型或待训练的第二神经网络模型。
91.例如，在一个示例中，预定条件对应于在输入一定数量的待训练图像下，该待训练的神经网络模型的损失函数的最小化。在另一个示例中，预定条件为待训练的神经网络模型对应的训练次数或训练周期达到预定数目，该预定数目可以为上百万，只要待训练图像的数量足够大。
92.例如，第一神经网络模型和第二神经网络模型可以采用上述训练过程分开训练，此时，第二神经网络模型对应的样本图像需要包括样本目标区域，第一神经网络模型对应的样本图像可以不包括样本目标区域。
93.例如，第一神经网络模型和第二神经网络模型可以基于同一个样本图像及待训练图像同时进行训练，此时，该样本图像需要包括样本目标区域。例如，此时第一神经网络模型和第二神经网络模型采用不同的结构，例如第一神经网络模型为pix2pixhd模型，第二神经网络模型为spade模型，第一神经网络模型基于样本图像的全局进行训练，第二神经网络
模型仅基于样本图像中的样本目标区域进行训练，从而使得第一神经网络模型可以对待处理图像的全局进行第一清晰化处理，第二神经网络模型可以针对目标区域进行第二清晰化处理。
94.图6a示出了本公开至少一实施例提供的模糊处理的示意性流程图。如图6a所示，模糊处理可以包括步骤s501
‑
s504。
95.步骤s501，获取纹理切片。
96.例如，纹理切片的尺寸与样本图像的尺寸相同。
97.步骤s502，对样本图像进行第一模糊处理，以得到第一模糊图像。
98.例如，第一模糊图像的清晰度小于样本图像的清晰度。
99.步骤s503，将第一模糊图像与纹理切片进行颜色混合处理，以得到第二模糊图像。
100.步骤s504，对第二模糊图像进行第二模糊处理，以得到待训练图像。
101.例如，步骤s501可以包括：获取至少一张预设纹理图像；从至少一张预设纹理图像中随机选择一张预设纹理图像，作为目标纹理图像；响应于目标纹理图像的尺寸与样本图像的尺寸相同，将目标纹理图像作为纹理切片；响应于目标纹理图像的尺寸大于样本图像的尺寸，基于样本图像的尺寸，对目标纹理图像进行随机切割，以得到与样本图像的尺寸相同的切片区域，将切片区域作为纹理切片。
102.例如，纹理切片的尺寸与样本图像的尺寸相同。
103.图6b为本公开至少一实施例提供的纹理切片的示意图。如图6b所示，该纹理切片具有模仿照片噪点(例如，胶片颗粒)的杂色斑点，以及模仿划痕的杂色线条，杂色斑点与杂色线条可以是随机产生的或者预先设置好的，本公开对此不作限制。
104.例如，可以预先生成多张预设纹理图像，预设纹理图像具有随机分布的杂色斑点和杂色线条，预设纹理图像的尺寸相对于样本图像的尺寸来说可以设置的较大，在获取纹理切片时，首先从多张预设纹理图像中选择一张作为目标纹理图像，并对目标纹理图像进行随机切割，以得到一个与样本图像的尺寸相同的切片区域作为纹理切片。通过这种方式可以更加真实地模拟清晰度较低的图像的状态。
105.需要说明的是，在另一些实施例中，目标纹理图像的尺寸也可以小于样本图像的尺寸，然后基于样本图像的尺寸，将目标纹理图像进行扩大以使得该目标纹理图像的尺寸与样本图像的尺寸相同，该扩大后的目标纹理图像即为纹理切片。
106.例如，第一模糊处理包括高斯模糊处理、噪声添加处理或基于任意顺序及任意数量的高斯模糊处理和噪声添加处理构成的组合处理；第二模糊处理包括高斯模糊处理、噪声添加处理或基于任意顺序及任意数量的高斯模糊处理和噪声添加处理构成的组合处理。
107.需要说明的是，高斯模糊(gaussian blur)处理包括模糊参数相同或不同的高斯模糊处理，噪声添加处理包括噪声参数相同或不同的噪声添加处理，组合处理中的任意数量的高斯模糊处理的模糊参数可以相同或不同，根据实际需要进行设置即可，同样的，组合处理中的任意数量的噪声添加处理的噪声参数也可以相同或不同，本公开对此不作限制。
108.例如，高斯模糊处理可以根据高斯曲线调节像素的像素值，以实现图像模糊。噪声添加处理可以生成图像噪声，例如高斯白噪声等，将图像噪声与图像进行合成以实现图像模糊。需要说明的是，高斯模糊处理和噪声添加处理的具体实现方式可以采用图像处理中的任意相关技术手段，本公开对此不作限制。
109.例如，步骤s502可以具体包括：对样本图像进行高斯模糊处理，以得到第一模糊图像。
110.例如，步骤s504可以具体包括：对第二模糊图像进行第二模糊处理，以得到待训练图像，包括：对第二模糊图像进行噪声添加处理，以得到中间模糊图像；对中间模糊图像进行高斯模糊处理，以得到待训练图像。
111.例如，颜色混合处理包括滤色(screen)处理、图层添加(addition)处理、加亮(lighten only)处理等处理中的一种或多种处理。
112.例如，在一些实施例中，步骤s503可以包括：对第一模糊图像和纹理切片进行滤色 (screen)处理，以得到第二模糊图像。
113.例如，第一模糊图像的像素排列为p行q列，纹理切片的像素排列为p行q列，第二模糊图像的像素排列为p行q列，p和q均为正整数。例如，像素的像素值的位数为8 位，也即像素的每个通道的像素值的范围为(0
‑
255)。
114.例如，当对第一模糊图像和纹理切片进行滤色(screen)处理时，对于第二模糊图像中的位于第t3行第t4列的像素，该像素的像素值的计算公式如下所示：
115.result_pix＝255
‑
[(255
‑
fig1_pix)*(255
‑
slice_pix)]/255(公式1)
[0116]
其中，result_pix为第二模糊图像中的位于第t3行第t4列的像素的像素值，fig1_pix 为第一模糊图像中的位于第t3行第t4列的像素的像素值，slice_pix为纹理切片中的位于第t3行第t4列的像素的像素值。
[0117]
例如，在另一些实施例中，步骤s503可以包括：对纹理切片和第一模糊图像进行加亮(lighten only)处理，以得到第二模糊图像。
[0118]
例如，当对第一模糊图像和纹理切片进行加亮(lighten only)处理时，对于第二模糊图像中的位于第t3行第t4列的像素，该像素的像素值的计算公式如下所示：
[0119]
result_pix＝max(fig1_pix,slice_pix)(公式2)
[0120]
其中，max(x,y)表示取x和y中的最大值，其他参数具体含义与公式1中相同，这里不再赘述。
[0121]
例如，在另一些实施例中，步骤s503可以包括：对纹理切片和第一模糊图像进行图层添加(addition)处理，以得到第二模糊图像。
[0122]
例如，当对第一模糊图像和纹理切片进行图层添加(addition)处理时，对于第二模糊图像中的位于第t3行第t4列的像素，该像素的像素值的计算公式如下所示：
[0123]
result_pix＝fig1_pix+slice_pix(公式3)
[0124]
其中，参数具体含义与公式1中相同，这里不再赘述。
[0125]
需要说明的是，颜色混合处理还可以根据需要采用其他混合模式(blend mode)，本公开对此不作限制。
[0126]
图7a为本公开至少一实施例提供的样本图像，图7b为本公开至少一实施例提供的待训练图像，例如，图7b所示的待训练图像为对图7a所示的样本图像执行前述第一模糊处理、颜色混合处理和第二模糊处理之后得到的图像。
[0127]
如图7a所示，该样本图像为高清图像，经过前述步骤的第一模糊处理、颜色混合处理和第二模糊处理后所得到的该样本图像对应的待训练图像如图7b所示，该待训练图像的清晰度小于样本图像的清晰度，待训练图像中具有模拟的噪点和划痕。
[0128]
本公开至少一实施例还提供一种图像处理装置，图8为本公开至少一实施例提供的一种图像处理装置的示意性框图。
[0129]
如图8所示，图像处理装置800可以包括：图像获取单元801、第一处理单元802、第二处理单元803和合成单元804。
[0130]
例如，这些模块可以通过硬件(例如电路)模块、软件模块或二者的任意组合等实现，以下实施例与此相同，不再赘述。例如，可以通过中央处理单元(cpu)、图像处理器(gpu)、张量处理器(tpu)、现场可编程逻辑门阵列(fpga)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元以及相应计算机指令来实现这些单元。
[0131]
例如，图像获取单元801被配置为获取待处理图像，其中，待处理图像包括目标区域。
[0132]
例如，第一处理单元802被配置为通过第一神经网络模型对待处理图像进行第一清晰化处理，以得到待处理图像对应的第一中间图像，其中，第一中间图像的清晰度大于待处理图像的清晰度。
[0133]
例如，第二处理单元803被配置为通过第二神经网络模型对第一中间图像中与目标区域对应的中间目标区域进行第二清晰化处理，以得到中间目标区域对应的第二中间图像。
[0134]
例如，合成单元804被配置为对第一中间图像和第二中间图像进行合成处理，以得到与待处理图像对应的合成图像。
[0135]
例如，图像获取单元801、第一处理单元802、第二处理单元803和合成单元804可以包括存储在存储器中的代码和程序；处理器可以执行该代码和程序以实现如上所述的图像获取单元801、第一处理单元802、第二处理单元803和合成单元804的一些功能或全部功能。例如，图像获取单元801、第一处理单元802、第二处理单元803和合成单元 804可以是专用硬件器件，用来实现如上所述的图像获取单元801、第一处理单元802、第二处理单元803和合成单元804的一些或全部功能。例如，图像获取单元801、第一处理单元802、第二处理单元803和合成单元804可以是一个电路板或多个电路板的组合，用于实现如上所述的功能。在本申请实施例中，该一个电路板或多个电路板的组合可以包括：(1)一个或多个处理器；(2)与处理器相连接的一个或多个非暂时的存储器；以及(3)处理器可执行的存储在存储器中的固件。
[0136]
需要说明的是，图像获取单元801可以用于实现图1所示的步骤s10，第一处理单元802可以用于实现图1所示的步骤s20，第二处理单元803可以用于实现图1所示的步骤s30，合成单元804可以用于实现图1所示的步骤s40。从而关于图像获取单元801、第一处理单元802、第二处理单元803和合成单元804能够实现的功能的具体说明可以参考上述图像处理方法的实施例中的步骤s10至步骤s40的相关描述，重复之处不再赘述。此外，图像处理装置800可以实现与前述图像处理方法相似的技术效果，在此不再赘述。
[0137]
需要注意的是，在本公开的实施例中，该图像处理装置800可以包括更多或更少的电路或单元，并且各个电路或单元之间的连接关系不受限制，可以根据实际需求而定。各个电路或单元的具体构成方式不受限制，可以根据电路原理由模拟器件构成，也可以由数字芯片构成，或者以其他适用的方式构成。
[0138]
本公开至少一实施例还提供一种电子设备，图9为本公开至少一实施例提供的一
种电子设备的示意图。
[0139]
例如，如图9所示，电子设备包括处理器901、通信接口902、存储器903和通信总线904。处理器901、通信接口902、存储器903通过通信总线904实现相互通信，处理器901、通信接口902、存储器903等组件之间也可以通过网络连接进行通信。本公开对网络的类型和功能在此不作限制。应当注意，图9所示的电子设备的组件只是示例性的，而非限制性的，根据实际应用需要，该电子设备还可以具有其他组件。
[0140]
例如，存储器903用于非瞬时性地存储计算机可读指令。处理器901用于执行计算机可读指令时，实现根据上述任一实施例所述的图像处理方法。关于该图像处理方法的各个步骤的具体实现以及相关解释内容可以参见上述图像处理方法的实施例，在此不作赘述。
[0141]
例如，处理器901执行存储器903上所存放的计算机可读指令而实现的图像处理方法的其他实现方式，与前述方法实施例部分所提及的实现方式相同，这里也不再赘述。
[0142]
例如，通信总线904可以是外设部件互连标准(pci)总线或扩展工业标准结构(eisa) 总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0143]
例如，通信接口902用于实现电子设备与其他设备之间的通信。
[0144]
例如，处理器901和存储器903可以设置在服务器端(或云端)。
[0145]
例如，处理器901可以控制电子设备中的其它组件以执行期望的功能。处理器901 可以是中央处理器(cpu)、网络处理器(np)、张量处理器(tpu)或者图形处理器 (gpu)等具有数据处理能力和/或程序执行能力的器件；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。中央处理器(cpu)可以为x86或arm架构等。
[0146]
例如，存储器903可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、可擦除可编程只读存储器 (eprom)、便携式紧致盘只读存储器(cd
‑
rom)、usb存储器、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机可读指令，处理器901可以运行所述计算机可读指令，以实现电子设备的各种功能。在存储介质中还可以存储各种应用程序和各种数据等。
[0147]
例如，在一些实施例中，电子设备还可以包括图像获取部件。图像获取部件用于获取图像。存储器903还用于存储获取的图像。
[0148]
例如，图像获取部件可以是智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、数码照相机的镜头、或者甚至可以是网络摄像头。
[0149]
例如，关于电子设备执行图像处理的过程的详细说明可以参考图像处理方法的实施例中的相关描述，重复之处不再赘述。
[0150]
图10为本公开至少一实施例提供的一种非瞬时性计算机可读存储介质的示意图。例如，如图10所示，存储介质1000可以为非瞬时性计算机可读存储介质，在存储介质1000 上可以非暂时性地存储一个或多个计算机可读指令1001。例如，当计算机可读指令1001 由处理器执行时可以执行根据上文所述的图像处理方法中的一个或多个步骤。
[0151]
例如，该存储介质1000可以应用于上述电子设备中，例如，该存储介质1000可以包括电子设备中的存储器。
[0152]
例如，存储介质可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd
‑
rom)、闪存、或者上述存储介质的任意组合，也可以为其他适用的存储介质。
[0153]
例如，关于存储介质1000的说明可以参考电子设备的实施例中对于存储器的描述，重复之处不再赘述。
[0154]
图11示出了为本公开至少一实施例提供的一种硬件环境的示意图。本公开提供的电子设备可以应用在互联网系统。
[0155]
利用图11中提供的计算机系统可以实现本公开中涉及的图像处理装置和/或电子设备的功能。这类计算机系统可以包括个人电脑、笔记本电脑、平板电脑、手机、个人数码助理、智能眼镜、智能手表、智能指环、智能头盔及任何智能便携设备或可穿戴设备。本实施例中的特定系统利用功能框图解释了一个包含用户界面的硬件平台。这种计算机设备可以是一个通用目的的计算机设备，或一个有特定目的的计算机设备。两种计算机设备都可以被用于实现本实施例中的图像处理装置和/或电子设备。计算机系统可以包括实施当前描述的实现图像处理所需要的信息的任何组件。例如，计算机系统能够被计算机设备通过其硬件设备、软件程序、固件以及它们的组合所实现。为了方便起见，图11中只绘制了一台计算机设备，但是本实施例所描述的实现图像处理所需要的信息的相关计算机功能是可以以分布的方式、由一组相似的平台所实施的，分散计算机系统的处理负荷。
[0156]
如图11所示，计算机系统可以包括通信端口250，与之相连的是实现数据通信的网络，例如，计算机系统可以通过通信端口250发送和接收信息及数据，即通信端口250 可以实现计算机系统与其他电子设备进行无线或有线通信以交换数据。计算机系统还可以包括一个处理器组220(即上面描述的处理器)，用于执行程序指令。处理器组220 可以由至少一个处理器(例如，cpu)组成。计算机系统可以包括一个内部通信总线210。计算机系统可以包括不同形式的程序储存单元以及数据储存单元(即上面描述的存储器或存储介质)，例如硬盘270、只读存储器(rom)230、随机存取存储器(ram)240，能够用于存储计算机处理和/或通信使用的各种数据文件，以及处理器组220所执行的可能的程序指令。计算机系统还可以包括一个输入/输出组件260，输入/输出组件260用于实现计算机系统与其他组件(例如，用户界面280等)之间的输入/输出数据流。
[0157]
通常，以下装置可以连接输入/输出组件260：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信接口。
[0158]
虽然图11示出了具有各种装置的计算机系统，但应理解的是，并不要求计算机系统具备所有示出的装置，可以替代地，计算机系统可以具备更多或更少的装置。
[0159]
对于本公开，还有以下几点需要说明：
[0160]
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
[0161]
(2)为了清晰起见，在用于描述本发明的实施例的附图中，层或结构的厚度和尺寸
被放大。可以理解，当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时，该元件可以“直接”位于另一元件“上”或“下”，或者可以存在中间元件。
[0162]
(3)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
[0163]
以上所述仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。