一种图像处理方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机视觉技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。


背景技术：

2.图像在形成、记录、处理、传输过程中，由于成像系统、记录设备、传输介质、处理方法的不完善，会导致图像质量的下降，这种现象叫做图像的退化；比如，运动退化、模糊退化、非线性退化等。
3.一般的，退化后的图像会存在模糊、不清晰等问题，故可以对退化后的图像进行去模糊处理。再或者，还可以对清晰图像进行退化处理，比如对清晰图像中的背景区域进行虚化处理，以突出图像的前景区域等等。因此，需要提出一种对图像进行处理的方法。


技术实现要素：

4.有鉴于此，本公开至少提供一种图像处理方法、装置、电子设备及存储介质。
5.第一方面，本公开提供了一种图像处理方法，包括：
6.获取待处理图像；所述待处理图像包括待处理模糊图像和/或待处理清晰图像；
7.确定所述待处理图像对应的退化特征图，其中，所述退化特征图用于表征模糊图像与所述模糊图像对应的清晰图像之间空间特征变化的图像退化模式；
8.基于所述待处理图像和所述退化特征图，生成目标图像；其中，在所述待处理图像包括待处理模糊图像的情况下，所述目标图像包括所述待处理模糊图像对应的去模糊图像；在所述待处理图像包括待处理清晰图像的情况下，所述目标图像包括所述待处理清晰图像对应的虚化图像。
9.上述方法中，针对获取到的待处理图像，可以先确定待处理特征图像对应的退化特征图；由于退化特征图能够用于表征模糊图像与该模糊图像对应的清晰图像之间空间特征变化的图像退化模式，故可以在基于待处理图像和该待处理图像对应的退化特征图，生成目标图像时，提高了目标图像的图像质量。比如，在待处理图像包括待处理模糊图像的情况下，该方法通过利用确定的退化特征图能够较准确的恢复出待处理模糊图像对应的去模糊图像，去模糊效果较好；在待处理图像包括待处理清晰图像的情况下，通过将退化特征图叠加到待处理清晰图像，使得得到的虚化图像较自然，该虚化图像的展示效果较好。
10.一种可能的实施方式中，所述确定所述待处理图像对应的退化特征图，包括：
11.在所述待处理图像包括所述待处理模糊图像、且不包括所述待处理清晰图像的情况下，对所述待处理图像进行特征编码处理，得到所述待处理图像对应的退化特征图；
12.在所述待处理图像包括所述待处理清晰图像、且不包括所述待处理模糊图像的情况下，从设置的多个退化特征图中，确定所述待处理图像对应的退化特征图；或者，对获取的任一基准模糊图像进行特征编码处理，得到退化特征图，并将所述退化特征图确定为所述待处理图像对应的退化特征图；
13.在所述待处理图像包括所述待处理清晰图像和所述待处理模糊图像的情况下，对所述待处理模糊图像进行特征编码处理，得到退化特征图，并将所述退化特征图确定为所述待处理清晰图像对应的退化特征图。
14.本公开实施例中，针对待处理图像包括的图像的种类，可以较灵活的选择对应的确定退化特征图的方式。
15.一种可能的实施方式中，所述基于所述待处理图像和所述退化特征图，生成目标图像，包括：
16.对所述待处理图像和所述退化特征图进行特征解码处理，生成所述待处理图像对应的目标特征图；其中，所述目标特征图包括与所述待处理图像的至少一个分辨率的特征图相匹配的模糊模式信息；
17.利用所述目标特征图，对所述待处理图像进行处理，生成所述目标图像。
18.这里，由于目标特征图包括待处理图像的至少一个分辨率的特征图相匹配的模糊模式信息，故利用目标特征图，能够较准确的对待处理图像进行处理，生成图像质量较佳的目标图像。
19.一种可能的实施方式中，在所述待处理图像包括所述待处理模糊图像、且不包括所述待处理清晰图像的情况下，所述目标图像由训练得到的第一目标神经网络生成；所述第一目标神经网络包括：编码器和第一解码器；所述编码器与所述第一解码器相连；
20.在所述待处理图像包括所述待处理清晰图像、且不包括所述待处理模糊图像的情况下，所述目标图像由训练得到的第二目标神经网络生成；所述第二目标神经网络包括：所述编码器和第二解码器；所述编码器与所述第二解码器相连；
21.在所述待处理图像包括所述待处理清晰图像和所述待处理模糊图像的情况下，所述目标图像由训练得到的第三目标神经网络生成；所述第三目标神经网络包括：所述编码器、第一解码器和第二解码器；所述编码器分别与所述第一解码器和第二解码器相连。
22.一种可能的实施方式中，所述第一解码器包括m个特征提取子网络、m+1个参数调制子网络、m个特征融合子网络；其中，m为正整数；
23.第i个特征提取子网络包括第i个第一残差子网络和第i个下采样特征层；第i个特征融合子网络包括第i个上采样特征层、第i个连接层、第i个第二残差子网络；
24.第i-1个特征提取子网络分别与第i-2个特征提取子网络、第i个特征提取子网络相连；第i-1个特征融合子网络分别与第i-2个特征融合子网络、第i个特征融合子网络相连；
25.第i个参数调制子网络分别与第i+1个参数调制子网络、第i个特征提取子网络中第i个第一残差子网络、第i个特征融合子网络中第i个连接层相连；其中，i为大于等于1、且小于等于m的正整数；
26.第m+1个参数调制子网络分别与第m个特征提取子网络中第m个下采样特征层、第m个特征融合子网络中第m个上采样特征层相连。
27.上述实施方式中，通过两阶段的训练方案，可以使得训练得到的目标神经网络能够更好的学习图像的退化表示(即图像退化模式)，以便利用学习到的图像退化表示较准确的实现图像去模糊，目标神经网络的性能较佳。
28.一种可能的实施方式中，根据下述步骤训练得到所述第一目标神经网络：
29.获取第一训练样本，其中，所述第一训练样本包括多个第一样本图像对，所述第一样本图像对包括第一模糊图像和所述第一模糊图像对应的第一清晰图像；
30.利用第一待训练神经网络中的编码器，对所述第一模糊图像进行特征编码处理，生成所述第一模糊图像对应的样本退化特征图；
31.利用所述第一待训练神经网络中的第一解码器，对所述样本退化特征图和所述第一模糊图像进行特征解码处理，生成所述第一模糊图像对应的第一样本特征图；
32.将所述第一样本特征图和所述第一模糊图像进行特征融合处理，生成所述第一模糊图像对应的预测清晰图像；
33.基于所述预测清晰图像和所述第一清晰图像，对所述第一待训练神经网络进行训练，直至所述第一待训练神经网络满足第一训练截止条件，得到所述第一目标神经网络。
34.上述实施方式中，通过对第一模糊图像进行特征编码处理，得到退化表征图；并利用该退化特征图，对第一模糊图像进行去模糊处理，得到第一模糊图像对应的预测清晰图像；进而通过预测清晰图像和第一模糊图像对应的第一清晰图像，训练得到的第一目标神经网络能够更好的学习图像的退化表示(即图像退化模式)，以便可以利用该图像退化表示较准确的实现图像去模糊，第一目标神经网络的性能较佳。
35.一种可能的实施方式中，根据下述步骤训练得到所述第二目标神经网络：
36.获取第二训练样本，其中，所述第二训练样本包括多个第二样本图像对，所述第二样本图像对包括第二模糊图像和所述第二模糊图像对应的第二清晰图像；
37.利用第二待训练神经网络中的编码器，对所述第二模糊图像进行特征编码处理，生成所述第二模糊图像对应的样本退化特征图；
38.利用所述第二待训练神经网络中的第二解码器，对所述样本退化特征图和所述第二清晰图像进行特征解码处理，生成所述第二清晰图像对应的第二样本特征图；
39.将所述第二样本特征图和所述第二清晰图像进行特征融合处理，生成所述第二清晰图像对应的预测模糊图像；
40.基于所述预测模糊图像和所述第二模糊图像，对所述第二待训练神经网络进行训练，直至所述第二待训练神经网络满足第二训练截止条件，得到所述第二目标神经网络。
41.上述实施方式中，通过对第二模糊图像进行特征编码处理，得到退化表征图；并利用该退化特征图，对第二清晰图像进行虚化处理，得到第二清晰图像对应的预测模糊图像；进而通过预测模糊图像和的第二模糊图像，训练得到的第二目标神经网络能够更好的学习图像的退化表示(即图像退化模式)，以便可以利用该图像退化表示较准确的实现图像虚化，第二目标神经网络的性能较佳。
42.一种可能的实施方式中，根据下述步骤训练得到所述第三目标神经网络：
43.获取第三训练样本，其中，所述第三训练样本包括多个第三样本图像对，所述第三样本图像对包括第三模糊图像和所述第三模糊图像对应的第三清晰图像；
44.利用第三待训练神经网络中的编码器，对所述第三模糊图像进行特征编码处理，生成所述第三模糊图像对应的样本退化特征图；
45.利用所述第三待训练神经网络中的第一解码器，对所述样本退化特征图和所述第三模糊图像进行特征解码处理，生成所述第三模糊图像对应的第三样本特征图；并将所述第三样本特征图与所述第三模糊图像进行特征融合处理，生成所述第三模糊图像对应的预
测清晰图像；
46.以及利用所述第三待训练神经网络中的第二解码器，对所述样本退化特征图和所述第三清晰图像进行特征解码处理，生成所述第三清晰图像对应的第四样本特征图；并将所述第四样本特征图和所述第三清晰图像进行特征融合处理，生成所述第三清晰图像对应的预测模糊图像；
47.基于所述预测模糊图像和所述第三模糊图像构成的第一预测图像对、以及所述预测清晰图像和所述第三清晰图像构成的第二预测图像对，对所述第三待训练神经网络进行训练，直至所述第三待训练神经网络满足第三训练截止条件，得到所述第三目标神经网络。
48.上述实施方式中，利用预测模糊图像和第三模糊图像构成第一预测图像对、和预测清晰图像和第三清晰图像构成第二预测图像对，使用对抗训练方式对第三待训练神经网络进行训练，使得第三待训练神经网络能够更好的学习图像退化表征，并有助于第三待训练神经网络中的编码器从模糊图像中提取与图像内容无关的退化表示；进而在训练得到第三目标神经网络之后，使得第三目标神经网络中编码器生成的退化特征图可以较准确的表示模糊图像与该模糊图像对应的清晰图像之间的空间特征变化。
49.一种可能的实施方式中，所述利用所述第三待训练神经网络中的第一解码器，对所述样本退化特征图和所述第三模糊图像进行特征解码处理，生成所述第三模糊图像对应的第三样本特征图，包括：
50.利用所述第三待训练神经网络中的第一解码器，对所述第三模糊图像进行特征解码处理，生成多级第一特征图；
51.基于所述样本退化特征图，确定每级所述第一特征图对应的退化特征图；
52.基于所述多级第一特征图和所述每级第一特征图对应的退化特征图，生成所述每级第一特征图对应的第二特征图；
53.将所述多级第一特征图分别对应的第二特征图进行特征融合处理，生成所述第三模糊图像对应的第三样本特征图。
54.上述实施方式中，通过基于样本退化特征图，确定各级第一特征图分别对应的退化特征图，比如，可以对样本退化特征图进行上采样，得到不同级第一特征图对应的退化特征图，使得不同级退化特征能够表征不同的图像退化模式；再将每级第一特征图与该级第一特征图对应的退化特征图进行融合处理，生成每级第一特征图对应的第二特征图，使得生成的不同级第二特征图能够学习到不同图像退化模式的特征；进而通过将多级第二特征图进行特征融合处理，得到第三样本特征图，可以使得第三样本特征图学习到不同的图像退化模式，以便利用第三样本特征图能够生成图像质量较佳的目标图像。
55.一种可能的实施方式中，所述基于所述多级第一特征图和所述每级第一特征图对应的退化特征图，生成所述每级第一特征图对应的第二特征图，包括：
56.针对每级第一特征图，对该级第一特征图对应的退化特征图进行第一卷积处理，得到该级第一特征图对应的第一卷积特征图；以及，对该级第一特征图对应的退化特征图进行第二卷积处理，得到该级第一特征图对应的第二卷积特征图；
57.对该级第一特征图进行批标准化处理，得到该级处理后的第一特征图；
58.将所述第一卷积特征图、所述第二卷积特征图和该级处理后的第一特征图进行融合，生成该级第一特征图对应的第二特征图；其中，所述第一卷积特征图用于调节处理后的
第一特征图的方差；所述第二卷积特征图用于调节处理后的第一特征图的平均值。
59.这里，通过对该级第一特征图进行批标准化处理，可以使得该级处理后的第一特征图的特征较稳定；以及对该级第一特征图对应的退化特征图进行第一卷积处理和第二卷积处理，得到第一卷积特征图和第二卷积特征图；再将第一卷积特征图、第二卷积特征图和该级处理后的第一特征图进行融合，比如利用第一卷积特征图对该级处理后的第一特征图的方差进行调制，利用第二卷积特征图对该级处理后的第一特征图的平均值进行调制，得到第二特征图，实现利用退化特征图对第一特征图的调制，以及使得第二特征图能够学习到退化特征图中的图像退化模式。
60.一种可能的实施方式中，所述待处理图像为图像采集设备采集得到的原始图像，在所述生成目标图像之后，所述方法还包括：
61.控制所述图像采集设备展示所述目标图像。
62.这里，在待处理图像为图像采集设备采集得到原始图像的情况下，可以较快速的生成目标图像，并控制图像采集设备展示目标图像，比如可以对原始图像进行去模糊处理生成较为清晰的目标图像，提高了图像采集设备的图像展示效果。
63.一种可能的实施方式中，所述待处理图像为视频数据中任一处于模糊状态的视频帧，在所述生成目标图像之后，所述方法还包括：
64.基于所述视频数据中的各个所述视频帧分别对应的所述目标图像，生成去模糊后的视频数据。
65.这里，在得到视频数据之后，可以对视频数据进行去模糊处理，得到去模糊后的视频数据，提高了视频数据的质量。
66.以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
67.第二方面，本公开提供了一种图像处理装置，包括：
68.获取模块，用于获取待处理图像；其中，所述待处理图像包括待处理模糊图像和/或待处理清晰图像；
69.确定模块，用于确定所述待处理图像对应的退化特征图；其中，所述退化特征图用于表征模糊图像与对应的清晰图像之间空间特征变化的图像退化模式；
70.第一生成模块，用于基于所述待处理图像和所述退化特征图，生成目标图像；其中，在所述待处理图像包括待处理模糊图像的情况下，所述目标图像包括所述待处理模糊图像对应的去模糊图像；在所述待处理图像包括待处理清晰图像的情况下，所述目标图像包括所述待处理清晰图像对应的虚化图像。
71.第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的图像处理方法的步骤。
72.第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的图像处理方法的步骤。
73.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
74.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
75.图1示出了本公开实施例所提供的一种图像处理方法的流程示意图；
76.图2a示出了本公开实施例所提供的一种图像处理方法中，第一目标神经网络的结构示意图；
77.图2b示出了本公开实施例所提供的一种图像处理方法中，第二目标神经网络的结构示意图；
78.图2c示出了本公开实施例所提供的一种图像处理方法中，第三目标神经网络的结构示意图；
79.图3示出了本公开实施例所提供的一种图像处理方法中，第一解码器的结构示意图；
80.图4示出了本公开实施例所提供的一种图像处理方法中，参数调制子网络的结构示意图；
81.图5示出了本公开实施例所提供的一种图像处理装置的架构示意图；
82.图6示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
83.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
84.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
85.图像在形成、记录、处理、传输过程中，由于成像系统、记录设备、传输介质、处理方法的不完善，会导致图像质量的下降，这种现象叫做图像的退化；比如，由采集设备和物体的相对运动导致的图像退化；由于采集设备的镜头聚焦引起的图像退化等。
86.退化后的图像会存在模糊、不清晰等问题，故可以对退化后的图像进行去模糊处理。再或者，还可以对清晰图像进行退化处理，比如对清晰图像中的背景区域进行虚化处理，以突出图像的前景区域等等。
87.基于此，本公开实施例提出一种图像处理方法、装置、电子设备及存储介质。
88.为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种图像处理方法进行详细介绍。本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能
力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
89.参见图1所示，为本公开实施例所提供的图像处理方法的流程示意图，该方法包括：s101-s103，具体的：
90.s101，获取待处理图像；待处理图像包括待处理模糊图像和/或待处理清晰图像。
91.s102，确定待处理图像对应的退化特征图，其中，退化特征图用于表征模糊图像与该模糊图像对应的清晰图像之间空间特征变化的图像退化模式。
92.s103，基于待处理图像和退化特征图，生成目标图像；其中，在待处理图像包括待处理模糊图像的情况下，目标图像包括待处理模糊图像对应的去模糊图像；在待处理图像包括待处理清晰图像的情况下，目标图像包括待处理清晰图像对应的虚化图像。
93.上述方法中，针对获取到的待处理图像，可以先确定待处理特征图像对应的退化特征图；由于退化特征图能够用于表征模糊图像与该模糊图像对应的清晰图像之间空间特征变化的图像退化模式，故可以在基于待处理图像和该待处理图像对应的退化特征图，生成目标图像时，提高了目标图像的图像质量。比如，在待处理图像包括待处理模糊图像的情况下，该方法通过利用确定的退化特征图能够较准确的恢复出待处理模糊图像对应的去模糊图像，去模糊效果较好；在待处理图像包括待处理清晰图像的情况下，通过将退化特征图叠加到待处理清晰图像，使得得到的虚化图像较自然，该虚化图像的展示效果较好。
94.下述对s101-s103进行具体说明。
95.针对s101和s102：
96.该待处理图像可以通过图像采集设备采集得到，比如，待处理图像可以为图像采集设备采集的原始图像，还可以为图像采集设备采集的视频数据中的任一视频帧；该图像采集设备可以为手机、电脑、摄影机等。
97.待处理图像可以包括待处理模糊图像和/或待处理清晰图像，并可以确定待处理图像对应的退化特征图，其中，退化特征图用于表征模糊图像与该模糊图像对应的清晰图像之间空间特征变化的图像退化模式；比如图像退化模式包括但不限于运动退化模式、模糊退化模式、非线性退化模式等。
98.比如，可以利用训练的神经网络，从任一模糊图像中提取退化特征图，将提取到的退化特征图作为待处理图像对应的退化特征图。或者，可以从预先确定的多个退化特征图中，确定待处理图像对应的退化特征图。
99.确定待处理图像对应的退化特征图，包括下述方式：
100.方式一，在待处理图像包括待处理模糊图像、且不包括待处理清晰图像的情况下，对待处理图像进行特征编码处理，得到待处理图像对应的退化特征图。
101.实施时，在待处理图像包括待处理模糊图像、且不包括待处理清晰图像的情况下，可以将待处理图像(即待处理模糊图像)输入至训练后的编码器中，通过编码器对待处理图像进行特征编码处理，得到待处理图像对应的退化特征图；以便后续可以基于得到退化特征图，对待处理模糊图像进行去模糊处理。
102.方式二，在待处理图像包括待处理清晰图像、且不包括待处理模糊图像的情况下，从设置的多个退化特征图中，确定待处理图像对应的退化特征图；或者，对获取的任一基准模糊图像进行特征编码处理，得到退化特征图，并将退化特征图确定为待处理图像对应的退化特征图。
103.实施时，在待处理图像包括待处理清晰图像、且不包括待处理模糊图像的情况下，可以从设置的多个退化特征图中，确定待处理图像对应的退化特征图；比如可以利用编码器对预先设置的多个模糊图像进行特征编码处理，得到多个退化特征图。
104.或者还可以先获取任一基准模糊图像，再将该基准模糊图像输入至编码器，通过编码器对该基准模糊图像进行特征编码处理，得到退化特征图，并将退化特征图确定为待处理图像(即待处理清晰图像)对应的退化特征图；以便后续可以基于得到的退化特征图，对待处理清晰图像进行虚化处理。
105.方式三，在待处理图像包括待处理清晰图像和待处理模糊图像的情况下，对待处理模糊图像进行特征编码处理，得到退化特征图，并将退化特征图确定为待处理清晰图像对应的退化特征图。
106.实施时，在待处理图像包括待处理清晰图像和待处理模糊图像的情况下，可以对待处理模糊图像输入至编码器，通过编码器对待处理模糊图像进行特征编码处理，得到退化特征图，并将退化特征图确定为待处理清晰图像对应的退化特征图；以便后续可以基于得到的退化特征图，对待处理模糊图像进行去模糊处理、或者对待处理清晰图像进行虚化处理。
107.本公开实施例中，针对待处理图像包括的图像的种类，可以较灵活的选择对应的确定退化特征图的方式。
108.针对s103：
109.实施时，可以基于待处理图像和该待处理图像对应的退化特征图，生成目标图像；其中，在待处理图像包括待处理模糊图像的情况下，则则利用退化特征图对待处理模糊图像进行去模糊处理，生成待处理模糊图像对应的去模糊图像。比如，可以基于退化特征图，从待处理模糊图像中提取与退化特征图表征的图像退化模式相匹配的退化特征信息，再将该退化特征信息与待处理模糊图像进行融合，得到去模糊图像。
110.在待处理图像包括待处理清晰图像的情况下，则利用退化特征图对待处理清晰图像进行虚化处理(比如模糊处理)，生成待处理清晰图像对应的虚化图像。比如，可以将退化特征图与待处理清晰图像进行融合，得到虚化图像。
111.一种可能的实施方式中，基于待处理图像和退化特征图，生成目标图像，包括：
112.步骤a1，对待处理图像和退化特征图进行特征解码处理，生成待处理图像对应的目标特征图；其中，目标特征图包括与待处理图像的至少一个分辨率的特征图相匹配的模糊模式信息。
113.步骤a2，利用目标特征图，对待处理图像进行处理，生成目标图像。
114.实施时，可以对待处理图像和该待处理图像对应的退化特征图进行特征解码处理，生成待处理图像对应的目标特征图，该目标特征图可以包括待处理图像的至少一个分辨率的特征图相匹配的模糊模式信息。
115.对待处理图像进行至少一次特征提取，得到待处理图像对应的至少一个特征图。
在特征图为多个时，多个特征图的分辨率不同，不同的分辨率对应不同的模糊模式信息。进而可以基于多个特征图和退化特征图，生成目标特征图，该目标特征图中可以包括与至少一个分辨率的特征图相匹配的模糊模式信息。比如多个特征图可以包括分辨率为512
×
512的特征图、分辨率为256
×
256的特征图等，每个分辨率的特征图匹配有一种模糊模式信息。再可以将目标特征图和待处理图像中相同特征位置的特征值进行相加，得到目标图像。
116.这里，由于目标特征图包括待处理图像的至少一个分辨率的特征图相匹配的模糊模式信息，故利用目标特征图，能够较准确的对待处理图像进行处理，生成图像质量较佳的目标图像。
117.本公开实施例中，该目标图像可以由训练得到的目标神经网络生成。该目标神经网络可以包括编码器和解码器。在确定待处理图像对应的退化特征图时，可以将待处理图像输入至编码器中，通过编码器对待处理图像进行特征编码处理，得到待处理图像对应的退化特征图。以及可以将待处理图像和退化特征图输入至解码器中，通过解码器对待处理图像和退化特征图进行解码处理，生成目标图像。
118.其中，由于待处理图像包括的图像的种类不同，故可以利用不同网络结构的目标神经网络，确定目标图像。
119.下述对目标神经网络的结构进行具体说明。
120.情况一、在待处理图像包括待处理模糊图像、且不包括待处理清晰图像的情况下，目标图像由训练得到的第一目标神经网络生成；第一目标神经网络包括：编码器和第一解码器；编码器与第一解码器相连。
121.示例性的，参见图2a所示的一种图像处理方法中，第一目标神经网络的结构示意图；第一目标神经网络包括：编码器和第一解码器；编码器与第一解码器相连；编码器可以用于对待处理模糊图像进行特征编码器处理，得到待处理模糊图像对应的退化特征图，并将该退化特征图输入至第一解码器；第一解码器可以用于对该退化特征图和待处理模糊图像进行特征解码处理，生成待处理模糊图像对应的第一目标特征图，再将第一目标特征图与待处理模糊图像进行融合，得到去模糊图像。
122.情况二、在待处理图像包括待处理清晰图像、且不包括待处理模糊图像的情况下，目标图像由训练得到的第二目标神经网络生成；第二目标神经网络包括：编码器和第二解码器；编码器与第二解码器相连。
123.示例性的，参见图2b所示的一种图像处理方法中，第二目标神经网络的结构示意图；第二目标神经网络包括：编码器和第二解码器；编码器与第二解码器相连。编码器可以用于对任一基准模糊图像进行特征编码器处理，得到基准模糊图像对应的退化特征图(即待处理清晰图像对应的退化特征图)，并将该退化特征图输入至第二解码器；第二解码器可以用于对该退化特征图和待处理清晰图像进行特征解码处理，生成待处理清晰图像对应的第二目标特征图；再将第二目标特征图与待处理清晰图像进行融合，得到虚化图像。
124.情况三、在待处理图像包括待处理清晰图像和待处理模糊图像的情况下，目标图像由训练得到的第三目标神经网络生成；第三目标神经网络包括：编码器、第一解码器和第二解码器；编码器分别与第一解码器和第二解码器相连。
125.示例性的，参见图2c所示的一种图像处理方法中，第三目标神经网络的结构示意图；第三目标神经网络包括：编码器、第一解码器和第二解码器；编码器分别与第一解码器
和第二解码器相连。编码器可以用于对待处理模糊图像进行特征编码器处理，得到退化特征图，并将该退化特征图分别输入至第一解码器和第二解码器；第一解码器能够用于对该退化特征图和待处理模糊图像进行特征解码处理，生成待处理模糊图像对应的第三目标特征图；再将第三特征图与待处理模糊图像进行融合，得到去模糊图像。或者，第二解码器可以用于对该退化特征图和待处理清晰图像进行特征解码处理，生成待处理清晰图像对应的第四目标特征图；再将第四特征图与待处理清晰图像进行融合，得到虚化图像。
126.其中，待处理清晰图像和待处理模糊图像包括的图像内容可以完全相同、部分相同或者完全不同。
127.具体实施时，在将待处理模糊图像输入至第一解码器的情况下，第三目标神经网络可以生成待处理模糊图像对应的去模糊图像；在将待处理清晰图像输入至第二解码器的情况下，第三目标神经网络可以生成待处理清晰图像对应的虚化图像；在将待处理模糊图像输入至第一解码器、以及将待处理清晰图像输入至第二解码器的情况下，第三目标神经网络可以生成待处理模糊图像对应的去模糊图像以及待处理清晰图像对应的虚化图像。
128.具体实施时，第一解码器包括m个特征提取子网络、m+1个参数调制子网络、m个特征融合子网络；其中，m为正整数。第i个特征提取子网络包括第i个第一残差子网络和第i个下采样特征层；第i个特征融合子网络包括第i个上采样特征层、第i个连接层、第i个第二残差子网络；第i-1个特征提取子网络分别与第i-2个特征提取子网络、第i个特征提取子网络相连；第i-1个特征融合子网络分别与第i-2个特征融合子网络、第i个特征融合子网络相连；第i个参数调制子网络分别与第i+1个参数调制子网络、第i个特征提取子网络中第i个第一残差子网络、第i个特征融合子网络中第i个连接层相连；其中，i为大于等于1、且小于等于m的正整数；第m+1个参数调制子网络分别与第m个特征提取子网络中第m个下采样特征层、第m个特征融合子网络中第m个上采样特征层相连。
129.参见图3所示的第一解码器的结构示意图，第一解码器包括4个特征提取子网络、5个参数调制子网络、4个特征融合子网络；即m为4。其中，第1个特征提取子网络(即第一级中的特征提取子网络)与第2个特征提取子网络相连、第2个特征提取子网络与第3个特征提取子网络相连、第3个特征提取子网络与第4个特征提取子网络相连；第1个特征融合子网络与第2个特征融合子网络相连、第2个特征融合子网络与第3个特征融合子网络相连、第3个特征融合子网络与第4个特征融合子网络相连。
130.每个特征提取子网络包括1个第一残差子网络和1个下采样特征层；每个特征融合子网络包括1个上采样特征层、1个连接层、和1个第二残差子网络。第1个参数调制子网络(即第一级中的参数调制子网络)分别与第2个参数调制子网络、第1个特征提取子网络中第1个第一残差子网络、第1个特征融合子网络中第1个连接层相连；第2个参数调制子网络分别与第3个参数调制子网络、第2个特征提取子网络中第2个第一残差子网络、第2个特征融合子网络中第2个连接层相连；第3个参数调制子网络分别与第4个参数调制子网络、第3个特征提取子网络中第3个第一残差子网络、第3个特征融合子网络中第3个连接层相连；第4个参数调制子网络分别与第5个参数调制子网络、第4个特征提取子网络中第4个第一残差子网络、第4个特征融合子网络中第4个连接层相连；第5个参数调制子网络分别与第4个特征提取子网络中第4个下采样特征层、第4个特征融合子网络中第4个上采样特征层相连。
131.第二解码器可以包括n个特征提取子网络、n+1个参数调制子网络、n个特征融合子
网络；其中，n为正整数；n可以大于m，也可以小于m，也可以等于m；由于第二解码器的结构与第一解码器的结构类似，第二解码器的具体结构以及各个子网络的连接情况可以参考上述说明，这里不再进行赘述。
132.下述分别对第一目标神经网络的训练过程、第二目标神经网络的训练过程、和第三目标神经网络的训练过程进行示例性说明。
133.实施时，可以根据下述步骤训练得到第一目标神经网络：
134.s201，获取第一训练样本，其中，第一训练样本包括多个第一样本图像对，第一样本图像对包括第一模糊图像和第一模糊图像对应的第一清晰图像。
135.s202，利用第一待训练神经网络中的编码器，对第一模糊图像进行特征编码处理，生成第一模糊图像对应的样本退化特征图。
136.s203，利用第一待训练神经网络中的第一解码器，对样本退化特征图和第一模糊图像进行特征解码处理，生成第一模糊图像对应的第一样本特征图。
137.s204，将第一样本特征图和第一模糊图像进行特征融合处理，生成第一模糊图像对应的预测清晰图像。
138.s205，基于预测清晰图像和第一清晰图像，对第一待训练神经网络进行训练，直至第一待训练神经网络满足第一训练截止条件，得到第一目标神经网络。
139.实施时，获取的第一训练样本中可以包括多个第一样本图像对，第一样本图像对可以包括第一模糊图像和该第一模糊图像对应的第一清晰图像。可以将获取的第一模糊图像输入至第一待训练神经网络中的编码器，通过该编码器对第一模糊图像进行特征编码处理，生成第一模糊图像对应的样本退化特征图，并可以将样本退化特征图和第一模糊图像输入至第一待训练神经网络中的第一解码器，利用该第一解码器对样本退化特征图和第一模糊图像进行特征解码处理，生成第一模糊图像对应的第一样本特征图；再可以将第一样本特征图和第一模糊图像中相同特征位置的特征值相加，生成第一模糊图像对应的预测清晰图像。
140.进而，可以基于预测清晰图像和第一清晰图像，确定第一损失值，利用该第一损失值对第一待训练神经网络的网络参数进行调整，直至第一待训练神经网络满足第一训练截止条件，比如第一训练截止条件包括第一损失值小于设置的第一损失阈值、第一待训练神经网络收敛、第一待训练神经网络的训练次数大于设置的第一数量阈值等。
141.上述实施方式中，通过对第一模糊图像进行特征编码处理，得到退化表征图；并利用该退化特征图，对第一模糊图像进行去模糊处理，得到第一模糊图像对应的预测清晰图像；进而通过预测清晰图像和第一模糊图像对应的第一清晰图像，训练得到的第一目标神经网络能够更好的学习图像的退化表示(即图像退化模式)，以便可以利用该图像退化表示较准确的实现图像去模糊，第一目标神经网络的性能较佳。
142.实施时，可以根据下述步骤训练得到第二目标神经网络：
143.s301，获取第二训练样本，其中，第二训练样本包括多个第二样本图像对，第二样本图像对包括第二模糊图像和第二模糊图像对应的第二清晰图像。
144.s302，利用第二待训练神经网络中的编码器，对第二模糊图像进行特征编码处理，生成第二模糊图像对应的样本退化特征图；
145.s303，利用第二待训练神经网络中的第二解码器，对样本退化特征图和第二清晰
图像进行特征解码处理，生成第二清晰图像对应的第二样本特征图。
146.s304，将第二样本特征图和第二清晰图像进行特征融合处理，生成第二清晰图像对应的预测模糊图像。
147.s305，基于预测模糊图像和第二模糊图像，对第二待训练神经网络进行训练，直至第二待训练神经网络满足第二训练截止条件，得到第二目标神经网络。
148.实施时，获取的第二训练样本中可以包括多个第二样本图像对，第二样本图像对可以包括第二模糊图像和该第二模糊图像对应的第二清晰图像。可以将获取的第二模糊图像输入至第二待训练神经网络中的编码器，通过该编码器对第二模糊图像进行特征编码处理，生成第二模糊图像对应的样本退化特征图，并可以将样本退化特征图和第二清晰图像输入至第二待训练神经网络中的第二解码器，利用该第二解码器对样本退化特征图和第二清晰图像进行特征解码处理，生成第二清晰图像对应的第二样本特征图；再可以将第二样本特征图和第二清晰图像中相同特征位置的特征值相加，生成第二清晰图像对应的预测模糊图像。
149.进而，可以基于预测模糊图像和第二模糊图像，确定第二损失值，利用该第二损失值对第二待训练神经网络的网络参数进行调整，直至第二待训练神经网络满足第二训练截止条件，比如第二训练截止条件包括第二损失值小于设置的第二损失阈值、第二待训练神经网络收敛、第二待训练神经网络的训练次数大于设置的第二数量阈值等。
150.上述实施方式中，通过对第二模糊图像进行特征编码处理，得到退化表征图；并利用该退化特征图，对第二清晰图像进行虚化处理，得到第二清晰图像对应的预测模糊图像；进而通过预测模糊图像和的第二模糊图像，训练得到的第二目标神经网络能够更好的学习图像的退化表示(即图像退化模式)，以便可以利用该图像退化表示较准确的实现图像虚化，第二目标神经网络的性能较佳。
151.实施时，可以根据下述步骤训练得到第三目标神经网络：
152.s401，获取第三训练样本，其中，第三训练样本包括多个第三样本图像对，第三样本图像对包括第三模糊图像和第三模糊图像对应的第三清晰图像。
153.s402，利用第三待训练神经网络中的编码器，对第三模糊图像进行特征编码处理，生成第三模糊图像对应的样本退化特征图。
154.s403，利用第三待训练神经网络中的第一解码器，对样本退化特征图和第三模糊图像进行特征解码处理，生成第三模糊图像对应的第三样本特征图；并将第三样本特征图与第三模糊图像进行特征融合处理，生成第三模糊图像对应的预测清晰图像。
155.s404，利用第三待训练神经网络中的第二解码器，对样本退化特征图和第三清晰图像进行特征解码处理，生成第三清晰图像对应的第四样本特征图；并将第四样本特征图和第三清晰图像进行特征融合处理，生成第三清晰图像对应的预测模糊图像。
156.s405，基于预测模糊图像和第三模糊图像构成的第一预测图像对、以及预测清晰图像和第三清晰图像构成的第二预测图像对，对第三待训练神经网络进行训练，直至第三待训练神经网络满足第三训练截止条件，得到第三目标神经网络。
157.实施时，获取的第三训练样本中可以包括多个第三样本图像对，第三样本图像对可以包括第三模糊图像和该第三模糊图像对应的第三清晰图像。可以将获取的第三模糊图像输入至第三待训练神经网络中的编码器，通过该编码器对第三模糊图像进行特征编码处
理，生成第三模糊图像对应的样本退化特征图。
158.并可以将样本退化特征图和第三模糊图像输入至第三待训练神经网络中的第一解码器，利用该第一解码器对样本退化特征图和第三模糊图像进行特征解码处理，生成第三模糊图像对应的第三样本特征图；再可以将第三样本特征图和第三模糊图像中相同特征位置的特征值相加，生成第三模糊图像对应的预测清晰图像；以及可以将样本退化特征图和第三清晰图像输入至第三待训练神经网络中的第二解码器，利用该第二解码器对样本退化特征图和第三清晰图像进行特征解码处理，生成第三清晰图像对应的第四样本特征图；再可以将第四样本特征图和第三清晰图像中相同特征位置的特征值相加，生成第三清晰图像对应的预测模糊图像。其中，预测模糊图像和第三模糊图像构成第一预测图像对，预测清晰图像和第三清晰图像构成第二预测图像对。
159.进而，可以基于第一预测图像对和第二预测图像对，确定第三损失值，利用该第三损失值对第三待训练神经网络的网络参数进行调整，直至第三待训练神经网络满足第三训练截止条件，比如第三训练截止条件包括第三损失值小于设置的第三损失阈值、第三待训练神经网络收敛、第三待训练神经网络的训练次数大于设置的第三数量阈值等。其中，第一训练截止条件、第二训练截止条件、第三训练截止条件可以相同，也可以不同。
160.上述实施方式中，利用预测模糊图像和第三模糊图像构成第一预测图像对、和预测清晰图像和第三清晰图像构成第二预测图像对，使用对抗训练方式对第三待训练神经网络进行训练，使得第三待训练神经网络能够更好的学习图像退化表征，并有助于第三待训练神经网络中的编码器从模糊图像中提取与图像内容无关的退化表示；进而在训练得到第三目标神经网络之后，使得第三目标神经网络中编码器生成的退化特征图可以较准确的表示模糊图像与该模糊图像对应的清晰图像之间的空间特征变化。
161.同时，基于预测模糊图像和第三模糊图像构成的第一预测图像对、以及预测清晰图像和第三清晰图像构成的第二预测图像对，对第三待训练神经网络进行训练，实现了对第三待训练神经网络的对抗训练，该第三目标神经网络学习到的信息较丰富，使得训练后的第三目标神经网络的精度较高，性能较佳。
162.相关技术中的基于学习的去模糊算法，对图像的退化表示的探索、研究较少，使得该算法估计得到的模糊核无法保障去模糊性能的提升，造成算法输出的图像质量不稳定，去模糊处理效果不佳。本公开，通过在目标神经网络(比如第一目标神经网络、第二目标神经网络等)中增加编码器，利用编码器学习模糊图像的退化表征，实现对退化表征的研究，以便后续解码器(比如第一解码器)能够利用学习到的退化特征图进行去模糊处理或虚化处理，提高去模糊效果或者虚化效果，使得去模糊图像或虚化图像的图像质量较佳。
163.下述对第一解码器的过程进行示例说明。由于第一解码器和第二解码器的网络结构相同，第二解码器的具体过程可参考下述说明。
164.在s403中，在利用第三待训练神经网络中的第一解码器，对样本退化特征图和第三模糊图像进行特征解码处理，生成第三模糊图像对应的第三样本特征图时，具体包括如下步骤：
165.s4031，利用第三待训练神经网络中的第一解码器，对第三模糊图像进行特征解码处理，生成多级第一特征图。
166.s4032，基于样本退化特征图，确定每级第一特征图对应的退化特征图。
167.s4033，基于多级第一特征图和每级第一特征图对应的退化特征图，生成每级第一特征图对应的第二特征图。
168.s4034，将多级第一特征图分别对应的第二特征图进行特征融合处理，生成第三模糊图像对应的第三样本特征图。
169.实施时，将第三模糊图像输入至第三待训练神经网络中的第一解码器，可以利用至少一个特征提取子网络，对第三模糊图像进行特征提取处理，得到多级第一特征图；结合图3所示，若多级特征提取模块包括处于第一级的特征提取子网络、处于第二级的特征提取子网络、处于第三级的特征提取子网络、处于第四级的特征提取子网络，则得到多级第一特征图的过程包括如下：
170.1、将第三模糊图像输入至第一级的特征提取子网络中，第一级的特征提取子网络中的第一残差子网络对接收到的第三模糊图像进行特征提取处理，得到第一级第一特征图；再对第一级第一特征图进行下采样处理，并将下采样处理后得到的特征图1输入至第二级的特征提取子网络。
171.2、第二级的特征提取子网络中的第一残差子网络对该特征图1进行特征提取处理，得到第二级第一特征图；再对第二级第一特征图进行下采样处理，并将下采样处理后得到的特征图2输入至第三级的特征提取子网络。
172.3、第三级的特征提取子网络中的第一残差子网络对该特征图2进行特征提取处理，得到第三级第一特征图；再对第三级第一特征图进行下采样处理，并将下采样处理后得到的特征图3输入至第四级的特征提取子网络。
173.4、第四级的特征提取子网络中的第一残差子网络对该特征图3进行特征提取处理，得到第四级第一特征图；再对第四级第一特征图进行下采样处理，得到特征图4，并将该特征图4确定为第五级第一特征图。通过上述过程得到了多级第一特征图(即得到五级第一特征图)。
174.其中，上述第一残差子网络可以为resblock模块，该resblock模块中可以包括至少一个卷积层。
175.这里，不同级第一特征图对应的参数信息不同，参数信息包括宽度、高度和通道数中的一种或多种。级数越大，第一特征图的宽度值或高度值越小，和/或，通道数越多。比如，第一级第一特征图(级数为1)的宽度值或高度值，大于或等于第二级第一特征图(级数为2)；和/或，第一级第一特征图的通道数小于或等于第二级第一特征图。
176.本公开实施例中，第一特征图对应的参数信息可以包括长度值
×
宽度值
×
通道数；不同级第一特征图对应的参数信息不同，比如第一级第一特征图的尺寸可以为1024
×
1024
×
3，第二级第一特征图可以为512
×
512
×
28等。
177.实施时，针对每级第一特征图，可以基于样本退化特征图，确定每级第一特征图对应的退化特征图；比如，在多级第一特征图包括第一级第一特征图至第五级第一特征图时，第五级第一特征图对应的退化特征图0可以为样本退化特征图；第四级第一特征图对应的退化特征图1可以为对样本退化特征图进行一次上采样处理得到的，第三级第一特征图对应的退化特征图2可以为对退化特征图1进行一次上采样处理得到的；进而可以得到每级第一特征图对应的退化特征图。其中，对样本退化特征图进行上采样处理的方法可以根据实际需求进行确定，比如，上采样处理方法可以为插值法、转置卷积法、上池化法等。
178.再基于多级第一特征图和每级第一特征图对应的退化特征图，生成每级第一特征图对应的第二特征图。结合图3对生成各级第一特征图对应的第二特征图进行说明。多级第一特征图包括第一级第一特征图至第五级第一特征图，先将第五级第一特征图和第五级第一特征图对应的退化特征图(即样本退化特征图)输入至处于第五级的参数调制子网络，得到第四级第一特征图对应的退化特征图、和第五级第一特征图对应的第二特征图。再将第四级第一特征图和第四级第一特征图对应的退化特征图输入至处于第四级的参数调制子网络，得到第三级第一特征图对应的退化特征图、和第四级第一特征图对应的第二特征图。依次类推，可以得到各级第一特征图对应的第二特征图。
179.进而可以将多级第一特征图分别对应的第二特征图进行特征融合处理，生成第三模糊图像对应的第三样本特征图。结合图3进行示例性说明，若多级第二特征图包括第1级第二特征图(即第一级第一特征图对应的第一级第二特征图)至第5级第二特征图，可以先将第5级第二特征图(即第五级的参数调制子网络输出的第五级第二特征图)输入至处于第四级的特征融合子网络，利用第四级的上采样特征层对第5级第二特征图进行上采样处理，生成第5级中间特征图，将第5级中间特征图与第4级第二特征图输入至第四级的连接层进行级联，将级联后的特征图输入至第四级的第二残差子网络进行特征提取处理，生成第4级融合特征图。
180.再将第4级融合特征图输入至第三级的特征融合子网络，利用第三级的上采样特征层对第4级融合特征图进行上采样处理，生成第4级中间特征图；并将第4级中间特征图与第3级第二特征图输入至连接层进行级联，将级联后的特征图输入至第三级的第二残差子网络进行特征提取处理，生成第3级融合特征图，基于相同处理流程，可以得到第2级融合特征图和第1级融合特征图；最后将第1级融合特征图，确定为第三模糊图像对应的第三样本特征图。
181.上述实施方式中，通过基于样本退化特征图，确定各级第一特征图分别对应的退化特征图，比如，可以对样本退化特征图进行上采样，得到不同级第一特征图对应的退化特征图，使得不同级退化特征能够表征不同的图像退化模式；再将每级第一特征图与该级第一特征图对应的退化特征图进行融合处理，生成每级第一特征图对应的第二特征图，使得生成的不同级第二特征图能够学习到不同图像退化模式的特征；进而通过将多级第二特征图进行特征融合处理，得到第三样本特征图，可以使得第三样本特征图学习到不同的图像退化模式，以便利用第三样本特征图能够生成图像质量较佳的目标图像。
182.一种可能的实施方式中，s4033中，基于多级第一特征图和每级第一特征图对应的退化特征图，生成每级第一特征图对应的第二特征图，包括：
183.步骤b1，针对每级第一特征图，对该级第一特征图对应的退化特征图进行第一卷积处理，得到该级第一特征图对应的第一卷积特征图；以及，对该级第一特征图对应的退化特征图进行第二卷积处理，得到该级第一特征图对应的第二卷积特征图。
184.步骤b2，对该级第一特征图进行批标准化处理，得到该级处理后的第一特征图。
185.步骤b3，将第一卷积特征图、第二卷积特征图和该级处理后的第一特征图进行融合，生成该级第一特征图对应的第二特征图；其中，第一卷积特征图用于调节处理后的第一特征图的方差；第二卷积特征图用于调节处理后的第一特征图的平均值。
186.实施时，针对每级第一特征图，可以利用至少一个卷积层，对该级第一特征图对应
的退化特征图进行第一卷积处理，得到该级第一特征图对应的第一卷积特征图；以及可以利用至少一个卷积层，对该级第一特征图对应的退化特征图进行第二卷积处理，得到该级第一特征图对应的第二卷积特征图。同时可以对该级第一特征图进行批标准化(batch normalization，bn)处理，得到该级处理后的第一特征图。
187.进而可以利用第一卷积特征图和第二卷积特征图，对该级处理后的第一特征图进行调节，生成该级第一特征图对应的第二特征图。其中，第一卷积特征图可以用于调节处理后的第一特征图的方差；第二卷积特征图可以用于调节处理后的第一特征图的平均值。
188.参见图4所示的参数调制子网络的结构示意图，结合图4对生成第二特征图的过程进行示例性说明。具体过程如下：第一、将该级第一特征图输入至批标准化子网络，批标准化子网络对该级第一特征图进行批标准化处理，得到该级处理后的第一特征图。第二、将该级第一特征图对应的退化特征图mi输入至第一卷积特征处理层，第一卷积特征处理层对退化特征图mi进行卷积处理，得到该级第一特征图对应的第一卷积特征图；以及将该级第一特征图对应的退化特征图mi输入至第二卷积特征处理层，第二卷积特征处理层对退化特征图mi进行卷积处理，得到该级第一特征图对应的第二卷积特征图。第三、将第一卷积特征图和该级处理后的第一特征图中相同特征位置的特征值进行相乘，得到相乘后特征图；将第二卷积特征图和相乘后特征图中相同特征位置的特征值进行相加，得到该级第一特征图对应的第二特征图。此处第一步的过程和第二步的过程不分先后顺序，可以并行处理。
189.参数调制子网络还可以对退化特征图进行上采样处理，得到该级第一特征图的上一级第一特征图对应的退化特征图m
i+1
，比如，若该级第一特征图为第四级第一特征图，则参数调制子网络在得到第四级第一特征图对应的第二特征图的同时，可以得到第三级第一特征图对应的退化特征图。
190.其中，参数调制子网络的结构不是唯一的，图4仅为示例性说明，实际使用时可以根据需要进行灵活变换。比如，参数调制子网络还可以包括第三卷积特征处理层。实施时，可以先将该级第一特征图对应的退化特征图输入至第三卷积特征处理层进行卷积处理，得到卷积特征图；再分别将卷积特征图输入至第一卷积特征处理层和第二卷积特征处理层，得到第一卷积特征图和第二卷积特征图；最后将第一卷积特征图、第二卷积特征图和该级处理后的第一特征图进行融合，生成该级第一特征图对应的第二特征图。
191.这里，通过对该级第一特征图进行批标准化处理，可以使得该级处理后的第一特征图的特征较稳定；以及对该级第一特征图对应的退化特征图进行第一卷积处理和第二卷积处理，得到第一卷积特征图和第二卷积特征图；再将第一卷积特征图、第二卷积特征图和该级处理后的第一特征图进行融合，比如利用第一卷积特征图对该级处理后的第一特征图的方差进行调制，利用第二卷积特征图对该级处理后的第一特征图的平均值进行调制，得到第二特征图，实现利用退化特征图对第一特征图的调制，以及使得第二特征图能够学习到退化特征图中的图像退化模式。
192.实施时，可以将目标神经网络(比如第一目标神经网络、第三目标神经网络)集成到图像采集设备中，比如，手机、平板、摄影机等，以便在图像采集设备采集到原始图像之后，利用目标神经网络生成较为清晰的目标图像并进行展示；也可以在服务器或者终端设备获取到视频数据之后，利用目标神经网络对视频数据中的每个视频帧进行去模糊处理，生成去模糊后的视频数据。
193.或者还可以在图像采集设备采集到原始图像之后，利用目标神经网络(比如第二目标神经网络、第三目标神经网络)对原始图像进行虚化处理，生成可以保护隐私信息的目标图像并进行展示；也可以在服务器或者终端设备获取到视频数据之后，利用目标神经网络对视频数据中的任一视频帧进行虚化处理，生成虚化后的视频数据。
194.一种可能的实施方式中，待处理图像为图像采集设备采集得到的原始图像，在生成目标图像之后，方法还包括：控制图像采集设备展示目标图像。
195.实施时，可以将目标神经网络集成在图像采集设备上，在图像采集设备采集到原始图像后，将该原始图像作为待处理图像，执行s101至s103的过程，生成目标图像，并控制图像采集设备展示目标图像。其中，原始图像可以为模糊图像，则生成的目标图像为去模糊图像；原始图像还可以为清晰图像，则生成的目标图像为虚化图像。
196.其中，在控制图像采集设备展示目标图像时，可以仅展示目标图像并将原始图像删除；还可以保留原始图像和目标图像，仅展示目标图像；还可以保留原始图像和目标图像，同时展示原始图像和目标图像。
197.这里，在待处理图像为图像采集设备采集得到原始图像的情况下，可以较快速的生成目标图像，并控制图像采集设备展示目标图像，比如可以对原始图像进行去模糊处理生成较为清晰的目标图像，提高了图像采集设备的图像展示效果。
198.一种可能的实施方式中，待处理图像为视频数据中任一处于模糊状态的视频帧，在生成目标图像之后，方法还包括：基于视频数据中的各个视频帧分别对应的目标图像，生成去模糊后的视频数据。
199.实施时，可以在图像采集设备采集得到视频数据之后，针对将该视频数据中的每个视频帧，执行s101至s103的过程，实时的生成视频帧对应的目标图像；进而可以基于各个视频帧分别对应的目标图像，得到去模糊后的视频数据。
200.这里，在得到视频数据之后，可以对视频数据进行去模糊处理，得到去模糊后的视频数据，提高了视频数据的质量。
201.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
202.基于相同的构思，本公开实施例还提供了一种图像处理装置，参见图6所示，为本公开实施例提供的图像处理装置的架构示意图，包括获取模块501、确定模块502、第一生成模块503，具体的：
203.获取模块501，用于获取待处理图像；所述待处理图像包括待处理模糊图像和/或待处理清晰图像；
204.确定模块502，用于确定所述待处理图像对应的退化特征图，其中，所述退化特征图用于表征模糊图像与所述模糊图像对应的清晰图像之间空间特征变化的图像退化模式；
205.第一生成模块503，用于基于所述待处理图像和所述退化特征图，生成目标图像；其中，在所述待处理图像包括待处理模糊图像的情况下，所述目标图像包括所述待处理模糊图像对应的去模糊图像；在所述待处理图像包括待处理清晰图像的情况下，所述目标图像包括所述待处理清晰图像对应的虚化图像。
206.一种可能的实施方式中，所述确定模块502，在确定所述待处理图像对应的退化特
征图时，用于：
207.在所述待处理图像包括所述待处理模糊图像、且不包括所述待处理清晰图像的情况下，对所述待处理图像进行特征编码处理，得到所述待处理图像对应的退化特征图；
208.在所述待处理图像包括所述待处理清晰图像、且不包括所述待处理模糊图像的情况下，从设置的多个退化特征图中，确定所述待处理图像对应的退化特征图；或者，对获取的任一基准模糊图像进行特征编码处理，得到退化特征图，并将所述退化特征图确定为所述待处理图像对应的退化特征图；
209.在所述待处理图像包括所述待处理清晰图像和所述待处理模糊图像的情况下，对所述待处理模糊图像进行特征编码处理，得到退化特征图，并将所述退化特征图确定为所述待处理清晰图像对应的退化特征图。
210.一种可能的实施方式中，所述第一生成模块503，在基于所述待处理图像和所述退化特征图，生成目标图像时，用于：
211.对所述待处理图像和所述退化特征图进行特征解码处理，生成所述待处理图像对应的目标特征图；其中，所述目标特征图包括与所述待处理图像的至少一个分辨率的特征图相匹配的模糊模式信息；
212.利用所述目标特征图，对所述待处理图像进行处理，生成所述目标图像。
213.一种可能的实施方式中，在所述待处理图像包括所述待处理模糊图像、且不包括所述待处理清晰图像的情况下，所述目标图像由训练得到的第一目标神经网络生成；所述第一目标神经网络包括：编码器和第一解码器；所述编码器与所述第一解码器相连；
214.在所述待处理图像包括所述待处理清晰图像、且不包括所述待处理模糊图像的情况下，所述目标图像由训练得到的第二目标神经网络生成；所述第二目标神经网络包括：所述编码器和第二解码器；所述编码器与所述第二解码器相连；
215.在所述待处理图像包括所述待处理清晰图像和所述待处理模糊图像的情况下，所述目标图像由训练得到的第三目标神经网络生成；所述第三目标神经网络包括：所述编码器、第一解码器和第二解码器；所述编码器分别与所述第一解码器和所述第二解码器相连。
216.一种可能的实施方式中，所述第一解码器包括m个特征提取子网络、m+1个参数调制子网络、m个特征融合子网络；其中，m为正整数；
217.第i个特征提取子网络包括第i个第一残差子网络和第i个下采样特征层；第i个特征融合子网络包括第i个上采样特征层、第i个连接层、第i个第二残差子网络；
218.第i-1个特征提取子网络分别与第i-2个特征提取子网络、第i个特征提取子网络相连；第i-1个特征融合子网络分别与第i-2个特征融合子网络、第i个特征融合子网络相连；
219.第i个参数调制子网络分别与第i+1个参数调制子网络、第i个特征提取子网络中第i个第一残差子网络、第i个特征融合子网络中第i个连接层相连；其中，i为大于等于1、且小于等于m的正整数；
220.第m+1个参数调制子网络分别与第m个特征提取子网络中第m个下采样特征层、第m个特征融合子网络中第m个上采样特征层相连。
221.一种可能的实施方式中，所述装置还包括：训练模块504，所述训练模块504用于根据下述步骤训练得到所述第一目标神经网络：
222.获取第一训练样本，其中，所述第一训练样本包括多个第一样本图像对，所述第一样本图像对包括第一模糊图像和所述第一模糊图像对应的第一清晰图像；
223.利用第一待训练神经网络中的编码器，对所述第一模糊图像进行特征编码处理，生成所述第一模糊图像对应的样本退化特征图；
224.利用所述第一待训练神经网络中的第一解码器，对所述样本退化特征图和所述第一模糊图像进行特征解码处理，生成所述第一模糊图像对应的第一样本特征图；
225.将所述第一样本特征图和所述第一模糊图像进行特征融合处理，生成所述第一模糊图像对应的预测清晰图像；
226.基于所述预测清晰图像和所述第一清晰图像，对所述第一待训练神经网络进行训练，直至所述第一待训练神经网络满足第一训练截止条件，得到所述第一目标神经网络。
227.一种可能的实施方式中，所述训练模块504，还用于根据下述步骤训练得到所述第二目标神经网络：
228.获取第二训练样本，其中，所述第二训练样本包括多个第二样本图像对，所述第二样本图像对包括第二模糊图像和所述第二模糊图像对应的第二清晰图像；
229.利用第二待训练神经网络中的编码器，对所述第二模糊图像进行特征编码处理，生成所述第二模糊图像对应的样本退化特征图；
230.利用所述第二待训练神经网络中的第二解码器，对所述样本退化特征图和所述第二清晰图像进行特征解码处理，生成所述第二清晰图像对应的第二样本特征图；
231.将所述第二样本特征图和所述第二清晰图像进行特征融合处理，生成所述第二清晰图像对应的预测模糊图像；
232.基于所述预测模糊图像和所述第二模糊图像，对所述第二待训练神经网络进行训练，直至所述第二待训练神经网络满足第二训练截止条件，得到所述第二目标神经网络。
233.一种可能的实施方式中，所述训练模块504，还用于根据下述步骤训练得到所述第三目标神经网络：
234.获取第三训练样本，其中，所述第三训练样本包括多个第三样本图像对，所述第三样本图像对包括第三模糊图像和所述第三模糊图像对应的第三清晰图像；
235.利用第三待训练神经网络中的编码器，对所述第三模糊图像进行特征编码处理，生成所述第三模糊图像对应的样本退化特征图；
236.利用所述第三待训练神经网络中的第一解码器，对所述样本退化特征图和所述第三模糊图像进行特征解码处理，生成所述第三模糊图像对应的第三样本特征图；并将所述第三样本特征图与所述第三模糊图像进行特征融合处理，生成所述第三模糊图像对应的预测清晰图像；
237.以及利用所述第三待训练神经网络中的第二解码器，对所述样本退化特征图和所述第三清晰图像进行特征解码处理，生成所述第三清晰图像对应的第四样本特征图；并将所述第四样本特征图和所述第三清晰图像进行特征融合处理，生成所述第三清晰图像对应的预测模糊图像；
238.基于所述预测模糊图像和所述第三模糊图像构成的第一预测图像对、以及所述预测清晰图像和所述第三清晰图像构成的第二预测图像对，对所述第三待训练神经网络进行训练，直至所述第三待训练神经网络满足第三训练截止条件，得到所述第三目标神经网络。
239.一种可能的实施方式中，所述训练模块504，在所述利用所述第三待训练神经网络中的第一解码器，对所述样本退化特征图和所述第三模糊图像进行特征解码处理，生成所述第三模糊图像对应的第三样本特征图时，用于：
240.利用所述第三待训练神经网络中的第一解码器，对所述第三模糊图像进行特征解码处理，生成多级第一特征图；
241.基于所述样本退化特征图，确定每级所述第一特征图对应的退化特征图；
242.基于所述多级第一特征图和所述每级第一特征图对应的退化特征图，生成所述每级第一特征图对应的第二特征图；
243.将所述多级第一特征图分别对应的第二特征图进行特征融合处理，生成所述第三模糊图像对应的第三样本特征图。
244.一种可能的实施方式中，所述训练模块504，在所述基于所述多级第一特征图和所述每级第一特征图对应的退化特征图，生成所述每级第一特征图对应的第二特征图时，用于：
245.针对每级第一特征图，对该级第一特征图对应的退化特征图进行第一卷积处理，得到该级第一特征图对应的第一卷积特征图；以及，对该级第一特征图对应的退化特征图进行第二卷积处理，得到该级第一特征图对应的第二卷积特征图；
246.对该级第一特征图进行批标准化处理，得到该级处理后的第一特征图；
247.将所述第一卷积特征图、所述第二卷积特征图和该级处理后的第一特征图进行融合，生成该级第一特征图对应的第二特征图；其中，所述第一卷积特征图用于调节处理后的第一特征图的方差；所述第二卷积特征图用于调节处理后的第一特征图的平均值。
248.一种可能的实施方式中，所述装置还包括：控制模块505，所述控制模块505，在所述待处理图像为图像采集设备采集得到的原始图像，在所述生成目标图像之后，用于：
249.控制所述图像采集设备展示所述目标图像。
250.一种可能的实施方式中，所述装置还包括：第二生成模块506，所述第二生成模块506，在所述待处理图像为视频数据中任一处于模糊状态的视频帧，在所述生成目标图像之后，用于：
251.基于所述视频数据中的各个所述视频帧分别对应的所述目标图像，生成去模糊后的视频数据。
252.在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
253.基于同一技术构思，本公开实施例还提供了一种电子设备。参照图6所示，为本公开实施例提供的电子设备600的结构示意图，包括处理器601、存储器602、和总线603。其中，存储器602用于存储执行指令，包括内存6021和外部存储器6022；这里的内存6021也称内存储器，用于暂时存放处理器601中的运算数据，以及与硬盘等外部存储器6022交换的数据，处理器601通过内存6021与外部存储器6022进行数据交换，当电子设备600运行时，处理器601与存储器602之间通过总线603通信，使得处理器601在执行以下指令：
254.获取待处理图像；所述待处理图像包括待处理模糊图像和/或待处理清晰图像；
255.确定所述待处理图像对应的退化特征图，其中，所述退化特征图用于表征模糊图
像与所述模糊图像对应的清晰图像之间空间特征变化的图像退化模式；
256.基于所述待处理图像和所述退化特征图，生成目标图像；其中，在所述待处理图像包括待处理模糊图像的情况下，所述目标图像包括所述待处理模糊图像对应的去模糊图像；在所述待处理图像包括待处理清晰图像的情况下，所述目标图像包括所述待处理清晰图像对应的虚化图像。
257.其中，处理器601的具体处理流程可以参照上述方法实施例的记载，这里不再赘述。
258.此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
259.本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
260.其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
261.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
262.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
263.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
264.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
265.以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。