图像处理方法、装置、设备及存储介质与流程

1.本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及可读存储介质。


背景技术：

2.随着计算机技术和网络技术的发展，涉及到的图像处理和图像传输应用场景大大增加。在许多应用场景中需要对图像内容进行审核，以使图像符合传播、验证等等应用场景相关的要求。相关技术中图像审核系统输入的图像分辨率差异较大，且存在着大量的低分辨率图像，而低分辨率图像严重影响内容审核结果的准确率。
3.如上所述，如何提高图像内容审核结果的准确率成为亟待解决的问题。
4.在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本公开的目的在于提供一种图像处理方法、装置、电子设备及可读存储介质，至少在一定程度上提高图像内容审核结果的准确率。
6.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
7.根据本公开的一方面，提供一种图像处理方法，包括：获取待处理图像的分辨率；若确定所述待处理图像的分辨率低于预设分辨率阈值，则通过第一目标超分辨率重建模型对所述待处理图像进行重建，获得重建图像，其中，所述第一目标超分辨率重建模型由第一初始超分辨率重建模型和第二超分辨率重建模型联合训练获得，所述第一初始超分辨率重建模型由减少所述第二超分辨率重建模型中的残差结构模块的数量获得；对所述重建图像进行审核，获得图像审核结果。
8.根据本公开的一实施例，所述方法还包括：获取训练集，所述训练集包括训练图像；将所述训练图像分别输入所述第一初始超分辨率重建模型和所述第二超分辨率重建模型；通过所述第一初始超分辨率重建模型获得所述训练图像的第一特征向量；根据所述第一特征向量获得所述第一初始超分辨率重建模型的空间关系矩阵；通过所述第二超分辨率重建模型获得所述训练图像的第二特征向量；根据所述第二特征向量获得所述第二超分辨率重建模型的空间关系矩阵；按照目标损失函数根据所述第一初始超分辨率重建模型的空间关系矩阵和所述第二超分辨率重建模型的空间关系矩阵训练所述第一初始超分辨率重建模型，以获得所述第一目标超分辨率重建模型。
9.根据本公开的一实施例，根据所述第一特征向量获得所述第一初始超分辨率重建模型的空间关系矩阵，包括：将所述第一特征向量进行归一化，获得第一归一化特征向量；将所述第一归一化特征向量转置后与所述第一归一化特征向量点乘，获得所述第一初始超分辨率重建模型的空间关系矩阵；根据所述第二特征向量获得所述第二超分辨率重建模型
的空间关系矩阵，包括：将所述第二特征向量进行归一化，获得第二归一化特征向量；将所述第二归一化特征向量转置后与所述第二归一化特征向量点乘，获得所述第二超分辨率重建模型的空间关系矩阵。
10.根据本公开的一实施例，所述第一初始超分辨率重建模型包括目标数量层的第一残差网络，其中各层所述第一残差网络包括多个逐个连接的残差结构模块；所述第二超分辨率重建模型包括所述目标数量层的第二残差网络，其中各层所述第二残差网络包括多个逐个连接的残差结构模块，所述第二残差网络中的残差结构模块的数量多于所述第一残差网络中的残差结构模块；所述训练图像的第一特征向量包括所述目标数量个第三特征向量，所述训练图像的第二特征向量包括所述目标数量个第四特征向量；所述第一初始超分辨率重建模型的空间关系矩阵包括所述目标数量个第一空间关系矩阵，所述第二超分辨率重建模型的空间关系矩阵包括所述目标数量个第二空间关系矩阵；通过所述第一初始超分辨率重建模型获得所述训练图像的第一特征向量，包括：将所述训练图像经过特征提取后，依次通过所述目标数量层的第一残差网络进行处理，由所述目标数量层的第一残差网络分别输出所述目标数量个第三特征向量；根据所述第一特征向量获得所述第一初始超分辨率重建模型的空间关系矩阵，包括：根据所述目标数量个第三特征向量中的各个第三特征向量获得所述目标数量个第一空间关系矩阵中的各个第一空间关系矩阵；通过所述第二超分辨率重建模型获得所述训练图像的第二特征向量，包括：将所述训练图像经过特征提取后，依次通过所述目标数量层的第二残差网络进行处理，由所述目标数量层的第二残差网络分别输出所述目标数量个第四特征向量；根据所述第二特征向量获得所述第二超分辨率重建模型的空间关系矩阵，包括：根据所述目标数量个第四特征向量中的各个第四特征向量获得所述目标数量个第二空间关系矩阵中的各个第二空间关系矩阵。
11.根据本公开的一实施例，所述方法还包括：分别获得所述第一初始超分辨率重建模型的输出结果和所述第二超分辨率重建模型的输出结果；按照目标损失函数根据所述第一初始超分辨率重建模型的空间关系矩阵和所述第二超分辨率重建模型的空间关系矩阵训练所述第一初始超分辨率重建模型，包括：按照所述目标损失函数根据所述第一初始超分辨率重建模型的空间关系矩阵和所述第二超分辨率重建模型的空间关系矩阵、以及所述第一初始超分辨率重建模型的输出结果和所述第二超分辨率重建模型的输出结果训练所述第一初始超分辨率重建模型。
12.根据本公开的一实施例，所述方法还包括：获取所述训练图像对应的目标图像；按照所述目标损失函数根据所述第一初始超分辨率重建模型的空间关系矩阵和所述第二超分辨率重建模型的空间关系矩阵、以及所述第一初始超分辨率重建模型的输出结果和所述第二超分辨率重建模型的输出结果训练所述第一初始超分辨率重建模型，包括：按照所述目标损失函数根据所述第一初始超分辨率重建模型的空间关系矩阵和所述第二超分辨率重建模型的空间关系矩阵、所述第一初始超分辨率重建模型的输出结果和所述第二超分辨率重建模型的输出结果、以及所述第一初始超分辨率重建模型的输出结果和所述目标图像训练所述第一初始超分辨率重建模型。
13.根据本公开的一实施例，所述第一初始超分辨率重建模型由减少所述第二超分辨率重建模型中的残差结构模块的数量获得，包括：所述第一初始超分辨率重建模型由减少所述第二超分辨率重建模型中的残差结构模块的数量和卷积模块的通道数量获得。
14.根据本公开的再一方面，提供一种图像处理装置，包括：信息获取模块，用于获取待处理图像的分辨率；图像重建模块，用于若确定所述待处理图像的分辨率低于预设分辨率阈值，则通过第一目标超分辨率重建模型对所述待处理图像进行重建，获得重建图像，其中，所述第一目标超分辨率重建模型由第一初始超分辨率重建模型和第二超分辨率重建模型联合训练获得，所述第一初始超分辨率重建模型由减少所述第二超分辨率重建模型中的残差结构模块的数量获得；图像审核模块，用于对所述重建图像进行审核，获得图像审核结果。
15.根据本公开的一实施例，所述装置还包括重建模型训练模块，用于：获取训练集，所述训练集包括训练图像；将所述训练图像分别输入所述第一初始超分辨率重建模型和所述第二超分辨率重建模型；通过所述第一初始超分辨率重建模型获得所述训练图像的第一特征向量；根据所述第一特征向量获得所述第一初始超分辨率重建模型的空间关系矩阵；通过所述第二超分辨率重建模型获得所述训练图像的第二特征向量；根据所述第二特征向量获得所述第二超分辨率重建模型的空间关系矩阵；按照目标损失函数根据所述第一初始超分辨率重建模型的空间关系矩阵和所述第二超分辨率重建模型的空间关系矩阵训练所述第一初始超分辨率重建模型，以获得所述第一目标超分辨率重建模型。
16.根据本公开的一实施例，所述重建模型训练模块，还用于：将所述第一特征向量进行归一化，获得第一归一化特征向量；将所述第一归一化特征向量转置后与所述第一归一化特征向量点乘，获得所述第一初始超分辨率重建模型的空间关系矩阵；将所述第二特征向量进行归一化，获得第二归一化特征向量；将所述第二归一化特征向量转置后与所述第二归一化特征向量点乘，获得所述第二超分辨率重建模型的空间关系矩阵。
17.根据本公开的一实施例，所述第一初始超分辨率重建模型包括目标数量层的第一残差网络，其中各层所述第一残差网络包括多个逐个连接的残差结构模块；所述第二超分辨率重建模型包括所述目标数量层的第二残差网络，其中各层所述第二残差网络包括多个逐个连接的残差结构模块，所述第二残差网络中的残差结构模块的数量多于所述第一残差网络中的残差结构模块；所述训练图像的第一特征向量包括所述目标数量个第三特征向量，所述训练图像的第二特征向量包括所述目标数量个第四特征向量；所述第一初始超分辨率重建模型的空间关系矩阵包括所述目标数量个第一空间关系矩阵，所述第二超分辨率重建模型的空间关系矩阵包括所述目标数量个第二空间关系矩阵；所述重建模型训练模块，还用于：将所述训练图像经过特征提取后，依次通过所述目标数量层的第一残差网络进行处理，由所述目标数量层的第一残差网络分别输出所述目标数量个第三特征向量；根据所述目标数量个第三特征向量中的各个第三特征向量获得所述目标数量个第一空间关系矩阵中的各个第一空间关系矩阵；将所述训练图像经过特征提取后，依次通过所述目标数量层的第二残差网络进行处理，由所述目标数量层的第二残差网络分别输出所述目标数量个第四特征向量；根据所述目标数量个第四特征向量中的各个第四特征向量获得所述目标数量个第二空间关系矩阵中的各个第二空间关系矩阵。
18.根据本公开的一实施例，所述重建模型训练模块，还用于：分别获得所述第一初始超分辨率重建模型的输出结果和所述第二超分辨率重建模型的输出结果；按照所述目标损失函数根据所述第一初始超分辨率重建模型的空间关系矩阵和所述第二超分辨率重建模型的空间关系矩阵、以及所述第一初始超分辨率重建模型的输出结果和所述第二超分辨率
重建模型的输出结果训练所述第一初始超分辨率重建模型。
19.根据本公开的一实施例，所述重建模型训练模块，还用于：获取所述训练图像对应的目标图像；按照所述目标损失函数根据所述第一初始超分辨率重建模型的空间关系矩阵和所述第二超分辨率重建模型的空间关系矩阵、所述第一初始超分辨率重建模型的输出结果和所述第二超分辨率重建模型的输出结果、以及所述第一初始超分辨率重建模型的输出结果和所述目标图像训练所述第一初始超分辨率重建模型。
20.根据本公开的一实施例，所述第一初始超分辨率重建模型由减少所述第二超分辨率重建模型中的残差结构模块的数量获得，包括：所述第一初始超分辨率重建模型由减少所述第二超分辨率重建模型中的残差结构模块的数量和卷积模块的通道数量获得。
21.根据本公开的再一方面，提供一种电子设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，所述处理器执行所述可执行指令时实现如上述任一种方法。
22.根据本公开的再一方面，提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现如上述任一种方法。
23.本公开的实施例提供的图像处理方法，首先获取待处理图像的分辨率，若确定待处理图像的分辨率低于预设分辨率阈值，则通过第一目标超分辨率重建模型对待处理图像进行重建，获得重建图像，其中，第一目标超分辨率重建模型由第一初始超分辨率重建模型和第二超分辨率重建模型联合训练获得，第一初始超分辨率重建模型由减少第二超分辨率重建模型中的残差结构模块的数量获得，然后对重建图像进行审核，获得图像审核结果，通过对低分辨率图像利用轻量级超分辨率重建模型进行超分辨率重建，从而可更加精准地实现图像内容的审核，有效避免了图像误检情况的发生。
24.应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
25.通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。
26.图1示出了可以应用本公开的图像处理方法或图像处理装置的示例性系统架构10。
27.图2示出本公开实施例中一种图像处理方法的流程图。
28.图3是根据图2示出的一种超分辨率重建模型训练方法的流程图。
29.图4示出了图3中所示的步骤s308和步骤s312在一实施例中的处理过程示意图。
30.图5是根据图4示出的一种空间关系矩阵获得过程示意图。
31.图6示出了图3中所示的步骤s306至步骤s310在一实施例中的处理过程示意图。
32.图7示出了图3中所示的步骤s314在一实施例中的处理过程示意图。
33.图8是根据图2至图7示出的一种图像审核流程示意图。
34.图9是根据图2至图8示出的一种图像超分辨率重建实现示意图。
35.图10示出本公开实施例中一种图像处理装置的框图。
36.图11示出本公开实施例中另一种图像处理装置的框图。
37.图12示出本公开实施例中一种电子设备的结构示意图。
具体实施方式
38.现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本公开将更加全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
39.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。
40.此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。符号“/”一般表示前后关联对象是一种“或”的关系。
41.在本公开中，除非另有明确的规定和限定，“连接”等术语应做广义理解，例如，可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
42.如上所述，输入图像审核模块的消息来源千差万别，其中存在大量的低分辨率图像。一些相关技术中图像审核系统将输入的所有图像直接送入图像审核模块，其中包含的大量的低分辨率图像，直接影响了图像审核系统的准确性。
43.一些相关技术中采用图像超分辨率重建网络对输入的图像进行超分辨率重建，以提高输入图像审核模块的图像的质量。超分辨率重建网络通常由基础卷积模块、级联的残差结构模块、上采样模块等构成。基础卷积模块将输入由图像域转化为特征域，级联的残差结构模块主要提取输入图像的高级语义信息来实现良好的重建，上采样模块主要负责将低分辨率的特征图转换为高分辨率的特征图以实现图像的放大。相关技术中的超分辨率重建模型着重于通过设计更深/更广的残差网络来实现更好的性能，但是这种思路使模型拥有庞大的参数量，极大的增加了计算成本，降低了图像审核系统的效率。
44.因此，本公开提供了一种图像处理方法，首先获取待处理图像的分辨率，若确定待处理图像的分辨率低于预设分辨率阈值，则通过第一目标超分辨率重建模型对待处理图像进行重建，获得重建图像，其中，第一目标超分辨率重建模型由第一初始超分辨率重建模型和第二超分辨率重建模型联合训练获得，第一初始超分辨率重建模型由减少第二超分辨率重建模型中的残差结构模块的数量获得，然后对重建图像进行审核，获得图像审核结果，通过对低分辨率图像利用轻量级超分辨率重建模型进行超分辨率重建，从而可更加精准地实现图像内容的审核，有效避免了图像误检情况的发生；同时轻量级超分辨率重建模型大大减少了参数量，降低了计算成本，提高了图像审核系统的效率。
45.图1示出了可以应用本公开的图像处理方法或图像处理装置的示例性系统架构10。
46.如图1所示，系统架构10可以包括终端设备102、网络104和服务器106。终端设备102可以是具有显示屏并且支持输入、输出的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、虚拟现实设备、智能家居等等。网络104用以在终端设备102和服务器106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。服务器106可以是提供各种服务的服务器或服务器集群等，例如可以为后台处理服务器、数据库服务器等等。
47.用户可以使用终端设备102通过网络104与服务器106交互，以接收或发送数据等。例如用户可以通过网络104从服务器106获取待处理图像，并将其下载到终端设备102上进行处理。又例如用户可在终端设备102上进行操作，通过网络104将确定分辨率低于预设分辨率阈值的待处理图像发送到服务器106进行超分辨率重建，获得重建图像。再例如，服务器106可对通过网络104接收的重建图像进行审核，获得图像审核结果。
48.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
49.图2是根据一示例性实施例示出的一种图像处理方法的流程图。如图2所示的方法例如可以应用于上述系统的服务器端，也可以应用于上述系统的终端设备。
50.参考图2，本公开实施例提供的方法20可以包括以下步骤。
51.在步骤s202中，获取待处理图像的分辨率。
52.在一些实施例中，可以将输入的待处理图像首先进行图像质量判断，例如可以获取待处理图像的分辨率，根据图像的分辨率判断图像质量。可以在系统中设置图像质量判断模块，待处理图像的分辨率以进行质量判断。
53.在步骤s204中，若确定待处理图像的分辨率低于预设分辨率阈值，则通过第一目标超分辨率重建模型对待处理图像进行重建，获得重建图像，其中，第一目标超分辨率重建模型由第一初始超分辨率重建模型和第二超分辨率重建模型联合训练获得，第一初始超分辨率重建模型由减少第二超分辨率重建模型中的残差结构模块的数量获得。
54.在一些实施例中，可以将图像质量判断模块判断得到的低分辨率图像送入第一目标超分辨率重建模型进行重建，第一目标超分辨率重建模型可以是由减少第二超分辨率重建模型中的残差结构模块的数量和卷积模块的通道数量获得的轻量级的轻量级的超分辨率重建模型，例如可以由超分辨率重建模块实现。
55.在一些实施例中，第一目标超分辨率重建模型可以由第一初始超分辨率重建模型和第二超分辨率重建模型联合训练获得，第一目标超分辨率重建模型的训练方法的具体实施方式可参照图3至图7。
56.在一些实施例中，第一目标超分辨率重建模型结构和第二超分辨率重建模型结构可以参照图9。
57.在一些实施例中，若确定待处理图像的分辨率不低于预设分辨率阈值，则可以认为待处理图像通过了质量判断，可以直接进行审核获得图像审核结果。
58.在步骤s206中，对重建图像进行审核，获得图像审核结果。
59.在一些实施例中，可以对重建后的图像进行审核，可以提高图像审核的准确率。
60.根据本公开实施例提供的图像处理方法，对输入图像进行图像质量判断，基于轻量级超分辨率重建模块实现将低分辨率图像重建，其中将参数冗余的超分辨率重建模型根据基于知识蒸馏的方法进行模型轻量化，可以大幅度的减小模型的体积和参数量，便于高效、准确的实现图像的超分辨率重建，提高图像审核的效率以及准确率。根据本公开实施例提供的方法将参数冗余的超分辨率重建模型压缩为轻量级模型，增加轻量级超分辨率重建模块，不涉及硬件方面的改造，具有良好的实用性。
61.图3是根据图2示出的一种超分辨率重建模型训练方法的流程图。如图3所示的方法例如可以执行在步骤s204之前，可以包括以下步骤。
62.在步骤s302中，获取训练集，训练集包括训练图像。
63.在一些实施例中，训练集中的训练图像可以为低分辨率图像，例如可以为步骤s204描述的低于预设分辨率阈值的图像。
64.在一些实施例中，训练集还可以包括训练图像对应的目标图像，即低分辨率图像对应的标准的高分辨率图像，可用于更新第一初始超分辨率重建模型时根据输出的超分辨率重建结果进行监督。
65.在步骤s304中，将训练图像分别输入第一初始超分辨率重建模型和第二超分辨率重建模型。
66.在步骤s306中，通过第一初始超分辨率重建模型获得训练图像的第一特征向量。
67.在一些实施例中，第一初始超分辨率重建模型可以包括目标数量层的第一残差网络，其中各层第一残差网络包括多个逐个连接的残差结构模块。残差网络的原理是在某一层的线性模块之后、非线性模块之前增加前面某层的输出，可以使得训练深度网络变得更加容易。
68.在一些实施例中，例如，目标数量可以为3、5、7等等，具体数值可以权衡模型训练的结果和计算时间来确定。图9中以3层第一残差网络为例进行描述。
69.在一些实施例中，训练图像的第一特征向量可以包括目标数量个第三特征向量，即第三特征向量的数量与第一残差网络的层数相同。
70.在步骤s308中，根据第一特征向量获得第一初始超分辨率重建模型的空间关系矩阵。
71.在一些实施例中，第一初始超分辨率重建模型的空间关系矩阵可以包括目标数量个第一空间关系矩阵，即每个第一空间关系矩阵由一个第三特征向量获得。根据特征向量获得空间关系矩阵的具体实施方式可参照图4和图5。
72.在步骤s310中，通过第二超分辨率重建模型获得训练图像的第二特征向量。
73.在一些实施例中，第二超分辨率重建模型可以包括目标数量层的第二残差网络，其中各层第二残差网络包括多个逐个连接的残差结构模块，第二残差网络中的残差结构模块的数量多于第一残差网络中的残差结构模块。第二超分辨率重建模型可以作为教师网络，第一初始超分辨率重建模型可以作为学生网络，可以联合参数量较多的教师网络训练轻量化学生网络。
74.在一些实施例中，训练图像的第二特征向量可以包括目标数量个第四特征向量。
75.在步骤s312中，根据第二特征向量获得第二超分辨率重建模型的空间关系矩阵。
76.在一些实施例中，第二超分辨率重建模型的空间关系矩阵包括目标数量个第二空
间关系矩阵。教师网络的第二空间关系矩阵的数量与学生网络的第一空间关系矩阵的数量相同，用于训练学生网络时进行监督。
77.在步骤s314中，按照目标损失函数根据第一初始超分辨率重建模型的空间关系矩阵和第二超分辨率重建模型的空间关系矩阵训练第一初始超分辨率重建模型，以获得第一目标超分辨率重建模型。
78.根据本公开实施例提供的图像处理方法，基于知识蒸馏的策略，构建轻量级超分辨率重建模型，实现将输入的低分辨率图像重建为高分辨率图像。其中，在构建轻量级超分辨率重建模型时，将参数量冗余的第二超分辨率重建模型作为教师网络，来指导轻量级学生网络(第一初始超分辨率重建模型)的训练。学生网络学习教师网络不同特征层的空间关系矩阵。经过该方法构建的轻量级超分辨率模型在保持良好的效果的前提下，大幅度减少了模型的参数量，节约了计算成本，便于高效、准确的实现低分辨率图像的超分辨率重建，提高图像审核的效率和准确率。
79.图4示出了图3中所示的步骤s308和步骤s312在一实施例中的处理过程示意图。如图4所示，本公开实施例中，上述步骤s308和步骤s312可以进一步包括以下步骤。
80.步骤s402，将第一特征向量进行归一化，获得第一归一化特征向量。
81.步骤s404，将第一归一化特征向量转置后与第一归一化特征向量点乘，获得第一初始超分辨率重建模型的空间关系矩阵。
82.步骤s406，将第二特征向量进行归一化，获得第二归一化特征向量。
83.步骤s408，将第二归一化特征向量转置后与第二归一化特征向量点乘，获得第二超分辨率重建模型的空间关系矩阵。
84.图5是根据图4示出的一种空间关系矩阵获得过程示意图。如图5所示，对于每层第一残差网络输出的第三特征向量，将得到的特征向量维度变换为b*c*hw，其中b表示batch即为一批输入的数据量，例如可以为64，c为通道数据，h、w分别表示高和宽的像素数。以第一层第一残差网络为例，若初始输入的待处理图像的向量维度为64*3(rgb三通道)*256*256，则经过卷积处理、第一残差网络处理后的向量维度可以为64*100*64*64。每层第一残差网络一个关系矩阵变化的部分(c*hw)是由卷积核大小决定，每一个特征像素点都可以看作是c维向量。
85.然后对每一个第三特征向量进行归一化，归一化后，每列都是单位长度。第三特征向量f归一化过程如下公式所示：
[0086][0087]
式(1)中u、v表示第三特征向量f中一个维度的向量，：表示省略其中的向量。则特征像素之间的空间相关性就可以用两个特征像素对应向量的余弦距离表示，空间关系矩阵生成过程如下公式所示：
[0088][0089]
根据式(2)生成的空间关系矩阵的维度为b*hw*hw。
[0090]
图6示出了图3中所示的步骤s306至步骤s310在一实施例中的处理过程示意图。如
图6所示，本公开实施例中，上述步骤s306至步骤s310可以进一步包括以下步骤。
[0091]
步骤s602，将训练图像经过特征提取后，依次通过目标数量层的第一残差网络进行处理，由目标数量层的第一残差网络分别输出目标数量个第三特征向量。
[0092]
步骤s604，根据目标数量个第三特征向量中的各个第三特征向量获得目标数量个第一空间关系矩阵中的各个第一空间关系矩阵。
[0093]
步骤s606，将训练图像经过特征提取后，依次通过目标数量层的第二残差网络进行处理，由目标数量层的第二残差网络分别输出目标数量个第四特征向量。
[0094]
步骤s608，根据目标数量个第四特征向量中的各个第四特征向量获得目标数量个第二空间关系矩阵中的各个第二空间关系矩阵。
[0095]
根据本公开实施例提供的图像处理方法，在轻量级模型构建过程中，提出了一种像素级空间关系矩阵构建方法，来提取特征图中提取二阶信息(例如特征内相关性等等)，可以有效地从教师网络向学生网络传递结构知识，进而提高压缩后模型的重建性能。
[0096]
图7示出了图3中所示的步骤s314在一实施例中的处理过程示意图。如图7所示，本公开实施例中，上述步骤s314可以进一步包括以下步骤。
[0097]
步骤s702，分别获得第一初始超分辨率重建模型的输出结果和第二超分辨率重建模型的输出结果。
[0098]
步骤s704，获取训练图像对应的目标图像。
[0099]
步骤s706，按照目标损失函数根据第一初始超分辨率重建模型的空间关系矩阵和第二超分辨率重建模型的空间关系矩阵、以及第一初始超分辨率重建模型的输出结果和第二超分辨率重建模型的输出结果训练第一初始超分辨率重建模型。
[0100]
步骤s7062，按照目标损失函数根据第一初始超分辨率重建模型的空间关系矩阵和第二超分辨率重建模型的空间关系矩阵、第一初始超分辨率重建模型的输出结果和第二超分辨率重建模型的输出结果、以及第一初始超分辨率重建模型的输出结果和目标图像训练第一初始超分辨率重建模型。
[0101]
在一些实施例中，在轻量级模型构建过程中，整体目标损失函数可以包含三个部分：基于空间关系矩阵的监督、基于教师网络输出结果的监督以及基于真实数据分布的监督。其中，基于空间关系矩阵的监督可以保持教师网络与学生网络的特征图像素之间的空间连续性，使学生网络提取到的特征尽可能与教师网络类似，保证学生网络的重建效果不出现大幅度下降，目标损失函数中的空间关系矩阵监督项l
md
可以由下式获得：
[0102][0103]
式(3)中，表示学生网络(第一初始超分辨率重建模型)的空间关系矩阵中的第l个向量，l为(第一初始或第二)超分辨率重建模型的空间关系矩阵中向量的维度，l为小于l的正整数，表示教师网络(第二超分辨率重建模型)的空间关系矩阵中的第l个向量，m表示空间关系矩阵。
[0104]
基于教师网络输出结果的监督可以使学生模型的输出结果尽可能接近教师模型，目标损失函数中的教师网络输出结果监督项l
ts
可以由下式获得：
[0105][0106]
式(4)中，表示学生网络(第一初始超分辨率重建模型)第i个输出结果，教师网络(第二超分辨率重建模型)的第i个输出结果，i表示输出结果中元素为第i个，i、n为正整数，i小于n。
[0107]
基于真实数据分布的监督为基于真实的高分辨率图像对学生模型的输出结果进行监督，可以提高学生模型的重建效果，目标损失函数中的真实数据分布监督项l
gs
可以由下式获得：
[0108][0109]
式(5)中，表示输入的待处理图像对应的目标图像中第i个元素的值。
[0110]
根据式(3)至式(5)，则整体目标损失函数ls可以通过下式获得：
[0111]
ls＝αl
gs
+βl
ts
+γl
ms
ꢀꢀ
(6)
[0112]
其中，α、β、γ都可以为超参数。
[0113]
根据本公开实施例提供的超分辨率重建模型训练方法，提出将基于空间关系矩阵的监督、基于教师网络输出结果的监督以及基于真实数据分布的监督三者相融合的整体目标损失函数，实现从特征层级到图像层级的分层次监督训练，提高压缩后模型的重建效果。
[0114]
图8是根据图2至图7示出的一种图像审核流程示意图。如图8所示，首先图像审核系统响应接口请求(s802)，将输入的待处理图像首先通过图像质量判断模块进行图像质量判断(s804)，再将低分辨率图像送入轻量级的超分辨率重建模块进行重建(s806)，对重建后的图像与原始的高分辨率图像进行图像内容审核(s808)，对于通过图像内容审核的图像输出通过结果(s810)，对于未通过图像内容审核的图像输出不通过结果或进行人工审核(s812)，可有效提高图像审核的准确率。
[0115]
图9是根据图2至图8示出的一种图像超分辨率重建实现示意图。如图9所示，在轻量级模型构建过程中，将原始模型(即第二超分辨率重建模型、教师网络，对应图9中左侧网络)中的m个级联残差结构替换为n个(n远远小于m)，并可将原始网络中卷积模块9022的特征p通道替换为轻量级模型(即第一初始超分辨率重建模型、学生网络，对应图9中右侧网络)中卷积模块9042的特征q通道(q远远小于p)，通过使网络结构变浅变窄，来减少模型的参数量，减小模型体积，提高运算速度。
[0116]
在轻量级模型构建过程中，如图9所示，将教师模型和学生模型分为低、中、高三个(即上述目标数量)层级，教师模型每一个层级中包括若干个残差结构模块9024，学生模型每一个层级中包括若干个残差结构模块9044，每个残差结构模块可以包括多层卷积层和激活函数层。每一个层级蒸馏(s902)出一个(空间)关系矩阵用于训练学生网络。在教师模型和学生模型中，经过三层残差结构模块后，分别经过卷积层9026和卷积层9046后分别与初始卷积模块9022和卷积模块9042输出的结果相加，再分别经过上采样模块9028和上采样模块9048，再分别经过卷积层90210和卷积层90410输出。
[0117]
相关技术中在轻量化模型领域中，通常采用的方法例如有以下两种。
[0118]
第一种方法是模型剪枝，其需要计算一个滤波器中趋于零的激活值的个数，如果一个滤波器包含大量趋向于零的激活值，则将该滤波器去除，达到模型轻量化的目的。但该方法需要经过大量实验，且压缩后模型效果会大幅度下降。
[0119]
第二种方法则是将卷积网络替换为参数量更少的空洞卷积网络等，该方法的模型压缩率有限，无法实现模型的高度压缩。
[0120]
相对于以上两种相关技术，本公开提供的方法是在教师-学生框架中，将复杂、学习能力强的教师网络学到的特征表示“知识蒸馏”出来，传递给参数量小、学习能力弱的学生网络。本公开实施例提供的学生网络为轻量级的超分辨率重建模型，包含更少的参数量，更小的模型体积，同时压缩后的学生网络模型很好的保持了原教师网络模型的重建性能。
[0121]
图10是根据一示例性实施例示出的一种图像处理装置的框图。如图10所示的装置例如可以应用于上述系统的服务器端，也可以应用于上述系统的终端设备。
[0122]
参考图10，本公开实施例提供的装置100可以包括信息获取模块1002、图像重建模块1004和图像审核模块1006。
[0123]
信息获取模块1002可用于获取待处理图像的分辨率。
[0124]
图像重建模块1004可用于若确定待处理图像的分辨率低于预设分辨率阈值，则通过第一目标超分辨率重建模型对待处理图像进行重建，获得重建图像，其中，第一目标超分辨率重建模型由第一初始超分辨率重建模型和第二超分辨率重建模型联合训练获得，第一初始超分辨率重建模型由减少第二超分辨率重建模型中的残差结构模块的数量获得。
[0125]
图像审核模块1006可用于对重建图像进行审核，获得图像审核结果。
[0126]
图11是根据一示例性实施例示出的另一种图像处理装置的框图。如图11所示的装置例如可以应用于上述系统的服务器端，也可以应用于上述系统的终端设备。
[0127]
参考图11，本公开实施例提供的装置110可以包括信息获取模块1102、重建模型训练模块1104、图像重建模块1106和图像审核模块1108。
[0128]
信息获取模块1102可用于获取待处理图像的分辨率。
[0129]
重建模型训练模块1104可用于获取训练集，训练集包括训练图像；将训练图像分别输入第一初始超分辨率重建模型和第二超分辨率重建模型；通过第一初始超分辨率重建模型获得训练图像的第一特征向量；根据第一特征向量获得第一初始超分辨率重建模型的空间关系矩阵；通过第二超分辨率重建模型获得训练图像的第二特征向量；根据第二特征向量获得第二超分辨率重建模型的空间关系矩阵；按照目标损失函数根据第一初始超分辨率重建模型的空间关系矩阵和第二超分辨率重建模型的空间关系矩阵训练第一初始超分辨率重建模型，以获得第一目标超分辨率重建模型。
[0130]
第一初始超分辨率重建模型还可以由减少第二超分辨率重建模型中的残差结构模块的数量和卷积模块的通道数量获得。
[0131]
第一初始超分辨率重建模型可以包括目标数量层的第一残差网络，其中各层第一残差网络可以包括多个逐个连接的残差结构模块；第二超分辨率重建模型可以包括目标数量层的第二残差网络，其中各层第二残差网络可以包括多个逐个连接的残差结构模块，第二残差网络中的残差结构模块的数量多于第一残差网络中的残差结构模块；训练图像的第一特征向量可以包括目标数量个第三特征向量，训练图像的第二特征向量可以包括目标数
量个第四特征向量；第一初始超分辨率重建模型的空间关系矩阵可以包括目标数量个第一空间关系矩阵，第二超分辨率重建模型的空间关系矩阵可以包括目标数量个第二空间关系矩阵。
[0132]
重建模型训练模块1104还可用于：将第一特征向量进行归一化，获得第一归一化特征向量；将第一归一化特征向量转置后与第一归一化特征向量点乘，获得第一初始超分辨率重建模型的空间关系矩阵；将第二特征向量进行归一化，获得第二归一化特征向量；将第二归一化特征向量转置后与第二归一化特征向量点乘，获得第二超分辨率重建模型的空间关系矩阵。
[0133]
重建模型训练模块1104还可用于：将训练图像经过特征提取后，依次通过目标数量层的第一残差网络进行处理，由目标数量层的第一残差网络分别输出目标数量个第三特征向量；根据目标数量个第三特征向量中的各个第三特征向量获得目标数量个第一空间关系矩阵中的各个第一空间关系矩阵；将训练图像经过特征提取后，依次通过目标数量层的第二残差网络进行处理，由目标数量层的第二残差网络分别输出目标数量个第四特征向量；根据目标数量个第四特征向量中的各个第四特征向量获得目标数量个第二空间关系矩阵中的各个第二空间关系矩阵。
[0134]
重建模型训练模块1104还可用于：分别获得第一初始超分辨率重建模型的输出结果和第二超分辨率重建模型的输出结果；按照目标损失函数根据第一初始超分辨率重建模型的空间关系矩阵和第二超分辨率重建模型的空间关系矩阵、以及第一初始超分辨率重建模型的输出结果和第二超分辨率重建模型的输出结果训练第一初始超分辨率重建模型。
[0135]
重建模型训练模块1104还可用于：获取训练图像对应的目标图像；按照目标损失函数根据第一初始超分辨率重建模型的空间关系矩阵和第二超分辨率重建模型的空间关系矩阵、第一初始超分辨率重建模型的输出结果和第二超分辨率重建模型的输出结果、以及第一初始超分辨率重建模型的输出结果和目标图像训练第一初始超分辨率重建模型。
[0136]
图像重建模块1106可用于若确定待处理图像的分辨率低于预设分辨率阈值，则通过第一目标超分辨率重建模型对待处理图像进行重建，获得重建图像，其中，第一目标超分辨率重建模型由第一初始超分辨率重建模型和第二超分辨率重建模型联合训练获得，第一初始超分辨率重建模型由减少第二超分辨率重建模型中的残差结构模块的数量获得。
[0137]
图像审核模块1108可用于对重建图像进行审核，获得图像审核结果。
[0138]
本公开实施例提供的装置中的各个模块的具体实现可以参照上述方法中的内容，此处不再赘述。
[0139]
图12示出本公开实施例中一种电子设备的结构示意图。需要说明的是，图12示出的设备仅以计算机系统为示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0140]
如图12所示，设备1200包括中央处理单元(cpu)1201，其可以根据存储在只读存储器(rom)1202中的程序或者从存储部分1208加载到随机访问存储器(ram)1203中的程序而执行各种适当的动作和处理。在ram 1203中，还存储有设备1200操作所需的各种程序和数据。cpu1201、rom 1202以及ram 1203通过总线1204彼此相连。输入/输出(i/o)接口1205也连接至总线1204。
[0141]
以下部件连接至i/o接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1207；包括硬盘等的存储部分
1208；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至i/o接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
[0142]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(cpu)1201执行时，执行本公开的系统中限定的上述功能。
[0143]
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0144]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0145]
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括信息获取模块、图像重建模块和图像审核模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据获取模块还可以被描述为“获取待处理图像相关信息的模块”。
[0146]
作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
[0147]
获取待处理图像的分辨率；若确定待处理图像的分辨率低于预设分辨率阈值，则通过第一目标超分辨率重建模型对待处理图像进行重建，获得重建图像，其中，第一目标超分辨率重建模型由第一初始超分辨率重建模型和第二超分辨率重建模型联合训练获得，第一初始超分辨率重建模型由减少第二超分辨率重建模型中的残差结构模块的数量获得；对重建图像进行审核，获得图像审核结果。
[0148]
以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。