图像处理方法、装置、设备以及存储介质与流程

1.本技术实施例涉及图像处理领域，特别涉及一种图像处理方法、装置、设备以及存储介质。


背景技术：

2.在用户进行图像拍摄的过程中，拍摄的设备很容易受到环境以及设备自身等因素的影响，造成图像模糊或者重影等问题；在保存或者截图得到图像数据时，往往会压缩原始图像的图像质量，导致得到的图像数据不清楚。此时，需要对这些存在模糊、不清楚或者重影等问题的图像数据进行清晰度增强，以得到更为清晰的图像。
3.相关技术中，往往是将需要调整的图像输入用于图像处理的应用程序中，通过应用程序内置的锐化功能和清晰度功能，完成对图像数据清晰度提升的效果。
4.然而，应用程序内置的锐化功能以及清晰度功能，是面向图像数据内的所有图像特征，在调整时，会将图像内所有的特征都进行锐化调整。示例性的，在将锐化功能中的锐化值调节至较大的数值时，会造成图像调节过度，破坏图像原始的图像内容，导致图像清晰度的调整效率偏低。


技术实现要素：

5.本技术实施例提供了一种图像处理方法、装置、设备以及存储介质，提高对图像清晰度调整的效率。技术方案如下。
6.一方面，提供了一种图像处理方法，方法包括：获取样本图像和与所述样本图像匹配的低质处理图像，所述低质处理图像是对所述样本图像中的指定特征表现进行低质处理得到的图像；通过第一候选网络对所述低质处理图像的指定特征表现进行特征提取，得到第一样本特征表示；通过第二候选网络对所述低质处理图像的图像内容进行特征提取，得到第二样本特征表示；基于所述第一样本特征表示和所述第二样本特征表示得到预测图像，所述预测图像是对所述低质处理图像的指定特征表现进行增强后的图像；基于所述样本图像与所述预测图像之间的差异对所述第一候选网络进行训练，得到第一图像处理网络；以及，对所述第二候选网络进行训练，得到第二图像处理网络；对所述第一图像处理网络和所述第二图像处理网络进行算子融合，得到目标图像处理网络，所述目标图像处理网络用于对图像的指定特征表现进行增强处理。
7.另一方面，提供了一种图像处理装置，装置包括：获取模块，用于获取样本图像和与所述样本图像匹配的低质处理图像，所述低质处理图像是对所述样本图像中的指定特征表现进行低质处理得到的图像；提取模块，用于通过第一候选网络对所述低质处理图像的指定特征表现进行特征
提取，得到第一样本特征表示；所述提取模块，还用于通过第二候选网络对所述低质处理图像的图像内容进行特征提取，得到第二样本特征表示；预测模块，用于基于所述第一样本特征表示和所述第二样本特征表示得到预测图像，所述预测图像是对所述低质处理图像的指定特征表现进行增强后的图像；训练模块，用于基于所述样本图像与所述预测图像之间的差异对所述第一候选网络进行训练，得到第一图像处理网络；以及，对所述第二候选网络进行训练，得到第二图像处理网络；融合模块，用于对所述第一图像处理网络和所述第二图像处理网络进行算子融合，得到目标图像处理网络，所述目标图像处理网络用于对图像的指定特征表现进行增强处理。
8.另一方面，提供了一种计算机设备，计算机设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述本技术实施例中任一图像处理方法。
9.另一方面，提供了一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述本技术实施例中任一的图像处理方法。
10.另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一的图像处理方法。
11.本技术实施例提供的技术方案带来的有益效果至少包括：将提升图像清晰度的过程解耦为训练阶段和应用阶段，在训练阶段应用不同的候选网络对低质处理图像的内容特征和指定特征表现进行分别提取。基于提取不同的样本特征表示得到预测图像，并利用预测图像和样本图像之间的差异，对不同的候选网络进行网络训练；在应用阶段直接将训练得到的两个图像处理网络进行融合，等效为单个推理速度更快的目标图像处理网络。在实现不破坏图像本身的内容特征的基础上，提升对图像指定特征表现的提取准确率以及效率，最终应用目标图像处理网络时，得到视觉效果更为清晰的增强图像。
附图说明
12.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
13.图1是本技术一个示例性实施例提供的实施环境示意图；图2是本技术一个示例性实施例提供的图像处理方法的整体框架图；图3是本技术一个示例性实施例提供的图像处理方法的流程图；图4是基于图3示出的图像退化处理的具体示意图；
图5是本技术另一个示例性实施例提供的图像处理方法的流程图；图6基于图5示出的图像处理算法的内部结构示意图；图7是本技术又一个示例性实施例提供的图像处理方法的流程图；图8是本技术另一个实施例提供的训练过程中进行算子融合的流程图；图9是基于图8示出的算子融合结构示意图；图10是本技术一个示例性实施例提供的图像处理方法的对象评测结果图；图11是本技术一个示例性实施例提供的图像处理方法和样本方法三的速度对比图；图12是本技术另一个示例性实施例提供的在应用阶段对图像进行处理的方法的流程图；图13是本技术另一个示例性实施例提供的应用于视频处理方法的流程图；图14是本技术一个示例性实施例提供的图像处理装置的结构框图；图15是本技术另一个示例性实施例提供的图像处理装置的结构框图；图16是本技术一个示例性实施例提供的服务器的结构框图。
具体实施方式
14.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
15.首先，针对本技术实施例中涉及的名词进行简单介绍。
16.样本图像：是待用于进行模型训练的图像数据；在本技术实施例中，样本图像实现为高清图像，如：由单目相机拍摄的2k分辨率以上的图像。
17.低质处理图像：是对高清样本图像进行图像退化处理后得到的图像。在本技术实施例中，图像退化处理包括但不限于图像压缩、图像下采样、图像加噪以及图像模糊。通过模拟图像会出现低画质的因素，构建后续应用于网络训练过程中的训练数据集，在网络训练过程中，直接对低质处理图像进行特征提取。
18.指定特征表现：用于指示图像的低层视觉特征。在图像语义中，图像的底层视觉特征包括轮廓特征、边缘特征、纹理特征以及形状特征中的至少一种。在本技术实施例中，通过对低层视觉特征进行特征提取，并对其进行增强处理，实现对图像清晰度增强的效果。
19.第一候选网络：是对低质处理图像的指定特征表现进行特征提取的网络。在本技术实施例中，第一候选网络可以实现为一个单独的特征提取网络，也可以实现为多个串行的特征提取网络，也可以实现为多个并行的特征提取网络。当实现为一个单独的特征提取网络时，通过第一候选网络对低质处理图像内的至少一个指定特征表现进行特征提取；当实现为一个多个串行/并行的特征提取网络时，通过至少一个第一候选网络对低质处理图像的指定特征表现进行特征提取。在本技术实施例中，第一候选网络实现为用于面向低层视觉特征的特征提取网络，示例性的，第一候选网络包括但不限于索贝尔sobel候选网络、拉普拉斯laplacian候选网络、沙尔scharr候选网络、log（laplacian of gaussian，简称log）候选网络以及高斯模糊候选网络。在另一个可选的实施例中，第一候选网络可以以网络算子替代，如，将sobel候选网络替换为sobel算子，将拉普拉斯laplacian候选网络替换为拉普拉斯laplacian算子，将高斯模糊候选网络替换为高斯gaussian算子。利用第一候选
网络对低质处理图像的指定特征表现进行提取后，就代表已经对低质处理图像的指定特征表现作了增强处理。
20.第二候选网络：是对低质处理图像内的图像内容进行特征提取的网络。在本技术实施例中，第二候选网络用于表征保留低质处理图像本身的内容特征，如：采用线性插值方式对低质处理图像进行处理，该线性插值方式用于对低质处理图像中的像素点进行放大处理。
21.目标图像处理网络：是对第一图像处理网络和第二图像处理网络进行算子融合后得到的网络，第一图像处理网络是前序过程中对第一候选网络进行训练得到的网络，第二图像处理网络也是前序过程中对第二候选网络进行训练得到的网络。该目标图像处理网络可以直接应用于应用阶段，例如，直接将待进行清晰度增强的目标图像输入目标图像处理网络，得到清晰度更高的增强图像，使原有的目标图像具备更好的视觉显示效果。
22.相关技术中，图像清晰度处理方法主要通过如下方式。
23.（1）由用户自行对需要进行清晰度增强的图像进行调整，一般是直接使用图像处理应用程序中的锐化工具，对图像内的所有像素点都进行清晰度调整。此过程中虽然对图像的清晰度有多提升，但破坏了图像内的图像内容特征，造成图像失真。
24.（2）利用预设算子自动对调整图像的清晰度，该预设算子预先对图像内的像素点进行分区，进而对分区后的区域采用不同的特征网络对图像内的所有特征进行提取，完成对图像清晰度调整的目的。此方案中，仍然是对图像内所有的特征进行提取，虽然起到了提升图像清晰度的作用，但不可避免会对图像本身的内容特征造成破坏，如：增强后的图像中出现噪点、轮廓区域附近的图像衔接生硬等，一定程度上降低图像清晰度的调整效率。
25.本技术实施例提供了一种图像处理方法，在训练过程中，通过不同的候选网络对低质处理图像内的指定特征表现进行特征提取；基于提取后的样本特征标识得到低质处理图像对应的预测图像，基于样本图像和预测图像之间的差异对不同的候选网络进行训练；最终对训练得到的图像处理网络进行算子融合，得到应用于应用阶段的目标图像处理网络。在应用过程中，直接将目标图像输入目标图像处理网络，就可以面向目标图像的指定特征表现进行增强处理，得到清晰度更高的图像。
26.示例性的，本技术中利用sobel算子、laplacian算子以及gaussian算子提取目标图像对应的指定特征表现；利用线性差值的方式提取目标图像对应的图像内容特征，并对三个算子提取的特征表示，以及图像内容特征对应的特征表示进行卷积融合，实现提取目标图像低层视觉特征的准确率。在应用阶段中，将卷积融合得到的算子等效调换为独立的单处理网络。在对图像清晰度进行调整时，直接应用单处理网络即可，在训练阶段中部署多个分支结构（第一候选网络和第二候选网络），提高数据处理的并行度以及计算效率；训练完毕后，再将多个分支结构进行等效替换，得到图像清晰度处理速度更快的图像处理网络。
27.值得注意的是，上述示例中，还可以利用其他算子提取图像内的指定特征表现，本技术对此不加以限定。
28.图1是本技术一个示例性实施例提供的实施环境示意图，如图1所示，该实施环境中包括终端110、服务器120以及通信网络130，其中，终端110和服务器120之间通过通信网络130连接。在一些可选的实施例中，通信网络130可以是有线网络，也可以是无线网络，本技术实施例对此不加以限定。
29.在一些可选的实施例中，终端110包括但不限于智能手机、平板电脑、笔记本电脑、台式计算机、智能家电、智能车载终端、智能音箱、数码相机等。以终端110实现为智能手机为例进行说明。可选的，终端110中安装有目标应用程序，目标应用程序内提供有用于对图像的指定特征表现进行增强处理，也即，实现对图像清晰度的调整。该目标应用程序可以是传统应用程序，也可以是云应用程序，也就可以实现为宿主应用程序中的小程序或应用模块，如：快应用等，也可以实现为网页平台，本技术对此不加以限定。示意性的，当需要对目标图像进行清晰度调整时，如图1所示，服务器120接收终端110上传的目标图像，并对目标图像的指定特征表现进行增强处理，得到增强图像，该增强图像用于指示对目标图像的清晰度进行调整后得到的图像。服务器120将增强图像反馈至终端110，由终端110对增强图像进行显示。
30.在一些可选的实施例中，服务器120用于为终端110中安装的目标应用程序提供图像色清晰度调整服务。可选的，服务器120中设置有目标图像处理网络，其中，目标图像处理网络是应用本技术提供的图像处理方法训练得到的网络模型。示例性，服务器120接收目标图像后，将目标图像输入目标图像处理网络中，通过目标图像处理网络对目标图像内的指定特征表现进行增强处理，得到增强图像，并将增强图像反馈至终端110进行显示。示例性的，通过目标图像处理网络更好的提取目标图像内的线条、轮廓、纹理等低层视觉特征，并对低层视觉特征进行增强处理，得到更佳的图像清晰度增强效果。
31.在一些可选的实施例中，目标图像处理网络也可以部署在终端110侧，由终端110在本地实现图像清晰度调整，此过程中终端110与服务器120无数据交互流程。本技术实施例对图像处理方法的执行主体不加以限定。
32.值得注意的是，服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn（content delivery network，内容分发网络）以及大数据和人工智能平台等基础云计算服务的云服务器。
33.其中，云技术（cloud technology）是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、存储、处理和共享的一种托管技术。云技术是基于云计算商业模型应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务器需要大量的计算、存储资源，如：视频网站、图片类网站和更多的门户网站。伴随这着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。可选的，服务器120还可以实现为区块链系统中的节点。
34.需要说明的是，本技术所涉及的信息（包括但限于用户设备信息、用户个人信息等）、数据（包括但不限于分析的数据、存储的数据、展示的数据等）以及信号，均经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规的标准。例如，本技术中涉及到的样本图像是在充分授权的情况获取的。
35.其次，对本技术的应用场景进行说明。
36.一、应用于图像处理场景，该图像可以是拍摄得到的图像、通过截图工具得到的图
像、在应用程序或网页直接保存的图像、用户自行制作生成的图像。当需要对图像进行增强处理时，利用本技术实施例提供的一种图像处理方法，提高图像清晰度的效果。
37.示例性的，当图像是拍摄得到的图像时，在拍摄阶段，很容易受到环境、设备自身条件等因素的影响，导致拍摄得到的图像重影、模糊、场景亮度过暗的问题。这样的图像显示是无法满足用户对图像质量的需求，则需要用户自行对拍摄得到的图像进行处理，且此类处理通常是针对整个图像内容进行调整，如：调整图像整体显示亮度、调整图像整体的锐化度等等，影响图像的整体效率。又或者，当图像是在应用程序或网页直接保存的图像，在图像保存的过程中，通常是直接对图像的画质进行压缩保存，这就导致用户得到的图像的清晰度低于图像本身的清晰度，后续仍然需要用户自行调整图像来显示对清晰度调整的目的。整体过程人机交互效率偏低，且图像的增强处理效率偏低。本技术实施例提供的图像处理方法在上述拍摄过程中以及图像保存过程，对图像的指定特征表现（低层视觉特征）进行增强处理，在不破坏图像本身的图像内容的基础上，保证得到的图像具备更高的清晰度。
38.二、应用于视频处理场景。该视频可以实现为直播、短视频、在线视频等。当用户在视频类应用程序上观看直播视频、短视频、在线视频时，视频的质量层次补齐，视频画面会存在模糊、重影等问题，且难以通过手动调整清晰度来改善视频画面的视觉效果。通过本技术实施例提供的图像处理方法可以对视频画面的清晰度进行实时且自动调整，在保持视频画面质量的同时，提高视频画面的清晰度。或者，用户在观看视频的过程中，不可避免地会出现网络传输状况不佳的情况，此时视频类应用程序会采用降低传输码率的方式完成视频传输，这种情况下，用户接收端接收到的视频的清晰度会显著下降，严重降低用户的观看体验。为了提高用户接收端低码率视频的画面清晰度，可采用本技术实施例提供的图像处理方法，在用户接收端实时将低清视频增强处理为高清视频进行播放，实现视频的“低码率传输，高画质播放”，提高视频播放的效率。
39.值得注意的是，上述应用场景仅为示意性的举例，本技术实施例对图像处理方法的其他应用场景不加以限定。
40.最后，针对本技术实施例提供的图像处理方法的整体流程进行概述。
41.图2是本技术实施例提供的图像处理方法的整体流程框架图，此流程中包括训练阶段20和应用阶段21，其中，训练阶段20用于指示对进行图像清晰度增强的目标图像处理网络进行训练的过程，应用阶段21用于指示对训练阶段20得到的目标图像处理网络进行应用的过程。
42.在本技术实施例中，训练阶段20中包括训练数据构建过程200以及模型训练过程210。
43.在训练数据构建过程200中，获取预设分辨率以上的高清图像作为样本图像；并对样本图像进行图像退化处理，得到样本图像对应的低质处理图像，在后续模型训练过程210中直接输入低质处理图像即可。
44.在模型训练过程210中，将低质处理图像输入第一候选网络和第二候选网络，得到第一候选网络对应的第一样本特征标识，以及第二候选网络对应的第二样本特征表示；基于第一样本特征表示和第二样本特征表示，得到低质处理图像对应的预测图像；本技术实施例中，第一候选网络用于指示对低质处理图像的指定特征表现进行特征提取的网络，第二候选网络用于指示对低质处理图像的内容特征进行提取的网络。基于预测图像和样本图
像之间的差异对第一候选网络和第二候选网络分别进行训练，得到第一图像处理网络和第二图像处理网络；在推理阶段，将第一图像处理网络和第二图像处理网络进行算子融合，得到目标图像处理网络。在本技术实施例中，图像增强网络用于提取低质处理图像对应的指定特征表现和图像内容特征。
45.在应用阶段21中，直接将待进行清晰度增强的目标图像输入目标图像处理网络，最终得到清晰度增强的特征增强图像。
46.综上所述，本技术实施例提供的一种图像处理方法，需要先模拟低质处理图像，完成训练数据的构建，然后面向图像的低层视觉特征构建多分支候选网络进行训练；在训练完成后，将多分支候选网络等效替换成单分支网络进行部署，实现对图像清晰度进行增强的需求。
47.结合上述对本技术整体流程的概述，对模型（网络）训练的过程进行详述，具体请参见图3，图3示出了本技术一个示例性实施例提供的图像处理方法的流程图。如图3所示，该方法包括如下步骤301至步骤306。
48.步骤301，获取样本图像和与样本图像匹配的低质处理图像。
49.由于本技术提供的图像处理方法的主要目标是为了提升图像的清晰度，在构建样本图像时，选取高质图像进行网络训练。也即，在本技术实施例中，样本图像用于指示预设分辨率以上的高质图像，示例性的，预设分辨率可以是2k分辨率，样本图像则用于指示2k分辨率以上的高质图像。可选的，样本图像可以是由专业摄像设备拍摄得到的图像。
50.低质处理图像是对样本图像中的指定特征进行低质（降质）处理得到的图像。也即，低质处理图像用于指示对样本图像进行图像退化处理，通过图像退化处理降低图像原本的图像质量，以此模拟实际图像会出现低画质的因素。
51.本技术实施例中，如图4所示，该图像退化处理40包括但不限于图像压缩41、图像下采样42、图像加噪43以及图像模糊44。
52.可选的，图像压缩41包括但不限于行程长度压缩、有损压缩（joint photographic experts group，简称jpeg压缩）等。
53.行程长度压缩用于指示将一条扫描行中颜色值相同的相邻像素用同一个计数值和像素对应的颜色值来代替，例如，当图像内某一行的颜色值为aaabccccccddeee，利用行程长度压缩可用3a1b6c2d3e来代替。
54.jpeg压缩能够获取高压缩比的图像，将此种高压缩率的方式定义为有损压缩，通俗来说，就是将样本图像中不重要的部分去掉，保存样本图像中重要的部分，最终通过量化编码的方式得到压缩后的样本图像，如：数据8215451.200000001，“0.000000001”属于不重要的部分，将不重要的部分进行忽略，将“8215451.2”进行保存。
55.在另一个示例性实施例中，当样本图像实现为样本视频时，图像退化处理则包括固定速率系数压缩（constant ratefactor，简称crf），crf压缩用于指示一种保证一定质量，并智能分配码率的视频压缩技术，其中智能分配码率包括同一帧内分配码率和帧间分配码率。由于crf压缩为业内人士的常规技术手段，此处对crf压缩的原理不加以赘述。
56.可选的，图像下采样42包括但不限于对样本图像采用最近下采样、双线性插值、双三次插值等技术进行降质。图像加噪43用于指示对样本图像随机叠加高斯噪声、柏松噪声、椒盐噪声，瑞利噪声，指数分布噪声和均匀分布噪声中的至少一种。图像模糊44用于指示对
样本图像叠加高斯模糊或者振铃伪影。
57.在本技术实施例中，对样本图像进行图像退化处理时，对样本图像随机选用上述四种图像退化处理操作，且在使用上述图像退化处理操作时，对每个操作的超参数也进行随机选取。如：对样本图像a选取图像下采样内双线性差值的方式进行完成图像降质，对样本图像b添加噪声幅值1的高斯噪声，对样本图像c添加噪声幅值2的高斯噪声，可见，此过程中，图像退化操作的选取，以及针对某个退化操作的超参数的选取都具备一定随机性，能够更高效地模拟低质图像。
58.步骤302，通过第一候选网络对低质处理图像的指定特征表现进行特征提取，得到第一样本特征表示。
59.可选的，指定特征表现用于指示图像的低层视觉特征。示意性的，图像的底层视觉特征（指定特征表现）包括轮廓特征、边缘特征、纹理特征以及形状特征中的至少一种。
60.在本技术实施例中，第一候选网络用于指示对低质处理图像的指定特征表现进行特征提取，如：第一候选网络提取低质处理图像内的轮廓特征、边缘特征、纹理特征以及形状特征。示例性的，第一候选网络包括sobel算子、laplacian算子以及gaussian算子、scharr算子、log算子中的至少一个；也就是说，第一候选网络在对提取低质处理图像的指定特征表现的同时也对指定特征表现进行了一定程度的增强。
61.第一样本特征表示用于表征低质处理图像内指定特征表现所对应的特征数值。示例性，对低质处理图像输入第一候选网络，得到第一样本特征表示[a b c d]，其中，特征值a用于表示低质处理图像的轮廓特征，特征值b用于表示低质处理图像的边缘特征，特征c用于表示低质图像的纹理特征，特征值d用于表示低质图像的形状特征。可选的，第一样本特征表示以矩阵的形式进行体现。
[0062]
步骤303，通过第二候选网络对低质处理图像的图像内容进行特征提取，得到第二样本特征表示。
[0063]
可选的，第二候选网络用于指示对低质处理图像内的图像内容特征进行特征提取。在本技术实施例中，第二候选网络用于表征保留低质处理图像本身的内容特征，如：采用线性插值方式对低质处理图像进行处理，该线性插值方式用于对低质处理图像中的像素点进行放大处理。
[0064]
在本技术实施例中，图像内容特征用于指示低质处理图像内所有特征的像素点取值的总和，如：图像内容特征为50，该像素点取值50用于指示轮廓特征、纹理特征、形状特征、边缘特征、颜色特征、空间特征所对应的像素点取值的总和。
[0065]
步骤304，基于第一样本特征表示和第二样本表示得到预测图像。
[0066]
前序过程中，第一样本特征表示是用于表征低质处理图像的指定特征表现，而第二样本特征表示是用于表征低质处理图像的图像内容特征。
[0067]
示例性的，将第一样本特征表示的低层视觉特征和第二样本特征表示的内容特征，进行逐像素相加，得到预测图像。
[0068]
该预测图像是对低质处理图像的指定特征表现进行增强后的图像。如，第一候选网络提取低质处理图像的轮廓特征、边缘特征、纹理特征以及形状特征，得到低层视觉特征图像，而第二候选网络是采用线性插值对低质处理图像进行像素点放大，得到内容特征图像，将低层视觉特征所对应的像素点数值与内容特征图像所对应的像素点数值进行叠加处
理，得到预测图像；换句话说，是将已经增强处理的低层视觉特征叠加至原始低质处理图像，得到最终的预测图像，如：通过第一候选网络得到指定特征表现[a b c d]，由于特征a用于表示低质处理图像的轮廓特征，在进行像素点叠加的时候，将特征a的像素点数值，直接叠加至经过线性插值得到的低质处理图像对应的像素点处。
[0069]
步骤305，基于样本图像与预测图像之间的差异对第一候选网络进行训练，得到第一图像处理网络；以及，对第二候选网络进行训练，得到第二图像处理网络。
[0070]
在本技术实施例中，计算样本图像和预测图像之间的像素点差异，得到样本图像与预测图像之间的损失值；基于该损失值对第一候选网络进行训练，得到第一图像处理网络；以及，对第二候选网络进行训练，得到第二图像处理网络。
[0071]
可选的，基于该损失值，对第一候选网络和第二候选网络内的网络参数进行训练，得到第一候选网络对应的第一图像处理网络，第二候选网络对应的第二图像处理网络。如，第一候选网路为sobel算子，第二候选网络为线性插值网络，通过预测图像和样本图像之间的损失值，对sobel算子和线性插值网络内的可学习参数进行参数更新，得到更新后的sobel算子，以及更新后的线性插值网络。
[0072]
步骤306，对第一图像处理网络和第二图像处理网络进行算子融合，得到目标图像处理网络。
[0073]
在一些实施例中，可直接对第一图像处理网络和第二图像处理网络形成的网络结构进行应用，也就是说，目标图像处理网络中包括第一图像处理网络和第二图像处理网络。示意性的，在应用过程中，将待进行清晰度增强的图像数据输入目标图像处理网络，得到清晰度提升的增强图像。
[0074]
在另一个可选的实施例中，对第一图像处理网络和第二图像处理网络进行算子融合，该算子融合过程可通过卷积模块实现。也即，将第一图像处理网络的参数和第二图像处理网络的参数融合为一个单独的处理网络，得到目标图像处理网络。后续在应用过程中，直接利用算子融合后的目标图像处理网络对图像清晰度进行调整。
[0075]
综上所述，本技术实施例提供的图像处理方法，将提升图像清晰度的过程解耦为训练阶段和应用阶段，在训练阶段应用不同的候选网络对低质处理图像的内容特征和指定特征表现进行分别提取。基于提取不同的样本特征表示得到预测图像，并利用预测图像和样本图像之间的差异，对不同的候选网络进行网络训练；在应用阶段直接将训练得到的两个图像处理网络进行融合，等效为单个推理速度更快的目标图像处理网络。在实现不破坏图像本身的内容特征的基础上，提升对图像指定特征表现的提取准确率以及效率，最终应用目标图像处理网络时，得到视觉效果更为清晰的增强图像。
[0076]
图5是本技术另一个实施例提供的一种图像处理网络的训练流程图，如图5所示，该方法包括如下步骤。
[0077]
步骤一，获取样本图像50。
[0078]
在本技术实施例中，样本图像用于指示预设分辨率以上的高质图像，示例性的，预设分辨率可以是2k分辨率，样本图像则用于指示2k分辨率以上的高质图像。可选的，样本图像可以是由专业摄像设备拍摄得到的图像。
[0079]
步骤二，将样本图像50经由图像扩增模块51扩增图像的多样性，得到扩增后的样本图像52。
[0080]
可选的，图像扩增模块51包括至少一种扩增方法，样本图像50的扩增方式包括但不限于如下方式。
[0081]
1）图像随机水平翻转方法，用于指示以一定概率对样本图像50进行水平翻转，如：以50%的概率对样本图像50进行水平翻转，也就是说，在对样本图像50进行扩增时，有50%的概率需要对样本图像50进行水平翻转。
[0082]
2）图像随机旋转方法，用于指示一定角度范围内对样本图像50进行随机旋转，如：在90
°
范围内对样本图像50进行随机角度的旋转，也就是说，在对样本图像50进行扩增时，对样本图像50进行50
°
旋转。
[0083]
3）图像随机缩放方法，用于指示在一定分辨率内对样本图像50进行缩放，如：分辨率范围为2k，也就是说，在对样本图像50进行缩放时，缩放后的样本图像50的分辨率不得低于2k分辨率。
[0084]
4）图像随机补边方法，用于指示在样本图像50四周补充黑边，黑边的像素宽度值随机。
[0085]
5）图像随机垂直翻转方法，用于指示以一定概率对样本图像50进行垂直翻转，如，在对样本图像50进行扩增时，有70%的概率需要对样本图像50进行垂直翻转。
[0086]
步骤三，将扩增后的样本图像52输入低质图像构建模块53，得到扩增后的样本图像52对应的低质处理图像。
[0087]
本实施例中，通过低质图像构建模块53模拟扩增后的样本图像52会出现低画质的因素。示意性的，低质图像构建模块53中包括图像压缩、图像下采样、图像加噪以及图像模糊四种低质处理操作。
[0088]
可选的，图像压缩包括但不限于行程长度压缩、jpeg压缩；图像下采样包括但不限于对样本图像采用最近下采样、双线性差值、双三次差值等技术进行降质；图像加噪用于指示对样本图像随机叠加高斯噪声、柏松噪声、椒盐噪声，瑞利噪声，指数分布噪声和均匀分布噪声中的至少一种；图像模糊用于指示对样本图像叠加高斯模糊或者振铃伪影。
[0089]
可选的，随机选用低质图像构建模块53中的任意一个低质处理操作或者任意组合的低质处理操作，对扩增后的样本图像52进行图像降质；且在随机选择低质处理操作后，对每一个低质处理操作的操作参数也进行随机选用。如：采用噪声幅值a的高斯噪声对样本图像50进行降质，采用jpeg压缩的方式对样本图像50进行降质。
[0090]
步骤四，将低质处理图像输入图像处理算法54，得到预测图像55。
[0091]
本实施例中，如图6所示，图像处理算法54中包括第二候选网络63和n个第一候选网络64。
[0092]
本技术实施例中，图像处理算法54内的n个候选网络64的算法流程包括但不限于如下方式。
[0093]
第一种方式。
[0094]
通过n个候选网络对低质样本图像61的指定特征表现进行特征提取，得到n个第一样本特征表示，n为正整数；其中，第i个第一候选网络用于提取得到第i个第一样本特征标识，i为小于或者等于n的正整数，且n个第一候选网络对指定特征表现的提取方式不同。示例性的，通过n个第一候选网络64对扩增后的样本图像52的指定特征表现进行特征提取，第1个第一候选网络提取扩增后的样本图像52的轮廓特征，第2个第一候选网络提取扩增后的
样本图像52的纹理特征。
[0095]
第二种方式。
[0096]
通过n个第一候选网络64对低质样本图像61的多个指定特征表现进行特征提取，得到n个第一样本特征表示，不同第一候选网络对多个特征表现的提取权重不同。示例性的，以第一提取权重值利用第1个第一候选网络提取扩增后的样本图像52的所有指定特征表现，以第二提取权重值利用第2个第一候选网络提取扩增后的样本图像52的所有指定特征表现。
[0097]
上述两种方式中，第i个第一候选网络可以提取扩增后的样本图像52的单个指定特征表现，也可以提取多个甚至所有指定特征表现。此种提取方式，可以实现对低质处理图像的单个低层视觉特征进行调整，也可以对低质处理图像的整体清晰度进行调整。
[0098]
在得到n个第一样本特征表示后，通过第二候选网络对扩增后的样本图像52的图像内容进行特征提取，得到第二样本特征表示。
[0099]
如图6所述，图5示出的图像处理算法54中在得到n个第一样本特征表示和第二样本特征表示后，对第二样本特征表示和n个第一样本特征表示进行算子融合62，基于融合后的融合特征确定预测图像55。
[0100]
示例性的，对n个第一样本特征表示对应的第一像素点取值，和第二样本特征表示的第二像素点取值进行融合，得到融合特征表示；最终基于融合特征表示，确定预测图像55。
[0101]
需要注意的是，上述获取n个第一样本特征表示的过程，与获取第二样本特征表示的过程，可以是并行执行，也可以是同时执行，且在同时执行的过程中对两个流程的执行顺序不加以限定。
[0102]
在另一个可选的实施例中，n个第一候选网络可以是并行或者串行对低质处理图像的指定特征表现进行特征提取，本技术对此不加以限定。在本技术实施例中，n个第一候选网络处于并行结构，提高候选网络部署的计算效率以及并行度。
[0103]
步骤五，将扩增后的样本图像52以及预测图像55输入损失计算模块56中计算损失，基于该损失对图像增强网络54进行训练，得到目标图像处理网络。
[0104]
可选的，在损失计算模块56中计算的损失包括以下损失中的至少一种。
[0105]
1）像素一致性损失，用于约束预测图像55和扩增后的样本图像52的像素值，并保持像素值一致。
[0106]
2）感知一致性损失，用于约束预测图像55和扩增后的样本图像52的特征保持一致，此处的特征包括图像的指定特征表现和/或内容特征。示例性，将预测图像55和扩增后的样本图像52输入预训练好的特征抽取深度网络，如：vgg深度卷积网络，保证预测图像55和扩增后的样本图像52的特征一致性。
[0107]
若实现为基于像素一致性损失和感知一致性损失的联合损失对图像处理算法54进行训练，示例性的，将像素一致性损失和感知一致性损失进行加权求和得到联合损失，对图像处理算法54进行训练，得到目标图像处理网络。
[0108]
综上所述，本技术实施例中提供的图像处理方法，将提升图像清晰度的过程解耦为训练阶段和应用阶段，在训练阶段应用不同的候选网络对低质处理图像的内容特征和指定特征表现进行分别提取。基于提取不同的样本特征表示得到预测图像，并利用预测图像
和样本图像之间的差异，对不同的候选网络进行网络训练；在应用阶段直接将训练得到的两个图像处理网络进行融合，等效为单个推理速度更快的目标图像处理网络。在实现不破坏图像本身的内容特征的基础上，提升对图像指定特征表现的提取准确率以及效率，最终应用目标图像处理网络时，得到视觉效果更为清晰的增强图像。
[0109]
在本实施例中，在训练阶段，面向图像的低层视觉特征构建表征能力更强的多分支候选网络；在应用阶段，将多分支候选网络直接等效替换成推理速度更快的单分支网络进行部署，提高图像清晰度的调整效率，满足对图像清晰度进行增强的需求。
[0110]
图7是基于图5的另一个示例性实施例提供的损失计算方法，如图7所示，该方法包括如下步骤701至步骤703。
[0111]
步骤701，获取样本图像、与样本图像对应的扩增图像，以及与样本图像对应的低质处理图像。
[0112]
在本实施例中，样本图像用于指示预设分辨率以上的高质图像，示例性的，预设分辨率可以是2k分辨率，样本图像则用于指示2k分辨率以上的高质图像。可选的，样本图像可以是由专业摄像设备拍摄得到的图像。
[0113]
可选的，将样本图像输入图5示出的图像扩增模块51得到扩增图像。
[0114]
可选的，将样本图像输入图5示出的低质图像构建模块53的低质处理图像。
[0115]
具体的流程可参见对图5论述内容中的步骤一至步骤三。
[0116]
步骤702，通过图像增强算法对低质处理图像进行增强处理，得到预测图像。
[0117]
本实施例中，图像增强算法中包括第二候选网络和n个第一候选网络。
[0118]
可选的，以不同的权重值通过n个第一候选网络提取并增强低质处理图像内的多个指定特征表现，得到n个第一样本特征表示，n为正整数；如，图像增强算法中包括三个第一候选网络，分别为sobel算子、laplacian算子以及gaussian算子，以第一预设权重利用sobel算子提取低质处理图像内的所有指定特征表现，以第二预设权重利用laplacian算子提取低质处理图像内的所有指定特征表现，以第三预设权重利用gaussian算子提取低质处理图像内的所有指定特征表现。
[0119]
通过第二候选网络提取低质处理图像的内容特征，得到第二样本特征表示，如：利用线性插值的方式处理低质处理图像，以保留低质处理图像的图像内容特征。
[0120]
可选的，获取n个第一样本特征表示对应的像素点取值，得到n个第一像素点取值，以及获取第二样本特征表示的像素点取值，得到第二像素点取值；对n个像素点取值进行像素点叠加，得到叠加像素点取值；在对叠加像素点取值以及第二像素点取值对应的像素点数值进行叠加融合，得到融合特征表示；在基于融合特征表示，确定低质处理图像对应的预测图像。
[0121]
步骤703，基于预测图像和扩增图像之间的差异，对图像增强算法进行训练，得到目标图像处理网络。
[0122]
本实施例中，图像增强算法中包括第二候选网络和n个第一候选网络。
[0123]
在确定出低质处理图像对应的预测图像后，计算预测图像和扩增图像之间的损失值；基于损失值对第二候选网络，以及n个第一候选网络内的网络参数进行训练。
[0124]
其中，基于损失值对第二候选网络，以及n个第一候选网络内的网络参数进行训练所使用的方法包括但不限于如下方式。
[0125]
第一种，获取扩增图像对应的扩增图像像素点，以及预测图像对应的预测图像像素点，基于扩增图像像素点和预测图像像素点之间的像素点差异，确定扩增图像和预测图像之间的像素损失值。
[0126]
基于像素损失值，对n个第一候选网络的网络参数进行训练，得到第一图像处理网络，该第一图像处理网络中包括n个训练后的第一候选网络；对第二候选网络的网络参数进行训练，得到第二图像处理网络；或者，先将n个第一候选网络进行网络融合，得到融合候选网络，利用像素损失值对融合候选网络进行训练，得到第一图像处理网络，对第二候选网络的网络参数进行训练，得到第二图像处理网络。
[0127]
基于像素损失值对第二候选网络进行训练，得到第二图像处理网络。
[0128]
第二种，将扩增图像输入特征提取网络，输出扩增特征表示；以及，将预测图像也输入特征提取网络，输出预测特征表示；基于扩增特征表示和预测特征表示之间的差异，确定感知损失值，该感知损失值用于指示约束扩增图像和预测图像的图像特征保持一致。
[0129]
基于感知损失值，对n个第一候选网络的网络参数进行训练，得到第一图像处理网络，该第一图像处理网络中包括n个训练后的第一候选网络；对第二候选网络的网络参数进行训练，得到第二图像处理网络；或者，先将n个第一候选网络进行网络融合，得到融合候选网络，利用感知损失值对融合候选网络进行训练，得到第一图像处理网络；对第二候选网络的网络参数进行训练，得到第二图像处理网络。
[0130]
第三种，将像素损失值和感知损失值进行加权求和得到联合损失，利用联合损失对第一候选网络进行训练，得到第一图像处理网络；以及，对第二候选网络进行训练，得到第二图像处理网络。可选的，将第一图像处理网络和第二图像处理网络进行等效替换，得到目标图像处理网络。
[0131]
可选的，将第一图像处理网络和第二图像处理网络，等效替换为一个独立的图像处理网络，将独立的图像处理网络，确定为目标图像网络。
[0132]
在本实施例中，直接将待进行清晰度调整的目标图像输入目标图像处理网络中，得到目标图像对应的增强图像。
[0133]
综上所述，本技术实施例中提供的图像处理方法，将提升图像清晰度的过程解耦为训练阶段和应用阶段，在训练阶段应用不同的候选网络对低质处理图像的内容特征和指定特征表现进行分别提取。基于提取不同的样本特征表示得到预测图像，并利用预测图像和样本图像之间的差异，对不同的候选网络进行网络训练；在应用阶段直接将训练得到的两个图像处理网络进行融合，等效为单个推理速度更快的目标图像处理网络。在实现不破坏图像本身的内容特征的基础上，提升对图像指定特征表现的提取准确率以及效率，最终应用目标图像处理网络时，得到视觉效果更为清晰的增强图像。
[0134]
在本实施例中，利用一种或多种损失计算方法，约束预测图像和样本图像之间的像素点一致性以及感知一致性，以提高第一候选网络提取低质处理图像的指定特征表现的提取准确率以及提取效率。便于应用阶段，提升对目标图像清晰度的调整效率。
[0135]
图8是本技术另一个实施例提供的训练过程中进行算子融合的流程图，如图8所示，该方法包括如下步骤801至步骤804。
[0136]
步骤801，获取第一图像处理网络对应的第一参数矩阵。
[0137]
可选的，第一参数矩阵用于表示低质处理图像的指定特征表现对应的权重值，该权重值用于表示第一图像处理网络对指定特征表现提取的程度不同，示例性的，第一参数矩阵[1，4，5，0]，其中，参数1用于表示第一图像处理网络采用权重值2对边缘特征进行提取，参数4用于表示第一图像处理网络采用权重值4对轮廓特征进行提取，参数5用于表示第一图像处理网络采用权重5对纹理特征进行提取，参数0用于表示第一图像处理网络采用权重0对形状特征进行提取，从该矩阵中，可以得到第一图像处理网络对纹理特征的提取力度（程度）＞对轮廓特征的提取力度＞对边缘特征的提取力度＞对形状特征的提取力度，其中，参数为0时还可以用于指示不对该指定特征表现进行提取。
[0138]
可选的，第一图像处理网络的第一参数矩阵可以是固定的，也可以不固定的，本技术对此不加以限定。
[0139]
可选的，当第一图像处理网络中包括多个图像处理网络时，不同的图像处理网络对应的参数矩阵可以相同，也可以不同，本技术对此不加以限定。
[0140]
可选的，第一图像处理网络中还设置有第一偏置矩阵，第一偏置矩阵是为了更好的拟合低质处理图像的指定特征表现对应的像素点数值。
[0141]
示例性的，将低质处理图像输入第一图像处理网络后，得到表征低质处理图像指定特征表现的特征矩阵，其中，低质处理图像指定特征表现的特征矩阵是根据第一参数矩阵和第一偏置矩阵确定的。
[0142]
步骤802，获取第二图像处理网络对应的第二参数矩阵。
[0143]
可选的，第二参数矩阵用于表示低质处理图像的内容特征对应的权重值，该权重值用于表示第一图像处理网络对内容特征提取的程度不同，本技术实施例中，第二参数矩阵用于表示低质处理图像的所有内容特征。
[0144]
可选的，第二图像处理网络中还设置有第二偏置矩阵，第二偏置矩阵是为了更好的拟合低质处理图像的内容特征对应的像素点数值。
[0145]
示例性的，将低质处理图像输入第二图像处理网络后，得到用于表征低质处理图像所有内容特征对应的特征矩阵，其中，低质处理图像所有内容特征的特征矩阵是根据第二参数矩阵和第二偏置矩阵确定的。
[0146]
步骤803，对第一参数矩阵和第二参数矩阵进行合并，得到目标参数矩阵。
[0147]
可选的，在算子融合时，对第一图像处理网络和第二图像处理网络进行合并，也即，将第一参数矩阵和第二参数矩阵逐像素点相加，得到低质处理图像所有像素点对应的目标参数矩阵。
[0148]
可选的，将第一参数矩阵和第二参数矩阵，以及第一偏置矩阵和第二偏置矩阵分别进行逐像素点相加，得到低质处理图像所有像素点对应的目标参数矩阵以及目标偏置矩阵。
[0149]
步骤804，基于目标参数矩阵，得到目标图像处理网络。
[0150]
可选的，将目标参数矩阵作为目标图像处理网络的网络参数，得到应用阶段的目标图像处理网络。
[0151]
在另一个可选的实施例中，将目标参数矩阵和目标偏置矩阵，作为目标图像处理网络的网络参数，得到最终的目标图像处理网络。
[0152]
示例性的，当输入目标图像时，目标图像用于指示待进行指定特征表现增强的图像；具体依照下述公式1完成对目标图像的指定特征表现进行提取并增强的目的。也即，计算输入的目标图像的特征矩阵，和目标参数矩阵的乘积，并基于该乘积结果和目标偏置矩阵之和，得到目标图像对应的增强结果图像对应的特征数值，基于该特征数值得到增强结果图像。
[0153]
在另一个可选的实施例中，当第一候选网络中存在n个第一候选网络时，对n个第一候选网络进行训练后，得到对应的n个第一图像处理网络，n为正整数。
[0154]
在对n个第一图像处理网络和第二图像处理网络进行合并之前，先对n个第一图像处理网络进行算子融合，具体过程为：将n个第一图像处理网络的参数矩阵和偏置矩阵进行相加，得到目标参数矩阵和目标偏置矩阵，其中，不同的第一图像处理网络对应的参数矩阵不同，也就是说，不同的第一图像处理网络对低质处理图像的指定特征表现的提取程度不同。
[0155]
将低质处理图像输入第二图像处理网络后，得到低质处理图像所有内容特征对应的特征矩阵，其中，低质处理图像所有内容特征的特征矩阵是根据第二参数矩阵和第二偏置矩阵确定的。可选的，计算特征矩阵与目标参数矩阵的乘积结果，将该乘积结果与目标偏置矩阵之和，确定目标图像处理网络。也就是说，上述算子融合过程中，将经过n个第一图像处理网络后得到的指定特征表现和将经过第二图像处理网络后得到的内容特征，通过逐像素点相加的方式进行融合，得到增强后的图像。
[0156]
在另一个可选的实施例中，第一图像处理网络中还包括预定义线性算子和1x1卷积算子，其中，预定义线性算子可以实现为sobel算子、laplacian算子、scharr算子、log算子以及高斯算子中的任意一个。
[0157]
对算子进行合并的过程中，对第一图像处理网络内的算子进行垂直方向的合并；也即，对预定义线性算子和1x1卷积算子进行垂直方向的合并。当第一图像处理网络中存在n个第一图像处理网络时，先针对第m个第一图像处理网络内的预定义线性算子和1x1卷积算子进行垂直方向的合并，再对经过垂直方向合并的n个第一图像处理网络进行水平方向的合并，其中，m为小于或者等于n的整数。也就是说，如下内容中，对算子融合的具体流程进行详述。
[0158]
在本技术实施例中，对训练后的第一图像处理网络和第二图像处理网络进行算子融合，也可以是理解为将第一图像处理网络中的n个预定义线性算子与n个1x1卷积算子进行垂直方向的合并后的参数融合成单个线性算子。
[0159]
上述过程中，卷积算子的具体表示请参见公式1。
[0160]
公式1：公式1中，当输入是低质处理图像时，x用于表示低质处理图像，w用于表示低质处理图像对应的参数矩阵，*用于表示矩阵相乘，b用于表示偏置矩阵，用于表示低质处理图像的特征矩阵。
[0161]
参见公式1，对卷积算子进行垂直合并，在本技术实施例中，对预定义线性算子和1x1卷积算子进行卷积计算，具体卷积计算的过程可参见公式2。
[0162]
公式2：对公式2进行进一步合并，得到如下公式3。
[0163]
公式3：公式2以及公式3中，用于表示卷积算子2的参数矩阵，用于表示卷积算子1的参数矩阵，用于表示卷积算子1的特征矩阵，用于表示卷积算子1的偏置矩阵，用于表示卷积算子2的偏置矩阵，用于表示卷积算子2卷积卷积算子1后对应的特征矩阵。
[0164]
可选的，当存在多个预定义算子时，在对各个预定义算子和1x1卷积算子进行垂直合并后，需要对各个卷积结果进行水平合并。具体水平合并的过程可参见公式4。
[0165]
公式4：对公式4进行进一步合并，得到如下公式5。
[0166]
公式5：公式4和公式5中，用于表示卷积算子2的参数矩阵，用于表示卷积算子1的参数矩阵，用于表示卷积算子1的特征矩阵，用于表示卷积算子2的特征矩阵。
[0167]
可选的，n取值为4，以第一候选网络中包括4个预定义线性算子，分别为sobel-x算子、sobel-y算子、laplacian算子以及gaussian算子，第二候选网络为3x3卷积网络为例进行举例说明，具体请参见图9。
[0168]
如图9所示，在训练阶段90中，在4个预定义线性算子的垂直方向上设置一个1x1卷积算子，1x1卷积算子实际所起到的所用是为4个预定义线性算子提取指定特征表现分配不同的细粒度，如：gaussian算子与1x1卷积算子进行垂直合并，实际代表gaussian算子以细粒度a对低质处理图像的指定特征表现进行提取；laplacian算子与1x1卷积算子进行垂直合并，实际代表laplacian算子以细粒度b对低质处理图像的指定特征表现进行提取等。
[0169]
示例性的，以图9中的laplacian算子与1x1卷积算子卷积为例进行说明，依照公式3对laplacian算子与1x1卷积算子进行垂直方向的合并（卷积），得到合并后的参数矩阵为，合并后的偏置矩阵为。
[0170]
依照公式5对图9中5个并列的线性算子进行水平方向的合并，得到合并后的参数矩阵为，合并后的偏置矩阵为，其
中，、、以及、、的合并过程请依照公式3对以及的合并过程，此处不加以赘述。
[0171]
可选的，基于和确定目标图像处理网络，也即，通过上述合并过程，将多个分支结构的线性算子等效为单个线性算子，在应用阶段91中，直接利用单个线性算子完成图像清晰度提升的目的。通过算子融合的方式，将多个并行处理的分支网络等效替换为推理（处理）速度更快的单个网络，在取得更佳的图像清晰度增强效果的同时，提升对图像的处理效率。
[0172]
在另一个可选的实施例中，还可以将上述算子融合的过程应用于n个第一候选网络中，第p个第一候选网络中还包括预定义线性算子和1x1卷积算子的串联结构，以及3x3卷积算子中的至少一个，其中，预定义线性算子可以实现为sobel算子、laplacian算子、scharr算子、log算子以及高斯算子、3x3卷积算子中的任意一个，p为小于或者等于n的整数；也就是说，对算子进行合并的过程中，先对第一候选网络内串联结构中的预定义线性算子和1x1算子进行垂直方向的合并，再对经过垂直方向合并的n个第一候选网络进行水平方向的合并。具体的算子合并过程请参见上述公式1至公式5，此处不加以详述。
[0173]
综上所述，本技术实施例提供的一种图像处理方法，将提升图像清晰度的过程解耦为训练阶段和应用阶段，在训练阶段应用不同的候选网络对低质处理图像的内容特征和指定特征表现进行分别提取。基于提取不同的样本特征表示得到预测图像，并利用预测图像和样本图像之间的差异，对不同的候选网络进行网络训练；在应用阶段直接将训练得到的两个图像处理网络进行融合，等效为单个推理速度更快的目标图像处理网络。在实现不破坏图像本身的内容特征的基础上，提升对图像指定特征表现的提取准确率以及效率，最终应用目标图像处理网络时，得到视觉效果更为清晰的增强图像。
[0174]
本技术实施例中，在训练过程中，利用第二候选网络和多个第一候选网络构建表征图像低层视觉特征能力更强的多分支网络，在推理应用阶段，将多分支网络等效替换为推理速度更快的单分支网络，提高网络部署时的计算效率和并行度，加快网络的清晰度处理速度。
[0175]
图10是本技术一个示例性实施例提供的图像处理方法的对象测评结果，如图10所示。
[0176]
在测试的105个样本图像中，共有57个样本图像（占比约54%）认为本技术实施例提供的方法1010（简称本方法）得到的清晰度更高；共有30个样本图像（占比约29%）认为样本方法一1020得到的清晰度更高；共有18个样本图像（占比约17%）认为样本方法二1030得到的清晰度更高。
[0177]
从图10示出的样本图像汇总1000中，不难看出客观评价下，本技术示例性提供图像处理方法得到的图像的清晰度更高，评价也相对更高。
[0178]
值得注意的是，上述提到的样本数据以及测评结果均是经过对象授权后获取的数据。
[0179]
图11是本技术另一个示例性实施例提供的图像处理方法和样本方法三对应的清
晰度提升速度对比图。图11展示了在1024x576分辨率下图像处理的速度对比，黑色柱状图为本技术提出的方法1101，白色柱状图则为样本方法三1102。
[0180]
从图11中示出的图像数据1100中可以看出本技术实施例提供的图像处理方法1101相较于样本方法三1102在清晰度提升速度上有明显优势，在不同终端设备机型上可提供50%～80%的性能加速。
[0181]
在应用阶段，将前序实施例中涉及的训练阶段中得到的目标图像处理网络进行直接应用。图12是本技术另一个实施例提供的图像处理方法的流程图，如图12所示，该方法包括如下步骤1201至步骤1202。
[0182]
步骤1201，获取目标图像。
[0183]
可选的，目标图像是待进行指定特征表现增强的图像；也即，需要对目标图像的低层视觉特征进行增强处理，以得到清晰度更高的图像。
[0184]
步骤1202，将目标图像输入目标图像处理网络，输出得到特征增强图像。
[0185]
可选的，目标图像处理网络是在训练阶段中得到的网络。
[0186]
在训练阶段中，利用预测图像和样本图像之间的损失差异，对第一候选网络和第二候选网络进行训练，得到与第一候选网络对应的第一图像处理网络，以及与第二候选网络对应的第二图像处理网络；对第一图像处理网络和第二图像处理网络进行算子融合，将融合后的图像处理网络确定为目标图像处理网络。
[0187]
在本技术实施例中，目标图像处理网络在接收到目标图像后，提取并增强目标图像中的指定特征表现，进而与目标图像的内容特征进行逐像素点相加，得到特征增强图像；换句话说，特征增强图像是对目标图像中的指定特征表现（低层视觉特征）进行增强后的图像。
[0188]
综上所述，本技术实施例中，将训练阶段的多分支网络结构等效为单个图像处理网络，在提升图像速度的同时，还保留提高清晰度的效果。一定程度上提高对图像清晰度调整的效率。
[0189]
上述实施例中的应用场景均为图像清晰度增强场景，图13提供了在视频场景下进行清晰度提升的方法，该场景下，可直接应用目标图像处理网络进行清洗度提升。
[0190]
步骤1300，获取视频流。
[0191]
可选的，视频流是用于待播放的视频数据，或者正在浏览的视频数据；该视频流可以是终端本地、视频类应用程序、短视频类应用程序、直播类应用程序或者网页平台内的视频数据。示例性的，用户打开直播类应用程序观看某直播视频，或者，用户打开视频类应用程序观看某视频等等，因此，本技术对视频流的获取方式不加以限定。
[0192]
步骤1301，获取当前播放视频流的网络传输速率。
[0193]
本技术实施例中，可能会受到网络传输速率因素的影响，导致在线视频流画面出现卡顿，用户终端强制降低视频流的原始分辨率，以最低传输码率对在线视频流进行解码播放；示例性的，用户浏览在线视频流时，因网络传输状态较差，终端自动将原1080p分辨率的视频切换为480p分辨率的视频进行播放，这就导致原在线视频流的画面出现模糊，降低用户的观看体验。
[0194]
因此，本技术实施例中，每隔预设时间段获取终端播放视频流的网络传输速率，根据网络传输速率的数值来确定是否对视频流进行清晰度增强。
[0195]
在另一个可选的实施例中，在播放视频流的界面内提供用于清晰度增强的增强控件；响应于接收到对增强控件的触发操作，利用上述本技术实施例提供的图像处理方法对当前播放的视频流进行清晰度增强，其中，着重对视频流的低层视觉特征进行多分支结构的提取，并融合视频流原始的内容特征，得到低层视觉特征表现更强的视频流。
[0196]
步骤1302，响应于当前播放视频流的网络传输速率不低于预设传输速率，仍然以当前播放质量对视频流进行播放。
[0197]
可选的，该网络传输速率设置预设传输速率，该预设传输速率用于指示对视频流进行清晰度增强的门限值。
[0198]
响应于当前播放视频流的网络传输速率不低于预设传输速率，则代表终端具有依照当前分辨率播放视频流的能力，此时，用户本身就在浏览高质量（高分辨率）的视频流，无需为视频流的清晰度进行调整。仍然以当前播放质量对视频流进行解码播放。
[0199]
步骤1303，响应于当前播放视频流的网络传输速率低于预设传输速率，利用目标图像处理算法重新加载当前播放的视频流。
[0200]
响应于当前播放视频流的网络传输速率低于预设传输速率，则代表终端的网络传输状态不佳，此时，终端会通过降低传输码率的方式对视频流进行播放，这种情况下，当前播放的视频流的清晰度会显著下降，一定程度上降低用户的观看体验。
[0201]
为了应对上述情况，在不提升传输码率的情况下，利用本技术上述实施例提供的目标图像处理算法，在终端实时将低画质视频增强为高画质视频进行播放。
[0202]
可选的，利用目标图像处理算法对当前播放的视频流的画面进行清晰度增强，得到重新加载的视频流。
[0203]
步骤1304，对重新加载的视频流进行播放。
[0204]
可选的，终端直接对重新加载的视频流进行播放，实现低码率传输，高画质播放的效果，提升用户的观看体验。
[0205]
在另一个可选的实施例中，对视频流清晰度增强的方法还可以参见如下步骤1至步骤3。
[0206]
步骤1、获取当前播放的视频流的播放分辨率。
[0207]
步骤2、响应于播放分辨率低于预设分辨率，应用目标图像处理算法对视频流的画面数据进行清晰度增强。示例性，预设分辨率设置为480p，当视频流的播放分辨率低于480p时，视频画面数据已经出现模糊，导致用户无法有效的从视频流中获取有效信息，降低用户的观看体验；因此，自动应用目标图像处理算法对视频流的清晰度进行增强；或者，响应于接收到对播放视频流的界面内的增强控件的触发操作，应用目标图像处理算法对视频流的清晰度进行增强。
[0208]
步骤3、响应于播放分辨率不低于预设分辨率，则按照当前播放分辨率对视频流继续播放。
[0209]
本技术实施例，提供了一种视频处理方法，直接应用目标图像处理算法，实现终端实时图像清晰度增强技术，也即，在终端中将低画质视频增强为高画质视频，无需提升视频的传输码率，有效的节省用户浏览视频的视频解析流量，在提升视频清晰度的同时，也有效地提升的观看体验。
[0210]
申请人还需要指出的是，上述实施例中仅以图像和视频为例进行说明，还可以将
本技术实施例提供的图像处理方法，应用到任何需要进行清晰度调整的场景，例如，车载场景、医疗场景等，本技术对此不加以限定。
[0211]
示例性的，当应用于车载场景时，将车载终端拍摄的视频图像实时进行图像增强；或者，当终端和车载终端进行互联时，车载终端对终端传输的数据进行显示，此显示过程中，对终端传输的画面同样也进行清晰度增强，使得车载终端显示视觉效果更清晰的图像和/或视频。
[0212]
当应用于医疗场景时，部分医疗图像因设备问题导致清晰度较低，或者，较为罕见的医疗图像内所含的特征本身就不清晰，此时可以应用本技术实施例提供的图像处理方法对医疗图像进行清晰度增强。
[0213]
请参考图14，其示出了本技术一个示例性的实施例提供的图像处理装置结构框图，该装置包括如下模块。
[0214]
获取模块1400，用于获取样本图像和与所述样本图像匹配的低质处理图像，所述低质处理图像是对所述样本图像中的指定特征表现进行低质处理得到的图像。
[0215]
提取模块1401，用于通过第一候选网络对所述低质处理图像的指定特征表现进行特征提取，得到第一样本特征表示。
[0216]
所述提取模块1401，还用于通过第二候选网络对所述低质处理图像的图像内容进行特征提取，得到第二样本特征表示。
[0217]
预测模块1402，用于基于所述第一样本特征表示和所述第二样本特征表示得到预测图像，所述预测图像是对所述低质处理图像的指定特征表现进行增强后的图像。
[0218]
训练模块1403，用于基于所述样本图像与所述预测图像之间的差异对所述第一候选网络进行训练，得到第一图像处理网络；以及，对所述第二候选网络进行训练，得到第二图像处理网络。
[0219]
融合模块1404，用于对所述第一图像处理网络和所述第二图像处理网络进行算子融合，得到目标图像处理网络，所述目标图像处理网络用于对图像的指定特征表现进行增强处理。
[0220]
在一些可选的实施例中，请参考图14，所述提取模块1401，还用于通过n个第一候选网络对所述低质处理图像的指定特征表现进行特征提取，得到n个第一样本特征表示，n为正整数；其中，第i个第一候选网络用于提取得到第i个第一样本特征表示，i为小于或者等于n的正整数，且n个第一候选网络对所述指定特征表现的提取方式不同。
[0221]
在一些可选的实施例中，所述指定特征表现中包括多个特征表现，不同第一候选网络对多个特征表现的提取权重不同。
[0222]
在一些可选的实施例中，请参考图15，所述预测模块1402，还用于对所述第一样本特征表示对应的第一像素点取值，和所述第二样本特征表示对应的第二像素点取值进行融合，得到所述融合特征表示；基于所述融合特征表示确定所述预测图像。
[0223]
在一些可选的实施例中，请参考图15，所述获取模块1400，还用于获取目标图像，所述目标图像是待进行指定特征表现增强的图像。
[0224]
确定模块1405，用于将所述目标图像输入所述目标图像处理网络，输出得到特征增强图像，所述特征增强图像是对所述目标图像中的指定特征表现进行增强后的图像。
[0225]
在一些可选的实施例中，请参考图15，所述确定模块1405，还用于基于所述样本图
像与所述预测图像的像素点差异，确定像素损失值。
[0226]
所述训练模块1403，还用于基于所述像素损失值对所述第一候选网络进行训练，得到所述第一图像处理网络；以及，基于所述像素损失值对所述第二候选网络进行训练，得到所述第二图像处理网络。
[0227]
在一些可选的实施例中，请参考图15，所述确定模块1405，还用于将所述样本图像输入特征提取网络，输出样本特征表示；以及，将所述预测图像输入所述特征提取网络，输出预测特征表示；基于所述样本特征表示与所述预测特征表示之间的差异，确定感知损失值；基于所述感知损失值对所述第一候选网络进行训练，得到所述第一图像处理网络；以及，基于所述感知损失值对所述第二候选网络进行训练，得到所述第二图像处理网络。
[0228]
在一些可选的实施例中，请参考图15，所述获取模块1400，还用于获取所述第一图像处理网络对应的第一参数矩阵，第一参数矩阵用于表示所述指定特征表现对应的权重值；获取所述第二图像处理网络对应的第二参数矩阵，所述第二参数矩阵用于表示所述低质处理图像的内容特征对应的权重值。
[0229]
合并模块1406，用于对所述第一参数矩阵和所述第二参数矩阵进行合并，得到目标参数矩阵。
[0230]
所述确定模块1405，还用于基于所述目标参数矩阵，确定所述目标图像处理网络。
[0231]
综上所述，本技术实施例提供的图像处理装置，将提升图像清晰度的过程解耦为训练阶段和应用阶段，在训练阶段应用不同的候选网络对低质处理图像的内容特征和指定特征表现进行分别提取。基于提取不同的样本特征表示得到预测图像，并利用预测图像和样本图像之间的差异，对不同的候选网络进行网络训练；在应用阶段直接将训练得到的两个图像处理网络进行融合，等效为单个推理速度更快的目标图像处理网络。在实现不破坏图像本身的内容特征的基础上，提升对图像指定特征表现的提取准确率以及效率，最终应用目标图像处理网络时，得到视觉效果更为清晰的增强图像。
[0232]
图16示出了本技术一个示例性实施例提供的服务器的结构示意图。该服务器可以是如图1所示的服务器。具体来讲包括如下结构。
[0233]
服务器1600包括中央处理单元（central processing unit，cpu）1601、包括随机存取存储器（random access memory，ram）1602和只读存储器（read only memory，rom）1603的系统存储器1604，以及连接系统存储器1604和中央处理单元1601的系统总线1605。服务器1600还包括用于存储操作系统1613、应用程序1614和其他程序模块1615的大容量存储设备1606。
[0234]
大容量存储设备1606通过连接到系统总线1605的大容量存储控制器（未示出）连接到中央处理单元1601。大容量存储设备1606及其相关联的计算机可读介质为服务器1600提供非易失性存储。也就是说，大容量存储设备1606可以包括诸如硬盘或者紧凑型光盘只读存储器（compact disc read only memory，cd-rom）驱动器之类的计算机可读介质（未示出）。
[0235]
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、可擦除可编程只读存储器（erasable programmable read only memory，eprom）、带电
可擦可编程只读存储器（electrically erasable programmable read only memory，eeprom）、闪存或其他固态存储技术，cd-rom、数字通用光盘（digital versatile disc，dvd）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1604和大容量存储设备1606可以统称为存储器。
[0236]
根据本技术的各种实施例，服务器1600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1600可以通过连接在系统总线1605上的网络接口单元1611连接到网络1612，或者说，也可以使用网络接口单元1611来连接到其他类型的网络或远程计算机系统（未示出）。
[0237]
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由cpu执行。
[0238]
本技术的实施例还提供了一种计算机设备，该计算机设备可以实现为如图1所示的终端或者服务器。该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的图像处理方法。
[0239]
本技术的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的图像处理方法。
[0240]
本技术的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例提供的图像处理方法。
[0241]
可选地，该计算机可读存储介质可以包括：只读存储器（rom，read only memory）、随机存取记忆体（ram，random access memory）、固态硬盘（ssd，solid state drives）或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体（reram，resistance random access memory）和动态随机存取存储器（dram，dynamic random access memory）。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0242]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0243]
以上所述仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。