一种轻量化图像超分方法、装置、设备、存储介质及产品与流程

本申请实施例涉及图像处理，尤其涉及一种轻量化图像超分方法、装置、设备、存储介质及产品。

背景技术：

1、随着计算机、手机等智能设备与其相关技术的飞速发展，互联网和流媒体技术(streaming media)已经逐渐渗透到人类生活的多个方面。流媒体技术是指将一连串的媒体数据压缩后，以流的方式在网络中分段传送，实现在网络上实时传输影音以供观赏的一种技术。在网络情况不佳的情况下，观众接收到的视频流往往是低分辨率、低码率的视频，相较于高分辨率、高码率的视频而言，视频的画质会更受限。由于网络状况的限制，用户无法接收到高质量的流，可通过利用观众手机端的算力将低分辨率图像超分为高分辨率图像，以此提高图像的画质，为用户带来更好的观看体验。

2、超分，也即超分辨率，是指输入一张低分辨率图像，将其通过处理后得到一张同样内容的高分辨率图像。目前对图像的超分处理一般是基于传统超分算法和深度学习网络两种方式进行，传统的超分算法处理速度较快，但是超分效果较差，而基于深度学习网络的超分处理需要消耗大量的时间，图像超分效率较低。

技术实现思路

1、本申请实施例提供一种轻量化图像超分方法、装置、设备、存储介质及产品，以解决相关技术中图像超分处理效果较差，效率较低的技术问题，在保证图像超分处理效果的同时，有效提高图像超分处理效率。

2、在第一方面，本申请实施例提供了一种轻量化图像超分方法，包括：

3、获取待超分图像，将所述待超分图像拆分为亮度分量图像以及色度分量图像；

4、基于第一超分算法以及训练完成的残差预测模型对所述亮度分量图像进行超分处理，得到亮度超分图像；

5、基于第二超分算法对所述色度分量图像进行超分处理，得到色度超分图像；

6、将所述亮度超分图像以及所述色度超分图像进行融合，得到目标超分图像，所述目标超分图像的分辨率高于所述待超分图像的分辨率。

7、在第二方面，本申请实施例提供了一种轻量化图像超分装置，包括通道分离模块、亮度超分模块、色度超分模块以及通道融合模块，其中：

8、所述通道分离模块，配置为获取待超分图像，将所述待超分图像拆分为亮度分量图像以及色度分量图像；

9、所述亮度超分模块，配置为基于第一超分算法以及训练完成的残差预测模型对所述亮度分量图像进行超分处理，得到亮度超分图像；

10、所述色度超分模块，配置为基于第二超分算法对所述色度分量图像进行超分处理，得到色度超分图像；

11、所述通道融合模块，配置为将所述亮度超分图像以及所述色度超分图像进行融合，得到目标超分图像，所述目标超分图像的分辨率高于所述待超分图像的分辨率。

12、在第三方面，本申请实施例提供了一种轻量化图像超分设备，包括：存储器以及一个或多个处理器；

13、所述存储器，用于存储一个或多个程序；

14、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的轻量化图像超分方法。

15、在第四方面，本申请实施例提供了一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的轻量化图像超分方法。

16、在第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行如第一方面所述的轻量化图像超分方法。

17、本申请实施例通过将待超分图像拆分为亮度分量图像以及色度分量图像，通过第一超分算法以及残差预测模型对所述亮度分量图像进行超分处理得到亮度超分图像，并通过第二超分算法对色度分量图像进行超分处理得到色度超分图像，再将亮度超分图像和色度超分图像进行融合得到更高分辨率的目标超分图像，结合超分算法和深度学习模型共同对人眼感知更敏感的亮度分量图像进行超分处理，在保证图像超分质量的同时，有效提高图像超分处理效率。

技术特征：

1.一种轻量化图像超分方法，其特征在于，包括：

2.根据权利要求1所述的轻量化图像超分方法，其特征在于，所述基于第一超分算法以及训练完成的残差预测模型对所述亮度分量图像进行超分处理，得到亮度超分图像，包括：

3.根据权利要求2所述的轻量化图像超分方法，其特征在于，所述利用训练完成的残差预测模型对所述初始亮度超分图像进行修正，得到亮度超分图像，包括：

4.根据权利要求3所述的轻量化图像超分方法，其特征在于，所述根据所述亮度预测残差对所述初始亮度超分图像进行修正，得到亮度超分图像，包括：

5.根据权利要求1所述的轻量化图像超分方法，其特征在于，所述获取待超分图像，将所述待超分图像拆分为亮度分量图像以及色度分量图像之前，还包括：

6.根据权利要求5所述的轻量化图像超分方法，其特征在于，所述对所述第一亮度样本图像进行下采样处理得到第二亮度样本图像之后，还包括：

7.根据权利要求5所述的轻量化图像超分方法，其特征在于，所述根据所述第二亮度样本图像以及所述第一亮度样本图像确定第一超分算法对应的样本亮度残差，包括：

8.一种轻量化图像超分装置，其特征在于，包括通道分离模块、亮度超分模块、色度超分模块以及通道融合模块，其中：

9.一种轻量化图像超分设备，其特征在于，包括：存储器以及一个或多个处理器；

10.一种存储计算机可执行指令的非易失性存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一项所述的轻量化图像超分方法。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的轻量化图像超分方法。

技术总结
本申请实施例提供了一种轻量化图像超分方法、装置、设备、存储介质及产品。本申请实施例提供的技术方案通过将待超分图像拆分为亮度分量图像以及色度分量图像，通过第一超分算法以及残差预测模型对所述亮度分量图像进行超分处理得到亮度超分图像，并通过第二超分算法对色度分量图像进行超分处理得到色度超分图像，再将亮度超分图像和色度超分图像进行融合得到更高分辨率的目标超分图像，结合超分算法和深度学习模型共同对人眼感知更敏感的亮度分量图像进行超分处理，在保证图像超分质量的同时，有效提高图像超分处理效率。

技术研发人员：袁子逸,高虹
受保护的技术使用者：广州市百果园信息技术有限公司
技术研发日：
技术公布日：2024/1/16