一种结合超分辨率和残差编码技术的图像压缩框架的制作方法

本发明涉及图像超分辨率和图像压缩技术，具体涉及一种结合超分辨率和残差编码技术的图像压缩框架，属于图像通信领域。

背景技术：

图像是人类生产和生活当中不可或缺的信息载体，相关科技和产业的发展对图像的质量提出了愈加苛刻的需求。高质量图像往往占用大量的存储空间，在网络传输过程中同样需要耗费庞大的数据流量，造成信道带宽不足的问题。对此，经典的图像压缩技术，如jpeg、jpeg2000能够在尽可能保证图像质量的前提下最大限度地压缩数据量。然而随着高清和超高清图像的出现，伴随着网络带宽和存储介质的局限，客观上对图像压缩技术提出了更加苛刻的需求。jpeg和jpeg2000等主流压缩标准的编码性能尽管已经被越来越多的后起之秀所超越，然而由于多媒体领域大量系统和设备依然对其保持着强烈的依赖性，短时间之内还不可能被完全取代。

为了适应现有主流图像压缩标准，本发明设计出一种图像压缩框架。该框架可仍然保留使用现有的主流编解码器(如jpeg/jpeg2000)，同时引入超分辨率技术和残差反馈技术，定位于提升对该编解码器在低码率段的率失真性能。

技术实现要素：

本发明提出的一种结合超分辨率和残差编码技术的图像压缩框架，该压缩框架可利用现有经典的图像压缩编码标准作为第三方编码器并提升其性能。以经典的jpeg2000压缩标准为例，本发明所提框架在低码率段能有效提升其率失真性能；在相同解码图像质量的需求下，本发明所提框架能实现更高的压缩率。

本发明所提出的一种结合超分辨率和残差编码技术的图像压缩框架，主要包括以下操作步骤：

(1)对原始待压缩图像迭代反投影下采样，得到采样后的小图；

(2)在编码端将小图通过jpeg2000标准压缩，将码流和去噪边信息一并传输到解码端；

(3)在解码端得到解码小图，并将小图通过基于码率分类的超分辨率重建成解码大图；

(4)结合去噪边信息抑制解码大图中的压缩噪声，提升解码大图的质量；

(5)在编码端计算解码大图与原始待压缩图像的残差，并通过残差编码技术传输到解码端；

(6)在解码端得到解码残差图，并与解码大图叠加，恢复出最终的解码图像。

附图说明

图1是本发明结合超分辨率和残差编码技术的图像压缩框架流程图

图2是残差图像的树状结构分割示意图

图3是本发明和jpeg2000压缩算法对‘leaves’测试图像的率失真性能比较

图4是本发明及jpeg2000压缩算法对‘butterfly’测试图像的率失真性能比较

图5是‘lena’原图在码率为0.1bpp时，jpeg2000及本发明的解码图像的视觉效果比较

图6是‘butterfy’原图在码率为0.6bpp时，jpeg2000及本发明的解码图像的视觉效果比较

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，一种结合超分辨率和残差编码技术的图像压缩框架，包括以下步骤:

(1)对原始待压缩图像迭代反投影下采样，得到采样后的小图；

(2)在编码端将小图通过jpeg2000标准压缩，将码流和去噪边信息一并传输到解码端；

(3)在解码端得到解码小图，并将小图通过基于码率分类的超分辨率重建成解码大图；

(4)结合去噪边信息抑制解码大图中的压缩噪声，提升解码大图的质量；

(5)在编码端计算解码大图与原始待压缩图像的残差，并将残差通过残差编码技术传输到解码端；

(6)在解码端得到解码残差图，并与解码大图叠加，恢复出最终的解码图像。

具体地，所述步骤(1)中，我们首先将待压缩的图像通过迭代反投影下采样方法↓得到小图。该采样方法↓得到的采样图像x通过超分辨率方法↑重建到原始大小之后，与原始输入图像y的误差尽可能小，其数学模型即满足公式(1)。同时为实现快速收敛，↓可具体定义为双三次下采样，↑可具体定义为简单的双三次插值。

x＝argmin||y-↑x||(1)

所述步骤(2)中，在编码端通过jpeg2000对小图压缩成码码流传输到解码端。同时，在编码端执行与步骤(3)同样的解码和重建过程，然后对重建出的图像通过去噪技术抑制压缩噪声。由于去噪强度可调，因此可在此过程中计算出最优的去噪系数，该系数将传输到解码端用于协助解码图像的质量提升。

所述步骤(3)中，使用基于码率分类的a+(anchoredneighborhoodregression)算法对解码小图超分辨重建成原始大小。a+算法本身是纯粹的超分辨率算法，其字典学习模型与基于稀疏表示的字典学习颇为相似，本质上仍然是学习高低分辨率图像之间的对应关系。因此准确地把握图像降质模型尤为重要。在本框架中，输入图像y经历了两次降质过程：(1)自适应下采样↓；(2)jpeg2000压缩损失j。并且，jpeg2000在不同码率时信息损失程度不一样。因此本节提出，对码率进行间隔为0.1bpp的分类，并对每一类训练出转换关系pi满足公式(2)，从而构建出融合迭代反投影下采样损失和压缩损失的“一对多”映射模型。

pi＝argmin|y-(↓jy)*pi||(2)

所述步骤(4)中，从码流中分离出的去噪边信息，获取到对于当前解码大图的最优去噪系数。使用该系数控制去噪强度，从而最大限度地抑制解码大图的压缩噪声，提升解码大图的质量。

所述步骤(5)中，通过在编码端模拟解码、重建及去噪过程，可以计算出解码大图，将该解码大图与原始待压缩图像相减从而构建成闭环反馈回路。由于压缩过程和采样过程必然会造成图像信息的大量损失，这部分损失信息被定义为解码图像与原图之间的残差。通过闭环反馈回路得到的残差图像通常不具备自然图像的普遍特征，因此我们利用针对性的残差编码技术压缩成码流并传输到解码端。残差图像编码采用树状结构编码模式，即图像被分割为大小为16×16的宏块分别处理。根据其纹理复杂等特征，每个宏块可以4种方式分割：一个16×16；两个16×8；两个8×16；四个8×8；对于8×8的子宏块同样可以进行相似的划分。这样的分割方法充分考虑了各图像数据块之间的相关性。如图2，树状结构编码中，细节比较丰富的区域划分较为细致，而平滑区域则采用较大的编码单元。这种自适应的编码方法，能够高效率地压缩残差图像信息。同时，由于分块一定程度上会导致解码图像出现块效应，残差编码中采用环路滤波的方法抑制块效应的产生。最后将残差编码码流传输到解码端。

所述步骤(6)中，在解码端分离出残差码流可得到解码残差图，并通过环路滤波的方法抑制块效应。解码残差图与开环框架得到的解码大图叠加，可得到最终的解码图像。

在测试图像库中随机选择出两幅图像‘leaves’，‘butterfly’，用上述步骤对其进行测试，并与jpeg2000比较率失真性能。率失真比较如图3及图4所示，其中横轴是码率，单位是bpp；纵轴是峰值信噪比(psnr)，单位是db。在相同的码率下，psnr越高，率失真性能越好。图5表示在码率为0.1bpp时，jpeg2000与本发明对‘lena’压缩结果的视觉效果对比。图6表示码率为0.6pp时，jpeg2000与本发明对‘leaves’压缩结果的视觉效果对比。实验结果对于其他图像具有普适性。