一种基于结构和纹理合成的概念图像压缩方法

本发明属于计算机视觉领域，具体涉及图像压缩、编码技术。

背景技术：

1、图像压缩，也称为图像编码，通常是指将图像压缩成二进制比特流以进行后续的传输和存储的技术。随着科学技术的发展，图像越来越多地出现在我们生活的各个方面。因此，有效的压缩是降低传输和存储成本的迫切要求。为此，本发明提出了一种基于结构和纹理合成的概念图像压缩方法。

2、目前，对图像压缩的研究工作可以分为两类：传统的混合图像编码和基于深度神经网络的图像压缩。传统的混合编码(如jpeg和hevc)依赖于手工设计的技术，包括预测、变换、量化和熵编码等模块，以提高压缩效率。虽然他们在过去的十年中取得了巨大的成功，但其性能很难得到进一步的提升，并不能在较低的比特率(<0.1bpp)下实现高质量的图像重建。相比之下，基于深度学习的方法将图像压缩视为一个联合速率失真优化问题，其中非线性编码器和解码器都以端到端的方式联合训练。以上大部分的工作都是去除信号级冗余信息，主要关注的是像psnr这些信号保真度的评价指标，并没有充分的考虑视觉感知质量。

3、物体的整体结构特征是人类视觉感知的主要数据信息来源。marr和guo等人认为，物体通常以结构和纹理的形式出现。几何结构和随机纹理是视觉场景的重要组成部分，在视觉内容中起着决定性的作用。然而，由于缺乏对结构的显示建模，上述压缩方法可能会导致解码图像的严重失真，如边缘模糊，不仅会降低人类的视觉感知质量，而且影响后续视觉任务的应用。

4、深度生成模型(例如，生成对抗网络(gans)，变分自动编码器(vae))已经显示出了通过捕获图像数据的统计分布来生成高感知质量图像的强大能力。这也促使了概念图像压缩的出现，它利用解码器侧的生成能力来提高解码图像的感知质量。概念图像压缩可以实现视觉特征和基本数据的统一，从而以低比特率实现高质量的图像压缩。但目前的概念图像压缩用单一向量去捕获将概念成分纠缠在一起的图像内容，这些方法的可解释性比较差，限制了他们在图像处理和机器视觉任务中的潜力。为解决上述问题，本发明提出了一种基于结构和纹理合成的概念图像压缩，实现了高效、可解释、可扩展的视觉数据编码，极大的提高了压缩效率和图像的视觉感知质量。

技术实现思路

1、本发明要解决的技术问题是如何利用视觉特征来提高图像的压缩效率和压缩重建的主观质量。针对此问题，本发明提出了一种新的由结构层和纹理层构成的概念性图像压缩框架。由于几何结构和随机纹理是视觉场景的重要组成部分，在视觉内容中起着决定性的作用。将视觉信息解耦合为更高层次的表示，并通过生成模型可以重建感知质量良好的图像，本发明所提的压缩框架允许将图像编码为紧凑的、高级可解释的表示来进行重建。利用图像处理技术，将原图转换为保边平滑的结构图，得到图像的结构层，提供图像的结构信息；从原图中心提取的纹理块作为图像的纹理层，提供图像的局部详细纹理信息。将图像的结构层和纹理层进行下采样，结合bpg编码器实现了图像的极致压缩，并用超分辨率模型进行上采样与生成模型保证重建质量。本发明主要流程如附图1所示，可分为以下三个步骤：图像结构层的提取、压缩和重建，图像纹理层的提取和压缩和重建，利用生成对抗网络进行图像合成。

2、(1)图像结构层的提取、压缩和重建

3、基于ren对图像修复的见解，使用边缘图像进行图像恢复会丢失大量有用的信息，比如图像的颜色信息等。同时，边缘映射中也可能有来自不同对象的混合边缘，这给重建图像生动的纹理带来了挑战。而保边平滑图像是最抽象和压缩友好的图像表示方法之一，本发明发现它能够描述图像的结构信息，因此本发明使用保边平滑图像来提供图像的结构信息。本发明使用li等人提出的保边平滑方法rtv对原图进行处理，这种方法可以在去除图像的高频纹理的同时保留清晰的边缘和低频结构。通过这种方式，在获得图像的结构的同时也对压缩过程非常友好。

4、考虑到结构图的平滑性，本发明利用lanczos降采样技术对保边平滑结构图进行4倍下采样，以进一步降低图像压缩的数据量，降低传输比特率。由于bpg具有强大的能力来压缩图像的保边平滑图像，因此本发明利用bpg将图像结构层压缩成传输比特流。

5、在解码端，在合成图像之前，需要反过来先重构保边平滑结构图。本发明使用目前最为先进的超分辨率模型swinir进行四倍上采样将保边平滑图像恢复到原来的分辨率。

6、(2)图像纹理层的提取、压缩和重建

7、正如我们所知的，像鞋子、手提包这类时尚数据集通常都是在购物网页的背景下创建的。由于这些物体大多位于图像的中心，并且为了便于分析，拍摄的角度也大体相同。由此，可以假设这些图像的前景通常都具有一致的纹理分布。在这种假设的前提下，选择位于前景中心的局部纹理块来提供图像合成所必需的纹理信息是合理的。本发明首先利用mask将图像分为前景和背景，然后在前景物体的中心提取一个纹理块it来提供局部纹理信息，最后通过bpg对纹理块进一步的进行压缩重建。

8、(3)图像合成

9、受深度图像合成的强大能力的影响，我们寻找一种能从输入的保边平滑图像和纹理块中合成自然图像的生成模型。为此，本发明提出了一种条件生成模型smoothstructure map gan(ssgan)，它可以从带有纹理块的保边平滑图像构建出真实的图像。本发明利用一系列的卷积操作对保边平滑图像和纹理块进行逐步的融合和集成，具体来说，给定输入图像i∈r(h*w*3)，可以获得保边平滑图像it∈r(h*w*3)和纹理块is∈r(d*d*3)，其中h，w和d分别代表图像的高宽以及纹理块的宽度。本发明所涉及的生成式对抗网络包括生成器和鉴别器，所述生成器包括三个下采样层，七个残差层以及三个上采样层。残差层的步长设置为1，下采样的卷积层的步长设置为2，上采样模块使用的是带有残差块的双线性上采样模块。判别器采用的是patchgan判别器。

10、本发明与现有的技术相比，具有以下明显的优势和有益效果：

11、首先，本发明可以集成到图像压缩传输系统中，对图像压缩系统的压缩功能进行增强；其次在极端压缩的条件下可以显著的提高压缩性能，节约传输带宽；最后，本发明所涉及图像压缩方法可以提高图像压缩的主观重建质量。

技术特征：

1.一种基于结构和纹理合成的概念图像压缩方法，其特征在于包括以下步骤：

技术总结
一种基于结构和纹理合成的概念图像压缩方法属于计算机视觉领域，本发明所提的压缩框架允许将图像编码为紧凑的、高级可解释的表示来进行重建。利用图像处理技术，将原图转换为保边平滑的结构图，得到图像的结构层，提供图像的结构信息；从原图中心提取的纹理块作为图像的纹理层，提供图像的局部详细纹理信息。将图像的结构层和纹理层进行下采样，结合BPG编码器实现了图像的极致压缩，并用超分辨率模型进行上采样与生成模型保证重建质量。

技术研发人员：施云惠,赵新丽,王瑾,尹宝才
受保护的技术使用者：北京工业大学
技术研发日：
技术公布日：2024/1/12