一种基于特征通道相似度的端到端图像压缩方法

本发明涉及图像编码领域，尤其是涉及一种基于特征通道相似度的端到端图像压缩方法。

背景技术：

1、图像压缩是数据压缩技术在数字图像上的应用，其目的是减少图像数据中的冗余，从而用更加高效的格式存储和传输数据。传统的图像压缩方法中，图像压缩分为预测、变换、量化、熵编码等步骤，每一步均采用人工设计的算法分别进行优化。近年来，基于深度神经网络的端到端图像压缩方法在图像压缩中取得了丰硕的成果，相比传统方法，端到端图像压缩可以进行联合优化，能够取得比传统方法更高的压缩效率。

2、在智能图像压缩领域，将现有的算法优化分为两个方向，其一为如何在低熵的条件下，提取到更完备的图像特征。第二是，如何进行精准的进行熵模型建模以便于在熵编码阶段得到更低码率的码流。

3、在现有的研究中，大多使用特殊的网络结构来提高网络提取特征的质量，如：使用非局部(non-local)模块提取全局信息，使用gdn归一化算法进行对图像引入噪声更小的归一化，使用注意力机制尽可能多地保留特征中所包含原始图像中的信息。编码传输的图像特征虽然具有较低的熵，但数据量依然较大，简单地通过减少瓶颈层bottleneck通道数虽然能降低比特数，但会严重影响重建的图像质量，降低码率方面依然存在提升空间。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供的一种基于特征通道相似度的端到端图像压缩方法，通过将相似通道合并为一个通道，最后通过深度可分离卷积将其恢复为原来的多通道，进而降低码率。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于特征通道相似度的端到端图像压缩方法，包括以下步骤：

4、s1、获取待压缩图像，将待压缩图像输入主编码器，得到第一潜在表示；

5、s2、将第一潜在表示输入去冗余模块，得到去冗余后的第一潜在表示；

6、s3、将去冗余后的第一潜在表示依次经过超先验编码器和超先验解码器，得到潜在表示概率模型的第一中间参数；

7、s4、将去冗余后的第一潜在表示经过量化，输入条件上下文模型，得到潜在表示概率模型的第二中间参数；

8、s5、将第一中间参数和第二中间参数进行拼接，输入熵参数模型，得到高斯分布的均值和标准差；

9、s6、基于高斯分布的均值和标准差进行对概率分布的估计，得到概率密度函数，根据概率密度函数对s4中量化的去冗余后的第一潜在表示进行编码和解码；

10、s7、将解码的第一潜在表示输入冗余恢复模块，得到去冗余前的完整潜在表示；

11、s8、将完整潜在表示输入主解码器，得到重建的图像；

12、s9、计算重建的图像和待压缩图像的失真以及码率，基于失真以及码率构建损失函数，基于损失函数对s1-s8进行端到端的整体优化；

13、其中，s2的具体步骤为：

14、将第一潜在表示输入去冗余模块，计算第一潜在表示的各通道间的相似度，基于相似度划分得到多组相似通道，对同一组的通道的特征进行卷积，将卷积后的多组相似通道的特征合并为单个通道的特征，所述单个通道的特征作为去冗余后的第一潜在表示。

15、进一步地，通道间的相似度的表达式为：

16、

17、其中，s为两个通道中特征x和特征y之间的相似度，xi、yi分别表示两个通道中特征x和特征y的第i行向量，n为通道的尺寸。

18、进一步地，s3的具体步骤为：

19、将去冗余后的第一潜在表示输入超先验编码器，输出边信息的第二潜在表示，将第二潜在表示进行量化，使用因子分解熵模型对量化的第二潜在表示进行编码，得到比特流，将比特流输入解码端，还原出量化的第二潜在表示，将还原的第二潜在表示输入超先验解码器，生成潜在表示概率模型的第一中间参数。

20、进一步地，概率密度函数的表达式为：

21、

22、其中，为量化的第一潜在表示的概率密度函数，为第i个量化的第一潜在表示，为量化的第二潜在表示，μi为高斯分布的均值，δi为标准差。

23、进一步地，对同一组的通道的特征进行卷积时，采用1x1卷积，卷积核个数为1，通道数和该组内特征通道数相同。

24、进一步地，量化采用的方法为：采用添加均匀噪声的方式等效代替推理阶段进行量化。

25、进一步地，待压缩图像的通道数为3，第一潜在表示的通道数为192，s7中，冗余恢复模块通过深度可分离卷积将单个通道的特征恢复为原来的多个通道的特征。

26、进一步地，所述深度可分离卷积的卷积核个数为一组相似通道内通道的个数，深度可分离卷积的卷积核的大小为3，步幅为1，填充为1。

27、进一步地，损失函数的表达式为：

28、loss＝λ*d+r

29、其中，loss为损失函数，d为重构图像的失真，r为码率，λ为控制码率和失真的平衡参数。

30、进一步地，主编码器和主解码器包括6个残差块和2个注意力模块，超先验编码器和超先验解码器由5次卷积组成。

31、与现有技术相比，本发明具有以下有益效果：

32、本发明设置去冗余模块，通过计算第一潜在表示的各通道间的相似度，基于相似度划分得到多组相似通道，对同一组的通道的特征进行卷积，将卷积后的多组相似通道的特征合并为单个通道的特征，之后再还原出多个通道的特征，结合主编码器、主解码器、超先验编码器、超先验解码器、量化模块、上下文模型和熵参数模型以及因子分解熵模型构成图像重建系统，在保证低熵、图像特征完备的条件下，减少所需传输通道中的数据量，以降低码流长度，提高重建的图像质量。

技术特征：

1.一种基于特征通道相似度的端到端图像压缩方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于特征通道相似度的端到端图像压缩方法，其特征在于，通道间的相似度的表达式为：

3.根据权利要求1所述的一种基于特征通道相似度的端到端图像压缩方法，其特征在于，s3的具体步骤为：

4.根据权利要求1所述的一种基于特征通道相似度的端到端图像压缩方法，其特征在于，概率密度函数的表达式为：

5.根据权利要求1所述的一种基于特征通道相似度的端到端图像压缩方法，其特征在于，对同一组的通道的特征进行卷积时，采用1x1卷积，卷积核个数为1，通道数和该组内特征通道数相同。

6.根据权利要求3所述的一种基于特征通道相似度的端到端图像压缩方法，其特征在于，量化采用的方法为：采用添加均匀噪声的方式等效代替推理阶段进行量化。

7.根据权利要求1所述的一种基于特征通道相似度的端到端图像压缩方法，其特征在于，待压缩图像的通道数为3，第一潜在表示的通道数为192，s7中，冗余恢复模块通过深度可分离卷积将单个通道的特征恢复为原来的多个通道的特征。

8.根据权利要求7所述的一种基于特征通道相似度的端到端图像压缩方法，其特征在于，所述深度可分离卷积的卷积核个数为一组相似通道内通道的个数，深度可分离卷积的卷积核的大小为3，步幅为1，填充为1。

9.根据权利要求1所述的一种基于特征通道相似度的端到端图像压缩方法，其特征在于，损失函数的表达式为：

10.根据权利要求1所述的一种基于特征通道相似度的端到端图像压缩方法，其特征在于，主编码器和主解码器包括6个残差块和2个注意力模块，超先验编码器和超先验解码器由5次卷积组成。

技术总结
本发明涉及一种基于特征通道相似度的端到端图像压缩方法，包括以下步骤：S1、将待压缩图像输入主编码器，得到第一潜在表示；S2、将第一潜在表示输入去冗余模块；S3、依次经过超先验编码器解码器，得到潜在表示概率模型的第一中间参数；S4、输入条件上下文模型，得到第二中间参数；S5、将第一中间参数和第二中间参数进行拼接，得到高斯分布的均值和标准差；S6、根据概率密度函数对第一潜在表示进行编码和解码；S7、得到去冗余前的完整潜在表示；S8、输入主解码器，得到重建的图像；S9、基于损失函数进行优化。与现有技术相比，本发明具有码流长度低、重建图像质量高等优点。

技术研发人员：蒋伟,陈笑,肖睿,杨俊杰,魏春娟
受保护的技术使用者：上海电力大学
技术研发日：
技术公布日：2024/1/13