基于上下文重组建模的图像编码、解码方法及压缩方法

1.本发明涉及图像处理技术领域，涉及的是运用三维上下文的端到端图像压缩中实现并行编解码方案，具体地说，是一种基于上下文重组建模的图像编码、解码方法及压缩方法。


背景技术：

2.上下文建模是一种普遍应用于图像压缩的技术，它利用相邻符号的空间相关性进行精确的分布预测和高效的熵编码。在端到端图像压缩中，由于卷积感受野有限，压缩后的特征图也保持了一定的空间相关性。经过对现有技术的文献检索发现，o.rippel和l.bourdev在2017年的《international conference on machine learning》(icml)会议上发表的“real
‑
time adaptive image compression”提出了一种聚集显著系数的方法，并在这些系数的二值化位平面上构造了一个上下文模型。g.toderici在2017年的《ieee conference on computer vision and pattern recognition》(cvpr)会议上发表的“full resolution image compression with recurrent neural networks”采用了二维卷积用于提取空间上下文信息和保持解码所需的因果关系。f.mentzer在2018年的《ieee conference on computer vision and pattern recognition》(cvpr)会议上发表的“conditional probability models for deep image compression”设计了一个三维卷积神经网络在提取空间上下文信息的同时来减少信道冗余。
3.此外，基于变分自编码器的图像压缩方法是目前端到端图像压缩这一领域的主流方法。j.ball
é
在2018年的《international conference on learning representation》(iclr)会议上发表的“variational image compression with a scale hyperprior”引入了超先验模型来传送潜在表示的分布。j.lee在2019年的《international conference on learning representation》(iclr)上发表的“context adaptive entropy model for end
‑
to
‑
end optimized image compression”将二维上下文模型与超先验模型相结合，提高了端到端图像压缩的率失真性能。d.minnen和s.singh在2020年的《international conference on image processing》(icip)会议上发表的“channel
‑
wise autoregressive entropy models for learned image compression”中，提出了基于通道的上下文模型，其中先前解码的通道被视为后一种通道的上下文。然而，由于符号只能按顺序恢复，上下文模型带来了计算复杂度的开销。当使用三维上下文模型时，所需要的编解码时间会大量增加。


技术实现要素：

4.本发明针对目前应用于图像压缩中上下文模型的不足，提出了一种基于上下文重组建模的图像压缩方法。
5.本发明的第一方面，提供一种基于上下文重组建模的图像编码方法，包括：
6.对于待编码的图像，采用第一卷积神经网络生成所述图像的多通道特征图，作为第一特征图；
7.对所述第一特征图按照通道间相似性分组，并重新排列特征通道，输出重组的多通道特征图，作为第二特征图，并输出通道索引二进制码流；
8.将所述第二特征图量化为整数，得到量化后的第二特征图；
9.根据量化后的第二特征图，提取超先验信息，并获取超先验信息二进制码流；
10.根据所述超先验信息二进制码流生成重构超先验信息，并利用重构的超先验信息及量化后的第二特征图的上下文信息，获得特征图二进制码流；
11.合并所述通道索引二进制码流、所述超先验信息二进制码流和所述特征图二进制码流，得到压缩图像二进制码流。
12.可选地，所述根据量化后的第二特征图，提取超先验信息，并获取超先验信息二进制码流，包括：
13.通过第二卷积神经网络从量化后的第二特征图提取超先验信息；
14.对所述超先验信息进行量化和算术编码，获得超先验信息二进制码流。
15.可选地，所述根据所述超先验信息二进制码流生成重构超先验信息，包括：
16.采用算术解码，从所述超先验信息二进制码流中恢复超先验信息；
17.通过对应第二卷积神经网络的反卷积神经网络，从恢复的超先验信息中生成重构的超先验信息。
18.可选地，所述利用重构的超先验信息及量化后的第二特征图的上下文信息，获得特征图二进制码流，包括：
19.利用重构的超先验信息及量化后的第二特征图的上下文信息，估计用于编码第二特征图的高斯分布均值与方差；
20.根据所述高斯分布均值与方差对量化后的第二特征图进行算术编码，获得特征图二进制码流。
21.可选地，对所述第一特征图按照通道间相似性分组，包括：
22.计算第一特征图的任意两个通道间的相似性，构造相似性矩阵，所述相似性的测度具有对称性且取值在[0,1]；
[0023]
将所述相似性矩阵作为通道间的邻接矩阵来进行谱聚类，对通道进行分组，并记录每个通道的分组索引。
[0024]
可选地，所述谱聚类，对通道分组的组别数由编解码效率和率失真性能共同决定：在可降低性能的条件下，要求编解码效率越高，则需要设置的组别数越大，且组别数n≥2。
[0025]
本发明的第二方面，提供一种基于上下文重组建模的图像解码方法，用于对应解码上述方法得到的编码，包括：
[0026]
分解压缩图像二进制码流，得到通道索引二进制码流、超先验信息二进制码流和特征图二进制码流；
[0027]
通过算术解码，从所述超先验信息二进制码流中恢复超先验信息；
[0028]
采用对应第二卷积神经网络的反卷积神经网络，从所述恢复的超先验信息中生成重构的超先验信息；
[0029]
利用所述重构的超先验信息及渐进恢复的第二特征图的上下文信息，估计用于解码特征图二进制码流所需的高斯分布均值与方差；
[0030]
根据所述高斯分布均值与方差对特征图二进制码流进行算术解码，得到重构的第
二特征图；
[0031]
利用所述通道索引二进制码流将重构的第二特征图的通道还原到与第一特征图通道顺序一致，获得重构的第一特征图；
[0032]
用所述重构的第一特征图进行重构，生成重构图像。
[0033]
本发明的第三方面，提供一种基于上下文重组建模的图像压缩方法，包括：
[0034]
获取待压缩图像；
[0035]
基于卷积神经网络对所述图像进行压缩，得到压缩图像二进制码流；
[0036]
基于卷积神经网络对所述压缩图像二进制码流进行解压缩，得到重构图像；
[0037]
其中，
[0038]
采用上述的基于上下文重组建模的图像编码方法实现对所述图像进行压缩；
[0039]
采用上述的基于上下文重组建模的解码方法实现对所述压缩图像二进制码流进行解压缩。
[0040]
本发明的第四方面，提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现以下任一种方法：
[0041]
‑
上述的基于上下文重组建模的编码方法，或，
[0042]
‑
上述的基于上下文重组建模的解码方法，或，
[0043]
‑
上述的基于上下文重组建模的图像压缩方法。
[0044]
本发明的第五方面，提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以下任一种方法：
[0045]
‑
上述的基于上下文重组建模的编码方法，或，
[0046]
‑
上述的基于上下文重组建模的解码方法，或，
[0047]
‑
上述的基于上下文重组建模的图像压缩方法。
[0048]
与现有技术相比，本发明实施例具有如下至少一种有益效果：
[0049]
本发明上述的基于上下文重组建模的图像编码、解码方法及压缩方法，利用通道间相关性来获得通道维度上的上下文信息，可以更高效地利用特征图中通道的相关性，当使用三维上下文建模时，可以减少编解码时间。
[0050]
本发明上述的基于上下文重组建模的图像编码、解码方法及压缩方法，可以实现图像压缩中编解码效率和率失真性能两个重要因素的平衡，通过控制通道分组的组别数在可降低性能的条件下提高编解码效率，因此提升了压缩结构的灵活性和可扩展性。
附图说明
[0051]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0052]
图1为本发明一较优实施例中图像编码方法的流程图；
[0053]
图2为本发明一较优实施例中图像解码方法的流程图；
[0054]
图3为本发明一较优实施例中基于上下文重组建模的图像压缩方法流程图；
[0055]
图4为本发明一较优实施例中基于上下文重组建模的图像压缩系统流程图；
[0056]
图5为本发明一较优实施例中上下文重组建模模块的流程图。
具体实施方式
[0057]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0058]
目前应用于图像压缩中上下文模型存在不足：当使用二维上下文建模时，不能利用通道间相关性来获得通道维度上的上下文信息，当使用三维上下文建模时，由于序列的因果性只能在通道间串行地编码，导致所需编解码时间过长。针对于此，本发明实施例提出一种基于上下文重组建模的图像编码、解码以及压缩技术，能够很好解决上述问题，同时可以更高效地利用特征图中通道的相关性，并且进一步可以实现图像压缩中编解码效率和率失真性能两个重要因素的平衡。
[0059]
图1为本发明一实施例中图像编码方法的流程图。参照图1所示，本实施例中基于上下文重组建模的图像编码方法，包括：
[0060]
s210：特征图提取：输入图像通过第一卷积神经网络，生成图像的多通道特征图，作为第一特征图；
[0061]
s220：特征通道重组：对s210生成地第一特征图按照通道间相似性分组，并重新排列特征通道，输出重组的多通道特征图，作为第二特征图，并输出通道索引二进制码流；
[0062]
s230：均匀量化：将s220生成的第二特征图量化为整数；
[0063]
s240：超先验信息编码：通过第二卷积神经网络从s220生成的第二特征图提取超先验信息，并对超先验信息进行量化和算术编码，获得超先验信息二进制码流；
[0064]
s250：超先验信息解码：对s240产生的超先验信息二进制码流进行算术解码；
[0065]
s260：超先验信息重构：通过对应第二卷积神经网络的反卷积神经网络，由s250生成的算术解码结果重构出超先验信息；
[0066]
s270：上下文重组建模：对s230在均匀量化后的第二特征图进行上下文重组建模。具体的，如图5所示，上下文重组建模包括：
[0067]
s271：上下文信息提取模块：提取s230经均匀量化后的第二特征图的上下文信息；
[0068]
s272：熵编码分布估计模块：利用s260得到的超先验信息及s271得到的上下文信息估计用于编码第二特征图所需的高斯分布均值与方差；
[0069]
s280：特征图编码模块：根据s272生成的编码高斯分布对s230经均匀量化的第二特征图进行算术编码，获得特征图二进制码流；
[0070]
s290：合并s220产生的通道索引二进制码流、s240产生的超先验信息二进制码流和s280产生的特征图二进制码流，得到压缩图像二进制码流。
[0071]
本实施例的图像编码方法，利用通道间相关性来获得通道维度上的上下文信息，可以更高效地利用特征图中通道的相关性，当使用三维上下文建模时，可以减少编解码时间。
[0072]
在上述图1所示的实施例的基础上，在另一实施例中，还对应提供一种基于上下文重组建模的图像编码系统，该系统包括：
[0073]
特征图提取模块：输入图像通过第一卷积神经网络，生成图像的多通道特征图，作为第一特征图；
[0074]
特征通道重组模块：对生成地第一特征图按照通道间相似性分组，并重新排列特征通道，输出重组的多通道特征图，作为第二特征图，并输出通道索引二进制码流；
[0075]
均匀量化模块：将生成的第二特征图量化为整数；
[0076]
超先验信息编码模块：通过第二卷积神经网络从生成的第二特征图提取超先验信息，并对所述超先验信息进行量化和算术编码，获得超先验信息二进制码流；
[0077]
第一超先验信息解码模块：对产生的超先验信息二进制码流进行算术解码；
[0078]
第一超先验信息重构模块：通过对应第二卷积神经网络的反卷积神经网络，由生成的算术解码结果重构出超先验信息；
[0079]
第一上下文重组建模模块：对均匀量化后的第二特征图进行上下文重组建模；其中，上下文重组建模模块进一步包括：
[0080]
第一上下文信息提取模块：提取经均匀量化后的第二特征图的上下文信息；
[0081]
第一熵编码分布估计模块：利用得到的超先验信息及得到的上下文信息估计用于编码第二特征图所需的高斯分布均值与方差；
[0082]
特征图编码模块：根据生成的编码高斯分布对经均匀量化的第二特征图进行算术编码，获得特征图二进制码流；
[0083]
合并产生的通道索引二进制码流、超先验信息二进制码流和特征图二进制码流，得到压缩图像二进制码流。
[0084]
图2为本发明一较优实施例中图像解码方法的流程图。参照图2所示，基于上下文重组建模的图像解码方法，包括：
[0085]
s310：码流分解：分解压缩图像二进制码流，得到通道索引二进制码流、超先验信息二进制码流和特征图二进制码流；
[0086]
s320：超先验信息解码：该与s250完全相同，对s310产生的超先验信息二进制码流进行算术解码；
[0087]
s330：超先验信息重构：该与s260完全相同，通过对应第二卷积神经网络的反卷积神经网络，从s320生成的算术解码结果重构超先验信息；
[0088]
s340：上下文重组建模：该与s270完全相同，对渐进恢复的第二特征图进行上下文重组建模。
[0089]
具体的，如图5所示，上下文重组建模包括：
[0090]
s341：上下文信息提取：该与s271完全相同，提取渐进恢复的第二特征图的上下文信息；
[0091]
s342：熵编码分布估计：该与s272完全相同，利用s330得到的超先验信息和s341得到的上下文信息估计用于编码第二特征图所需的高斯分布均值与方差；
[0092]
s350：特征图解码：根据s342产生的高斯分布对s310产生的特征图二进制码流进行算术解码；
[0093]
s360：特征通道复原：利用s310恢复的通道索引二进制码流将s350解码得到的第二特征图的通道还原到与第一特征图通道顺序一致，获得重构的第一特征图；
[0094]
s370：图像重构：将所述重构的第一特征图通过对应第一卷积神经网络的反卷积
神经网络，获得重构图像。
[0095]
本实施例的解码方法用于对应图1所示的编码方法，同样的，因为利用通道间相关性来获得通道维度上的上下文信息，可以更高效地利用特征图中通道的相关性，当使用三维上下文建模时，可以减少编解码时间。
[0096]
在上述图2所示的实施例的基础上，在另一实施例中，还对应提供一种基于上下文重组建模的图像解码系统，该系统包括：
[0097]
码流分解模块：分解压缩图像二进制码流，得到通道索引二进制码流、超先验信息二进制码流和特征图二进制码流；
[0098]
第二超先验信息解码模块：该模块与第一超先验信息解码模块完全相同，对产生的超先验信息二进制码流进行算术解码；
[0099]
第二超先验信息重构模块：该模块与第一超先验信息重构模块完全相同，通过对应第二卷积神经网络的反卷积神经网络，从生成的算术解码结果重构超先验信息；
[0100]
第二上下文重组建模模块：该模块与第一上下文重组建模模块完全相同，对渐进恢复的第二特征图进行上下文重组建模。具体的，上下文重组建模模块进一步包括：
[0101]
第二上下文信息提取模块：该模块与第一上下文信息提取模块完全相同，提取渐进恢复的第二特征图的上下文信息；
[0102]
第二熵编码分布估计模块：该模块与第一熵编码分布估计模块完全相同，利用得到的超先验信息和得到的上下文信息估计用于编码第二特征图所需的高斯分布均值与方差；
[0103]
特征图解码模块：根据产生的高斯分布对产生的特征图二进制码流进行算术解码；
[0104]
特征通道复原模块：利用恢复的通道索引二进制码流将解码得到的第二特征图的通道还原到与第一特征图通道顺序一致，获得重构的第一特征图；
[0105]
图像重构模块：将所述重构的第一特征图通过对应第一卷积神经网络的反卷积神经网络，获得重构图像。
[0106]
上述实施例中，第二上下文信息提取模块提取渐进恢复的第二特征图的上下文信息，其中渐进恢复指第二特征图中的特征是按照扫描顺序逐个重构的。具体地，对于每个通道分组，按照通道索引以及每个通道中从左上到右下的顺序扫描特征图中的特征。
[0107]
在上述图1、图2所示实施例基础上，为了更好实现特征通道重组，在另一实施例中，可以优选采用以下操作：计算重组特征图的任意两个通道间的相似性，构造相似性矩阵，其中相似性的测度具有对称性且取值在[0,1]，包括但不限于对称kullback
‑
leibler(kl)散度；将上述相似性矩阵作为通道间的邻接矩阵来进行谱聚类，对通道进行分组，并记录每个通道的分组索引。进一步的，优选实施例中，谱聚类对通道分组的组别数由编解码效率和率失真性能共同决定：在可降低性能的条件下要求编解码效率越高，则需要设置的组别数越大，且组别数n≥2。通过该操作，可以实现图像压缩中编解码效率和率失真性能两个重要因素的平衡，通过控制通道分组的组别数在可降低性能的条件下提高编解码效率。
[0108]
在上述图1、图2所示实施例基础上，为了更好实现s340
‑
s370，在另一实施例中，可以优选采用以下对应的操作：
[0109]
上下文信息提取：提取特征图在通道维度上的上下文信息；
[0110]
超先验信息提取：提取特征图在空间维度上的边信息，作为超先验信息；
[0111]
熵编码分布估计：融合上下文信息和超先验信息，估计用于编码的高斯分布的均值和方差，并将其输出到算术编码。
[0112]
图3为本发明一较优实施例中基于上下文重组建模的图像压缩方法流程图。参照图3所示，本实施例中基于上下文重组建模的图像压缩方法，包括：
[0113]
s100，获取待压缩图像；
[0114]
s200，基于卷积神经网络对图像进行压缩，得到压缩图像二进制码流；其中，采用上述的基于上下文重组建模的图像编码方法实现对图像进行压缩；具体的，s200可以采用图1所示的s210
‑
s270来实现；
[0115]
s300，基于卷积神经网络对压缩图像二进制码流进行解压缩，得到重构图像；其中，采用上述的基于上下文重组建模的解码方法实现对压缩图像二进制码流进行解压缩，具体的，即可以采用图2所示的s310
‑
s370来实现。
[0116]
在另一优选实施例中，在上述实施例基础上，进一步包括图像压缩模型的训练。压缩模型经过训练，学习得到编码器和解码器，随后用于实际的编解码。具体的，包括：
[0117]
构造熵估计：根据构造分布，估计带噪的超先验信息编码所需码率l
bpp
‑
h
；
[0118]
条件熵估计：根据高斯分布均值与方差，估计特征图编码所需码率l
bpp
‑
f
；
[0119]
利用训练数据集，采用反向梯度传播算法学习深度网络模型；训练数据集中图像重构误差的均方误差其中，n为训练数据集中信号的数目，x
i
为训练数据集中第i幅图像，为第i幅图像的重构图像；将深度网络模型的损失函数定义为l＝λ
·
l
mse
+l
bpp
‑
h
+l
bpp
‑
f
，其中λ为重构误差与码率间的权重系数，可以用于调节图像压缩模型的目标码率；
[0120]
将训练获得的深度网络模型作为图像压缩模型，用于图像压缩。
[0121]
本实施例中，深度神经网络指从训练图像输入到输出重构图像的整个网络，即包括对应上述编解码方法的全部步骤的整个图像压缩模型。
[0122]
本发明实施例提供的上述基于上下文重组建模的图像压缩方法中，利用通道间相关性来获得通道维度上的上下文信息，可以更高效地利用特征图中通道的相关性，当使用三维上下文建模时，可以减少编解码时间。进一步的，可以实现图像压缩中编解码效率和率失真性能两个重要因素的平衡，通过控制通道分组的组别数在可降低性能的条件下提高编解码效率，因此提升了压缩结构的灵活性和可扩展性。
[0123]
在其他实施例中，本发明还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现以下任一种方法：
[0124]
‑
上述实施例中的基于上下文重组建模的编码方法，或，
[0125]
‑
上述实施例中的基于上下文重组建模的解码方法，或，
[0126]
‑
上述实施例中的基于上下文重组建模的图像压缩方法。
[0127]
在其他实施例中，本发明还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、
所述代码集或指令集由处理器加载并执行以下任一种方法：
[0128]
‑
上述实施例中的基于上下文重组建模的编码方法，或，
[0129]
‑
上述实施例中的基于上下文重组建模的解码方法，或，
[0130]
‑
上述实施例中的基于上下文重组建模的图像压缩方法。
[0131]
为了更好理解本发明上述的技术方案，在另一实施例中，利用本发明实施例提供的基于上下文重组建模的图像压缩方法，结合flicker数据集对图像压缩系统进行训练，具体实施步骤为：
[0132]
步骤一，特征图提取：将flicker数据集中的图片裁剪成256
×
256的图像，将其输入第一卷积神经网络得到多通道特征图作为第一特征图。
[0133]
步骤二，特征通道重组：对于第一特征图按照通道间的相似性分组。首先计算第一特征图中任意两个通道间的对称kullback
‑
leibler散度，得到相似性矩阵d表示为：
[0134][0135]
其中c代表第一特征图的通道总数，v
i
代表第i个通道。为第i个通道和第j个通道的对称kullback
‑
leibler散度(skld)，且
[0136][0137]
得到通道间的相似度矩阵d后，将d作为特征图通道间的邻接矩阵，利用谱聚类对通道进行分组并重新排列特征通道，得到重组的多通道特征图，作为第二特征图，并编码通道索引，生成通道索引二进制码流。
[0138]
本实施例中，谱聚类对通道分组的组别数由编解码效率和率失真性能共同决定：在可降低性能的条件下要求编码效率越高，则所需要设置的组别数越大，且组别数n≥2，经过谱聚类分组后得到g1，g2…
g
n
‑1，g
n
一共n组组内相似程度高，组间相似程度低的通道集合。
[0139]
步骤三，特征可导量化：对于第二特征图，通过添加均匀噪声的方式模拟量化，生成带噪的第二特征图。
[0140]
步骤四，特征通道复原：对带噪的第二特征图进行通道重排，复原为原第一特征图的排列顺序，得到重构的第一特征图。
[0141]
步骤五，图像重构：将所述重构的第一特征图通过对应第一卷积神经网络的反卷积神经网络，获得重构图像。
[0142]
步骤六，超先验信息提取：将所述第二特征图通过第二卷积神经网络，得到超先验信息。
[0143]
步骤七，超先验可导量化：对于超先验信息，通过添加均匀噪声的方式模拟量化，生成带噪的超先验信息。
[0144]
步骤八，超先验信息重构：将所述带噪的超先验信息通过对应第二卷积神经网络的反卷积神经网络，得到重构的超先验信息。
[0145]
步骤九，上下文重组建模：利用所述重构的超先验信息及所述带噪的第二特征图
中的局部信息，估计用于熵编码的高斯分布均值与方差。
[0146]
本实施例中，提取第二特征图中的局部信息时采用的三维掩码卷积大小不能超过g1，g2…
g
n
‑1，g
n
这一组通道集合中的最小通道数，且小于11
×
11
×
11。
[0147]
步骤十，构造熵估计：根据构造分布，估计带噪的超先验信息编码所需码率l
bpp
‑
h
。
[0148]
步骤十一，条件熵估计：根据所述高斯分布均值与方差，估计特征图编码所需码率l
bpp
‑
f
。
[0149]
步骤十二，模型训练：利用训练数据集，采用反向梯度传播算法学习所述深度网络模型；训练数据集中图像重构误差的均方误差其中，n为训练数据集中信号的数目，x
i
为训练数据集中第i幅图像，为所述第i幅图像的重构图像；将所述深度网络模型的损失函数定义为l＝λ
·
l
mse
+l
bpp
‑
h
+l
bpp
‑
f
，其中λ为重构误差与码率间的权重系数，可以用于调节图像压缩模型的目标码率；
[0150]
将训练获得的深度网络模型用于图像压缩系统且作用于以下实施例中的图像编码和解码方法中。
[0151]
具体的，在一图像编码方法实施例中，利用上述训练得到的图像压缩系统中的图像编码器对kodak测试集图像进行压缩，得到压缩图像的二进制码流，具体实施步骤为：
[0152]
步骤一，特征图提取：输入kodak测试集图像，通过第一卷积神经网络生成图像的多通道特征图，作为第一特征图。
[0153]
步骤二，特征通道重组：对步骤一生成的第一特征图按照通道间相似性分组，并重新排列特征通道，输出重组的多通道特征图，作为第二特征图，并输出通道索引二进制码流。
[0154]
步骤三，均匀量化：将第二特征图进行均匀量化为整数。
[0155]
步骤四，超先验信息编码：通过第二卷积神经网络提取第二特征图的超先验信息，并对所述超先验信息进行量化和算术编码，获得超先验信息二进制码流。
[0156]
步骤五，超先验信息解码：对步骤四中生成的超先验信息二进制码流进行算术解码。
[0157]
步骤六，超先验信息重构：通过对应第二卷积神经网络的反卷积神经网络，由步骤五生成的算术解码结果重构出超先验信息。
[0158]
步骤七，上下文重组建模：提取步骤三经均匀量化后的第二特征图的上下文信息，并结合步骤六重构的超先验信息估计用于编码第二特征图所需的高斯分布均值与方差。
[0159]
步骤八：特征图编码：根据步骤七生成的高斯分布对步骤三经均匀量化的第二特征图进行算术编码，获得特征图二进制码流。
[0160]
步骤九：码流合成：合并步骤二产生的通道索引二进制码流、步骤四产生的超先验信息二进制码流和步骤八产生的特征图二进制码流，得到压缩图像二进制码流。
[0161]
具体的，在另一图像解码方法实施例中，利用上述训练得到的图像压缩系统中的图像解码器，对压缩kodak测试集图像产生的二进制码流进行解压缩，得到重构图像，具体实施步骤为：
[0162]
步骤一，码流分解：分解压缩kodak测试集图像产生的二进制码流，得到通道索引二进制码流、超先验信息二进制码流和特征图二进制码流。
[0163]
步骤二，超先验信息解码：对步骤一得到的超先验信息二进制码流进行算术解码。
[0164]
步骤三，超先验信息重构：通过对应第二卷积神经网络的反卷积神经网络，从步骤二生成的算术解码结果得到重构的超先验信息。
[0165]
步骤四，上下文重组建模：提取渐进恢复的第二特征图的上下文信息并结合步骤三重构的超先验信息估计用于编码第二特征图所需的高斯分布均值与方差。
[0166]
步骤五，特征图解码：根据步骤四产生的高斯分布对步骤一产生的特征图二进制码流进行算术解码。
[0167]
步骤六，特征通道复原：利用步骤一恢复的通道索引二进制码流将步骤五解码得到的第二特征图的通道还原到与第一特征图通道顺序一致，获得重构的第一特征图。
[0168]
步骤七，图像重构：将所述重构的第一特征图通过对应第一卷积神经网络的反卷积神经网络，获得重构图像。
[0169]
实施效果：
[0170]
在上述实施例中，利用本发明提供的基于上下文重组建模的图像压缩方法，结合flicker数据集对图像压缩系统进行训练，设置谱聚类对通道分组的组别数分别为2和4，损失函数中的重构误差与码率间的权重系数λ设置为1024，使用adam优化器首先在学习率为10
‑4下训练2000000步，接着降低学习率至10
‑5训练500000步后，模型收敛，停止训练。
[0171]
在上述实施例中，利用训练得到的图像压缩系统中的图像编码器对kodak测试集中的24张图片进行压缩，当谱聚类对通道分组的组别数设置为2时，产生通道索引二进制码流、超先验信息二进制码流和特征图二进制码流，三者码率和的平均值为0.4954bpp。当谱聚类对通道分组的组别数设置为4时，三者码率和的平均值为0.5039bpp。
[0172]
在上述实施例中，利用训练得到的图像压缩系统中的图像解码器，对压缩kodak测试集24张图片产生的二进制码流进行解压缩，得到重构图像。当谱聚类对通道分组的组别数设置为2时，重构出的24张图片的平均峰值信噪比(psnr)为33.5455。当谱聚类对通道分组的组别数设置为4时，重构出的24张图片的平均峰值信噪比为33.5212。
[0173]
此外，相较于不进行通道分组直接对特征图使用三维上下文建模，本发明提供的基于上下文重组建模的图像压缩方法所需要的编解码时间也大幅减少。具体来说。当谱聚类分组的组别数分别设置为2和4时，实施例2和实施例3所需要的编解码时间可以分别节省26.76％和50.75％。因此可以根据实际要求通过设置不同的谱聚类组别数来平衡编解码效率和率失真性能。
[0174]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。