图像压缩模型训练、图像编码、图像解码方法及装置与流程

本技术一些实施例涉及图像压缩领域。更具体地讲，涉及一种图像压缩模型训练、图像编码、图像解码方法、装置及终端设备。

背景技术：

1、基于深度学习的端到端图像编码技术中，包含三个步骤：变换、量化和熵编码。在端到端学习的图像压缩框架中，量化作为核心要素对编码性能存在至关重要的影响。量化将变换后的特征激活值由浮点数转换为规则定点数，作为后续熵编码的输入。

2、目前，在端到端的压缩网络的测试过程中通过硬量化处理来进行量化(即硬量化处理)，最常用的硬量化函数是取整函数——round函数，硬量化函数不可导。但目标失真函数主要使用梯度下降法优化端到端编码中的率失真，反向传播中要求量化函数全局可导，所以基于端到端学习的图像压缩研究一直围绕着解决量化的不可导问题(量化不连续，其导数在任何地方都为零或无穷大)而展开。进而为了不影响端到端的压缩网络的训练过程中梯度的反向传播，在端到端的压缩网络的训练过程中，采用与硬量化函数等效近似且可导的软量化函数进行量化(即软量化处理)。

3、然而，虽然软量化函数与硬量化函数等效近似，但是二者之间并不完全一致，仍然存在一定差异，二者之间的差异不可避免的会导致训练过程与测试过程不匹配(mis-match)，进而导致测试过程的端到端的压缩网络的编解码性能，与训练得到的端到端的压缩网络的编解码性能不一致。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本技术一些实施例提供了一种图像压缩模型训练、图像编码、图像解码方法、装置及终端设备，可以降低训练过程与测试过程的不匹配性，提高测试过程的端到端的压缩网络的编码性能，与训练得到的端到端的压缩网络的编解码性能的一致性。

2、第一方面，本技术一些实施例提供了一种图像压缩模型训练方法，包括：获取训练样本集，该训练样本集包括多张训练图像；构建初始图像压缩模型，该初始图像压缩模型包括分析变换网络，量化压缩模块和合成变换网络；该分析变换网络用于对输入的训练图像进行分析变换处理得到分析变换后的空间特征；该量化压缩模块对该分析变换后的空间特征进行软量化处理、熵编码处理、熵解码处理以及量化补偿处理，得到量化压缩后的空间特征；该量化补偿处理用于缩小训练过程的该软量化处理与测试过程的硬量化处理之间的差异；该合成变换网络用于对该量化压缩后的空间特征进行合成变换处理，得到该训练图像对应的重构图像；将该训练样本集中的每张训练图像输入该初始图像压缩模型，得到该每张训练图像对应的重构图像；基于该每张训练图像和该每张训练图像对应的重构图像，对该初始图像压缩模型进行训练，得到训练好的目标图像压缩模型。

3、第二方面，本技术一些实施例提供了一种图像编码方法，应用于编码设备，包括：获取待编码图像；将该待编码图像输入训练好的分析变换网络进行分析变换处理，得到分析变换后的空间特征；将该分析变换后的空间特征输入硬量化模块进行硬量化处理，得到量化后的空间特征；将量化后的空间特征输入训练好的熵编码模块进行熵编码处理，得到熵编码后的二进制码流；向解码设备发送该熵编码后的二进制码流；其中，该分析变换网络、该熵编码模块分别为第一方面中任一项图像压缩模型训练方法训练得到的图像压缩模型中的分析变换网络、量化压缩模块的熵编码处理对应的模块。

4、第三方面，本技术一些实施例提供了一种图像解码方法，应用于解码设备，包括：从编码设备接收熵编码后的二进制码流，该熵编码后的二进制码流为该编码设备对待编码图像进行分析变换处理、硬量化处理和熵编码处理后得到的；将该熵编码后的二进制码流输入训练好的熵解码模块进行熵解码处理，得到熵解码后的空间特征；将该熵解码后的空间特征输入训练好的合成变换网络进行合成变换处理，得到该待编码图像对应的重构图像；其中，该熵解码模块、该合成变换网络分别为第一方面中任一项图像压缩模型训练方法训练得到的图像压缩模型中的量化压缩模块的熵解码处理对应的模块、合成变换网络。

5、第四方面，本技术一些实施例提供了一种图像压缩模型训练装置，包括：存储器，配置为存储训练样本集；和一个或多个处理器，配置为：获取训练样本集，该训练样本集包括多张训练图像；构建初始图像压缩模型，该初始图像压缩模型包括分析变换网络，量化压缩模块和合成变换网络；该分析变换网络用于对输入的训练图像进行分析变换处理得到编码后的空间特征；该量化压缩模块对该编码后的空间特征进行软量化处理、熵编码处理、熵解码处理以及量化补偿处理，得到量化压缩后的空间特征；该量化补偿处理用于缩小训练过程的该软量化处理与测试过程的硬量化处理之间的差异；该合成变换网络用于对该量化压缩后的空间特征进行合成变换处理，得到该训练图像对应的重构图像；将该训练样本集中的每张训练图像输入该初始图像压缩模型，得到该每张训练图像对应的重构图像；基于该每张训练图像和该每张训练图像对应的重构图像，对该初始图像压缩模型进行训练，得到训练好的目标图像压缩模型。

6、第五方面，本技术一些实施例提供了一种图像编码装置，包括：存储器，配置为存储待编码图像；和一个或多个处理器，配置为：获取待编码图像；将该待编码图像输入训练好的分析变换网络进行分析变换处理，得到分析变换后的空间特征；将该分析变换后的空间特征输入硬量化模块进行硬量化处理，得到量化后的空间特征；将量化后的空间特征输入训练好的熵编码模块进行熵编码处理，得到熵编码后的二进制码流；向解码设备发送该熵编码后的二进制码流；其中，该分析变换网络、该熵编码模块分别为第一方面所述的图像压缩模型训练方法训练得到的图像压缩模型中的分析变换网络、量化压缩模块的熵编码处理对应的模块。

7、第六方面，本技术一些实施例提供了一种图像解码装置，包括：存储器，配置为存储重构图像；和一个或多个处理器，配置为：从编码设备接收熵编码后的二进制码流，该熵编码后的二进制码流为该编码设备对待编码图像进行分析变换处理、硬量化处理和熵编码处理后得到的；将该熵编码后的二进制码流输入训练好的熵解码模块进行熵解码处理，得到熵解码后的空间特征；将该熵解码后的空间特征输入训练好的合成变换网络进行合成变换处理，得到该待编码图像对应的重构图像；其中，该熵解码模块、该合成变换网络分别为第一方面所述的图像压缩模型训练方法训练得到的图像压缩模型中的量化压缩模块的熵解码处理对应的模块、合成变换网络。

8、第七方面，本技术一些实施例提供了一种终端设备，包括：如第四方面所述的图像压缩模型训练装置，或者，如第五方面所述的图像编码装置，或者，如第六方面所述的图像解码装置。

9、第八方面，本技术一些实施例提供了一种计算机可读存储介质，包括：计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上述第一方面所示的图像压缩模型训练方法或第二方面所示的图像编码方法或第三方面所示的图像解码方法。

10、第九方面，本技术一些实施例提供了一种计算机程序产品，包括：当计算机程序产品在计算机上运行时，使得计算机实现如上述第一方面所示的图像压缩模型训练方法或第二方面所示的图像编码方法或第三方面所示的图像解码方法。

11、本技术一些实施例提供的技术方案与相关技术相比具有如下优点：本技术一些实施例中，通过在量化压缩模块加入用于缩小训练过程的该软量化处理与测试过程的硬量化处理之间的差异的量化补偿处理，因此通过量化补偿处理可对软量化处理与硬量化处理之间的差异进行补偿，进而降低因软量化处理与硬量化处理之间的差异，导致的训练过程与测试过程的不匹配性，提高测试过程的端到端的压缩网络的编解码性能，与训练得到的端到端的压缩网络的编解码性能的一致性，进而可以提高端到端的压缩网络的编解码性能。

12、本技术一些实施例中，利用图像压缩模型训练方法训练得到的图像压缩模型中的分析变换网络、量化压缩模块的熵编码处理对应的模块，对待编码图像编码，可以提高对图像的编码性能。

13、本技术一些实施例中，利用图像压缩模型训练方法训练得到的图像压缩模型中的量化压缩模块的熵解码处理对应的模块、合成变换网络对熵编码后的二进制码流进行解码，可以提高图像的解码性能。