通过指示特征图数据进行解码的制作方法

本发明实施例大体上涉及使用多个处理层从码流中解码用于图像或视频处理的数据的领域。具体地，一些实施例涉及用于这种解码的方法和装置。

背景技术：

1、几十年来，混合图像和视频编解码器一直被用于压缩图像和视频数据。在这些编解码器中，信号通常通过对块进行预测和通过进一步仅对原始块与其预测之间的差值进行译码来按块编码。具体地，这种译码可以包括变换、量化和生成码流，通常包括一些熵译码。通常，分别优化混合译码方法的三个组成部分，即变换、量化和熵译码。现代视频压缩标准(例如高效视频编码(high-efficiency video coding，hevc)、多功能视频编码(versatilevideo coding，vvc)和基本视频编码(essential video coding，evc))也使用变换的表示来在预测之后对残差信号进行译码。

2、最近，机器学习被应用于图像和视频译码。通常，机器学习可以以各种不同的方式应用于图像和视频译码。例如，已经讨论了一些端到端优化的图像或视频译码方案。此外，机器学习被用于确定或优化端到端译码的某些部分，例如预测参数的选择或压缩等。这些应用的共同点是，它们产生了一些特征图数据，这些特征图数据将在编码器与解码器之间传输。码流的高效结构可以大大有助于减少对图像/视频源信号进行编码的比特数。

3、神经网络通常包括两个或多个层。特征图是层的输出。在设备之间(例如在编码器与解码器之间、在设备与云之间或在不同设备之间)划分的神经网络中，划分站点(例如第一设备)的输出的特征图被压缩并发送到神经网络的其余层(例如，发送到第二设备)。

4、希望使用训练后的网络架构进一步改进编码和解码。

技术实现思路

1、本发明的一些实施例提供了用于以高效的方式对图像进行解码并实现一定的可扩展性以适应所需参数和内容的方法和装置。

2、上述和其它目的通过独立权利要求请求保护的主题实现。其它实现方式从从属权利要求、说明书和附图中是显而易见的。

3、根据实施例，提供了一种用于从码流中解码用于图像或视频处理的数据的方法，所述方法包括：从所述码流中获取两个或多个特征图元素集，其中，每个特征图元素集与特征图相关，将所述两个或多个特征图元素集中的每个分别输入多个级联层中的两个或多个特征图处理层，获取用于图像或视频处理的经解码的数据，作为所述多个级联层处理的结果。

4、这种方法可以提供改进的效率，因为它使得来自不同层的数据能够用于解码，从而能够从码流中解析特征或其它类型的层相关信息。

5、例如，在所述两个或多个特征图处理层中的每个中处理特征图，其中，分别在所述两个或多个特征图处理层中处理的特征图的分辨率不同。

6、在一些实施例中，在两个或多个特征图处理层中处理所述特征图包括上采样。

7、上采样的应用一方面能够降低处理的复杂性(因为第一层具有较低的分辨率)，另一方面，还可以减少在码流中提供并在解码器处解析的数据。此外，处理不同分辨率的层可以以这种方式关注不同尺度的特征。因此，处理图像(静止图像或视频)的网络可以高效地运行。

8、在示例性实现方式中，所述方法还包括以下步骤：从所述码流中获取与所述两个或多个层相关的分割信息，其中，从所述码流中获取所述特征图元素基于所述分割信息；将所述特征图元素集分别输入两个或多个特征图处理层基于所述分割信息。

9、使用分割信息可以提供来自不同层的特征图的高效解码，使得原始分辨率(待重建)的每个区域可以仅由来自一个层的信息覆盖。尽管这并不限制本发明，但在一些情况下，本发明还可以为特征图(数据)中的特定区域提供层之间的重叠。例如，多个级联层还包括多个分割信息处理层，并且该方法还包括在多个分割信息处理层中处理分割信息。这种方法提供了控制来自不同层的特征元素解析的可能性。

10、在一些实施例中，在所述多个分割信息处理层中的至少一个中处理所述分割信息包括上采样。分割信息的分层结构可以提供待插入码流中的少量边信息，从而提高效率和/或减少处理时间。

11、例如，所述分割信息的所述上采样和/或所述特征图的所述上采样包括最近邻上采样。最近邻上采样具有较低的计算复杂度，并且可以很容易地实现。尽管如此，这种上采样是高效的，对于逻辑指示(如标志)尤其如此。

12、在一些实施例和示例中，分割信息的所述上采样和/或特征图的所述上采样包括转置卷积。使用卷积可以有助于减少块效应，并可以实现可训练的方案，其中，上采样滤波器是可选择的。

13、在示例性实现方式中，从所述码流中获取所述特征图元素基于所述多个分割信息处理层中的至少一个处理的处理后的分割信息。

14、在示例性实现方式中，将所述两个或多个特征图元素集中的每个分别输入两个或多个特征图处理层基于所述多个分割信息处理层中的至少一个处理的处理后的分割信息。

15、根据实施例，所获取的分割信息由语法元素集表示，其中，所述语法元素集中的元素的位置指示所述语法元素与哪个特征图元素位置相关，其中，处理所述特征图包括，对于所述语法元素中的每个：当所述语法元素为第一值时，从所述码流中解析所述码流中的所述语法元素的所述位置所指示的位置上的所述特征图的元素，否则，不从所述码流解析在由所述码流中的所述语法元素的所述位置指示的所述位置上的所述特征图的所述元素。

16、分割信息与特征图信息之间的这种关系能够高效地对频率信息进行译码，并通过考虑不同的分辨率在分层结构中进行解析。

17、例如，所述多个(n个)特征图处理层中的每个层j(1<j<n)处理所述特征图还包括：从所述码流中解析第j特征图处理层的分割信息元素；获取前一特征图处理层处理后的特征图，从所述码流中解析特征图元素，并将解析后的特征图元素与所获取的特征图关联，其中，所述特征图元素在所述处理后的特征图中的位置由所述解析后的分割信息元素指示，并且分割信息由前一分割信息处理层处理。

18、具体地，当所述语法元素为第一值时，从所述码流解析所述特征图的元素，当所述语法元素为第二值或由前一分割信息处理层处理的分割信息为第一值时，不从所述码流解析所述特征图的所述元素。

19、例如，从表示所述分割信息的所述码流解析的所述语法元素是二值化标志。具体地，所述处理后的分割信息由二值化标志集表示。

20、提供二值化标志可以实现高效的译码。在解码器侧，逻辑标志的处理可以以低复杂度执行。

21、根据一种示例性实现方式，对每个分割信息处理层j中的所述分割信息进行上采样还包括：对于输入的分割信息指示的所获取的特征图中的每个第p位置，将重建图像中与所述第p位置相同的区域中包括的特征图位置的指示确定为上采样分割信息。

22、例如，用于图像或视频处理的数据包括运动矢量场。由于期望具有与图像的分辨率相似的分辨率的密集光流或运动矢量场来建模运动，所以本发明的分层结构易用于高效地重建这种运动信息。通过层处理和指示，可以在速率与失真之间实现良好的权衡。

23、例如，所述用于图像或视频处理的数据包括图像数据和/或预测残差数据和/或预测信息数据。本发明可以用于各种不同的参数。但是，图像数据和/或预测残差数据和/或预测信息数据在空间域中仍然可以具有一些冗余，并且本文描述的分层方法可以使用不同分辨率从码流进行高效解码。

24、在一些实施例和示例中，所述特征图的上采样使用滤波器，所述滤波器的形状为正方形、水平矩形和垂直矩形中的任一种。

25、应用不同的上采样滤波器可以有助于适应内容的不同特征。例如，特征图的上采样使用滤波器，从码流输入信息还包括从码流中获取指示滤波器形状和/或滤波器系数的信息。

26、对应地，解码器可以根据在码流中传输的来自编码器的信息提供更好的重建质量。

27、例如，指示所述滤波器形状的所述信息指示由标志组成的掩码，所述掩码表示所述滤波器形状，因为具有第三值的标志指示非零滤波器系数，具有不同于所述第三值的第四值的标志指示零滤波器系数。这为设计任何形状的滤波器提供了灵活性。

28、例如，多个级联层包括卷积层，而不在具有不同分辨率的层之间进行上采样。

29、在级联层网络中提供这种附加层能够引入附加处理，例如各种类型的滤波，以提高译码的质量或效率。

30、根据实施例，提供了一种存储在非瞬时性介质中的计算机程序产品，当所述计算机程序产品在一个或多个处理器上执行时，执行上述方法中的任一种方法。

31、根据实施例，提供了一种用于解码图像或视频的设备，该设备包括处理电路，该处理电路用于执行根据上述实施例和示例中的任何一个的方法。

32、根据一方面，提供了一种用于从码流中解码用于图像或视频处理的数据的设备，所述设备包括：获取单元，用于从所述码流中获取两个或多个特征图元素集，其中，每个特征图元素集与特征图相关，输入单元，用于将所述两个或多个特征图元素集中的每个分别输入多个级联层中的两个或多个特征图处理层，经解码的数据获取单元，用于获取用于图像或视频处理的经解码的数据，作为所述多个级联层处理的结果。

33、上述装置中的任何一个都可以在集成芯片上实现。本发明可以通过硬件(hardware，hw)和/或软件(software，sw)实现。此外，基于hw的实现方式可以与基于sw的实现方式相结合。

34、需要说明的是，本发明不限于具体框架。此外，本发明不限于图像或视频压缩，并且也可以应用于对象检测、图像生成和识别系统。

35、为了清楚起见，上述任一实施例可以与上述其它实施例中任何一个或多个组合以创建本发明范围内的新实施例。