用于切片或图片的基于NAL单元类型的图像或视频编码的制作方法

用于切片或图片的基于nal单元类型的图像或视频编码
技术领域
1.本技术涉及视频或图像编码，例如，涉及用于切片或图片的基于网络抽象层(nal)单元类型的图像或视频编码技术。


背景技术：

2.最近，在各种领域中对诸如4k或8k超高清(uhd)图像/视频的高分辨率、高质量图像/视频的需求不断增加。随着图像/视频分辨率或质量变得更高，与传统图像/视频数据相比发送相对更多的信息或比特。因此，如果图像/视频数据经由诸如现有有线/无线宽带线路的介质发送或被存储在传统存储介质中，则传输和存储的成本容易增加。
3.此外，对虚拟现实(vr)和人工现实(ar)内容以及诸如全息图这样的沉浸式媒体的兴趣和需求日益增长；并且表现出与实际图像/视频不同的图像/视频特性的图像/视频(例如，游戏图像/视频)的广播也日益增长。
4.因此，需要高度高效的图像/视频压缩技术来有效地压缩并发送、存储或播放如上所述显示出各种特性的高分辨率、高质量图像/视频。
5.另外，需要用于提高图像/视频编码效率的方法，并且为此，用于有效发信号通知并编码与网络抽象层(nal)单元相关的信息的方法是必需的。


技术实现要素：

6.技术问题
7.本文献提供了用于提高视频/图像编码效率的方法和设备。
8.本文献还提供了用于基于nal单元相关信息来提高视频/图像编码效率的方法和设备。
9.本文献还提供了用于提高具有混合(混合的)nal单元类型的图片的视频/图像编码效率的方法和设备。
10.本文献还提供了用于允许针对相对于具有混合nal单元类型的图片具有特定nal单元类型的图片中的切片发信号通知或存在参考图片列表相关信息的方法和设备。
11.技术方案
12.根据本文献的实施方式，可以基于nal单元类型相关信息来确定图片是否具有混合nal单元类型，并且可以针对具有混合nal单元类型的图片的切片来确定nal单元类型。例如，基于nal单元类型相关信息的值为1，图片中的第一切片的nal单元类型可具有前导图片nal单元类型，并且图片中的第二切片的nal单元类型可具有非帧内随机访问点(irap)nal单元类型或非前导图片nal单元类型。根据本文献的实施方式，基于图片被允许具有混合nal单元类型的情况，对于图片中具有特定nal单元类型的切片，可以存在与发信号通知参考图片列表相关的信息。
13.根据本文献的实施方式，基于图片被允许具有混合nal单元类型的情况，对于图片中具有特定nal单元类型的切片，可以存在与发信号通知参考图片列表相关的信息。
14.根据本文献的实施方式，提供了由解码设备执行的视频/图像解码方法。视频/图像解码方法可以包括本文献的实施方式中公开的方法。
15.根据本文献的实施方式，提供了执行视频/图像解码的解码设备。解码设备可以执行本文献的实施方式中公开的方法。
16.根据本文献的实施方式，提供了由编码设备执行的视频/图像编码方法。视频/图像编码方法可以包括本文献的实施方式中公开的方法。
17.根据本文献的实施方式，提供了执行视频/图像编码的编码设备。编码设备可以执行本文献的实施方式中公开的方法。
18.根据本文献的实施方式，提供了存储根据本文献的实施方式中的至少一个中公开的视频/图像编码方法生成的编码后的视频/图像信息的计算机可读数字存储介质。
19.根据本文献的实施方式，提供了存储使解码设备执行在本文献的实施方式中的至少一个中公开的视频/图像解码方法的编码后的信息或编码后的视频/图像信息的计算机可读数字存储介质。
20.技术效果
21.本文献可以具有各种效果。例如，根据本文献的实施方式，可以提高整体图像/视频压缩效率。另外，根据本文献的实施方式，可以基于nal单元相关信息来提高视频/图像编码效率。另外，根据本文献的实施方式，可以提高具有混合nal单元类型的图片的视频/图像编码效率。另外，根据本文献的实施方式，对于具有混合nal单元类型的图片，可以有效地发信号通知和编码参考图片列表相关信息。另外，根据本文献的实施方式，通过允许以混合形式包括前导图片nal单元类型(例如，rasl_nut、radl_nut)和其它非irap nal单元类型(例如，trail_nut、stsa、nut)的图片，对于具有混合nal单元类型的图片，可以提供不仅与irap而且与其它类型的nal单元混合的形式，并且据此，可以具有更灵活的特性。
22.可以通过本文献的详细示例获得的效果不限于以上列举的效果。例如，可以存在相关领域的普通技术人员能够从本文献中理解或推导的各种技术效果。因此，本文献的详细效果不限于在本文献中明确阐述的效果，而是可以包括可以从本文献的技术特征中理解或推导的各种效果。
附图说明
23.图1示意性例示了适用本文献的实施方式的视频/图像编码系统的示例。
24.图2是示意性例示了可以应用本文献的实施方式的视频/图像编码设备的配置的示图。
25.图3是例示了可以应用本文献的实施方式的视频/图像解码设备的配置的示意图。
26.图4表示适用本文献的实施方式的示意性视频/图像编码方法的示例。
27.图5表示适用本文献的实施方式的示意性视频/图像解码方法的示例。
28.图6示例性地表示编码图像/视频的层级结构。
29.图7示意性地示出了适用本文献的实施方式的熵编码方法的示例，图8示意性地示出了编码设备中的熵编码器。
30.图9示意性地示出了适用本文献的实施方式的熵解码方法的示例，图10示意性地示出了解码设备中的熵解码器。
31.图11是示出支持时间可伸缩性的比特流中nal单元的时间层结构的示图。
32.图12是用于描述可能被随机访问的图片的示图。
33.图13是用于描述idr图片的示图。
34.图14是用于描述cra图片的示图。
35.图15示意性表示适用本文献的实施方式的视频/图像编码方法的示例。
36.图16示意性表示适用本文献的实施方式的视频/图像解码方法的示例。
37.图17和图18示意性例示了根据本文献的实施方式的视频/图像编码方法和相关部件的示例。
38.图19和图20示意性例示了根据本文献的实施方式的视频/图像解码方法和相关部件的示例。
39.图21例示了适用本文献中公开的实施方式的内容流系统的示例。
具体实施方式
40.本公开可按各种形式修改，将描述并且在附图中图示其特定实施方式。然而，这些实施方式并非旨在限制本公开。以下描述中使用的术语仅用于描述特定实施方式，而非旨在限制本公开。单数表达包括复数表达，只要清楚地不同解读即可。诸如“包括”和“具有”这样的术语旨在指示存在以下描述中使用的特征、数量、步骤、操作、元件、部件或其组合，因此应该理解，不排除存在或添加一个或更多个不同的特征、数量、步骤、操作、元件、部件或其组合的可能性。
41.另外，本文献描述的附图的各个配置是为了说明作为彼此不同的特征的功能而独立的图示的，并不意指各个配置通过彼此不同的硬件或不同的软件被实现。例如，可以组合配置中的两个或更多个的配置以形成一个配置，并且也可以将一个配置划分为多个配置。在不脱离本文献的主旨的情况下，配置被组合和/或分离的实施方式被包括在权利要求的范围内。
42.在本文献中，术语“a或b”可以意指“仅a”、“仅b”或“a和b二者”。换句话说，在本文献中，术语“a或b”可以被解释为指示“a和/或b”。例如，在本文献中，术语“a、b或c”可以意指“仅a”、“仅b”、“仅c”或“a、b、c的任何组合”。
43.在本文献中使用的斜杠(/)或逗号可以意指“和/或”。例如，“a/b”可以意指“a和/或b”。因此，“a/b”可以意指“仅a”、“仅b”或“a和b二者”。例如，“a、b、c”可以意指“a、b或c”。
44.在本文献中，“a和b中的至少一个”可以意指“仅a”、“仅b”或“a和b二者”。另外，在本文献中，表述“a或b中的至少一者”或“a和/或b中的至少一者”可以被解释为与“a和b中的至少一者”相同。
45.另外，在本文献中，“a、b和c中的至少一者”可以意指“仅a”、“仅b”、“仅c”或“a、b和c的任何组合”。另外，“a、b或c中的至少一者”或“a、b和/或c中的至少一者”可以意指“a、b和c中的至少一者”。
46.另外，在本文献中使用的括号可以意指“例如”。具体地，在表达“预测(帧内预测)”的情况下，可以指示“帧内预测”被提议为“预测”的示例。换句话说，本文献中的术语“预测”不限于“帧内预测”，并且可以指示“帧内预测”被提议为“预测”的示例。另外，即使在表达“预测(即，帧内预测)”的情况下，也可以指示“帧内预测”被提议为“预测”的示例。
47.本文献涉及视频/图像编码。例如，本文献中公开的方法/实施方式可以应用于通用视频编码(vvc)标准中公开的方法。另外，本文献中公开的方法/实施方式可以应用于基本视频编码(evc)标准、aomedia video 1(av1)标准、第二代音频视频编码标准(avs2)或下一代视频/图像编码标准(例如，h.267或h.268等)中公开的方法。
48.本文献提议了视频/图像编码的各种实施方式，并且除非另外提到，否则以上实施方式也可以彼此组合地执行。
49.在本文献中，视频可以意指根据时间推移的一系列图像的集合。图片通常意指表示特定时间段中的一副图像的单元，并且切片/图块是编码时构成图片的一部分的单元。切片/图块可以包括一个或更多个编码树单元(ctu)。一个图片可以由一个或更多个切片/图块组成。图块是图片中的特定图块列和特定图块行内的ctu的矩形区域。图块列是高度等于图片的高度并且宽度由图片参数集中的语法元素指定的ctu的矩形区域。图块行是宽度由图片参数集中的语法元素指定并且高度等于图片高度的ctu的矩形区域。图块扫描是以下的分割图片的ctu的特定顺序排序：ctu在图块中的ctu光栅扫描中被连续排序，而图片中的图块在图片的图块的光栅扫描中被连续排序。切片包括可以被排他性包含在单个nal单元中的图片的整数个完整图块或图块内的整数个连续的完整ctu行。
50.此外，一个图片可以被划分为两个或更多个子图片。子图片可以是图片内的一个或更多个切片的矩形区域。
51.像素或画素(pel)可意指构成一个图片(或图像)的最小单元。另外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素值，并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。或者，样本可以意指空间域中的像素值，或者当像素值被变换到频域中时可以意指频域中的变换系数。
52.单元可表示图像处理的基本单位。单元可包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可与诸如块或区域这样的术语互换使用。在一般情况下，m
×
n块可包括m列和n行的样本(或样本数组)或变换系数的集合(或数组)。
53.另外，在本文献中，量化/反量化和/或变换/逆变换中的至少一者可以被省略。当量化/反量化被省略时，量化变换系数可以被称为变换系数。当变换/逆变换被省略时，变换系数可以被称为系数或残差系数，或者为了表述一致性的缘故，可以仍被称为变换系数。
54.在本文献中，量化变换系数和变换系数可以分别被称为变换系数和缩放变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并可以通过残差编码语法发信号通知关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)来推导变换系数，并且可以通过对变换系数的逆变换(缩放)来推导缩放变换系数。可以基于对缩放变换系数的逆变换(变换)来推导残差样本。这也可以在本文献的其它部分中应用/表达。
55.在本文献中，在一个附图中被单独说明的技术特征可以单独实现，或者可以同时实现。
56.下文中，参考附图更具体地描述本文献的优选实施方式。下文中，在附图中，相同的附图标记被用于相同的元件，并且可以省略对相同元件的冗余描述。
57.图1例示了可以应用本文献的实施方式的视频/图像编码系统的示例。
58.参照图1，视频/图像编码系统可以包括源装置和接收装置。源装置可以通过数字
存储介质或网络以文件或流传输的形式将编码后的视频/图像信息或数据发送到接收装置。
59.源装置可包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器，并且显示器可被配置为单独的装置或外部部件。
60.视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可由生成相关数据的处理代替。
61.编码设备可对输入视频/图像进行编码。为了压缩和编码效率，编码设备可执行诸如预测、变换和量化这样的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
62.发送器可通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流传输的形式发送至接收装置的接收器。数字存储介质可包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并且将所接收的比特流发送至解码设备。
63.解码设备可通过执行与编码设备的操作对应的诸如反量化、逆变换和预测这样的一系列过程对视频/图像进行解码。
64.渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
65.图2是示意性例示了可以应用本文献的实施方式的视频/图像编码设备的配置的示图。下文中，所谓的编码设备可以包括图像编码设备和/或视频编码设备。
66.参照图2，编码设备200可以包括并配置有图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式，上面已经描述的图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由一个或更多个硬件部件(例如，编码器芯片组或处理器)配置。另外，存储器270可包括解码图片缓冲器(dpb)，并且可由数字存储介质配置。硬件部件还可包括存储器270作为内部/外部部件。
67.图像分割器210可将输入到编码设备200的输入图像(或者图片或帧)分割成一个或更多个处理单元。例如，处理单元可被称为编码单元(cu)。在这种情况下，编码单元可根据四叉树二叉树三叉树(qtbttt)结构从编码树单元(ctu)或最大编码单元(lcu)递归地分割。例如，一个编码单元可基于四叉树结构、二叉树结构和/或三叉树结构被分割成深度更深的多个编码单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三叉树结构。另选地，可首先应用二叉树结构。可基于不再分割的最终编码单元来执
行根据本公开的编码过程。在这种情况下，根据图像特性基于编码效率等，最大编码单元可用作最终编码单元，或者如果需要，编码单元可被递归地分割成深度更深的编码单元，使得具有最优尺寸的编码单元可用作最终编码单元。这里，编码过程可包括诸如预测、变换和重构这样的过程(将稍后描述)。作为另一示例，处理单元还可包括预测单元(pu)或变换单元(tu)。在这种情况下，预测单元和变换单元中的每一者可从上述最终编码单元拆分或分割。预测单元可以是样本预测的单元，并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
68.在一些情况下，单元可与诸如块或区域这样的术语互换使用。通常，m
×
n块可表示由m列和n行组成的样本或变换系数的集合。样本通常可表示像素或像素值，并且可仅表示亮度分量的像素/像素值，也可以仅表示色度分量的像素/像素值。样本可用作与构成一个图片(或图像)的像素或像元对应的术语。
69.编码设备200可以通过从输入图像信号(原始块、原始样本数组)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本数组)来生成残差信号(残差块、残差样本数组)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所例示的，用于在编码器200内从输入图像信号(原始块、原始样本数组)中减去预测信号(预测块、预测样本数组)的单元可以被称为减法器231。预测器可以对待处理块(下文中，被称为当前块)执行预测并生成包括当前块的预测样本的预测块。预测器可以以当前块或cu为单位确定是应用帧内预测还是应用帧间预测。预测器可以生成诸如预测模式信息这样的各种关于预测的信息，以将所生成的信息传送到熵编码器240，如随后在描述每个预测模式时描述的。关于预测的信息可以被熵编码器240编码，从而以比特流的形式输出。
70.帧内预测器222可参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近，也可以远离当前块。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括dc模式和平面模式。例如，根据预测方向的精细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
71.帧间预测器221可基于参考图片上运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动矢量和参考图片索引。运动信息还可包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可相同，还可以彼此不同。时间邻近块可被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参考图片还可被称为并置图片(colpic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动矢量和/或参考图片索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。运动矢量预测(mvp)模式可通过使用邻近块的运动矢量作为运动矢量预测器并且发信号通知运动矢量差来指示当前块的运动矢量。
72.预测器220可以基于随后将描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且还可以同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(ciip)。另外，预测器可以基于块内复制(ibc)预测模式或调色板模式，以便对块执行预测。ibc预测模式或调色板模式可以用于诸如屏幕内容编码(scc)这样的游戏等的内容图像/视频编码。ibc基本上在当前图片中执行预测，但在推导当前图片中的参考块方面，其与帧间预测类似地执行。即，ibc可以使用本文献中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，可以基于关于调色板索引和调色板表的信息来发信号通知图片中的样本值。
73.通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或者用于生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(dct)、离散正弦变换(dst)、karhunen-lo
è
ve变换(klt)、基于图的变换(gbt)或有条件非线性变换(cnt)中的至少一种。这里，当像素之间的关系信息被例示为曲线图时，gbt意指从该曲线图获得的变换。cnt意指基于通过使用所有先前重构的像素生成的预测信号而获取的变换。另外，变换处理也可以被应用于正方形的尺寸相同的像素块，并也可以应用于不是正方形的尺寸可变的块。
74.量化器233可以对变换系数进行量化以将量化变换系数发送到熵编码器240，并且熵编码器240可以将量化信号(关于量化变换系数的信息)编码为编码量化信号并作为比特流输出。关于量化变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将具有块形式的量化变换系数重新布置成一维矢量形式，并还基于一维矢量形式的量化变换系数来生成关于量化变换系数的信息。熵编码器240可以执行例如诸如指数哥伦布(golomb)编码、上下文自适应可变长度编码(cavlc)和上下文自适应二进制算术编码(cabac)这样的各种编码方法。熵编码器240还可以一起或分别地对量化变换系数之外的视频/图像重构所必需的信息(例如，语法元素的值等)进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式发送或以网络抽象层(nal)单元为单位存储。视频/图像信息还可以包括关于诸如适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。随后将在本文献中描述的被发信号通知/发送的信息和/或语法元素可以通过以上提到的编码过程被编码，从而被包括在比特流中。比特流可以通过网络发送或者被存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络等，并且数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd和ssd这样的各种存储介质。用于发送从熵编码器240输出的信号的发送器(未例示)和/或用于存储信号的存储器(未例示)可以被配置为编码设备200的内部/外部元件，或者发送器也可以被包括在熵编码器240中。
75.从量化器233输出的量化变换系数可以用于生成预测信号。例如，反量化器234和逆变换器235向量化变换系数应用反量化和逆变换，使得可以重构残差信号(残差块或残差样本)。加法器250将重构残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，使得可以生成重构信号(重构图片、重构块、重构样本数组)。如在应用跳过模式的情况下，如果待处理块不存在残差，则可以将预测块用作重构块。加法器250可以被称为重构器或重构块生成器。所生成的重构信号可以用于将在当前图片内处理的下一个块的帧内预
测，并且如随后描述的，还用于通过滤波对下一个图片进行帧间预测。
76.此外，可以在图片编码和/或重构处理中应用具有色度缩放的亮度映射(lmcs)。
77.滤波器260可以向重构信号应用滤波从而改善主观/客观图像质量。例如，滤波器260可以向重构图片应用各种滤波方法以生成修改后的重构图片，并将修改后的重构图片存储在存储器270中，具体地，存储在存储器270的dpb中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波相关的各种信息，以将所生成的信息传送到熵编码器240，如随后在每种滤波方法的描述中描述的。与滤波相关的信息可以由熵编码器240编码并以比特流的形式被输出。
78.发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参考图片。如果通过帧间预测器应用帧间预测，则可以避免编码设备200与解码设备之间的预测失配，并且可以提高编码效率。
79.存储器270的dpb可以存储修改后的重构图片，以用作帧间预测器221中的参考图片。存储器270可以存储从其推推导(或编码)当前图片内的运动信息的块的运动信息和/或先前重构的图片内的块的运动信息。所存储的运动信息可以被传送到帧间预测器221，以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并可以将重构样本传送到帧内预测器222。
80.图3是示意性说明了适用本文献的视频/图像解码设备的配置的示图。下文中，所谓的解码设备可以包括图像解码设备和/或视频解码设备。
81.参照图3，解码设备300可包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可包括帧间预测器332和帧内预测器331。残差处理器320可包括反量化器321和逆变换器322。根据实施方式，以上已描述的熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可由硬件部件(例如，解码器芯片组或处理器)配置。另外，存储器360可包括解码图片缓冲器(dpb)或者可由数字存储介质配置。硬件部件还可包括存储器360作为内部/外部部件。
82.当输入包括视频/图像信息的比特流时，解码设备300可响应于在图2中例示的编码设备中处理视频/图像信息的处理来重构图像。例如，解码设备300可基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可使用应用于编码设备的处理单元来执行解码。因此，例如，解码的处理单元可以是编码单元，并且编码单元可根据四叉树结构、二叉树结构和/或三叉树结构从编码树单元或最大编码单元分割。可从编码单元推导一个或更多个变换单元。另外，通过解码设备300解码和输出的重构图像信号可通过再现设备再现。
83.解码设备300可以以比特流的形式接收从图2中例示的编码设备输出的信号，并且可以通过熵解码器310对接收到的信号进行解码。例如，熵解码器310可以通过对比特流进行解析来推导图像重构(或图片重构)所必需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(aps)、图片参数集(pps)、序列参数集(sps)和视频参数集(vps)这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。解码设备可以进一步基于关于参数集的信息和/或常规约束信息对图片进行解码。随后将在本文献中描述的被发信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流获取。例如，熵解码器310可以基于诸如指数哥伦布编码、cavlc或cabac这样的编码方法对比特流内的信息进行解码，并输出图像重构所必需的语法元素的值和残差相关变换系
数的量化值。更具体地，cabac熵解码方法可以从比特流接收与每个语法元素对应的bin，使用待解码的语法元素信息以及邻近块和待解码块的解码信息或在前一级中解码的符号/bin的信息来确定上下文模型，并通过根据所确定的上下文模型预测bin生成概率以执行bin的算术解码来生成与每个语法元素的值对应的符号。此时，cabac熵解码方法可以确定上下文模型，然后使用针对下一个符号/bin的上下文模型的解码符号/bin的信息来更新上下文模型。由熵解码器310解码的信息当中的关于预测的信息可以被提供到预测器(帧间预测器332和帧内预测器331)，并且由熵解码器310执行熵解码的残差值(即，量化变换系数和相关的参数信息)可以被输入到残差处理器320。残差处理器320可以推推导残差信号(残差块、残差样本、残差样本数组)。另外，由熵解码器310解码的信息当中的关于滤波的信息可以被提供到滤波器350。此外，用于接收从编码设备输出的信号的接收器(未例示)可以进一步被配置为解码设备300的内部/外部元件，或者接收器也可以是熵解码器310的部件。此外，根据本文献的解码设备可以被称为视频/图像/图片解码设备，并且解码设备也可以被分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
84.反量化器321可将量化后的变换系数反量化以输出变换系数。反量化器321可按二维块形式重排量化后的变换系数。在这种情况下，可基于由编码设备执行的系数扫描顺序来执行重排。反量化器321可使用量化参数(例如，量化步长信息)对量化后的变换系数执行反量化并且获得变换系数。
85.逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本数组)。
86.预测器330可执行当前块的预测并生成包括当前块的预测样本的预测块。预测器可基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可确定特定帧内/帧间预测模式。
87.预测器可以基于随后将描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(ciip)。另外，预测器可以基于块内复制(ibc)预测模式或调色板模式，以便对块执行预测。ibc预测模式或调色板模式可以用于诸如屏幕内容编码(scc)这样的游戏等的内容图像/视频编码。ibc基本上在当前图片中执行预测，但在推导当前图片中的参考块方面，其与帧间预测类似地执行。即，ibc可以使用本文献中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以被包括在视频/图像信息中并被发信号通知。
88.帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以位于当前块的邻居中，或者其位置可以与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331还可以通过使用应用于邻近块的预测模式来确定将应用于当前块的预测模式。
89.帧间预测器332可以基于参考图片上的运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息相关性以块、子块或样本为单位来预测运动信
息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括关于帧间预测方向(l0预测、l1预测、bi预测等)的信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测器332可以基于邻近块来构造运动信息候选列表，并基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
90.加法器340可以将所获得的残差信号与从预测器330(包括帧内预测器331和帧间预测器332)输出的预测信号(预测块或预测样本数组)相加以生成重构信号(重构图片、重构块或重构样本数组)。如在应用跳变模式的情况下，如果不存在待处理块的残差，则预测块可以用作重构块。
91.加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中将处理的下一个块的帧内预测，并且如随后描述的，还可以通过滤波来输出或者还可以用于下一个图片的帧间预测。
92.此外，具有色度缩放的亮度映射(lmcs)还可以被应用于图片解码处理。
93.滤波器350可以通过向重构信号应用滤波来改善主观/客观图像质量。例如，滤波器350可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器360中，具体地，存储在存储器360的dpb中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
94.存储在存储器360的dpb中的(修改后的)重构图片可以被用作帧间预测器332中的参考图片。存储器360可以存储从其推推导(或解码出)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器332，以便被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本，并将重构样本传送到帧内预测器331。
95.在本文献中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的示例性实施方式可以分别同等地或对应地应用于解码设备300的滤波器350、帧间预测器332和帧内预测器331。
96.此外，如上所述，在执行视频编码时，执行预测以增强压缩效率。据此，可生成包括作为待编码的当前块(即，目标编码块)的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。预测块在编码设备和解码设备中相同地推导，并且编码设备可向解码设备发信号通知关于原始块与预测块之间的残差(而非原始块的原始样本值本身)的信息(残差信息)从而增强图像编码效率。解码设备可基于残差信息来推导包括残差样本的残差块，可将残差块和预测块相加以生成包括重构样本的重构块，并且可生成包括重构块的重构图片。
97.残差信息可通过变换过程和量化过程来生成。例如，编码设备可推导原始块与预测块之间的残差块，可对包括在残差块中的残差样本(残差样本数组)执行变换过程以推导变换系数，可对变换系数执行量化过程以推导量化后的变换系数，并且可将相关残差信息(通过比特流)用信号通知给解码设备。在这种情况下，残差信息可包括量化后的变换系数、位置信息、变换方案、变换核和量化参数等的值信息。解码设备可基于残差信息来执行反量化/逆变换过程并且可推导残差样本(或残差块)。解码设备可基于预测块和残差块来生成
重构图片。此外，为了后续图片的帧间预测参考，编码设备还可对量化后的变换系数进行反量化/逆变换以推导残差块，并且可基于此来生成重构图片。
98.此外，如上所述，当对当前块执行预测时，可以应用帧内预测或帧间预测。在实施方式中，当向当前块应用帧间预测时，编码/解码设备的预测器(更具体地，帧间预测器)可以通过以块为单位执行帧间预测来推导预测样本。帧间预测可以表示由取决于除了当前图片之外的图片的数据元素(例如，样本值或运动信息)的方法推推导的预测。当向当前块应用帧间预测时，可以基于参考图片索引所指示的参考图片上的运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块(预测样本数组)。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测当前块的运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测类型(l0预测、l1预测、bi预测等)信息。在应用帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或彼此不同。时间邻近块可以被称为诸如并置参考块、并置cu(colcu)等这样的名称，并且包括时间邻近块的参考图片可以被称为并置图片(colpic)。例如，可以基于当前块的邻近块来配置运动信息候选列表并且可以发信号通知指示选择(使用)哪个候选的标志或索引信息以便推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且例如，在跳过模式和合并模式下，当前块的运动信息可以与所选择的邻近块的运动信息相同。在跳过模式的情况下，可以不像合并模式那样发送残差信号。在运动矢量预测(mvp)模式的情况下，所选择的邻近块的运动矢量可以被用作运动矢量预测子，并且可以发信号通知运动矢量差。在这种情况下，可以使用运动矢量预测子和运动矢量差之和来推导当前块的运动矢量。
99.根据帧间预测类型(l0预测、l1预测、bi预测等)，运动信息还可以包括l0运动信息和/或l1运动信息。l0方向运动矢量可以被称为l0运动矢量或mvl0，并且l1方向运动矢量可以被称为l1运动矢量或mvl1。基于l0运动矢量的预测可以被称为l0预测，基于l1运动矢量的预测可以被称为l1预测，并且基于l0运动矢量和l1运动矢量二者的预测可以被称为双向预测。这里，l0运动矢量可以指示与参考图片列表l0关联的运动矢量，并且l1运动矢量可以指示与参考图片列表l1关联的运动矢量。作为参考图片，参考图片列表l0可以包括按输出顺序在当前图片之前的图片，并且参考图片列表l1可以包括按输出顺序在当前图片之后的图片。之前的图片可以被称为前向(参考)图片，并且之后的图片可以被称为反向(参考)图片。参考图片列表l0还可以包括按输出顺序在当前图片之后的图片作为参考图片。在这种情况下，可以首先在参考图片列表l0中索引之前的图片，然后索引之后的图片。参考图片列表l1还可以包括按输出顺序在当前图片之前的图片作为参考图片。在这种情况下，可以首先在参考图片列表l1中索引之后的图片，然后可以索引之前的图片。这里，输出顺序可以对应于图片顺序计数(poc)顺序。
100.图4表示适用本文献的实施方式的示意性视频/图像编码方法的示例。
101.图4中公开的方法可以由图2的上述编码设备200执行。具体地，s400可由编码设备200的帧间预测器221或帧内预测器222来执行，并且s410、s420、s430和s440可分别由编码设备200的减法器231、变换器232、量化器233和熵编码器240来执行。
102.参照图4，编码设备可通过对当前块的预测来推导预测样本(s400)。编码设备可确定是否对当前块执行帧间预测或帧内预测，并基于rd成本确定特定的帧间预测模式或特定的帧内预测模式。根据所确定的模式，编码设备可推导当前块的预测样本。
103.编码设备可将当前块的预测样本与原始样本进行比较，并推导残差样本(s410)。
104.编码设备可通过对残差样本的变换处理来推导变换系数(s420)，并可通过对推导出的变换系数进行量化来推导量化变换系数(s430)。
105.可基于量化参数执行量化。可以跳过变换处理和/或量化处理。当跳过变换处理时，可根据稍后描述的残差编码技术来对残差样本的(量化)(残差)系数进行编码。为了术语的统一，(量化)(残差)系数也可以被称为(量化)变换系数。
106.编码设备可对包括残差信息和预测信息的图像信息进行编码，并可以比特流的形式输出编码后的图像信息(s440)。预测信息可包括关于运动信息(例如，当应用帧间预测时)和预测模式信息的信息作为与预测处理相关的多个信息。残差信息可包括关于量化变换系数的信息。可对残差信息进行熵编码。可替换地，残差信息可包括关于(量化)(残差)系数的信息。
107.输出比特流可以通过存储介质或网络传送到解码设备。
108.图5表示适用本文献的实施方式的示意性视频/图像解码方法的示例。
109.图5中公开的方法可以由图3的上述解码设备300执行。具体地，s500可由解码设备300的帧间预测器332或帧内预测器331来执行。在s500中，可由解码设备300的熵解码器310执行对包括在比特流中的预测信息进行解码并推导相关语法元素的值的处理。s510、s520、s530和s540可分别由解码设备300的熵解码器310、反量化器321、逆变换器322和加法器340执行。
110.参照图5，解码设备可执行与已在编码设备中执行的操作对应的操作。解码设备可对当前块执行帧间预测或帧内预测，并基于接收到的预测信息推导预测样本(s500)。
111.解码设备可基于接收的残差信息推导当前块的量化变换系数(s510)。解码设备可通过熵解码从残差信息推导量化变换系数。
112.解码设备可对量化变换系数进行反量化并推导变换系数(s520)。可以基于量化参数执行反量化。
113.解码设备可通过对变换系数的逆变换处理来推导残差样本(s530)。
114.可以跳过逆变换处理和/或反量化处理。当跳过逆变换处理时，可从残差信息推导(量化)(残差)系数，并且可基于(量化)(残差)系数推导残差样本。
115.解码设备可基于残差样本和预测样本生成当前块的重构样本，并基于这些重构样本生成重构图片(s540)。此后，可以将环路滤波处理进一步应用于如上所述的重构图片。
116.图6示例性地示出了编码后的图像/视频的层级结构。
117.参照图6，编码后的图像/视频被划分为操纵图像/视频解码处理及其自身的vcl(视频编码层)、发送和存储编码信息的子系统以及存在于vcl和子系统之间并负责网络适配功能的网络抽象层(nal)。
118.vcl可以生成包括压缩图像数据(切片数据)的vcl数据，或者生成包括图片参数集(图片参数集：pps)、序列参数集(序列参数集：sps)、视频参数集(视频参数集：vps)等的参数集或图像的解码处理另外必要的补充增强信息(sei)消息。
119.在nal中，可以通过向在vcl中生成的原始字节序列有效载荷(rbsp)添加头信息(nal单元头)来生成nal单元。在这种情况下，rbsp是指在vcl中生成的切片数据、参数集、sei消息等。nal单元头可以包括根据对应nal单元中所包括的rbsp数据指定的nal单元类型信息。
120.另外，根据在vcl中生成的rbsp，nal单元可以划分为vcl nal单元和非vcl nal单元。vcl nal单元可以是指包括关于图像的信息(切片数据)的nal单元，并且非vcl-nal单元可以是指包括对图像进行解码所需的信息(参数集或sei消息)的nal单元。
121.vcl nal单元和非vcl nal单元可以通过根据子系统的数据标准附接头信息来通过网络发送。例如，nal单元可以被变换为诸如h.266/vvc文件格式、实时传输协议(rtp)和传输流(ts)等这样的预定标准的数据格式，并通过各种网络来发送。
122.如上所述，在nal单元中，可以根据对应nal单元中所包括的rbsp数据结构来指定nal单元类型，并且关于该nal单元类型的信息可以被存储在nal单元头中并被发信号通知。
123.例如，根据nal单元是否包括关于图像的信息(切片数据)，nal单元可以大致分为vcl nal单元类型和非vcl nal单元类型。vcl nal单元类型可以根据vcl nal单元中所包括的图片的性质和类型来分类，并且非vcl nal单元类型可以根据参数集的类型来分类。
124.以下是根据非vcl nal单元类型中所包括的参数集的类型指定的nal单元类型的示例。
[0125]-aps(自适应参数集)nal单元：包括aps的nal单元的类型
[0126]-dps(解码参数集)nal单元：包括dps的nal单元的类型
[0127]-vps(视频参数集)nal单元：包括vps的nal单元的类型
[0128]-sps(序列参数集)nal单元：包括sps的nal单元的类型
[0129]-pps(图片参数集)nal单元：包括pps的nal单元的类型
[0130]-ph(图片头)nal单元：包括ph的nal单元的类型
[0131]
上述nal单元类型具有针对nal单元类型的语法信息，并且语法信息可以被存储在nal单元头中并被发信号通知。例如，语法信息可以是nal_unit_type，并且可以通过nal_unit_type值指定nal单元类型。
[0132]
此外，如上所述，一个图片可以包括多个切片，并且一个切片可以包括切片头和切片数据。在这种情况下，可以向一个图片中的多个切片(切片头和切片数据集)进一步添加一个图片头。图片头(图片头语法)可以包括共用于图片的信息/参数。在本文献中，图块组可以与切片或图片相混合或者被替换为切片或图片。另外，在本文献中，图块组头可以与切片头或图片头相混合或者被替换为切片头或图片头。
[0133]
切片头(切片头语法)可以包括共用于切片的信息/参数。aps(aps语法)或pps(pps语法)可以包括共用于一个或更多个切片或图片的信息/参数。sps(sps语法)可以包括共用于一个或更多个序列的信息/参数。vps(vps语法)可以包括共用于多个层的信息/参数。dps(dps语法)可以包括共用于整个视频的信息/参数。dps可以包括与编码视频序列(cvs)的级联相关的信息/参数。在本文献中，高级语法(hls)可以包括aps语法、pps语法、sps语法、vps语法、dps语法、图片头语法和切片头语法中的至少一个。
[0134]
在本文献中，在编码设备中编码并以比特流的形式发信号通知给解码设备的图像/视频信息可以不仅包括图片中的图片分割相关信息、帧内/帧间预测信息、残差信息、环
路滤波信息等，还包括切片头中所包括的信息、图片头中所包括的信息、aps中所包括的信息、pps中所包括的信息、sps中所包括的信息、vps中所包括的信息和/或dps中所包括的信息。另外，图像/视频信息还可以包括nal单元头的信息。
[0135]
如上所述，可以对高级语法(hls)进行编码/发信号通知，以用于视频/图像编码。在本文献中，视频/图像信息可以包括hls。例如，被编码的图片可以由一个或更多个切片构成。描述被编码的图片的参数可以在图片头(ph)中发信号通知，并且描述切片的参数可以在切片头(sh)中发信号通知。ph可以按其本身的nal单元类型发送。sh可以存在于包括切片的有效载荷(即，切片数据)的nal单元的起始部分。ph和sh的语法和语义的细节可以如在vvc标准中公开的。每个图片可以与ph关联。图片可以由不同类型的切片构成：帧内编码切片(即，i切片)和帧间编码切片(即，p切片和b切片)。结果，ph可以包括图片的帧内切片和图片的帧间切片所必需的语法元素。
[0136]
此外，如上所述，编码设备基于诸如指数哥伦布、上下文自适应可变长度编码(cavlc)、上下文自适应二进制算术编码(cabac)等这样的各种编码方法来执行熵编码。此外，解码设备可基于诸如指数哥伦布编码、cavlc或cabac这样的编码方法来执行熵解码。在下文中，将描述熵编码/解码处理。
[0137]
图7示意性地示出了适用本文献的实施方式的熵编码方法的示例，并且图8示意性地示出了编码设备中的熵编码器。图8的编码设备中的熵编码器也可以等同地或相应地应用于上述图2的编码设备200的熵编码器240。
[0138]
参照图7和图8，编码设备(熵编码器)对图像/视频信息执行熵编码处理。图像/视频信息可包括分割相关信息、预测相关信息(例如，帧间/帧内预测区分信息，帧内预测模式信息，帧间预测模式信息等)、残差信息、环路滤波相关信息，或者可包括与其相关的各种语法元素。熵编码可以在语法元素单元中执行。s700和s710可由图2的编码设备200的上述熵编码器240执行。
[0139]
编码设备可对目标语法元素执行二进制化(s700)。这里，二进制化可基于诸如截短莱斯二进制化处理、固定长度二进制化处理等这样的各种二进制化方法，并且可预定义用于目标语法元素的二进制化方法。二进制化处理可以由熵编码器240中的二进制化器242执行。
[0140]
编码设备可对目标语法元素执行熵编码(s710)。编码设备可基于诸如上下文自适应算术编码(cabac)或上下文自适应可变长度编码(cavlc)这样的熵编码方案，对目标语法元素的bin串进行基于规则编码(基于上下文)或基于旁路编码的编码，并且其输出可被合并到比特流中。熵编码处理可以由熵编码器240中的熵编码处理器243执行。如上所述，可以通过(数字)存储介质或网络将比特流传送到解码设备。
[0141]
图9示意性地示出了适用本文献的实施方式的熵解码方法的示例，并且图10示意性地示出了解码设备中的熵解码器。图10的解码设备中的熵解码器也可以与上述图3的解码设备300的熵解码器310等同或相应。
[0142]
参考图9和图10，解码设备(熵解码器)可以对编码后的图像/视频信息进行解码。图像/视频信息可包括分割相关信息、预测相关信息(例如，帧间/帧内预测区分信息，帧内预测模式信息，帧间预测模式信息等)、残差信息、环路滤波相关信息，或者可包括与其相关的各种语法元素。熵编码可以在语法元素单元中执行。s900和s910可由图3的解码设备300
的上述熵解码器310执行。
[0143]
解码设备可对目标语法元素执行二进制化(s900)。这里，二进制化可基于诸如截短莱斯二进制化处理、固定长度二进制化处理等这样的各种二进制化方法，并且可预定义用于目标语法元素的二进制化方法。解码设备可通过二进制化处理推导目标语法元素的启用值的启用bin串(bin串候选)。二进制化处理可由熵解码器310中的二进制化器312执行。
[0144]
解码设备可对目标语法元素执行熵解码(s910)。当从比特流中的输入比特顺序地解码和解析目标语法元素的每个bin时，解码设备将推导出的bin串与相应语法元素的启用bin串进行比较。当推导出的bin串与启用bin串之一相同时，可以将对应于bin串的值推导为语法元素的值。如果不是，则可以在进一步解析比特流中的下一比特之后再次执行上述处理。通过这些处理，即使对于比特流中的特定信息(特定语法元素)不使用开始比特或结束比特，解码设备也可以使用可变长度比特来发信号通知该信息。据此，可以将相对较少的比特分配给低值，从而提高整体编码效率。
[0145]
解码设备可基于诸如cabac、cavlc等这样的熵编码技术对来自比特流的bin串中的各个bin执行基于上下文或基于旁路的解码。就此而论，比特流可以包括如上所述的用于图像/视频解码的各种信息。如上所述，可以通过(数字)存储介质或网络将比特流传送到解码设备。
[0146]
此外，通常，可以针对一个图片设置一个nal单元类型。nal单元类型可以通过包括切片的nal单元的nal单元头中的nal_unit_type来发信号通知。nal_unit_type是用于指定nal单元类型的语法信息，即，如下表1或表2中所示，可以指定nal单元中所包含的rbsp数据结构的类型。
[0147]
下表1示出nal单元类型代码和nal单元类型类别的示例。
[0148]
[表1]
[0149][0150]
另选地，作为示例，可以如下表2中所示地定义nal单元类型代码和nal单元类型类别。
[0151]
[表2]
[0152][0153]
如表1或表2中所示，nal单元类型的名称及其值可以根据nal单元中所包括的rbsp数据结构来指定，并可以根据nal单元是否包括关于图像的信息(切片数据)而划分为vcl nal单元类型和非vcl nal单元类型。可以根据图片的性质、种类等对vcl nal单元类型进行分类，并且可以根据参数集的种类等对非vcl nal单元类型进行分类。例如，可以如下根据
vcl nal单元中所包括的图片的性质和种类来指定nal单元类型。
[0154]
trail：它指示包括尾随图片/子图片的编码切片数据的nal单元的类型。例如，nal_unit_type可以被定义为trail_nut，并且nal_unit_type的值可以被指定为0。
[0155]
这里，尾随图片是指可以按输出顺序和解码顺序随机访问的图片之后的图片。尾随图片可以是按输出顺序在关联的irap图片之后的非irap图片，并且不是stsa图片。例如，与irap图片关联的尾随图片按解码顺序在irap图片之后。不允许按输出顺序在关联的irap图片之后并按解码顺序在关联的irap图片之前的图片。
[0156]
stsa(逐步时间子层访问)：它指示包括stsa图片/子图片的编码切片数据的nal单元的类型。例如，nal_unit_type可以被定义为stsa_nut，并且nal_unit_type的值可以被指定为1。
[0157]
这里，stsa图片是可以在支持时间可伸缩性的比特流中的时间子层之间切换的图片，并且是指示有可能进行从下子层到比下子层高一步的上子层的上切换的位置的图片。stsa图片不将与stsa图片temporalid相同以及与stsa图片相同的层中的图片用于帧间预测。按解码顺序与stsa图片temporalid相同并且在相同层中的stsa图片之后的图片不将按解码顺序与stsa图片temporalid相同并在相同层中的stsa图片之前的图片用于帧间预测参考。stsa图片使得在stsa图片中能够进行从紧接的下一子层到包括stsa图片的子层的上切换。在这种情况下，被编码的图片不得属于最低子层。即，stsa图片必须始终具有大于0的temporalid。
[0158]
radl(随机访问可解码前导(图片))：它指示包括要编码的radl图片/子图片的切片数据的nal单元的类型。例如，nal_unit_type可以被定义为radl_nut，并且nal_unit_type的值可以被指定为2。
[0159]
这里，所有radl图片都是前导图片。radl图片不被用作同一关联的irap图片的尾随图片的解码处理的参考图片。具体地，具有等于layerid的nuh_layer_id的radl图片是按输出顺序在与radl图片关联的irap图片之后的图片，并且不被用作具有等于layerid的nuh_layer_id的图片的解码处理的参考图片。当field_seq_flag(即，sps_field_seq_flag)为0时，所有radl图片都按解码顺序在同一关联的irap图片的所有非前导图片之前(即，如果存在radl图片)。此外，前导图片是指按输出顺序在相关irap图片之前的图片。
[0160]
rasl(随机访问跳过前导(图片))：它指示包括要编码的rasl图片/子图片的切片数据的nal单元的类型。例如，nal_unit_type可以被定义为rasl_nut，并且nal_unit_type的值可以被指定为3。
[0161]
这里，所有rasl图片都是关联的cra图片的前导图片。当关联的cra图片具有其值为1的nooutputbeforerecoveryflag时，由于rasl图片可能包括对比特流中不存在的图片的引用，所以可能既无法输出也无法正确解码rasl图片。rasl图片不被用作同一层的非rasl图片的解码处理的参考图片。然而，同一层的rasl图片中的radl子图片可以用于对与和rasl图片相同的cra图片关联的radl图片中的并置radl子图片的帧间预测。当field_seq_flag(即，sps_field_seq_flag)为0时，所有rasl图片都按解码顺序在同一关联的cra图片的所有非前导图片之前(即，如果存在rasl图片)。
[0162]
对于非irap vcl nal单元类型，可以存在保留的nal_unit_type。例如，nal_unit_type可以被定义为rsv_vcl_4和rsv_vcl_6，并且nal_unit_type的值可以分别被指定为4至
6。
[0163]
这里，帧内随机访问点(irap)是指示用于能够随机访问的图片的nal单元的信息。irap图片可以是cra图片或idr图片。例如，irap图片是指具有如上表1或表2中一样的nal_unit_type被定义为idr_w_radl、idr_n_lp和cra_nut并且nal_unit_type的值可以被分别指定为7至9的nal单元类型的图片。
[0164]
irap图片在解码处理中不将同一层中的任何参考图片用于帧间预测。换句话说，irap图片在解码处理中不引用除其本身以外的任何图片以用于帧间预测。比特流中按解码顺序的第一图片成为irap或gdr图片。对于单层比特流，如果必要的参数集在需要引用它时可用，则可以在不执行按解码顺序在irap图片之前的图片的解码处理的情况下，准确地解码按解码顺序的编码层视频序列(clvs)的所有后续非rasl图片和irap图片。
[0165]
irap图片的mixed_nalu_types_in_pic_flag的值为0。当图片的mixed_nalu_types_in_pic_flag的值为0时，图片中的一个切片可以具有从idr_w_radl到cra_nut的范围内的nal单元类型(nal_unit_type)(例如，表1或表2中的nal单元类型的值为7至9)，并且图片中的所有其它切片可以具有相同的nal单元类型(nal_unit_type)。在这种情况下，该图片可以被视为irap图片。
[0166]
瞬时解码刷新(idr)：它指示包括要编码的idr图片/子图片的切片数据的nal单元的类型。例如，idr图片/子图片的nal_unit_type可以被定义为idr_w_radl或idr_n_lp，并且nal_unit_type的值可以被分别指定为7或8。
[0167]
这里，idr图片可以在解码处理中不使用帧间预测(即，它不参考除其本身以外的图片进行帧间预测)，但可以在比特流中成为按解码顺序的第一图片，或者可以在比特流中稍后出现(即，不是第一，而是稍后)。每个idr图片是按解码顺序的编码视频序列(cvs)的第一图片。例如，当idr图片与可解码前导图片关联时，idr图片的nal单元类型可以被表示为idr_w_radl，而当idr图片与前导图片没有关联时，idr图片的nal单元类型可以被表示为idr_n_lp。即，其nal单元类型为idr_w_radl的idr图片可以不具有存在于比特流中的关联的rasl图片，但可以在比特流中具有关联的radl图片。其nal单元类型为idr_n_lp的idr图片不具有存在于比特流中的关联的前导图片。
[0168]
清洁随机访问(cra)：它指示包括要编码的cra图片/子图片的切片数据的nal单元的类型。例如，nal_unit_type可以被定义为cra_nut，并且nal_unit_type的值可以被指定为9。
[0169]
这里，cra图片可以在解码处理中不使用帧间预测(即，它不参考除其本身以外的图片进行帧间预测)，但可以在比特流中成为按解码顺序的第一图片，或者可以在比特流中稍后出现(即，不是第一，而是稍后)。cra图片可以具有存在于比特流中的关联的radl或rasl图片。对于其中nooutputbeforerecoveryflag的值为1的cra图片，关联的rasl图片可以不由解码器输出。这是因为，由于包括了对比特流中不存在的图片的参考，因此在这种情况下不可能进行解码。
[0170]
逐渐解码刷新(gdr)：它指示包括要编码的gdr图片/子图片的切片数据的nal单元的类型。例如，nal_unit_type可以被定义为gdr_nut，并且nal_unit_type的值可以被指定为10。
[0171]
这里，gdr图片的pps_mixed_nalu_types_in_pic_flag值可以为0。当图片的pps_
mixed_nalu_types_in_pic_flag的值为0并且图片中的一个切片具有gdr_nut的nal单元类型时，图片中的所有其它切片都具有相同的nal单元类型(nal_unit_type)的值，并且在这种情况下，该图片可以在接收到第一切片后成为gdr图片。
[0172]
另外，例如，可以根据非vcl nal单元中所包括的参数的种类来指定nal单元类型，并且，如以上表1或表2中所示，可以包括下述nal单元类型(nal_unit_type)：例如，指示包括视频参数集的nal单元的类型的vps_nut、指示包括序列参数集的nal单元的类型的sps_nut、指示包括图片参数集的nal单元的类型的pps_nut和指示包括图片头的nal单元的类型的ph_nut。
[0173]
此外，支持时间可伸缩性的比特流(或时间可伸缩比特流)包括关于时间伸缩的时间层的信息。关于时间层的信息可以是根据nal单元的时间可伸缩性指定的时间层的标识信息。例如，时间层的标识信息可以使用temporal_id语法信息，并且temporal_id语法信息可以被存储在编码设备中的nal单元头中，并发信号通知给解码设备。下文中，在本说明书中，时间层可以被称为子层、时间子层、时间可伸缩层等。
[0174]
图11是示出支持时间可伸缩性的比特流中的nal单元的时间层结构的示图。
[0175]
当比特流支持时间可伸缩性时，比特流中所包括的nal单元具有时间层的标识信息(例如，temporal_id)。作为示例，由其temporal_id值为0的nal单元构成的时间层可以提供最低时间可伸缩性，并且由其temporal_id值为2的nal单元构成的时间层可以提供最高时间可伸缩性。
[0176]
在图11中，标记有i的块是指i图片，并且标记有b的块是指b图片。另外，箭头指示与图片是否参考另一图片有关的参考关系。
[0177]
如图11中所示，其temporal_id值为0的时间层的nal单元是可以供其temporal_id值为0、1或2的时间层的nal单元参考的参考图片。其temporal_id值为1的时间层的nal单元是可以供其temporal_id值为1或2的时间层的nal单元参考的参考图片。其temporal_id值为2的时间层的nal单元可以是相同时间层(即，其temporal_id值为2的时间层)的nal单元可以参考的参考图片，或者可以是不供其它图片参考的非参考图片。
[0178]
如果如图11中所示其temporal_id值为2的时间层(即，最高时间层)的nal单元是非参考图片，则在解码处理中从比特流中提取(或去除)这些nal单元而不影响其它图片。
[0179]
此外，在上述nal单元类型当中，idr和cra类型是指示包括能够随机访问(或拼接)的图片(即，随机访问点(rap)或用作随机访问点的帧内随机访问点(irap)图片)的nal单元的信息。换句话说，irap图片可以是idr或cra图片，并可以仅包括i切片。在比特流中，按解码顺序的第一图片成为irap图片。
[0180]
如果在比特流中包括irap图片(idr、cra图片)，则可以存在按输出顺序在irap图片之前但按解码顺序在其之后的图片。这些图片被称为前导图片(lp)。
[0181]
图12是用于描述可以进行随机访问的图片的示图。
[0182]
可以随机访问的图片(即，用作随机访问点的rap或irap图片)是随机访问期间比特流中按解码顺序的第一图片，并且仅包括i切片。
[0183]
图12示出了图片的输出顺序(或显示顺序)和解码顺序。如例示的，图片的输出顺序和解码顺序可以彼此不同。为了方便起见，在将图片划分为预定组的同时进行描述。
[0184]
属于第一组(i)的图片指示按输出顺序和解码顺序都在irap图片之前的图片，并
且属于第二组(ii)的图片指示按输出顺序在irap图片之前但按解码顺序在其之后的图片。第三组(iii)的图片按输出顺序和解码顺序都在irap图片之后。
[0185]
可以对第一组(i)的图片进行解码和输出，而不管irap图片如何。
[0186]
在irap图片之前输出的属于第二组(ii)的图片被称为前导图片，并且当irap图片用作随机访问点时，前导图片可能成为解码处理中的问题。
[0187]
按输出顺序和解码顺序在irap图片之后的属于第三组(iii)的图片被称为正常图片。正常图片不被用作前导图片的参考图片。
[0188]
在比特流中出现随机访问的随机访问点成为irap图片，并且随着第二组(ii)的第一图片被输出，随机访问开始。
[0189]
图13是用于描述idr图片的示图。
[0190]
idr图片是当一组图片具有封闭结构时成为随机访问点的图片。如上所述，由于idr图片是irap图片，因此它仅包括i切片，并且可以是比特流中按解码顺序的第一图片，或者可以出现在比特流的中间。当idr图片被解码时，存储在解码图片缓冲器(dpb)中的所有参考图片被标记为“未用于参考”。
[0191]
图13中示出的条指示图片，并且箭头指示与图片是否可以使用另一图片作为参考图片有关的参考关系。箭头上的x标记指示图片不能参考该箭头所指示的图片。
[0192]
如所示出的，其poc为32的图片是idr图片。poc是25至31，并且在idr图片之前输出的图片是前导图片1310。其poc为33或更大的图片对应于正常图片1320。
[0193]
按输出顺序在idr图片之前的前导图片1310可以使用不同于idr图片的前导图片作为参考图片，但不可以使用按输出顺序和解码顺序在前导图片1310之前的过去图片1330作为参考图片。
[0194]
按输出顺序和解码顺序在idr图片之后的正常图片1320可以参考idr图片、前导图片和其它正常图片来解码。
[0195]
图14是用于描述cra图片的示图。
[0196]
cra图片是当一组图片具有开放结构时成为随机访问点的图片。如上所述，由于cra图片也是irap图片，因此它仅包括i切片，并且可以是比特流中按解码顺序的第一图片，或者可以出现在比特流的中间以供正常显示。
[0197]
图14中示出的条指示图片，并且箭头指示与图片是否可以使用另一图片作为参考图片有关的参考关系。箭头上的x标记指示一张图片或多张图片不能参考该箭头所指示的图片。
[0198]
按输出顺序在cra图片之前的前导图片1410可以使用cra图片、其它前导图片和按输出顺序和解码顺序在前导图片1410之前的过去图片1430中的全部作为参考图片。
[0199]
相反地，按输出顺序和解码顺序在cra图片之后的正常图片1420可以参考与cra图片不同的正常图片来解码。正常图片1420可以不使用前导图片1410作为参考图片。
[0200]
此外，在vvc标准中，可以允许被编码的图片(即，当前图片)包括不同nal单元类型的切片。当前图片是否包括不同nal单元类型的切片可以基于语法元素mixed_nalu_types_in_pic_flag来指示。例如，当当前图片包括不同nal单元类型的切片时，语法元素mixed_nalu_types_in_pic_flag的值可以被表示为1。在这种情况下，当前图片必须参考包括具有值1的mixed_nalu_types_in_pic_flag的pps。标志(mixed_nalu_types_in_pic_flag)的语
义如下：
[0201]
当语法元素mixed_nalu_types_in_pic_flag的值为1时，可以指示参考pps的每个图片具有一个或更多个vcl nal单元，vcl nal单元没有相同的nal单元类型(nal_unit_type)，并且该图片不是irap图片。
[0202]
当语法元素mixed_nalu_types_in_pic_flag的值为0时，可以指示参考pps的每个图片具有一个或更多个vcl nal单元，并且参考pps的每个图片的vcl nal单元具有相同值的nal单元类型(nal_unit_type)。
[0203]
当no_mixed_nalu_types_in_pic_constraint_flag的值为1时，mixed_nalu_types_in_pic_flag的值必须为0。no_mixed_nalu_types_in_pic_constraint_flag语法元素指示关于图片的mixed_nalu_types_in_pic_flag的值是否必须为0的约束。例如，基于从较高级语法(例如，pps)或包括关于约束的信息(例如，gci；一般约束信息)的语法发信号通知的no_mixed_nalu_types_in_pic_constraint_flag信息，可以确定mixed_nalu_types_in_pic_flag的值是否必须为0。
[0204]
在还包括具有不同值的nal单元类型的一个或更多个切片的图片pica中(即，当图片pica的mixed_nalu_types_in_pic_flag的值为1时)，对于具有从idr_w_radl到cra_nut的范围内的nal单元类型值nalunittypea的每个切片(例如，在表1或表2中，nal单元类型的值为7至9)，可以应用以下。
[0205]-切片必须属于其中相应subpic_treated_as_pic_flag的值为1的子图片subpica。这里，subpic_treated_as_pic_flag是关于在clvs中编码的每个图片的第i个子图片是否在除环路滤波操作以外的解码处理中被当作图片的信息。例如，当subpic_treated_as_pic_flag的值为1时，可以指示第i个子图片在除环路滤波操作以外的解码处理中被当作图片。另选地，当subpic_treated_as_pic_flag的值为0时，可以指示第i个子图片在除环路滤波操作以外的解码处理中未被当作图片。
[0206]-切片不得属于包括具有不等于nalunittypea的nal单元类型(nal_unit_type)的vcl nal单元的pica的子图片。
[0207]-对于按解码顺序在clvs之后的所有pu，subpica中的切片的refpiclist或refpiclist不得包括活动条目中按解码顺序在pica之前的图片。
[0208]
为了操作如上所述的概念，可以指定以下内容。例如，可以将以下内容应用于特定图片的vcl nal单元。
[0209]-当mixed_nalu_types_in_pic_flag的值为0时，对于在图片中编码的所有切片nal单元，nal单元类型(nal_unit_type)的值必须相同。图片或pu可以被视为具有与在图片或pu中编码的切片nal单元相同的nal单元类型。
[0210]-否则(当mixed_nalu_types_in_pic_flag的值为1时)，一个或更多个vcl nal单元必须具有从idr_w_radl到cra_nut的范围内的特定值的nal单元类型(例如，表1或表2中nal单元类型的值为7至9)，并且所有其它vcl nal单元必须具有与gra_nut相同的nal单元类型或从trail_nut到rsv_vcl_6的范围内的特定值的nal单元类型(例如，表1或表2中nal单元类型的值为0至6)。
[0211]
在当前vvc标准中，在具有混合nal单元类型的图片的情况下，可能存在至少以下问题。
[0212]
1.当图片包括idr和非irap nal单元时，并且当用于参考图片列表(rpl)的信令存在于切片头中时，该信令也必须存在于idr切片的头中。当sps_idr_rpl_present_flag的值为1时，rpl信令存在于idr切片的切片头中。当前，即使当存在一个或更多个具有混合nal单元类型的图片时，该标志(sps_idr_rpl_present_flag)的值也可以为0。这里，sps_idr_rpl_present_flag语法元素可以指示rpl语法元素是否可以存在于具有诸如idr_n_lp或idr_w_radl这样的nal单元类型的切片的切片头中。例如，当sps_idr_rpl_present_flag的值为1时，它可以指示rpl语法元素可以存在于具有诸如idr_n_lp或idr_w_radl这样的nal单元类型的切片的切片头中。另选地，当sps_idr_rpl_present_flag的值为0时，它可以指示rpl语法元素不存在于具有诸如idr_n_lp或idr_w_radl这样的nal单元类型的切片的切片头中。
[0213]
2.当当前图片参考mixed_nalu_types_in_pic_flag的值为1的pps时，当前图片的vcl nal单元中的一个或更多个必须具有从idr_w_radl到cra_nut的范围内的特定值的nal单元类型(例如，以上表1或表2中nal单元类型的值为7至9)，并且所有其它vcl nal单元必须具有与gra_nut相同的nal单元类型或从trail_nut到rsv_vcl_6的范围内的特定值的nal单元类型(例如，以上表1或表2中nal单元类型的值为0至6)。该约束仅应用于包括irap和非irap nal单元类型的混合情况的当前图片。然而，其尚未正确应用于包括rasl/radl和非irap nal单元类型的混合情况的图片。
[0214]
本文献提供了以上提到的问题的解决方案。即，如上所述，包括两个或更多个子图片的图片(即，当前图片)可以具有混合nal单元类型。在当前vvc标准的情况下，具有混合nal单元类型的图片可以具有irap nal单元类型和非irap nal单元类型的混合形式。然而，与cra nal单元类型关联的前导图片也可以具有与非irap nal单元类型混合的形式，并且在当前标准下不支持具有该混合nal单元类型的图片。因此，需要针对以混合形式具有cra nal单元类型和非irap nal单元类型的图片的解决方案。
[0215]
因此，本文献提供了允许以混合形式包括前导图片nal单元类型(例如，rasl_nut、radl_nut)和另一非irap nal单元类型(例如，trail_nut、stsa、nut)的图片的方法。另外，本文献定义了允许在idr子图片和其它非irap子图片混合的情况下存在或发信号通知参考图片列表的约束。因此，具有混合nal单元类型的图片设置有不仅混合有irap而且还混合有cra nal单元的形式，以具有更灵活的特性。
[0216]
例如，其可以在以下实施方式中应用，因此可以解决上述问题。以下实施方式可以独立地或组合地应用。
[0217]
在一个实施方式中，当允许图片具有混合nal单元类型时(当mixed_nal_types_in_pic_flag的值为1时)，关于参考图片列表的信令允许它甚至对于具有idr型nal单元类型(例如，idr_w_radl或idr_n_lp)的切片也存在。可以如下地表示该约束。
[0218]-当存在至少一个引用其mixed_nal_types_in_pic_flag的值为1的sps的pps时，sps_idr_rpl_present_flag的值必须成为1。该约束可以是比特流一致性的要求。
[0219]
另选地，在一个实施方式中，对于具有混合nal单元类型的图片，允许图片包括具有前导图片的特定nal单元类型(例如，radl或rasl)和非前导图片的特定nal单元类型(非irap)的切片。这可以被如下地表示。
[0220]
对于特定图片的vcl nal单元，可以应用以下内容。
[0221]-当mixed_nalu_types_in_pic_flag的值为0时，对于在图片中编码的所有切片nal单元，nal单元类型(nal_unit_type)的值必须相同。图片或pu可以被视为具有与在图片或pu中编码的切片nal单元相同的nal单元类型。
[0222]-否则(当mixed_nalu_types_in_pic_flag的值为1时)，必须满足以下之一(即，以下之一可以具有为真的值)。
[0223]
1)一个或更多个vcl nal单元必须具有从idr_w_radl到cra_nut的范围内的特定值的nal单元类型(nal_unit_type)(例如，以上表1或表2中nal单元类型的值为7至9)，并且所有其它vcl nal单元必须具有与gra_nut相同的nal单元类型或从trail_nut到rsv_vcl_6的范围内的特定值的nal单元类型(例如，以上表1或表2中nal单元类型的值为0至6)。
[0224]
2)一个或更多个vcl nal单元必须都具有与radl_nut(例如，在以上表1或表2中，nal单元类型的值为2)或rasl_nut(例如，在以上表1或表2中，nal单元类型的值为3)相同的nal单元类型的特定值，并且所有其它vcl nal单元必须具有与trail_nut(例如，以上表1或表2中的nal单元类型的值为0)、stsa_nut(例如，以上表1或表2中的nal单元类型的值为1)、rsv_vcl_4(例如，以上表1或表2中的nal单元类型的值为4)、rsv_vcl_5(例如，以上表1或表2中nal单元类型的值为5)、rsv_vcl_6(例如，以上表1或表2中nal单元类型的值为6)或gra_nut相同的nal单元类型的特定值。
[0225]
此外，本文献提出了即使对于单层比特流也提供具有上述混合nal单元类型的图片的方法。作为实施方式，在单层比特流的情况下，可以应用以下约束。
[0226]-在比特流中，除按解码顺序的第一图片以外的每张图片被认为与按解码顺序的前一irap图片关联。
[0227]-如果图片是irap图片的前导图片，则它必须是radl或rasl图片。
[0228]-如果图片是irap图片的尾随图片，则它必须既不是radl也不是rasl图片。
[0229]-rasl图片不得存在于与idr图片关联的比特流中。
[0230]-radl图片不得存在于与其nal单元类型(nal_unit_type)为idr_n_lp的idr图片关联的比特流中。
[0231]
当被引用时，并且当每个参数集可用时，可以通过丢弃irap pu之前的所有pu来在irap pu的位置处执行随机访问(并且可以按解码顺序正确地解码irap图片和所有后续的非rasl图片)。
[0232]-按解码顺序在irap图片之前的图片必须按输出顺序在irap图片之前，并且必须按输出顺序在与irap图片关联的radl图片之前。
[0233]-与cra图片关联的rasl图片必须按输出顺序在与cra图片关联的radl图片之前。
[0234]-与cra图片关联的rasl图片必须按输出顺序在按解码顺序在cra图片之前的irap图片之后。
[0235]-如果field_seq_flag的值为0并且当前图片是与irap图片关联的前导图片，则它必须按解码顺序在与同一irap图片关联的所有非前导图片之前。否则，当图片pica和picb分别是按解码顺序的与irap图片关联的第一个和最后一个前导图片时，按解码顺序在pica之前最多只能存在一个非前导图片，并且按解码顺序在pica和picb之间不得存在非前导图片。
[0236]
预备以下附图是为了说明本文献的具体示例。由于附图中描述的特定术语或名称
或特定装置的名称(例如，语法/语法元素的名称等)被呈现为示例，因此本文献的技术特征不限于下图中使用的特定名称。
[0237]
图15示意性表示适用本文献的实施方式的视频/图像编码方法的示例。可以由图2中公开的编码设备200执行图15中公开的方法。
[0238]
参照图15，编码设备可以确定图片中的切片的nal单元类型(s1500)。
[0239]
例如，编码设备可以根据如以上表1和表2中描述的图片或子图片的性质、种类等来确定nal单元类型，并且基于图片或子图片的nal单元类型，可以确定每个切片的nal单元类型。
[0240]
例如，当mixed_nalu_types_in_pic_flag的值为0时，与pps关联的图片中的切片可以被确定为相同的nal单元类型。即，当mixed_nalu_types_in_pic_flag的值为0时，在包括关于图片的第一切片的信息的第一nal单元的第一nal单元头中定义的nal单元类型与在包括关于同一图片的第二切片的信息的第二nal单元的第二nal单元头中定义的nal单元类型相同。另选地，对于mixed_nalu_types_in_pic_flag的值为1的情况，与pps关联的图片中的切片可以被确定为不同的nal单元类型。这里，可以基于在上述实施方式中提出的方法来确定图片中的切片的nal单元类型。
[0241]
编码设备可以生成nal单元类型相关信息(s1510)。nal单元类型相关信息可以包括与上述实施方式和/或以上表1和表2中描述的nal单元类型相关的信息/语法元素。例如，与nal单元类型相关的信息可以包括pps中所包括的mixed_nalu_types_in_pic_flag语法元素。另外，与nal单元类型相关的信息可以在包括关于编码切片的信息的nal单元的nal单元头中包括nal_unit_type语法元素。
[0242]
编码设备可以生成比特流(s1520)。比特流可以包括至少一个包括关于编码切片的图像信息的nal单元。另外，比特流可以包括pps。
[0243]
图16示意性表示适用本文献的实施方式的视频/图像解码方法的示例。可以由图3中公开的解码设备300执行图16中公开的方法。
[0244]
参照图16，解码设备可以接收比特流(s1600)。这里，比特流可以包括至少一个包括关于编码切片的图像信息的nal单元。另外，比特流可以包括pps。
[0245]
解码设备可以获得nal单元类型相关信息(s1610)。nal单元类型相关信息可以包括与上述实施方式和/或以上表1和表2中描述的nal单元类型相关的信息/语法元素。例如，与nal单元类型相关的信息可以包括pps中所包括的mixed_nalu_types_in_pic_flag语法元素。另外，与nal单元类型相关的信息可以在包括关于编码切片的信息的nal单元的nal单元头中包括nal_unit_type语法元素。
[0246]
解码设备可以确定图片中的切片的nal单元类型(s1620)。
[0247]
例如，当mixed_nalu_types_in_pic_flag的值为0时，与pps关联的图片中的切片使用相同的nal单元类型。即，当mixed_nalu_types_in_pic_flag的值为0时，在包括关于图片的第一切片的信息的第一nal单元的第一nal单元头中定义的nal单元类型与包括关于同一图片的第二切片的信息的第二nal单元的第二nal单元头中定义的nal单元类型相同。另选地，当mixed_nalu_types_in_pic_flag的值为1时，与pps关联的图片中的切片使用不同的nal单元类型。这里，可以基于在上述实施方式中提出的方法来确定图片中的切片的nal单元类型。
[0248]
解码设备可以基于切片的nal单元类型对样本/块/切片进行解码/重构(s1630)。可以基于切片的nal单元类型来解码/重构切片中的样本/块。
[0249]
例如，当针对当前图片的第一切片设置第一nal单元类型并且针对当前图片的第二切片设置第二nal单元类型(不同于第一nal单元类型)时，可以基于第一nal单元类型来解码/重构第一切片中的样本/块或第一切片本身，并且可以基于第二nal单元类型来解码/重构第二切片中的样本/块或第二切片本身。
[0250]
图17和图18示意性表示根据本文献的实施方式的视频/图像编码方法和关联部件的示例。
[0251]
图17中公开的方法可由图2或图18中公开的编码设备200执行。这里，图18中公开的编码设备200是图2中公开的编码设备200的简化表示。具体地，图17的步骤s1700至s1730可由图2中公开的熵编码器240执行，此外，根据实施方式，每个步骤可由图2中公开的图像分割器210、预测器220、残差处理器230、加法器340等执行。此外，可以执行包括以在本文献中描述的实施方式的图17中公开的方法。因此，在图17中，将省略或简化与上述实施方式的重复相对应的内容的详细描述。
[0252]
参照图17，编码设备可确定当前图片中的切片的nal单元类型(s1700)。
[0253]
当前图片可包括多个切片，并且一个切片可包括切片头和切片数据。此外，可以通过将nal单元头添加到切片(切片头和切片数据)来生成nal单元。nal单元头可包括根据包括在相应nal单元中的切片数据指定的nal单元类型信息。
[0254]
作为实施方式，编码设备可产生当前图片中的第一切片的第一nal单元和当前图片中的第二切片的第二nal单元。另外，编码设备可根据第一和第二切片的类型确定第一切片的第一nal单元类型和第二切片的第二nal单元类型。
[0255]
例如，基于包括在上述表1或表2中所示的nal单元中的切片数据的类型，nal单元类型可以包括trail_nut、stsa_nut、radl_nut、rasl_nut、idr_w_radl、idr_n_lp、cra_nut等。此外，可以基于nal单元头中的nal_unit_type语法元素来发信号通知nal单元类型。nal_unit_type语法元素是用于指定nal单元类型的语法信息，并且如上面的表1或表2中所示，可以被表示为对应于特定nal单元类型的特定值。
[0256]
编码设备可基于nal单元类型确定当前图片是否具有混合nal单元类型(s1710)。
[0257]
例如，当当前图片中的切片的所有nal单元类型相同时，编码设备可确定当前图片不具有混合nal单元类型。另选地，当当前图片中的切片的所有nal单元类型不相同时，编码设备可确定当前图片具有混合nal单元类型。
[0258]
编码设备可基于当前图片是否具有混合nal单元类型来生成nal单元类型相关信息(s1720)。
[0259]
nal单元类型相关信息可以包括与上述实施方式和/或上述表1和表2中描述的nal单元类型相关的信息/语法元素。例如，nal单元类型相关信息可以是关于当前图片是否具有混合nal单元类型的信息，并且可以由包括在pps中的mixed_nalu_types_in_pic_flag语法元素来表示。例如，当mixed_nalu_types_in_pic_flag语法元素的值为0时，可指示当前图片中的nal单元具有相同的nal单元类型。另选地，当mixed_nalu_types_in_pic_flag语法元素的值为1时，可指示当前图片中的nal单元具有不同的nal单元类型。
[0260]
在一个实施方式中，当当前图片中的切片的所有nal单元类型相同时，编码设备可
确定当前图片不具有混合nal单元类型，并且可生成nal单元类型相关信息(例如，mixed_nalu_type_in_pic_flag)。在这种情况下，nal单元类型相关信息(例如，mixed_nalu_type_in_pic_flag)的值可被确定为0。另选地，当当前图片中的切片的nal单元类型不相同时，编码设备可确定当前图片具有混合nal单元类型，并可产生nal单元类型相关信息(例如，mixed_nalu_type_in_pic_flag)。在这种情况下，nal单元类型相关信息(例如，mixed_nalu_type_in_pic_flag)的值可被确定为1。
[0261]
即，基于具有混合nal单元类型的关于当前图片的nal单元类型相关信息(例如，mixed_nalu_types_in_pic_flag的值为1)，当前图片的第一切片的第一nal单元和当前图片的第二切片的第二nal单元可以具有不同的nal单元类型。另选地，基于不具有混合nal单元类型的关于当前图片的nal单元类型相关信息(例如，mixed_nalu_types_in_pic_flag的值为0)，当前图片的第一切片的第一nal单元和当前图片的第二切片的第二nal单元可以具有相同的nal单元类型。
[0262]
作为示例，基于具有混合nal单元类型的关于当前图片的nal单元类型相关信息(例如，mixed_nalu_types_in_pic_flag的值为1)，第一切片的第一nal单元可以具有前导图片nal单元类型，并且第二切片的第二nal单元可以具有非irap nal单元类型或非前导图片nal单元类型。这里，前导图片nal单元类型可以包括radl nal单元类型或rasl nal单元类型，并且非irap nal单元类型或非前导图片nal单元类型可以包括踪迹(trail)nal单元类型或stsa nal单元类型。
[0263]
另选地，作为示例，基于具有混合nal单元类型的关于当前图片的nal单元类型相关信息(例如，mixed_nalu_types_in_pic_flag的值为1)，第一切片的第一nal单元可以具有irap nal单元类型，并且第二切片的第二nal单元可以具有非irap nal单元类型或非前导图片nal单元类型。这里，irap nal单元类型可以包括idr nal单元类型(即，idr_n_lp nal或idr_w_radl nal单元类型)或cra nal单元类型，并且非irap nal单元类型或非前导图片nal单元类型可以包括追踪nal单元类型或stsa nal单元类型。另外，根据实施方式，非irap nal单元类型或非前导图片nal单元类型可以仅是指追踪nal单元类型。
[0264]
根据实施方式，基于允许当前图片具有混合nal单元类型的情况，对于当前图片中具有idr nal单元类型(例如，idr_w_radl或idr_n_lp)的切片，必须存在与发信号通知参考图片列表相关的信息。与发信号通知参考图片列表相关的信息可以指示关于用于发信号通知参考图片列表的语法元素是否存在于切片的切片头中的信息。即，基于与发信号通知参考图片列表相关的信息的值为1，用于发信号通知参考图片列表的语法元素可以存在于具有idr nal单元类型的切片的切片头中。另选地，基于与发信号通知参考图片列表相关的信息的值为0，用于发信号通知参考图片列表的语法元素可以不存在于具有idr nal单元类型的切片的切片头中。
[0265]
例如，与发信号通知参考图片列表相关的信息可以是上述sps_idr_rpl_present_flag语法元素。当sps_idr_rpl_present_flag的值为1时，它可以指示用于发信号通知参考图片列表的语法元素可以存在于具有诸如idr_n_lp或idr_w_radl这样的nal单元类型的切片的切片头中。另选地，当sps_idr_rpl_present_flag的值为0时，它可以指示用于发信号通知参考图片列表的语法元素可以不存在于具有诸如idr_n_lp或idr_w_radl这样的nal单元类型的切片的切片头中。
[0266]
编码设备可以对包括nal单元类型相关信息的图像/视频信息进行编码(s1730)。
[0267]
例如，当当前图片中的第一切片的第一nal单元和当前图片中的第二切片的第二nal单元具有不同的nal单元类型时，编码设备可以对包括具有值1的nal单元类型相关信息(例如，mixed_nalu_types_in_pic_flag)的图像/视频信息进行编码。另选地，当当前图片中的第一切片的第一nal单元和当前图片中的第二切片的第二nal单元具有相同的nal单元类型时，编码设备可以对包括具有值0的nal单元类型相关信息(例如，mixed_nalu_types_in_pic_flag)的图像/视频信息进行编码。
[0268]
另外，例如，编码设备可以对包括指示当前图片中的切片的每种nal单元类型的nal_unit_type信息的图像/视频信息进行编码。
[0269]
另外，例如，编码设备可以对包括与发信号通知参考图片列表相关的信息(例如，sps_idr_rpl_present_flag)的图像/视频信息进行编码。
[0270]
另外，例如，编码设备可以对包括当前图片中的切片的nal单元的图像/视频信息进行编码。
[0271]
包括如上所述的各种信息的图像/视频信息可以以比特流的形式被编码和输出。可以通过网络或(数字)存储介质将比特流发送到解码设备。这里，网络可以包括广播网络、通信网络和/或类似物，并且数字存储介质可以包括诸如通用串行总线(usb)、安全数字(sd)、光盘(cd)、数字视频盘(dvd)、蓝光、硬盘驱动器(hdd)、固态驱动器(ssd)等这样的各种存储介质。
[0272]
图19和图20示意性表示根据本文献的实施方式的视频/图像解码方法和关联部件的示例。
[0273]
图19中公开的方法可以由图3或图20中公开的解码设备300执行。这里，图20中公开的解码设备300是图3中公开的解码设备300的简化表示。具体地，图19的步骤s1900至s1930可以由图3中公开的熵解码器310执行，另外，根据实施方式，每个步骤可以由图3中公开的残差处理器320、预测器330、加法器340等执行。另外，可以执行包括以上在本文献中描述的实施方式的图19中公开的方法。因此，在图19中，将省略或简化对与上述实施方式的重复对应的内容的详细描述。
[0274]
参照图19，解码设备可以从比特流获得包括nal单元类型相关信息的图像/视频信息(s1900)。
[0275]
例如，解码设备可以对比特流进行解析，并推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。在这种情况下，图像信息可以包括上述nal单元类型相关信息(例如，mixed_nalu_types_in_pic_flag)、指示当前图片中的切片的每个nal单元类型的nal_unit_type信息、与发信号通知参考图片列表相关的信息(例如，sps_idr_rpl_present_flag)、当前图片内的切片的nal单元等。即，图像信息可以包括解码处理中需要的各种信息，并可以基于诸如指数哥伦布编码、cavlc或cabac这样的编码方法来解码。
[0276]
如上所述，nal单元类型相关信息可以包括与上述实施方式和/或以上表1和表2中描述的nal单元类型相关的信息/语法元素。例如，nal单元类型相关信息可以是关于当前图片是否具有混合nal单元类型的信息，并可以由pps中所包括的mixed_nalu_types_in_pic_flag语法元素表示。例如，当mixed_nalu_types_in_pic_flag语法元素的值为0时，可以指示当前图片中的nal单元具有相同的nal单元类型。另选地，当mixed_nalu_types_in_pic_
flag语法元素的值为1时，可以指示当前图片中的nal单元具有不同的nal单元类型。
[0277]
解码设备可以基于nal单元类型相关信息来确定当前图片是否具有混合nal单元类型(s1910)。
[0278]
例如，解码设备可基于nal单元类型相关信息(例如，mixed_nalu_type_in_pic_flag)的值为1来确定当前图片具有混合nal单元类型。或者，解码设备可基于nal单元类型相关信息(例如，mixed_nalu_type_in_pic_flag)的值为0来确定当前图片不具有混合nal单元类型。
[0279]
解码设备可基于关于当前图片是否具有混合nal单元类型的nal单元类型相关信息来确定当前图片中的切片的nal单元类型(s1920)。
[0280]
当前图片可以包括多个切片，并且一个切片可以包括切片头和切片数据。另外，可以通过将nal单元头添加到切片(切片头和切片数据)来生成nal单元。nal单元头可以包括根据相应nal单元中所包括的切片数据指定的nal单元类型信息。
[0281]
例如，基于如以上表1或表2中所示的nal单元中所包括的切片数据的类型，nal单元类型可以包括trail_nut、stsa_nut、radl_nut、rasl_nut、idr_w_radl、idr_n_lp、cra_nut等。另外，可以基于nal单元头中的nal_unit_type语法元素来发信号通知nal单元类型。nal_unit_type语法元素是用于指定nal单元类型的语法信息，并且如以上表1或表2中所示，可以被表示为对应于特定nal单元类型的特定值。
[0282]
在实施方式中，解码设备可以基于具有混合nal单元类型的关于当前图片的nal单元类型相关信息(例如，mixed_nalu_types_in_pic_flag的值为1)来确定当前图片的第一切片的第一nal单元和当前图片的第二切片的第二nal单元可以具有不同的nal单元类型。另选地，解码设备可以基于不具有混合nal单元类型的关于当前图片的nal单元类型相关信息(例如，mixed_nalu_types_in_pic_flag的值为0)来确定当前图片的第一切片的第一nal单元和当前图片的第二切片的第二nal单元可以具有相同的nal单元类型。
[0283]
作为示例，基于具有混合nal单元类型的关于当前图片的nal单元类型相关信息(例如，mixed_nalu_types_in_pic_flag的值为1)，第一切片的第一nal单元可以具有前导图片nal单元类型，并且第二切片的第二nal单元可以具有非irap nal单元类型或非前导图片nal单元类型。这里，前导图片nal单元类型可以包括radl nal单元类型或rasl nal单元类型，并且非irap nal单元类型或非前导图片nal单元类型可以包括追踪nal单元类型或stsa nal单元类型。
[0284]
另选地，作为示例，基于具有混合nal单元类型的关于当前图片的nal单元类型相关信息(例如，mixed_nalu_types_in_pic_flag的值为1)，第一切片的第一nal单元可以具有irap nal单元类型，并且第二切片的第二nal单元可以具有非irap nal单元类型或非前导图片nal单元类型。这里，irap nal单元类型可以包括idr nal单元类型(即，idr_n_lp nal或idr_w_radl nal单元类型)或cra nal单元类型，并且非irap nal单元类型或非前导图片nal单元类型可以包括追踪nal单元类型或stsa nal单元类型。另外，根据实施方式，非irap nal单元类型或非前导图片nal单元类型可以仅是指追踪nal单元类型。
[0285]
根据实施方式，基于允许当前图片具有混合nal单元类型的情况，对于当前图片中具有idr nal单元类型(例如，idr_w_radl或idr_n_lp)的切片，必须存在与发信号通知参考图片列表相关的信息。与发信号通知参考图片列表相关的信息可以指示关于用于发信号通
知参考图片列表的语法元素是否存在于切片的切片头中的信息。即，基于与发信号通知参考图片列表相关的信息的值为1，用于发信号通知参考图片列表的语法元素可以存在于具有idr nal单元类型的切片的切片头中。另选地，基于与发信号通知参考图片列表相关的信息的值为0，用于发信号通知参考图片列表的语法元素可以不存在于具有idr nal单元类型的切片的切片头中。
[0286]
例如，与发信号通知参考图片列表相关的信息可以是上述sps_idr_rpl_present_flag语法元素。当sps_idr_rpl_present_flag的值为1时，它可以指示用于发信号通知参考图片列表的语法元素可以存在于具有诸如idr_n_lp或idr_w_radl这样的nal单元类型的切片的切片头中。另选地，当sps_idr_rpl_present_flag的值为0时，它可以指示用于发信号通知参考图片列表的语法元素可以不存在于具有诸如idr_n_lp或idr_w_radl这样的nal单元类型的切片的切片头中。
[0287]
解码设备可以基于nal单元类型来解码/重构当前图片(s1930)。
[0288]
例如，针对被确定为第一nal单元类型的当前图片中的第一切片和被确定为第二nal单元类型的当前图片中的第二切片，解码设备可以基于第一nal单元类型对第一切片进行解码/恢复并基于第二nal单元类型对第二切片进行解码/重构。另外，解码设备可以基于第一nal单元类型对第一切片中的样本/块进行解码/重构，并基于第二nal单元类型对第二切片中的样本/块进行解码/重构。
[0289]
尽管在上述实施方式中已经基于顺序列出步骤或块的流程图描述了方法，但本文献的步骤不限于特定的顺序，并且特定步骤可以相对于上述步骤在不同的步骤中或以不同的顺序或者同时地执行。另外，本领域的普通技术人员将理解，流程图中的步骤不是排他性的，并且在没有对本公开的范围施加影响的情况下，可以在其中包括另一步骤，或者可以删除流程图中的一个或更多个步骤。
[0290]
根据本公开的以上提到的方法可以是软件的形式，并且根据本公开的编码设备和/或解码设备可以被包括在用于执行图像处理的装置(例如，tv、计算机、智能电话、机顶盒、显示装置等)中。
[0291]
当用软件实现本公开的实施方式时，可以用执行以上提到的功能的模块(处理或功能)实现以上提到的方法。模块可以被存储在存储器中并且由处理器执行。存储器可以安装在处理器的内部或外部，并可以经由各种公知装置连接到处理器。处理器可以包括专用集成电路(asic)、其他芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(rom)、随机存取存储器(ram)、闪速存储器、存储卡、存储介质和/或其他存储装置。换句话说，根据本公开的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，相应图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，关于实现方式的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。
[0292]
另外，应用本文献的实施方式的解码设备和编码设备可以被包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、便携式摄像机、视频点播(vod)服务提供器、顶置(ott)视频装置、互联网流传输服务提供器、3d视频装置、虚拟现实(vr)装置、增强现实(ar)装置、图像电话视频装置、车载终端(例如，车(包括自主车辆)载终
端、飞机终端或轮船终端)和医疗视频装置中；并且可以被用于处理图像信号或数据。例如，ott视频装置可以包括游戏控制台、blueray(蓝光)播放器、联网tv、家庭影院系统、智能手机、平板pc和数字视频记录仪(dvr)。
[0293]
另外，应用本文献的实施方式的处理方法可以以由计算机执行的程序的形式产生，并可以被存储在计算机可读记录介质中。根据本文献的实施方式的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(bd)、通用串行总线(usb)、rom、prom、eprom、eeprom、ram、cd-rom、磁带、软盘和光学数据存储装置。计算机可读记录介质还包括以载波(例如，互联网上的传输)的形式实施的媒体。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。
[0294]
另外，本文献的实施方式可以基于程序代码被实施为计算机程序产品，并且程序代码可以根据本文献的实施方式在计算机上执行。程序代码可以被存储在计算机可读载体上。
[0295]
图21表示可以应用本文献的实施方式的内容流系统的示例。
[0296]
参照图21，应用本文献的实施方式的内容流系统可以通常包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户设备和多媒体输入装置。
[0297]
编码服务器用来将从诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置输入的内容压缩为数字数据，生成比特流，并且将其传送至流传输服务器。作为另一示例，在诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置直接生成码流的情况下，可省略编码服务器。
[0298]
可通过本文献的实施方式应用于的编码方法或比特流生成方法来生成比特流。并且流传输服务器可在发送或接收比特流的处理中暂时存储比特流。
[0299]
流传输服务器基于用户的请求通过网络服务器向用户设备传送多媒体数据，该网络服务器充当向用户通知存在什么服务的工具。当用户请求用户想要的服务时，网络服务器将请求转移至流传输服务器，并且流传输服务器将多媒体数据传送至用户。在这方面，内容流系统可包括单独的控制服务器，并且在这种情况下，控制服务器用来控制内容流系统中的各个设备之间的命令/响应。
[0300]
流传输服务器可从媒体存储装置和/或编码服务器接收内容。例如，在从编码服务器接收到内容的情况下，可实时地接收内容。在这种情况下，流传输服务器可将比特流存储预定时间段以流畅地提供流传输服务。
[0301]
例如，用户设备可包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航、板式pc、平板pc、超级本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(hmd))、数字tv、台式计算机、数字标牌等。
[0302]
可将内容流系统中的每个服务器作为分布式服务器操作，并且在这种情况下，可以分布式方式处理由每个服务器接收的数据。
[0303]
本说明书中的权利要求可以以各种方式组合。例如，本说明书的方法权利要求中的技术特征可以组合以在设备中实施或执行，并且设备权利要求中的技术特征可以组合以
在方法中实施或执行。此外，方法权利要求和设备权利要求中的技术特征可以组合以在设备中实施或执行。此外，方法权利要求和设备权利要求中的技术特征可以组合以在方法中实施或执行。