视频编码的通用约束信息的制作方法

视频编码的通用约束信息
1.相关申请的交叉引用
2.本技术基于2020年5月14日提交的临时申请no.63/025,153并要求享受其优先权，故以引用方式将其全部内容并入本文以用于所有目的。
技术领域
3.本公开内容涉及视频编码和压缩，具体地说，本技术涉及可应用于一种或多种视频编码标准的视频比特流中的通用约束信息。


背景技术：

4.可以使用各种视频编码技术来压缩视频数据。根据一个或多个视频编码标准来执行视频编码。例如，视频编码标准包括通用视频编码(vvc)、联合探索测试模型(jem)、高效视频编码(h.265/hevc)、高级视频编码(h-264/avc)、运动图像专家组(mpeg)编码等等。视频编码通常使用利用视频图像或序列中存在的冗余的预测方法(例如，帧间预测、帧内预测等)。视频编码技术的一个重要目标是将视频数据压缩为使用较低比特率的形式，同时避免或最小化视频质量的下降。


技术实现要素：

5.本公开内容的示例提供了涉及视频编码中的通用约束信息编码的方法和装置。
6.根据本公开内容的第一方面，提供了一种用于对视频信号进行解码的方法。该方法可以包括：解码器接收至少一个约束标志。所述至少一个约束标志可以指示条带是否为帧内条带。所述解码器还可以获得与比特流中的视频块相关联的第一参考图片i
(0)
和第二参考图片i
(1)
。在显示顺序上，所述第一参考图片i
(0)
可以在当前图片之前，并且所述第二参考图片i
(1)
可以在当前图片之后。所述解码器还可以从所述第一参考图片i
(0)
中的参考块获得所述视频块的第一预测样点i
(0)
(i,j)。i和j可以表示一个样点与当前图片的坐标。所述解码器还可以从所述第二参考图片i
(1)
中的参考块获得所述视频块的第二预测样点i
(1)
(i,j)。所述解码器还可以基于所述至少一个约束标志、所述第一预测样点i
(0)
(i,j)和所述第二预测样点i
(1)
(i,j)获得双向预测样点。
7.根据本公开内容的第二方面，提供了一种计算设备。该计算设备可以包括一个或多个处理器、存储有可由所述一个或多个处理器执行的指令的非临时性计算机可读存储器。所述一个或多个处理器可以被配置为接收至少一个约束标志。所述至少一个约束标志可以指示条带是否为帧内条带。所述一个或多个处理器可以进一步被配置为获得与比特流中的视频块相关联的第一参考图片i
(0)
和第二参考图片i
(1)
。在显示顺序上，所述第一参考图片i
(0)
可以在当前图片之前，并且所述第二参考图片i
(1)
可以在当前图片之后。所述一个或多个处理器可以进一步被配置为从所述第一参考图片i
(0)
中的参考块获得所述视频块的第一预测样点i
(0)
(i,j)，i和j可以表示一个样点与当前图片的坐标。所述一个或多个处理器可以进一步被配置为从所述第二参考图片i
(1)
中的参考块获得所述视频块的第二预测样
点i
(1)
(i,j)。所述一个或多个处理器可以进一步被配置为基于所述至少一个约束标志、所述第一预测样点i
(0)
(i,j)和所述第二预测样点i
(1)
(i,j)获得双向预测样点。
8.根据本公开内容的第三方面，提供了一种其中存储有指令的非临时性计算机可读存储介质。当所述指令被一个或多个处理器执行时，所述指令可以使所述一个或多个处理器接收至少一个约束标志。所述至少一个约束标志可以指示条带是否为帧内条带。所述指令可以使所述一个或多个处理器获得与比特流中的视频块相关联的第一参考图片i
(0)
和第二参考图片i
(1)
。在显示顺序上，所述第一参考图片i
(0)
可以在当前图片之前，并且所述第二参考图片i
(1)
可以在当前图片之后。所述指令还可以使所述一个或多个处理器从所述第一参考图片i
(0)
中的参考块获得所述视频块的第一预测样点i
(0)
(i,j)。i和j可以表示一个样点与当前图片的坐标。所述指令还可以使所述一个或多个处理器从所述第二参考图片i
(1)
中的参考块获得所述视频块的第二预测样点i
(1)
(i,j)。所述指令还可以使所述一个或多个处理器基于所述至少一个约束标志、所述第一预测样点i
(0)
(i,j)和所述第二预测样点i
(1)
(i,j)获得双向预测样点。
9.应当理解，以上概括描述和以下详细描述仅是示例性和解释性的，并且不旨在限制本公开内容。
附图说明
10.并入本文并构成本说明书的一部分的附图说明与本公开内容一致的示例，并与说明书一起用于解释本公开内容的基本原理。
11.图1是根据本公开内容的示例的编码器的框图。
12.图2是根据本公开内容的示例的解码器的框图。
13.图3a是根据本公开内容的例子，示出多类型树结构中的块分区的图。
14.图3b是根据本公开内容的例子，示出多类型树结构中的块分区的图。
15.图3c是根据本公开内容的例子，示出多类型树结构中的块分区的图。
16.图3d是根据本公开内容的例子，示出多类型树结构中的块分区的图。
17.图3e是根据本公开内容的例子，示出多类型树结构中的块分区的图。
18.图4是根据本公开内容的例子，用于对视频信号进行解码的方法。
19.图5是根据本公开内容的例子，用于对视频信号进行解码的方法。
20.图6是根据本公开内容的例子，用于对视频信号进行解码的方法。
21.图7是根据本公开内容的例子，示出与用户界面耦合的计算环境的图。
具体实施方式
22.现在将详细地参考实施例，在附图中示出了其一些示例。以下描述参考附图，其中不同附图中相同的数字表示相同或相似的元件，除非另外说明。以下实施例描述中阐述的实施方式并不表示与本公开内容一致的所有实施方式。相反，它们仅仅是与本公开内容相关的方面一致的装置和方法的举例，如所附权利要求中所阐述的。
23.如本公开内容中所使用的术语，仅用于描述特定的实施例，并且不旨在对本公开内容进行限制。如本公开内容和所附权利要求中所使用的，单数形式的“一个(a)”、“某个(an)”和“该(the)”也旨在包括复数形式，除非上下文另外明确地说明。还应当理解的是，本
文所使用的术语“和/或”旨在表示并涵盖一个或多个相关列出的项目中的任何一个或者所有可能的组合。
24.应当理解的是，尽管在本文中可以使用术语“第一”、“第二”、“第三”等等来描述各种信息，但是该信息不应受到这些术语的限制。这些术语仅仅用于区分一个类别的信息与另一个类别的信息。例如，在不脱离本公开内容的保护范围的基础上，第一信息可以称为第二信息；同理，第二信息也可以称为第一信息。如本文所使用的，根据上下文，可以将术语“如果”理解为表示“何时”或“在
……
时”或“响应于判决”。
25.hevc标准的第一版本于2013年10月完成，与上一代视频编码标准h.264/mpeg avc相比，它提供了大约50％的比特率节省或等效的感知质量。尽管hevc标准比其前身提供了显著的编码改进，但有证据表明，与hevc相比，使用额外的编码工具可以实现更高的编码效率。在此基础上，vceg和mpeg都开始了对未来视频编码标准化新编码技术的探索工作。itu-t vecg和iso/iec mpeg于2015年10月成立了一个联合视频探索小组(jvet)，开始对可以显著提高编码效率的先进技术进行重要研究。jvet通过在hevc测试模型(hm)之上集成几个额外的编码工具来维护一种名为联合探索模型(jem)的参考软件。
26.2017年10月，itu-t和iso/iec发布了关于超过hevc能力的视频压缩的联合提案征集(cfp)。2018年4月，在第10次jvet会议上收到并评估了23份cfp回复，表明压缩效率比hevc提高了约40％。基于这样的评估结果，jvet启动了一个新项目来开发新一代视频编码标准，其名为通用视频编码(vvc)。同月，建立了一个名为vvc测试模型(vtm)的参考软件代码库，用于演示vvc标准的参考实现。
27.与hevc一样，vvc建立在基于块的混合视频编码框架之上。
28.图1显示了用于vvc的基于块的视频编码器的总体图。具体来说，图1示出了典型的编码器100。编码器100具有视频输入110、运动补偿112、运动估计114、帧内/帧间模式决策116、块预测器140、加法器128、变换器130、量化132、预测相关信息142、帧内预测118、图片缓冲器120、逆量化134、逆变换136、加法器126、存储器124、环路滤波器122、熵编码138和比特流144。
29.在编码器100中，将视频帧分割成多个视频块进行处理。对于每个给定的视频块，基于帧间预测方法或帧内预测方法来形成预测。
30.表示当前视频块(视频输入110的一部分)与其预测器(块预测器140的一部分)之间的差异的预测残差，从加法器128发送到变换器130。然后，将变换系数从变换器130发送到量化132以用于熵减少。然后将量化系数馈送到熵编码138以生成压缩视频比特流。如图1中所示，来自帧内/帧间模式决策116的预测相关信息142(例如，视频块分区信息、运动矢量(mv)、参考图片索引和帧内预测模式)也通过熵编码138馈送并保存到压缩比特流144中。压缩比特流144包括视频比特流。
31.在编码器100中，还需要与解码器相关的电路以便重构像素以用于预测。首先，通过逆量化134和逆变换136来重构预测残差。该重构的预测残差与块预测器140进行组合，以生成当前视频块的未滤波重构像素。
32.空间预测(或“帧内预测”)使用与当前视频块相同的视频帧中已编码相邻块的样点(称为参考样点)的像素，来预测当前视频块。
33.时间预测(也称为“帧间预测”)使用来自已编码视频图片的重构像素来预测当前
视频块。时间预测减少了视频信号中固有的时间冗余。给定编码单元(cu)或编码块的时间预测信号通常由一个或多个mv以信号通知，这些mv指示当前cu与其时间参考之间的运动量和方向。进一步地，如果支持多个参考图片，则额外发送一个参考图片索引，其用于标识时间预测信号来自参考图片存储器中的哪个参考图片。
34.运动估计114接收视频输入110和来自图片缓冲器120的信号，并且将运动估计信号输出到运动补偿112。运动补偿112接收视频输入110、来自图片缓冲器120的信号和来自运动估计114的运动估计信号，并且将运动补偿信号输出到帧内/帧间模式决策116。
35.在执行空间和/或时间预测之后，编码器100中的帧内/帧间模式决策116例如基于率失真优化方法来选择最佳预测模式。然后，从当前视频块中去除块预测器140，并且使用变换器130和量化132将得到的预测残差进行去相关。获得的量化残差系数由逆量化134进行逆量化，并由逆变换136进行逆变换以形成重构的残差，然后将其添加回预测块以形成cu的重构信号。可以在将重构的cu放入图片缓冲器120的参考图片存储中并用于对未来视频块进行编码之前，向重构的cu应用进一步的环路滤波122(例如，去块滤波器、样点自适应偏移(sao)和/或自适应环路滤波器(alf))。为了形成输出视频比特流144，将编码模式(帧间或帧内)、预测模式信息、运动信息和量化的残差系数都发送到熵编码单元138，以进一步压缩和打包以形成比特流。
36.图1给出了通用的基于块的混合视频编码系统的框图。对输入视频信号进行逐块(称为编码单元(cu))处理。在vtm-1.0中，一个cu可以达到128x128像素。然而，与仅基于四叉树来划分块的hevc不同，在vvc中，将一个编码树单元(ctu)基于四叉树/二叉树/三叉树拆分为cu，以适应不同局部特征。另外，去除hevc中多划分单元类型的概念，即vvc中不再存在cu、预测单元(pu)和变换单元(tu)的分离；相反，每个cu始终用作预测和变换的基本单元，而无需进一步划分。在多类型树结构中，首先通过四叉树结构对一个ctu进行划分。然后，每个四叉树的叶节点可以通过二叉树和三叉树结构进一步划分。
37.如图3a、3b、3c、3d和3e中所示，存在五种分割类型，四元划分、水平二元划分、垂直二元划分、水平三元划分和垂直三元划分。
38.图3a根据本公开内容，示出了用于描绘多类型树结构中的块四元划分的图。
39.图3b根据本公开内容，示出了用于描绘多类型树结构中的块垂直二元划分的图。
40.图3c根据本公开内容，示出了用于描绘多类型树结构中的块水平二元划分的图。
41.图3d根据本公开内容，示出了用于描绘多类型树结构中的块垂直三元划分的图。
42.图3e根据本公开内容，示出了用于描绘多类型树结构中的块水平三元划分的图。
43.在图1中，可以执行空间预测和/或时间预测。空间预测(或“帧内预测”)使用来自同一视频图片/条带中已编码相邻块的样点(称为参考样点)的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也称为“帧间预测”或“运动补偿预测”)使用来自已编码视频图片的重构像素来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。给定cu的时间预测信号通常由一个或多个运动矢量(mv)用信号通知，这些mv指示当前cu与其时间参考之间的运动量和方向。此外，如果支持多个参考图片，则额外发送一个参考图片索引，其用于标识时间预测信号来自参考图片存储器中的哪个参考图片。在空间和/或时间预测之后，编码器中的模式决策块选择最佳预测模式(例如，基于率失真优化方法)。然后，从当前视频块中减去预测块，并使用变换对预测残差进行去相关和量
化。对量化后的残差系数进行逆量化和逆变换，以形成重构残差，然后将其加回预测块，形成cu的重构信号。可以在将重构的cu放入参考图片存储中并用于对未来视频块进行编码之前，向重构的cu应用进一步的环路滤波(例如，去块滤波器、样点自适应偏移(sao)和自适应环路滤波器(alf))。为了形成输出视频比特流，将编码模式(帧间或帧内)、预测模式信息、运动信息和量化的残差系数都发送到熵编码单元，以进一步压缩和打包以形成比特流。
44.图2示出了用于vvc的视频解码器的一般框图。具体地说，图2示出了典型的解码器200框图。解码器200具有比特流210、熵解码212、逆量化214、逆变换216、加法器218、帧内/帧间模式选择220、帧内预测222、存储器230、环路滤波器228、运动补偿224、图片缓冲器226、预测相关信息234和视频输出232。
45.解码器200类似于位于图1的编码器100中的重构相关部分。在解码器200中，首先通过熵解码212对输入视频比特流210进行解码，以导出量化的系数水平和预测相关信息。然后通过逆量化214和逆变换216来处理量化的系数水平，以获得重构的预测残差。在帧内/帧间模式选择器220中实现的块预测器机制被配置为基于解码的预测信息来执行帧内预测222或运动补偿224。通过使用加法器218将来自逆变换216的重构预测残差与块预测器机制生成的预测输出相加，来获得一组未滤波的重构像素。
46.在将重构块存储在用作参考图片存储的图片缓冲器226中之前，可以进一步经过环路滤波器228。可以发送图片缓冲器226中的重构视频以驱动显示设备，以及用于预测未来的视频块。在环路滤波器228开启的情况下，对这些重构的像素执行滤波操作以导出最终的重构视频输出232。
47.图2给出了基于块的视频解码器的一般框图。首先在熵解码单元处，对视频比特流进行熵解码。将编码模式和预测信息发送到空间预测单元(如果是帧内编码)或时间预测单元(如果是帧间编码)以形成预测块。将残差变换系数发送到逆量化单元和逆变换单元以重构残差块。然后将预测块和残差块进行相加。重构块存储在参考图片存储中之前，可以进一步经过环路滤波。然后，将参考图片存储中的重构视频发送出去以驱动显示设备，并用于预测未来的视频块。
48.一般而言，vvc中应用的基本帧内预测方案与hevc保持相同，只是进一步扩展和/或改进了几个模块，例如矩阵加权帧内预测(mip)编码模式、帧内预测子分区(isp)编码模式、具有广角帧内方向的扩展帧内预测、位置相关帧内预测组合(pdpc)和4抽头帧内插值。本公开内容的主要重点是改进vvc标准中现有的通用约束信息设计。在以下章节中详细阐述了相关背景知识。
49.与hevc一样，vvc使用基于网络抽象层(nal)单元的比特流结构。将编码比特流划分为nal单元，当通过有损分组网络传输时，这些单元应小于最大传输单元大小。每个nal单元由nal单元报头和跟着的nal单元有效载荷组成。nal单元有两个概念类。视频编码层(vcl)nal单元包含编码样点数据(例如，编码条带nal单元)，而非vcl nal单元包含通常属于多个编码图片的元数据，或者与单个编码图片的关联将毫无意义(例如，参数集nal单元)，或者解码过程不需要信息(例如，sei nal单元)。
50.vvc继承了hevc的参数集概念，并进行了一些修改和添加。参数集可以是视频比特流的一部分，也可以由解码器通过其它方式接收(包括使用可靠通道的带外传输、编码器和解码器中的硬编码等等)。参数集包含一个标识，该标识直接或间接地从条带报头中引用，
稍后将更详细地讨论。引用过程称为“激活”。根据参数集类型，激活按图片或按序列进行。除其它原因之外，还引入了通过引用激活的概念，这是因为在带外传输的情况下，通过信息在比特流中的位置进行隐式激活(与视频编解码器的其它语法元素一样)是不可用的。
51.引入视频参数集(vps)以传送适用于多个层以及子层的信息。引入vps是为了解决这些缺点，并实现多层编解码器的简洁和可扩展的高级设计。给定视频序列的每一层，无论它们是否具有相同或不同的序列参数集(sps)，都指的是同一个vps。
52.在vvc中，sps包含适用于编码视频序列的所有条带的信息。编码视频序列从作为比特流中的第一张图片的瞬时解码刷新(idr)图片或bla图片或cra图片开始，并且包括不是idr或bla图片的所有后续图片。一个比特流由一个或多个编码视频序列组成。可以将sps的内容大致细分为六类：1)自引用(其自己的id)；2)解码器操作点相关信息(简档、层级、图片大小、子层数量等等)；3)在简档中启用某些工具的标志，以及在启用工具的情况下相关的编码工具参数；4)限制结构灵活性和变换系数编码的信息；5)时间可扩展性控制；以及6)视觉可用性信息(vui)，其包括hrd信息。
53.对于sps中的解码器操作点相关信息，存在指示在整个比特流中不能违反的属性的约束标志列表。将这些约束标志封装到它们自己的语法结构general_constraint_info()中。分别在表1和表2中说明了当前vvc草案规范中通用约束信息的语法和相关语义。
54.表1.通用约束信息语义
55.56.[0057][0058]
表2.通用约束信息语义
[0059]
[0060]
[0061]
[0062]
[0063][0064]
vvc的图片参数集(pps)包含这样的信息，这些信息可以在图片之间改变。pps包含的信息与hevc中pps的一部分大致相当，其包括：1)自引用；2)初始图片控制信息，例如初始量化参数(qp)、指示条带报头中某些工具或控制信息的使用或存在的多个标志；以及3)瓦片信息。
[0065]
条带报头包含可以在条带之间改变的信息，以及相对较小或者仅与特定条带或图片类型相关的这种图片相关信息。条带报头的大小可能明显地大于pps，特别是当条带报头
和rps中存在瓦片或波前入口点偏移时，显式地发信号通知预测权重或参考图片列表修改。
[0066]
对通用约束信息的改进
[0067]
在当前vvc中，在没有任何约束的通用约束信息中用信号通知no_sbt_constraint_flag。然而，由标志no_sbt_constraint_flag控制的特征仅适用于条带为帧间条带。因此，当条带为帧内条带时，no_sbt_constraint_flag的值应等于1。
[0068]
类似地，在没有任何约束的通用约束信息中用信号通知no_act_constraint_flag和no_chroma_qp_offset_constraint_flag。然而，由标志no_act_constraint_flag和no_chroma_qp_offset_constraint_flag控制的特征仅适用于色度格式不是单色的情况。因此，当色度格式为单色时，这两个标志的值应等于1。
[0069]
类似地，在另一个例子中，在没有任何约束的通用约束信息中用信号通知no_mixed_nalu_types_in_pic_constraint_flag。然而，由标志no_mixed_nalu_types_in_pic_constraint_flag控制的特征仅适用于图片至少有两个子图片的情况。因此，当图片有一个子图片时，no_mixed_nalu_types_in_pic_constraint_flag的值应等于1。
[0070]
类似地，在另一个例子中，在没有任何约束的通用约束信息中用信号通知no_prof_constraint_flag。但是，由标志no_prof_constraint_flag控制的特征仅适用于启用仿射模式时。因此，当仿射模式被禁用时，no_prof_constraint_flag的值应等于1。
[0071]
类似地，在另一个例子中，在没有任何约束的通用约束信息中用信号通知no_bdpcm_constraint_flag。但是，由标志no_bdpcm_constraint_flag控制的特征仅适用于启用变换跳过模式。因此，当变换跳过模式被禁用时，no_bdpcm_constraint_flag的值应等于1。
[0072]
还应当观察到，在当前的vvc中，通用约束信息语法中缺少若干编码工具。应当添加这些编码工具标志以提供与其它工具相同的通用约束控制。
[0073]
提出的方法
[0074]
在本公开内容中，为了解决如“问题陈述”部分中指出的问题，提供了方法来简化和/或进一步改进高级语法的现有设计。值得注意的是，可以单独地或联合地应用本发明的方法。
[0075]
由于标志no_sbt_constraint_flag控制的特征仅适用于条带为帧间切换，根据本公开内容的方法，建议增加在条带是帧内条带时，no_sbt_constraint_flag的值必须等于1的约束。vvc草案的解码过程示例如下表3中所示。以粗体和斜体显示vvc草案的更改。
[0076]
表3.建议的标志
[0077][0078]
图4示出了根据本公开内容，用于对视频信号进行解码的方法。例如，该方法可以应用于解码器。
[0079]
在步骤410，解码器可以接收至少一个约束标志。所述至少一个约束标志指示条带是否为帧内条带。
[0080]
在步骤412中，解码器可以获得与比特流中的视频块相关联的第一参考图片i
(0)
和第二参考图片i
(1)
。在显示顺序上，第一参考图片i
(0)
可以在当前图片之前，并且所述第二参
考图片i
(1)
可以在当前图片之后。
[0081]
在步骤414中，解码器可以从第一参考图片i
(0)
中的参考块获得视频块的第一预测样点i
(0)
(i,j)。i和j表示一个样点与当前图片的坐标。
[0082]
在步骤416中，解码器可以从第二参考图片i
(1)
中的参考块获得视频块的第二预测样点i
(1)
(i,j)。
[0083]
在步骤418中，解码器可以基于至少一个约束标志、第一预测样点i
(0)
(i,j)和第二预测样点i
(1)
(i,j)获得双向预测样点。
[0084]
由于标志no_act_constraint_flag和no_chroma_qp_offset_constraint_flag所控制的特征只适用于色度格式不是单色的情况，因此根据本公开内容的方法，建议增加以下的约束条件：在色度格式是单色时，这两个标志的值必须等于1。vvc草案的解码过程示例如下表4中所示。以粗体和斜体显示对vvc草案的更改。
[0085]
表4.建议的标志
[0086][0087]
图5示出了根据本公开内容，用于对视频信号进行解码的方法。例如，该方法可以应用于解码器。
[0088]
在步骤510中，解码器可以响应于确定max_chroma_format_constraint_idc值等于0，来确定no_act_constraint_flag标志等于1。
[0089]
在步骤512中，解码器可以响应于确定max_chroma_format_constraint_idc值等于0，来确定no_chroma_qp_offset_constraint_flag标志等于1。
[0090]
在下面的表5中说明了vvc草案上的解码过程的另一个例子。以粗体和斜体显示对vvc草案的更改。
[0091]
表5.建议的标志
[0092][0093]
由于no_mixed_nalu_types_in_pic_constraint_flag标志控制的特征仅在图片具有至少两个子图片时才适用，因此根据本公开内容的方法，建议增加以下的约束条件：当图片具有一个子图片时，no_mixed_nalu_types_in_pic_constraint_flag的值必须等于1。vvc草案的解码过程示例如下表6中所示。以粗体和斜体显示对vvc草案的更改。
[0094]
表6.建议的标志
[0095][0096]
由于标志no_prof_constraint_flag所控制的特征仅在仿射模式启用时才适用，因此根据本公开内容的方法，建议增加以下的约束条件：在禁用仿射模式时，no_prof_constraint_flag的值必须等于1。vvc草案的解码过程示例如下表7中所示。以粗体和斜体显示对vvc草案的更改。
[0097]
表7.建议的标志
[0098][0099]
由于标志no_bdpcm_constraint_flag所控制的特征仅在变换跳过模式启用时适用，因此根据本公开内容的方法，建议增加以下的约束条件：在禁用变换跳过模式时，no_bdpcm_constraint_flag的值必须等于1。vvc草案的解码过程示例如下表8中所示。以粗体和斜体显示对vvc草案的更改。
[0100]
表8.建议的标志
[0101][0102]
通用约束信息语法中缺少若干编码工具。应当添加这些编码工具标志，以提供与其它工具相同的通用约束控制。
[0103]
在当前vvc中，sps_conformance_window_flag等于1表示sps中接下来的一致性裁剪窗口偏移参数。根据本公开内容，建议在通用约束信息语法中增加裁剪函数的标志no_conformance_window_constraint_flag，以提供与其它工具相同的通用约束控制。vvc草案的解码过程示例如下表9和10中所示。以粗体和斜体显示对vvc草案的更改。
[0104]
表9.建议的标志
[0105][0106]
表10.建议的标志
[0107][0108]
在当前vvc中，sps_weighted_pred_flag等于1指定加权预测可以应用于引用该sps的p条带。sps_weighted_pred_flag等于0指定加权预测不应用于引用该sps的p条带。根
据本公开内容，建议在通用约束信息句法中增加语法元素no_weighted_pred_constraint_flag，以提供与其它语法相同的通用约束控制。下面的表11和表12中说明了vvc草案的解码过程示例。以粗体和斜体显示对vvc草案的更改。此外，鉴于加权预测仅在允许使用帧间编码工具时才适用。因此，建议增加一个比特流一致性约束，当仅允许帧内编码对序列进行编码时，no_weighted_pred_constrant_flag的值应当等于1。
[0109]
表11.建议的标志
[0110][0111]
表12.建议的标志
[0112][0113]
在当前vvc中，sps_weighted_bipred_flag等于1指定显式加权预测可以应用于引用该sps的b条带。sps_weighted_bipred_flag等于0指定显式加权预测不应用于引用该sps的b条带。根据本公开内容，建议在通用约束信息语法中添加语法元素no_weighted_bipred_constraint_flag，以提供与其它语法相同的通用约束控制。下面的表13和表14中说明了vvc草案的解码过程示例。以粗体和斜体显示对vvc草案的更改。此外，建议增加一个比特流一致性约束：当仅允许帧内编码对序列进行编码时，no_weight_bipred_constraint_flag的值应等于1。
[0114]
表13.建议的标志
[0115][0116]
表14.建议的标志
[0117][0118]
在当前vvc中，sps_virtual_boundaries_enabled_flag等于1指定已启用禁用跨虚拟边界的环路滤波，并可应用于clvs中的编码图片。sps_virtual_boundaries_enabled_flag等于0指定禁用跨虚拟边界的环路滤波被禁用，并且不应用于clvs中的编码图片。环路滤波操作包括去块滤波器、样点自适应偏移滤波器和自适应环路滤波器操作。根据本公开
内容，建议在通用约束信息语法中添加语法元素no_virtual_boundaries_constraint_flag，以提供与其它语法相同的通用约束控制。vvc草案的解码过程示例如下表6中所示。以粗体和斜体显示对vvc草案的更改。
[0119]
表15.建议的标志
[0120][0121]
表16.建议的标志
[0122][0123]
在当前的vvc草案中，在通用约束信息语法表中有用信号通知的两个标志，即no_ref_pic_resampling_constraint_flag和no_res_change_in_clvs_constraint_flag。第一标志指示编码序列中是否允许参考图片重采样功能，而第二标志指示是否允许调整编码序列中的图片的分辨率。鉴于只有在启用参考图片重采样时，图片的分辨率才能彼此不同，因此建议增加一个比特流一致性约束：当no_ref_pic_resampling_constraint_flag的值等于1时，no_res_change_in_clvs_constraint_flag的值应等于1，如下所示。同时，鉴于参考图片重采样是一种帧间编码功能，当只允许帧内编码时，不能应用参考图片重采样。因此，增加另一种比特流一致性约束：以在只允许使用帧内编码工具的情况下，，限制no_ref_pic_resampling_constraint_flag的值应该等于1。
[0124]
no_ref_pic_resampling_constraint_flag等于1指定sps_ref_pic_resampling_enabled_flag应等于0。no_ref_pic_resampling_constraint_flag等于0不施加这种约束。当intra_only_constraint_flag等于1时，no_ref_pic_resampling_constraint_flag的值应等于1。
[0125]
no_res_change_in_clvs_constraint_flag等于1指定sps_res_change_in_clvs_allowed_flag应等于0。no_res_change_in_clvs_constraint_flag等于0不施加这种约束。当no_ref_pic_resampling_constraint_flag的值等于1时，no_res_change_in_clvs_constraint_flag的值应等于1。
[0126]
图6示出了根据本公开内容，用于对视频信号进行解码的方法。例如，该方法可以应用于解码器。
[0127]
在步骤610中，解码器可以接收包括用于编码视频数据的vps、sps、pps、图片报头和条带报头的比特流。
[0128]
在步骤612中，解码器可以对vps进行解码。
[0129]
在步骤614中，解码器可以对sps进行解码，并且可以对sps中的通用约束信息进行解码。
[0130]
在步骤616中，解码器可以对pps进行解码。
[0131]
在步骤618中，解码器可以对图片报头进行解码。
[0132]
在步骤620中，解码器可以对条带报头进行解码。
[0133]
在步骤622中，解码器可以基于vps、sps、pps、图片报头和条带报头，对视频数据进行解码。
[0134]
可以使用包括一个或多个电路的装置来实施上述方法，这些电路包括专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其它电子元件。该装置可以使用与其它硬件或软件组件相结合的电路来执行上面描述的方法。可以至少部分地使用一个或多个电路来实现上面公开的每个模块、子模块、单元或子单元。
[0135]
图7示出了与用户界面760耦合的计算环境710。计算环境710可以是数据处理服务器的一部分。计算环境710包括处理器720、存储器740和i/o接口750。
[0136]
处理器720通常控制计算环境710的整体操作，例如与显示器、数据采集、数据通信和图像处理相关联的操作。处理器720可以包括一个或多个处理器，以执行指令来执行上面描述的方法中的所有步骤或一些步骤。此外，处理器720可以包括有助于处理器720与其它组件之间的交互的一个或多个模块。该处理器可以是中央处理单元(cpu)、微处理器、单片机、gpu等。
[0137]
存储器740被配置为存储各种类型的数据以支持计算环境710的操作。存储器740可以包括预定软件742。此类数据的示例包括用于在计算环境710、视频数据集、图像数据等等上操作的任何应用或方法的指令。可以通过使用任何类型的易失性或非易失性存储器件或其组合(例如，静态随机存取存储器(sram)、电可擦可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、闪存、磁盘或光盘)来实现存储器740。
[0138]
i/o接口750提供处理器720和外围接口模块(例如，键盘、点击轮、按钮等)之间的接口。按钮可以包括但不限于主页按钮、开始扫描按钮和停止扫描按钮。i/o接口750可以与编码器和解码器耦合。
[0139]
在一些实施例中，还提供了一种非临时性计算机可读存储介质，其包括可由计算环境710中的处理器720执行的多个程序(例如，包括在存储器740中)，以用于执行上面描述的方法。例如，非临时性计算机可读存储介质可以是rom、ram、cd-rom、磁带、软盘、光数据存储设备等等。
[0140]
非临时性计算机可读存储介质已经在其中存储了具有一个或多个处理器的用于由计算设备执行的多个程序，其中当所述多个程序由一个或多个处理器执行时，导致计算设备执行上面描述的运动预测方法。
[0141]
在一些实施例中，可以使用用于执行上述方法的一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、图形处理单元(gpu)、控制器、微控制器、微处理器或其它电子组件来实现计算环境710。
[0142]
通过考虑说明书和此处公开的内容的实践，本公开内容的其它示例对于本领域技术人员将是显而易见的。本技术旨在涵盖本公开内容的任何变化、用途或改编，遵循本发明的一般原则，包括本领域已知或惯常做法中对本发明的偏离。本说明书和示例仅视为示例性的。
[0143]
应当理解，本公开内容并不限于上面描述和附图中所示的确切示例，并且可以在不脱离保护范围的情况下进行各种修改和改变。