使用块大小限制的视频数据块的重构的制作方法

使用块大小限制的视频数据块的重构
1.本技术要求于2020年3月9日递交的美国申请no.16/813,508、于2019年3月12日递交的美国临时申请62/817,457以及于2019年3月27日递交的美国临时申请62/824,688的优先权，上述申请中的每个申请的全部内容通过引用的方式并入本文。
技术领域
2.本公开内容涉及视频编码和视频解码。


背景技术：

3.数字视频能力可以被合并到宽范围的设备中，包括数字电视机、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话、所谓的“智能电话”、视频电话会议设备、视频流设备等。数字视频设备实现视频译码技术(诸如在通过mpeg
‑
2、mpeg
‑
4、itu
‑
t h.263、itu
‑
th.264/mpeg
‑
4(第10部分，高级视频译码(avc))、itu
‑
t h.265/高效率视频译码(hevc)定义的标准以及这样的标准的扩展中描述的那些技术)。通过实现这样的视频译码技术，视频设备可以更高效地发送、接收、编码、解码和/或存储数字视频信息。
4.视频译码技术包括空间(图片内(intra
‑
picture))预测和/或时间(图片间(inter
‑
picture))预测以减少或去除在视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可以被分割为视频块，视频块还可以被称为译码树单元(ctu)、译码单元(cu)和/或译码节点。图片的经帧内译码(i)的切片中的视频块是使用相对于相同图片中的相邻块中的参考样本的空间预测来编码的。图片的经帧间译码(p或b)的切片中的视频块可以使用相对于相同图片中的相邻块中的参考样本的空间预测或者相对于其它参考图片中的参考样本的时间预测。图片可以被称为帧，以及参考图片可以被称为参考帧。


技术实现要素：

5.概括而言，本公开内容描述了用于处理视频数据块(例如，小帧内译码块)的技术。在本公开内容的示例中，视频编码器可以被配置为将视频数据分割为多个块。例如，视频编码器可以将块拆分为两个或更多个更小的块，诸如例如，四个32x32块、十六个16x16块或其它块大小，而不是处理64x64样本(例如，像素)的大块。在一些示例中，视频编码器可以被配置为将块拆分为相对小的大小(例如，2x2块、2x4块、4x2块等)。类似地，视频解码器可以被配置为确定将视频数据分割为多个块。
6.根据本公开内容的示例技术，视频译码器(例如，视频编码器或视频解码器)可以应用块大小限制以防止导致相对小的块大小的拆分。也就是说，在将视频数据的大块拆分为较小块的视频数据的分割期间，块大小限制可以防止将导致相对小的块大小的一个或多个拆分。例如，视频译码器可以被配置为应用块大小限制以防止的对块的拆分，该拆分将产
生当块高度(以样本为单位)乘以块宽度(以样本为单位)小于门限样本数量(例如，16个样本)时的包括该块宽度和该块高度的小块。在分割视频数据之后，视频编码器可以生成用于块的预测信息，以及基于预测信息来确定用于块的预测块。预测块可以依赖于相邻块。例如，视频译码器可以基于顶部相邻块和左侧相邻块来确定用于当前块的预测块。通过防止导致相对小的块大小的拆分，视频译码器可以确定具有较少块依赖性的视频数据的切片的块的预测信息，因此潜在地在预测精度损失很少或没有损失的情况下降低译码复杂度。
7.在一个示例中，一种对视频数据进行解码的方法包括：由在电路中实现的一个或多个处理器确定将所述视频数据分割为多个块，其中，对所述视频数据的所述分割应用块大小限制以防止对所述多个块中的块的拆分，所述拆分将产生当块高度乘以块宽度小于门限时的包括所述块宽度和所述块高度的小块；由所述一个或多个处理器生成用于所述块的预测信息；由所述一个或多个处理器基于所述预测信息来确定用于所述块的预测块；由所述一个或多个处理器对用于所述块的残差块进行解码；以及由一个或多个处理器将所述预测块和所述残差块进行组合以对所述块进行解码。
8.在另一示例中，一种对视频数据进行编码的方法包括：由在电路中实现的一个或多个处理器将所述视频数据分割为多个块，其中，为了分割，所述一个或多个处理器被配置为应用块大小限制以防止对所述多个块中的块的拆分，所述拆分将产生当块高度乘以块宽度小于门限时的包括所述块宽度和所述块高度的小块；由所述一个或多个处理器生成用于所述块的预测信息；由所述一个或多个处理器基于所述预测信息来确定用于所述块的预测块；由所述一个或多个处理器基于所述块与所述预测块之间的差来生成用于所述块的残差块；以及由所述一个或多个处理器对所述残差块进行编码。
9.在一个示例中，一种用于对视频数据进行解码的设备包括：存储器，其被配置为存储视频数据；以及一个或多个处理器，其在电路中实现并且被配置为：确定将所述视频数据分割为多个块，其中，对所述视频数据的所述分割应用块大小限制以防止对所述多个块中的块的拆分，所述拆分将产生当块高度乘以块宽度小于门限时的包括所述块宽度和所述块高度的小块；生成用于所述块的预测信息；基于所述预测信息来确定用于所述块的预测块；对用于所述块的残差块进行解码；以及将所述预测块和所述残差块进行组合以对所述块进行解码。
10.在另一示例中，一种用于对视频数据进行编码的设备包括：存储器，其被配置为存储视频数据；以及一个或多个处理器，其在电路中实现并且被配置为：将所述视频数据分割为多个块，其中，所述分割包括：应用块大小限制以防止对所述多个块中的块的拆分，所述拆分将产生当块高度乘以块宽度小于门限时的包括所述块宽度和所述块高度的小块；生成用于所述块的预测信息；基于所述预测信息来确定用于所述块的预测块；基于所述块与所述预测块之间的差来生成用于所述块的残差块；以及对所述残差块进行编码。
11.在一个示例中，一种非暂时性计算机可读存储介质存储指令，所述指令在被执行时使得设备的一个或多个处理器进行以下操作：确定将所述视频数据分割为多个块，其中，对所述视频数据的所述分割应用块大小限制以防止对所述多个块中的块的拆分，所述拆分将产生当块高度乘以块宽度小于门限时的包括所述块宽度和所述块高度的小块；生成用于所述块的预测信息；基于所述预测信息来确定用于所述块的预测块；对用于所述块的残差块进行解码；以及将所述预测块和所述残差块进行组合以对所述块进行解码。
12.在另一示例中，一种非暂时性计算机可读存储介质存储指令，所述指令在被执行时使得设备的一个或多个处理器进行以下操作：将所述视频数据分割为多个块，其中，所述使得所述一个或多个处理器进行分割的指令使得所述一个或多个处理器应用块大小限制以防止对所述多个块中的块的拆分，所述拆分将产生当块高度乘以块宽度小于门限时的包括所述块宽度和所述块高度的小块；生成用于所述块的预测信息；基于所述预测信息来确定用于所述块的预测块；基于所述块与所述预测块之间的差来生成用于所述块的残差块；以及对所述残差块进行编码。
13.在一个示例中，一种被配置为对视频数据进行解码的装置包括：用于确定将所述视频数据分割为多个块的单元，其中，对所述视频数据的所述分割应用块大小限制以防止对所述多个块中的块的拆分，所述拆分将产生当块高度乘以块宽度小于门限时的包括所述块宽度和所述块高度的小块；用于生成用于所述块的预测信息的单元；用于基于所述预测信息来确定用于所述块的预测块的单元；用于对用于所述块的残差块进行解码的单元；以及用于将所述预测块和所述残差块进行组合以对所述块进行解码的单元。
14.在另一示例中，一种被配置为对视频数据进行编码的装置包括：用于将所述视频数据分割为多个块的单元，其中，所述用于分割的单元包括：用于应用块大小限制以防止对所述多个块中的块的拆分的单元，所述拆分将产生当块高度乘以块宽度小于门限时的包括所述块宽度和所述块高度的小块；用于生成用于所述块的预测信息的单元；用于基于所述预测信息来确定用于所述块的预测块的单元；用于基于所述块与所述预测块之间的差来生成用于所述块的残差块的单元；以及用于对所述残差块进行编码的单元。
15.在附图和下文的描述中阐述了一个或多个示例的细节。根据描述、附图和权利要求，其它特征、目的和优点将是显而易见的。
附图说明
16.图1是示出可以执行本公开内容的技术的示例视频编码和解码系统的框图。
17.图2a和图2b是示出示例四叉树二叉树(qtbt)结构以及对应的译码树单元(ctu)的概念图。
18.图3是示出可以执行本公开内容的技术的示例视频编码器的框图。
19.图4是示出可以执行本公开内容的技术的示例视频解码器的框图。
20.图5a是示出四叉树分割的示例的概念图。
21.图5b是示出垂直二叉树分割的示例的概念图。
22.图5c是示出水平二叉树分割的示例的概念图。
23.图5d是示出垂直三叉树分割的示例的概念图。
24.图5e是示出水平三叉树分割的示例的概念图。
25.图6是示出帧内预测的方向的示例的概念图。
26.图7是示出8x4矩形块的示例的概念图，其中较近的参考样本不用于预测，并且较远的参考样本可以用于预测。
27.图8a是示出不使用角度模式重新映射的正方形块的示例的概念图。
28.图8b是示出用于水平非正方形块的角度模式重新映射的示例的概念图。
29.图8c是示出用于垂直非正方形块的角度模式重新映射的示例的概念图。
30.图9是示出除了65个角度模式的基本集合之外所描绘的广角(
‑
1到
‑
10和67到76)的示例的概念图。
31.图10是示出针对总共93个角度模式的多功能视频译码测试模型3(vtm3)中超出模式2和66的广角(
‑
1到
‑
14和67到80)的示例的概念图，。
32.图11是示出用于色度分量的帧内预测的参考样本阵列的示例的概念图。
33.图12是示出具有大小为64个样本(16个色度样本)的并行可处理区域(ppr)的示例的概念图。
34.图13是示出用于对当前块进行编码的示例方法的流程图。
35.图14是示出用于对视频数据的当前块进行解码的示例方法的流程图。
36.图15是示出用于使用块大小限制来对块进行编码的示例方法的流程图。
37.图16是示出用于使用块大小限制来对块进行解码的示例方法的流程图。
具体实施方式
38.概括而言，本公开内容描述了用于处理视频数据块(例如，帧内译码块)的技术。在本公开内容的示例中，视频编码器可以被配置为将视频数据分割为多个块。例如，视频编码器可以将块拆分为两个更小的块，诸如例如，四个32x32块、十六个16x16块或其它块大小，而不是处理64x64样本的大块。在一些示例中，视频编码器可以被配置为将块拆分为相对小的大小(例如，2x2块、2x4块、4x2块等)。例如，视频编码器可以将16x8块拆分为两个8x8块。类似地，视频解码器可以确定将视频数据分割为多个块。视频译码器(例如，视频编码器或视频解码器)可以使用表示64个样本的运动的第一运动信息来预测第一8x8块，以及使用表示64个样本的运动的第二运动信息来预测第二8x8块，而不是使用表示全部128个样本的运动的运动信息(例如，128个样本的平均运动)来预测16x8块，其中第一运动信息和第二运动信息是不同的。以这种方式，将相对大的块分割为两个(或更多个)相对小的大小可以提高译码精度。
39.为了在译码精度损失很少或没有损失的情况下降低译码的复杂性，视频译码器(例如，视频编码器或视频解码器)可以被配置为使用亮度分量来表示视频数据块的亮度以及使用色度分量表示视频数据块的颜色特性。色度分量可以包括蓝色减亮度值(“cb”)和/或红色减亮度值(“cr”)。例如，视频译码器(例如，视频编码器或视频解码器)可以被配置为通过亮度分量的8x8亮度块(例如，“y”)、色度分量的第一4x4色度块(例如，“cr”)和色度分量的第二4x4色度块(例如，“cb”)来表示8x8块。也就是说，视频数据块的色度分量可以被子采样，以具有比视频数据块的亮度分量少的样本。以这种方式，对色度分量进行子采样可以在译码精度损失很少或没有损失的情况下提高译码效率。
40.视频译码器(例如，视频编码器或视频解码器)可以被配置为对块进行帧内译码，其中预测块依赖于其它块。例如，视频译码器可以使用顶部相邻块和左侧相邻块来预测当前块以提高译码精度。照此，视频译码器可能不与预测顶部相邻块和左侧相邻块并行地预测当前块。替代地，视频译码器可以等待预测当前块，直到完成对顶部相邻块和左侧相邻块的预测。块依赖性可能增加译码复杂度，译码复杂度随较小的块大小而增加。
41.根据本公开内容的技术，视频译码器(例如，视频编码器或视频解码器)可以应用块大小限制以防止导致相对小的块大小的拆分。如本文所使用的，拆分可以指代将块分割
为更小的块。例如，视频译码器可以被配置为应用块大小限制以防止的对块的拆分，该拆分将产生当块高度(以样本为单位)乘以块宽度(以样本为单位)小于门限样本数量(例如，16个样本)时的包括该块宽度和该块高度的小块。视频译码器可以仅对块的色度分量应用块大小限制。在另一示例中，视频译码器可以对块的色度分量和块的亮度分量应用块大小限制。应用块限制可以有助于降低来自块依赖性的译码复杂度，同时对译码精度没有影响或有很少影响。
42.在对视频数据进行分割或拆分之后，视频译码器(例如，视频编码器或视频解码器)可以生成用于块的预测信息，以及基于预测信息来确定用于块的预测块。再次，在帧内预测的情况下，预测块可以依赖于相邻块。例如，视频译码器可以基于顶部相邻块和左侧相邻块来确定用于当前块的预测块。通过防止导致相对小的块大小的拆分，视频译码器可以确定具有较少块依赖性的视频数据的切片的块的预测信息，因此潜在地在预测精度损失很少或没有损失的情况下降低译码复杂度。
43.图1是示出可以执行本公开内容的技术的示例视频编码和解码系统100的框图。概括而言，本公开内容的技术涉及对视频数据进行译码(coding)(编码(encoding)和/或解码(decoding))。通常，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的未经译码的视频、经编码的视频、经解码(例如，经重构)的视频、以及视频元数据(例如，信令数据)。
44.如图1所示，在该示例中，系统100包括源设备102，源设备102提供要被目的地设备116解码和显示的、经编码的视频数据。具体地，源设备102经由计算机可读介质110来将视频数据提供给目的地设备116。源设备102和目的地设备116可以包括宽范围的设备中的任何设备，包括台式计算机、笔记本计算机(即，膝上型计算机)、平板计算机、机顶盒、电话手机(诸如智能电话)、电视机、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输设备等。在一些情况下，源设备102和目的地设备116可以被配备用于无线通信，以及因此可以被称为无线通信设备。
45.在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200以及输出接口108。目的地设备116包括输入接口122、视频解码器300、存储器120以及显示设备118。根据本公开内容，源设备102的视频编码器200和目的地设备116的视频解码器300可以被配置为应用用于并行处理小帧内译码块的技术。因此，源设备102表示视频编码设备的示例，而目的地设备116表示视频解码设备的示例。在其它示例中，源设备和目的地设备可以包括其它组件或排列。例如，源设备102可以从诸如外部相机的外部视频源接收视频数据。同样，目的地设备116可以与外部显示设备对接，而不是包括集成的显示设备。
46.如图1中所示的系统100仅是一个示例。通常，任何数字视频编码和/或解码设备可以执行用于并行处理小帧内译码块的技术。源设备102和目的地设备116仅是这样的译码设备的示例，其中，源设备102生成经编码的视频数据以用于传输给目的地设备116。本公开内容将“译码”设备指代为执行对数据的译码(例如，编码和/或解码)的设备。因此，视频编码器200和视频解码器300分别表示译码设备(具体地，视频编码器和视频解码器)的示例。在一些示例中，设备102、116可以以基本上对称的方式进行操作，使得设备102、116中的每一者包括视频编码和解码组件。因此，系统100可以支持在设备102、116之间的单向或双向视频传输，例如，以用于视频流式传输、视频回放、视频广播或视频电话。
47.通常，视频源104表示视频数据(即原始的未经译码的视频数据)的源，以及将视频数据的顺序的一系列图片(还被称为“帧”)提供给视频编码器200，视频编码器200对用于图片的数据进行编码。源设备102的视频源104可以包括视频捕获设备，诸如摄像机、包含先前捕获的原始视频的视频存档单元、和/或用于从视频内容提供者接收视频的视频馈送接口。作为另外的替代方式，视频源104可以生成基于计算机图形的数据作为源视频，或者生成实时视频、被存档的视频和计算机生成的视频的组合。在每种情况下，视频编码器200可以对被捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图片从所接收的次序(有时被称为“显示次序”)重新排列为用于译码的译码次序。视频编码器200可以生成包括经编码的视频数据的比特流。然后，源设备102可以经由输出接口108将经编码的视频数据输出到计算机可读介质110上，以便由例如目的地设备116的输入接口122接收和/或取回。
48.源设备102的存储器106和目的地设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如，来自视频源104的原始视频以及来自视频解码器300的原始的经解码的视频数据。另外或替代地，存储器106、120可以存储可由例如视频编码器200和视频解码器300分别执行的软件指令。尽管存储器106和存储器120在该示例中被示为与视频编码器200和视频解码器300分开，但是应当理解的是，视频编码器200和视频解码器300还可以包括用于在功能上类似或等效目的的内部存储器。此外，存储器106、120可以存储例如从视频编码器200输出并且输入到视频解码器300的经编码的视频数据。在一些示例中，存储器106、120的部分可以被分配为一个或多个视频缓冲器，例如，以存储原始的经解码和/或经编码的视频数据。
49.计算机可读介质110可以表示能够将经编码的视频数据从源设备102传送给目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示通信介质，其使得源设备102能够例如经由射频网络或基于计算机的网络，来实时地向目的地设备116直接地发送经编码的视频数据。输出接口108可以根据诸如无线通信协议的通信标准来对包括经编码的视频数据的传输信号进行解调，以及输入接口122可以根据诸如无线通信协议的通信标准来对所接收的传输信息进行调制。通信介质可以包括任何无线或有线通信介质，例如，射频(rf)频谱或一条或多条物理传输线。通信介质可以形成诸如以下各项的基于分组的网络的一部分：局域网、广域网、或诸如互联网的全球网络。通信介质可以包括路由器、交换机、基站、或对于促进从源设备102到目的地设备116的通信而言可以有用的任何其它设备。
50.在一些示例中，计算机可读介质110可以包括存储设备112。源设备102可以将经编码的数据从输出接口108输出到存储设备112。类似地，目的地设备116可以经由输入接口122从存储设备112存取经编码的数据。存储设备112可以包括各种各样的分布式或本地存取的数据存储介质中的任何一者，诸如硬盘驱动器、蓝光光盘、dvd、cd
‑
rom、闪存、易失性或非易失性存储器、或用于存储经编码的视频数据的任何其它适当的数字存储介质。
51.在一些示例中，计算机可读介质110可以包括文件服务器114或可以存储由源设备102生成的经编码的视频数据的另一中间存储设备。源设备102可以将经编码的视频数据输出到文件服务器114或者可以存储由源设备102生成的经编码的视频的另一中间存储设备。目的地设备116可以经由流式传输或下载来从文件服务器114存取被存储的视频数据。文件
服务器114可以是能够存储经编码的视频数据并且将该经编码的视频数据发送给目的地设备116的任何类型的服务器设备。文件服务器114可以表示网页服务器(例如，用于网站)、文件传输协议(ftp)服务器、内容递送网络设备或网络附加存储(nas)设备。目的地设备116可以通过任何标准数据连接(包括互联网连接)来从文件服务器114访问经编码的视频数据。这可以包括适于访问被存储在文件服务器114上的经编码的视频数据的无线信道(例如，wi
‑
fi连接)、有线连接(例如，数字用户线(dsl)、电缆调制解调器等)、或这两者的组合。文件服务器114和输入接口122可以被配置为根据流式传输协议、下载传输协议、或其组合来操作。
52.输出接口108和输入接口122可以表示无线发射机/接收机、调制解调器、有线联网组件(例如，以太网卡)、根据各种各样的ieee 802.11标准中的任何一种标准进行操作的无线通信组件、或其它物理组件。在其中输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据蜂窝通信标准(诸如4g、4g
‑
lte(长期演进)、改进的lte、5g等)来传输数据(诸如经编码的视频数据)。在其中输出接口108包括无线发射机的一些示例中，输出接口108和输入接口122可以被配置为根据其它无线标准(诸如ieee 802.11规范、ieee 802.15规范(例如，zigbee
tm
)、bluetooth
tm
标准等)来传输数据(诸如经编码的视频数据)。在一些示例中，源设备102和/或目的地设备116可以包括相应的片上系统(soc)设备。例如，源设备102可以包括用于执行被赋予视频编码器200和/或输出接口108的功能的soc设备，以及目的地设备116可以包括用于执行被赋予视频解码器300和/或输入接口122的功能的soc设备。
53.本公开内容的技术可以应用于视频译码，以支持各种各样的多媒体应用中的任何一者，诸如空中电视广播、有线电视传输、卫星电视传输、互联网流式视频传输(诸如基于http的动态自适应流式传输(dash))、被编码到数据存储介质上的数字视频、对被存储在数据存储介质上的数字视频的解码、或其它应用。
54.目的地设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收经编码的视频比特流。经编码的视频比特流可以包括由视频编码器200定义的诸如以下语法元素的信令信息(其还被视频解码器300使用)：所述语法元素具有描述视频块或其它译码单元(例如，切片、图片、图片组、序列等)的特性和/或处理的值。显示设备118将经解码的视频数据的经解码的图片显示给用户。显示设备118可以表示各种各样的显示设备中的任何一者，诸如液晶显示器(lcd)、等离子显示器、有机发光二极管(oled)显示器、或另一种类型的显示设备。
55.尽管在图1中未示出，但是在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成，以及可以包括适当的mux
‑
demux单元或其它硬件和/或软件，以处理包括公共数据流中的音频和视频两者的经复用的流。如果适用，mux
‑
demux单元可以遵循itu h.223复用器协议或其它协议(诸如用户数据报协议(udp))。
56.视频编码器200和视频解码器300各自可以被实现为各种各样的适当的编码器和/或解码器电路中的任何一者，诸如一个或多个微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、分立逻辑、软件、硬件、固件、或其任何组合。当所述技术部分地在软件中实现时，设备可以将用于软件的指令存储在适当的非暂时性计算机可读介质中，以及使用一个或多个处理器在硬件中执行指令以执行本公开内容的技术。视频
编码器200和视频解码器300中的每一者可以被包括在一个或多个编码器或解码器中，编码器或解码器中的任一者可以被集成为相应设备中的组合编码器/解码器(codec)的一部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器、和/或无线通信设备(诸如蜂窝电话)。
57.视频编码器200和视频解码器300可以根据视频译码标准(诸如itu
‑
th.265(还被称为高效率视频译码(hevc)标准)或对其的扩展(诸如多视图或可缩放视频译码扩展))进行操作。替代地，视频编码器200和视频解码器300可以根据其它专有或行业标准(诸如itu
‑
t h.266标准，还被称为多功能视频译码(vvc))进行操作。vvc标准的草案是在以下文档中描述的：bross等人，“versatile video coding(draft 8)”，itu
‑
t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)，第17次会议：比利时布鲁塞尔，2020年1月7日至17日，jvet
‑
q2001
‑
va(下文中被称为“vvc草案8”)。然而，本公开内容的技术不限于任何特定的译码标准。
58.通常，视频编码器200和视频解码器300可以执行对图片的基于块的译码。术语“块”通常指代包括要被处理的(例如，在编码和/或解码过程中要被编码、被解码或以其它方式使用的)数据的结构。例如，块可以包括亮度和/或色度数据(例如，亮度分量和/或色度分量)的样本的二维矩阵。通常，视频编码器200和视频解码器300可以对以yuv(例如，y、cb、cr)格式表示的视频数据进行译码。也就是说，并不是对用于图片的样本的红色、绿色和蓝色(rgb)数据进行译码，视频编码器200和视频解码器300可以对亮度和色度分量进行译码，其中，色度分量可以包括红色色相和蓝色色相色度分量两者。在一些示例中，视频编码器200在进行编码之前将所接收的经rgb格式化的数据转换为yuv表示，以及视频解码器300将yuv表示转换为rgb格式。替代地，预处理和后处理单元(未示出)可以执行这些转换。
59.概括而言，本公开内容可以涉及对图片的译码(例如，编码和解码)以包括对图片的数据进行编码或解码的过程。类似地，本公开内容可以涉及对图片的块的译码以包括对用于块的数据进行编码或解码(例如，预测和/或残差译码)的过程。经编码的视频比特流通常包括用于表示译码决策(例如，译码模式)以及将图片分割为块的语法元素的一系列值。因此，关于对图片或块进行译码的参考通常应当被理解为对用于形成图片或块的语法元素的值进行译码。
60.hevc定义了各种块，包括译码单元(cu)、预测单元(pu)和变换单元(tu)。根据hevc，视频译码器(coder)(诸如视频编码器200)根据四叉树结构来将译码树单元(ctu)分割为cu。也就是说，视频译码器将ctu和cu分割为四个相等的、不重叠的正方形，以及四叉树的每个节点具有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，以及这样的叶节点的cu可以包括一个或多个pu和/或一个或多个tu。视频译码器可以进一步分割pu和tu。例如，在hevc中，残差四叉树(rqt)表示对tu的分区。在hevc中，pu表示帧间预测数据，而tu表示残差数据。经帧内预测的cu包括帧内预测信息，诸如帧内模式指示。
61.作为另一示例，视频编码器200和视频解码器300可以被配置为根据vvc进行操作。根据vvc，视频译码器(诸如视频编码器200)将图片分割为多个译码树单元(ctu)。视频编码器200可以根据树结构(诸如四叉树
‑
二叉树(qtbt)结构或多类型树(mtt)结构)分割ctu。qtbt结构去除了多种分割类型的概念，诸如在hevc的cu、pu和tu之间的分隔。qtbt结构包括两个级别：根据四叉树分割而被分割的第一级别、以及根据二叉树分割而被分割的第二级
别。qtbt结构的根节点对应于ctu。二叉树的叶节点对应于译码单元(cu)。
62.在mtt分割结构中，可以使用四叉树(qt)分割、二叉树(bt)分割以及一个或多个类型的三叉树(tt)分割来对块进行分割。三叉树分割是其中块被分为三个子块的分割。在一些示例中，三叉树分割将块划分为三个子块，而不通过中心划分原始块。mtt中的分割类型(例如，qt、bt和tt)可以是对称的或不对称的。
63.在一些示例中，视频编码器200和视频解码器300可以使用单个qtbt或mtt结构来表示亮度分量和色度分量中的每一者，而在其它示例中，视频编码器200和视频解码器300可以使用两个或更多个qtbt或mtt结构，诸如用于亮度分量的一个qtbt/mtt结构以及用于两个色度分量的另一个qtbt/mtt结构(或者用于相应色度分量的两个qtbt/mtt结构)。
64.视频编码器200和视频解码器300可以被配置为使用每hevc的四叉树分割、qtbt分割、mtt分割、或其它分割结构。为了解释的目的，关于qtbt分割给出了本公开内容的技术的描述。然而，应当理解的是，本公开内容的技术还可以应用于被配置为使用四叉树分割或者还使用其它类型的分割的视频译码器。
65.本公开内容可以互换地使用“nxn”和“n乘n”来指代块(诸如cu或其它视频块)在垂直和水平维度方面的样本大小，例如，16x16个样本或16乘16个样本。通常，16x16 cu在垂直方向上将具有16个样本(y＝16)，以及在水平方向上将具有16个样本(x＝16)。同样地，nxn cu通常在垂直方向上具有n个样本，以及在水平方向上具有n个样本，其中n表示非负整数值。cu中的样本可以按行和列来排列。此外，cu不一定需要在水平方向上具有与在垂直方向上相同的数量的样本。例如，cu可以包括nxm个样本，其中m不一定等于n。
66.视频编码器200对用于cu的表示预测和/或残差信息以及其它信息的视频数据进行编码。预测信息指示将如何预测cu以便形成用于cu的预测块。残差信息通常表示在编码之前的cu的样本与预测块之间的逐样本差。
67.为了预测cu，视频编码器200通常可以通过帧间预测或帧内预测来形成用于cu的预测块。帧间预测通常指代根据先前译码的图片的数据来预测cu，而帧内预测通常指代根据相同图片的先前译码的数据来预测cu。为了执行帧间预测，视频编码器200可以使用一个或多个运动矢量来生成预测块。视频编码器200通常可以执行运动搜索，以识别例如在cu与参考块之间的差方面与cu紧密匹配的参考块。视频编码器200可以使用绝对差之和(sad)、平方差之和(ssd)、平均绝对差(mad)、均方差(msd)、或其它这样的差计算来计算差度量，以确定参考块是否与当前cu紧密匹配。在一些示例中，视频编码器200可以使用单向预测或双向预测来预测当前cu。
68.vvc的一些示例还提供仿射运动补偿模式，其可以被认为是帧间预测模式。在仿射运动补偿模式下，视频编码器200可以确定表示非平移运动(诸如放大或缩小、旋转、透视运动或其它不规则的运动类型)的两个或更多个运动矢量。
69.为了执行帧内预测，视频编码器200可以选择帧内预测模式来生成预测块。vvc的一些示例提供六十七种帧内预测模式，包括各种方向性模式、以及平面模式和dc模式。通常，视频编码器200选择帧内预测模式，帧内预测模式描述要根据其来预测当前块(例如，cu的块)的样本的、当前块的相邻样本。假设视频编码器200以光栅扫描次序(从左到右、从上到下)对ctu和cu进行译码，则这样的样本通常可以是在与当前块相同的图片中在当前块的上方、左上方或左侧。
70.视频编码器200对表示用于当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示使用各种可用帧间预测模式中的哪一种帧间预测模式的数据以及用于对应模式的运动信息进行编码。对于单向或双向帧间预测，例如，视频编码器200可以使用高级运动矢量预测(amvp)或合并模式来对运动矢量进行编码。视频编码器200可以使用类似的模式来对用于仿射运动补偿模式的运动矢量进行编码。
71.在诸如对块的帧内预测或帧间预测的预测之后，视频编码器200可以计算用于该块的残差数据。残差数据(诸如残差块)表示在块与用于该块的预测块之间的逐样本差，该预测块是使用对应的预测模式来形成的。视频编码器200可以将一个或多个变换应用于残差块，以在变换域中而非在样本域中产生经变换的数据。例如，视频编码器200可以将离散余弦变换(dct)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。另外，视频编码器200可以在第一变换之后应用二次变换，诸如模式相关的不可分离二次变换(mdnsst)、信号相关变换、karhunen
‑
loeve变换(klt)等。视频编码器200在应用一个或多个变换之后产生变换系数。
72.如上所述，在任何变换以产生变换系数之后，视频编码器200可以执行对变换系数的量化。量化通常指代如下的过程：在该过程中，对变换系数进行量化以可能减少用于表示变换系数的数据量，从而提供进一步的压缩。通过执行量化过程，视频编码器200可以减少与变换系数中的一些或全部变换系数相关联的比特深度。例如，视频编码器200可以在量化期间将n比特的值向下舍入为m比特的值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可以执行对要被量化的值的按位右移。
73.在量化之后，视频编码器200可以扫描变换系数，从而根据包括经量化的变换系数的二维矩阵产生一维矢量。可以将扫描设计为将较高能量(以及因此较低频率)的变换系数放在矢量的前面，以及将较低能量(以及因此较高频率)的变换系数放在矢量的后面。在一些示例中，视频编码器200可以利用预定义的扫描次序来扫描经量化的变换系数以产生经串行化的矢量，以及以及然后对矢量的经量化的变换系数进行熵编码。在其它示例中，视频编码器200可以执行自适应扫描。在扫描经量化的变换系数以形成一维矢量之后，视频编码器200可以例如根据上下文自适应二进制算术编码(cabac)来对一维矢量进行熵编码。视频编码器200还可以对用于描述与经编码的视频数据相关联的元数据的语法元素的值进行熵编码，以供视频解码器300在对视频数据进行解码时使用。
74.为了执行cabac，视频编码器200可以将上下文模型内的上下文指派给要被发送的符号。上下文可以涉及例如符号的相邻值是否为零值。概率确定可以是基于被指派给符号的上下文的。
75.视频编码器200还可以例如在图片报头、块报头、切片报头中生成去往视频解码器300的语法数据(诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据)、或其它语法数据(诸如序列参数集合(sps)、图片参数集合(pps)或视频参数集合(vps))。同样地，视频解码器300可以对这样的语法数据进行解码以确定如何解码对应的视频数据。
76.以这种方式，视频编码器200可以生成比特流，其包括经编码的视频数据，例如，描述将图片分割为块(例如，cu)以及用于该块的预测和/或残差信息的语法元素。最终，视频解码器300可以接收比特流以及对经编码的视频数据进行解码。
77.通常，视频解码器300执行与由视频编码器200执行的过程互易的过程，以对比特
流的经编码的视频数据进行解码。例如，视频解码器300可以使用cabac，以与视频编码器200的cabac编码过程基本上类似的、但是互易的方式来对用于比特流的语法元素的值进行解码。语法元素可以定义用于将图片分割为ctu、以及根据对应的分割结构(诸如qtbt结构)对每个ctu进行分割以定义ctu的cu的分割信息。语法元素还可以定义用于视频数据块(例如，cu)的预测和残差信息。
78.残差信息可以通过例如经量化的变换系数来表示。视频解码器300可以对块的经量化的变换系数进行逆量化和逆变换以重新产生用于该块的残差块。视频解码器300使用经信号通知的预测模式(帧内预测或帧间预测)和相关的预测信息(例如，用于帧间预测的运动信息)来形成用于该块的预测块。视频解码器300然后可以对预测块和残差块(在逐个样本的基础上)进行组合以重新产生原始块。视频解码器300可以执行额外处理，诸如执行解块过程以减少沿着块的边界的视觉伪影。
79.为了提高译码精度，视频译码器(例如，视频编码器200或视频解码器300)可以分割数据块。例如，视频译码器可以使用四叉树拆分、二元拆分或另一拆分来对块进行分割。视频译码器可以使用双树来对块进行分割。例如，视频译码器可以使用第一树(例如，色度树)来对块的色度分量进行分割，并且使用与第一树不同的第二树(例如，亮度树)来对块的亮度分量进行分割。视频译码器可以使用单树来对块进行分割。
80.视频译码器(例如，视频编码器200或视频解码器300)可以基于块的亮度分量来确定用于视频数据(例如，视频数据的切片)的单树。例如，块可以由8x8亮度块(例如，“y”)、第一4x4色度块(例如，“cr”)和第二4x4色度块(例如，“cb”)表示。在该示例中，视频译码器可以生成单树以对块进行拆分，使得将8x8亮度块拆分为两个4x4亮度块。视频译码器可以根据单树来将第一4x4色度块(例如，“cr”)拆分为两个2x2色度块，以及将第二4x4色度块(例如，“cb”)拆分为两个2x2色度块。以这种方式，视频译码器可以提高所得的用于块的预测块的精度，这可以提高视频数据的预测精度。
81.然而，当对视频数据块(例如，帧内译码块)进行分割时，视频译码器(例如，视频编码器200或视频解码器300)可以将块(例如，块的色度分量和/或块的亮度分量)拆分为小块(例如，2x2块、2x4块、4x2块等)。此外，小块中的每个小块可以具有对相邻块的译码依赖性。例如，视频译码器可以使用一个或多个相邻块(例如，左侧相邻块和/或顶部相邻块)的样本来确定用于小块中的每个小块的预测块。照因此，小块连同数据依赖性可能导致视频译码器顺序地确定用于小块中的每个小块的预测块，这可能导致较高的译码复杂度。
82.根据本公开内容的示例技术，视频译码器(例如，视频编码器200或视频解码器300)可以被配置为应用块大小限制，以防止将产生小块的对块的拆分。例如，视频译码器可以被配置为应用块大小限制以防止对块的拆分，该拆分将产生当块高度乘以块宽度小于门限样本数量(例如，4个样本、16个样本、32个样本、64个样本等)时的包括该块宽度和该块高度的小块。例如，视频译码器(例如，视频编码器200或视频解码器300)可以被配置为防止对4x4块的拆分，因为这样的拆分将导致产生块高度乘以块宽度的乘积小于16个样本的块。
83.视频译码器(例如，视频编码器200或视频解码器300)可以被配置为与拆分视频数据块的色度分量独立地来拆分视频数据块的亮度分量。例如，当防止对块(例如，4x4块)的拆分时，视频译码器可防止对视频数据块的一个或多个色度块(例如，2x2色度块)的拆分，以及防止对视频数据块的亮度块(例如，4x4亮度块)的拆分。然而，在一些示例中，视频译码
器可以防止对视频数据块的一个或多个色度块(例如，2x2色度块)的拆分，以及在防止对4x4块的拆分时，对视频数据块的亮度块(例如，4x4亮度块)进行拆分。具体地，当相对于亮度块对色度块进行子采样时，对色度块进行拆分可能导致小于门限样本数量的高度与宽度乘积，但是对亮度块进行拆分可能导致不小于门限样本数量的高度与宽度乘积。
84.视频译码器(例如，视频编码器200或视频解码器300)可以被配置为使用针对亮度和色度具有不同门限的块限制来拆分视频数据块的亮度分量以及拆分视频数据块的亮度分量。例如，视频译码器可以被配置为应用块大小限制以防止对块的色度分量的拆分，该拆分将产生当块高度乘以块宽度小于第一门限时的包括块宽度和块高度的小色度块。在该示例中，视频译码器可以被配置为应用块大小限制以防止对块的亮度分量的拆分，该拆分将产生当块高度乘以块宽度小于与第一门限不同的第二门限时的包括块宽度和块高度的小亮度块。然而，在一些示例中，第一门限和第二门限可以是相同的。
85.视频译码器(例如，视频编码器200或视频解码器300)可以在单树中与视频数据块的亮度分量独立地对视频数据块的色度分量应用块大小限制。例如，视频译码器可以基于块的亮度分量来确定用于视频数据(例如，视频数据的切片)的单树。例如，块可以由8x8亮度块(例如，“y”)、第一4x4色度块(例如，“cr”)和第二4x4色度块(例如，“cb”)表示。在该示例中，视频译码器可生成单树以对块进行拆分。响应于单树指示对块的拆分，视频译码器可以根据单树来将亮度块(例如，4x4亮度块)拆分为更小的亮度块(例如，两个2x4亮度块)。响应于单树指示对块的拆分，视频译码器可以应用块大小限制以防止对视频数据块的色度块的拆分。例如，视频译码器可以避免将第一2x2色度块(例如，“cr”)拆分为两个2x1色度块以及将第二2x2色度块(例如，“cb”)拆分为两个2x1色度块。
86.在对视频数据进行分割之后，视频译码器(例如，视频编码器200或视频解码器300)可以生成用于块的预测信息，以及基于预测信息来确定用于块的预测块。再次，预测可以依赖于相邻块。例如，视频译码器可以基于顶部相邻块和左侧相邻块来确定用于当前块的预测块。通过防止导致相对小的块大小的块拆分(例如，色度分量和/或亮度分量)，视频译码器可以确定具有较少块依赖性的视频数据块的预测信息，因此潜在地在预测精度损失很少或没有损失的情况下降低译码复杂度。
87.概括而言，本公开内容可能涉及“以信令发送”某些信息(诸如语法元素)。术语“以信令发送”通常可以指代对用于语法元素的值和/或用以对经编码的视频数据进行解码的其它数据的传送。也就是说，视频编码器200可以在比特流中以信令发送用于语法元素的值。通常，以信令发送指代在比特流中生成值。如上所述，源设备102可以基本上实时地或不是实时地(诸如可能在将语法元素存储到存储设备112以供目的地设备116稍后取回时发生)将比特流传输给目的地设备116。
88.图2a和2b是示出示例四叉树二叉树(qtbt)结构130以及对应的译码树单元(ctu)132的概念图。实线表示四叉树拆分，以及虚线指示二叉树拆分。在二叉树的每个拆分(即非叶)节点中，以信令发送一个标志以指示使用哪种拆分类型(即，水平或垂直)，其中，在该示例中，0指示水平拆分，以及1指示垂直拆分。对于四叉树拆分，由于四叉树节点将块水平地并且垂直地拆分为具有相等大小的4个子块，因此无需指示拆分类型。相应地，视频编码器200可以对以下各项进行编码，以及视频解码器300可以对以下各项进行解码：用于qtbt结构130的区域树级别(即，第一级别)(即，实线)的语法元素(诸如拆分信息)、以及用于qtbt
结构130的预测树级别(即，第二级别)(即，虚线)的语法元素(诸如拆分信息)。视频编码器200可以对用于通过qtbt结构130的终端叶节点表示的cu的视频数据(诸如预测和变换数据)进行编码，以及视频解码器300可以对该视频数据进行解码。
89.通常，图2b的ctu 132可以与定义与qtbt结构130的处于第一和第二级别的节点相对应的块的大小的参数相关联。这些参数可以包括ctu大小(表示样本中的ctu 132的大小)、最小四叉树大小(minqtsize，其表示最小允许四叉树叶节点大小)、最大二叉树大小(maxbtsize，其表示最大允许二叉树根节点大小)、最大二叉树深度(maxbtdepth，其表示最大允许二叉树深度)、以及最小二叉树大小(minbtsize，其表示最小允许二叉树叶节点大小)。
90.qtbt结构的与ctu相对应的根节点可以在qtbt结构的第一级别处具有四个子节点，其中的每个子节点可以是根据四叉树分割来分割的。也就是说，第一级别的节点是叶节点(没有子节点)或者具有四个子节点。qtbt结构130的示例将这样的节点表示为包括具有实线分支的父节点和子节点。如果第一级别的节点不大于最大允许二叉树根节点大小(maxbtsize)，则可以通过相应的二叉树进一步对它们进行分割。可以对一个节点的二叉树拆分进行迭代，直到从拆分产生的节点达到最小允许二叉树叶节点大小(minbtsize)或最大允许二叉树深度(maxbtdepth)。qtbt结构130的示例将这样的节点表示为具有虚线分支。二叉树叶节点被称为译码单元(cu)，其用于预测(例如，图片内或图片间预测)和变换，而不进行任何进一步分割。如上所讨论的，cu还可以被称为“视频块”或“块”。
91.在qtbt分割结构的一个示例中，ctu大小被设置为128x128(亮度样本和两个对应的64x64色度样本)，minqtsize被设置为16x16，maxbtsize被设置为64x64，minbtsize(对于宽度和高度两者)被设置为4，以及maxbtdepth被设置为4。首先对ctu应用四叉树分割以生成四叉树叶节点。四叉树叶节点可以具有从16x16(即minqtsize)到128x128(即ctu大小)的大小。如果四叉树叶节点为128x128，则由于该大小超过maxbtsize(即，在该示例中为64x64)，因此它将不被二叉树进一步拆分。否则，四叉树叶节点将被二叉树进一步分割。因此，四叉树叶节点还是用于二叉树的根节点，以及具有为0的二叉树深度。当二叉树深度达到maxbtdepth(在该示例中为4)时，不允许进一步拆分。当二叉树节点具有等于minbtsize(在该示例中为4)的宽度时，这意味着不允许进行进一步的垂直拆分。类似地，具有等于minbtsize的高度的二叉树节点意味着不允许针对该二叉树节点进行进一步的水平拆分。如上所述，二叉树的叶节点被称为cu，以及根据预测和变换而被进一步处理，而无需进一步分割。
92.图3是示出可以执行本公开内容的技术的示例视频编码器200的框图。图3是出于解释的目的而提供的，并且不应当被认为对在本公开内容中广泛地举例说明和描述的技术进行限制。出于解释的目的，本公开内容在视频译码标准(诸如hevc视频译码标准和正在开发的h.266(vvc)视频译码标准)的上下文中描述视频编码器200。然而，本公开内容的技术不限于这些视频译码标准，并且通常适用于视频编码和解码。
93.在图3的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、解码图片缓冲器(dpb)218和熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元
210、逆变换处理单元212、重构单元214、滤波器单元216、dpb 218和熵编码单元220中的任何一者或全部可以在一个或多个处理器中或者在处理电路中实现。此外，视频编码器200可以包括额外或替代的处理器或处理电路以执行这些和其它功能。
94.视频数据存储器230可以存储要由视频编码器200的组件来编码的视频数据。视频编码器200可以从例如视频源104(图1)接收被存储在视频数据存储器230中的视频数据。dpb 218可以充当参考图片存储器，其存储参考视频数据以在由视频编码器200对后续视频数据进行预测时使用。视频数据存储器230和dpb 218可以由各种各样的存储器设备中的任何一者形成，诸如动态随机存取存储器(dram)(包括同步dram(sdram))、磁阻ram(mram)、电阻性ram(rram)、或其它类型的存储器设备。视频数据存储器230和dpb 218可以由相同的存储器设备或分别的存储器设备来提供。在各个示例中，视频数据存储器230可以与视频编码器200的其它组件在芯片上(如图所示)，或者相对于那些组件在芯片外。
95.在本公开内容中，对视频数据存储器230的参考不应当被解释为限于在视频编码器200内部的存储器(除非如此具体地描述)或者在视频编码器200外部的存储器(除非如此具体地描述)。而是，对视频数据存储器230的参考应当被理解为存储视频编码器200接收以用于编码的视频数据(例如，用于要被编码的当前块的视频数据)的参考存储器。图1的存储器106还可以提供对来自视频编码器200的各个单元的输出的临时存储。
96.示出了图3的各个单元以帮助理解由视频编码器200执行的操作。该单元可以被实现为固定功能电路、可编程电路、或其组合。固定功能电路指代提供特定功能并且关于可以执行的操作而预先设置的电路。可编程电路指代可以被编程以执行各种任务并且以可以执行的操作来提供灵活功能的电路。例如，可编程电路可以执行软件或固件，软件或固件使得可编程电路以软件或固件的指令所定义的方式进行操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，该单元中的一个或多个单元可以是不同的电路块(固定功能或可编程)，以及在一些示例中，该单元中的一个或多个单元可以是集成电路。
97.视频编码器200可以包括根据可编程电路形成的算术逻辑单元(alu)、基本功能单元(efu)、数字电路、模拟电路和/或可编程内核。在其中使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收并且执行的软件的目标代码，或者视频编码器200内的另一存储器(未示出)可以存储这样的指令。
98.视频数据存储器230被配置为存储所接收的视频数据。视频编码器200可以从视频数据存储器230取回视频数据的图片，以及将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是要被编码的原始视频数据。
99.模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括额外功能单元，其根据其它预测模式来执行视频预测。作为示例，模式选择单元202可以包括调色板单元、块内复制单元(其可以是运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(lm)单元等。
100.模式选择单元202通常协调多个编码通路(pass)，以测试编码参数的组合以及针对这样的组合的所得到的速率
‑
失真值。编码参数可以包括将ctu分割为cu、用于cu的预测模式、用于cu的残差数据的变换类型、用于cu的残差数据的量化参数等。模式选择单元202可以最终选择编码参数的具有比其它测试的组合更好的速率
‑
失真值的组合。
101.视频编码器200可以将从视频数据存储器230取回的图片分割为一系列ctu，以及将一个或多个ctu封装在切片内。模式选择单元202可以根据树结构(诸如上述hevc的qtbt结构或四叉树结构)来分割图片的ctu。如上所述，视频编码器200可以通过根据树结构来分割ctu，从而形成一个或多个cu。这样的cu通常还可以被称为“视频块”或“块”。
102.通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成用于当前块(例如，当前cu，或者在hevc中的pu和tu的重叠部分)的预测块。为了对当前块进行帧间预测，运动估计单元222可以执行运动搜索以识别在一个或多个参考图片(例如，被存储在dpb 218中的一个或多个先前译码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以例如根据绝对差之和(sad)、平方差之和(ssd)、平均绝对差(mad)、均方差(msd)等，来计算表示潜在参考块将与当前块的类似程度的值。运动估计单元222通常可以使用在当前块与所考虑的参考块之间的逐样本差来执行这些计算。运动估计单元222可以识别根据这些计算所得到的具有最低值的参考块，其指示与当前块最紧密匹配的参考块。
103.运动估计单元222可以形成一个或多个运动矢量(mv)，所述运动矢量限定相对于当前块在当前图片中的位置而言参考块在参考图片中的位置。然后，运动估计单元222可以将运动矢量提供给运动补偿单元224。例如，对于单向帧间预测，运动估计单元222可以提供单个运动矢量，而对于双向帧间预测，运动估计单元222可以提供两个运动矢量。然后，运动补偿单元224可以使用运动矢量来生成预测块。例如，运动补偿单元224可以使用运动矢量来取回参考块的数据。作为另一示例，如果运动矢量具有分数样本精度，则运动补偿单元224可以根据一个或多个插值滤波器来对用于预测块的值进行插值。此外，对于双向帧间预测，运动补偿单元224可以取回用于通过相应的运动矢量标识的两个参考块的数据以及例如通过逐样本平均或加权平均来将所取回的数据进行组合。
104.作为另一示例，对于帧内预测或帧内预测译码，帧内预测单元226可以根据与当前块相邻的样本来生成预测块。例如，对于方向性模式，帧内预测单元226通常可以在数学上将相邻样本的值进行组合，以及跨越当前块在所定义的方向上填充这些计算出的值以产生预测块。作为另一示例，对于dc模式，帧内预测单元226可以计算当前块的相邻样本的平均，以及生成预测块以包括针对预测块的每个样本的该得到的平均。
105.模式选择单元202将预测块提供给残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始的未经译码的版本，以及从模式选择单元202接收预测块。残差生成单元204计算在当前块与预测块之间的逐样本差。所得到的逐样本差定义了用于当前块的残差块。在一些示例中，残差生成单元204还可以确定残差块中的样本值之间的差以使用残差差分脉冲码调制(rdpcm)来生成残差块。在一些示例中，可以使用执行二进制减法的一个或多个减法器电路来形成残差生成单元204。
106.在其中模式选择单元202将cu分割为pu的示例中，每个pu可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的pu。如上所指出的，cu的大小可以指代cu的亮度译码块的大小，以及pu的大小可以指代pu的亮度预测单元的大小。假设特定cu的大小为2nx2n，则视频编码器200可以支持用于帧内预测的2nx2n或nxn的pu大小、以及用于帧间预测的2nx2n、2nxn、nx2n、nxn或类似大小的对称的pu大小。视频编码器200和视频解码器300还可以支持针对用于帧间预测的2nxnu、2nxnd、
nlx2n和nrx2n的pu大小的非对称分割。
107.在其中模式选择单元不将cu进一步分割为pu的示例中，每个cu可以与亮度译码块和对应的色度译码块相关联。如上所述，cu的大小可以指代cu的亮度译码块的大小。视频编码器200和视频解码器120可以支持2nx2n、2nxn或nx2n的cu大小。
108.模式选择单元202可以应用块大小限制。例如，模式选择单元202可以被配置为应用块大小限制以防止对块的拆分，该拆分将产生当块高度乘以块宽度小于门限(例如，16个样本)时的包括块宽度和块高度的小块。
109.在一些示例中，模式选择单元202可以仅对块的色度分量应用块大小限制。也就是说，模式选择单元202可以对块的色度分量应用块大小限制，并且避免对块的亮度分量应用块大小限制。以这种方式，模式选择单元202可以考虑对块的色度分量的子采样，这可以在译码精度损失很少或没有损失的情况下降低译码复杂度。例如，模式选择单元202可以应用块大小限制，以防止根据单树对块分割的色度分量的拆分以及对块的亮度分量进行拆分。在一些示例中，模式选择单元202可以对块的色度分量和块的亮度分量应用块大小限制。应用块限制可以有助于降低来自块依赖性的译码复杂度，同时对译码精度没有影响或有很少影响。
110.对于其它视频译码技术(举几个示例，诸如块内复制模式译码、仿射模式译码和线性模型(lm)模式译码)，模式选择单元202经由与译码技术相关联的相应单元来生成用于正被编码的当前块的预测块。在一些示例中(诸如调色板模式译码)，模式选择单元202可以不生成预测块，而是替代地生成指示基于所选择的调色板来重构块的方式的语法元素。在这样的模式下，模式选择单元202可以将这些语法元素提供给熵编码单元220以进行编码。
111.如上所述，残差生成单元204接收用于当前块和对应的预测块的视频数据。然后，残差生成单元204针对当前块生成残差块。为了生成残差块，残差生成单元204计算在预测块与当前块之间的逐样本差。
112.变换处理单元206将一个或多个变换应用于残差块，以生成变换系数的块(本文中被称为“变换系数块”)。变换处理单元206可以将各种变换应用于残差块，以形成变换系数块。例如，变换处理单元206可以将离散余弦变换(dct)、方向变换、karhunen
‑
loeve变换(klt)、或概念上类似的变换应用于残差块。在一些示例中，变换处理单元206可以对残差块执行多个变换，例如，初级变换和二次变换(诸如旋转变换)。在一些示例中，变换处理单元206不对残差块应用变换。
113.量化单元208可以对变换系数块中的变换系数进行量化，以产生经量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(qp)值来对变换系数块的变换系数进行量化。视频编码器200(例如，经由模式选择单元202)可以通过调整与cu相关联的qp值来调整被应用于与当前块相关联的变换系数块的量化程度。量化可能引起信息损失，以及因此，经量化的变换系数可能具有比变换处理单元206所产生的原始变换系数低的精度。
114.逆量化单元210和逆变换处理单元212可以将逆量化和逆变换分别应用于经量化的变换系数块，以根据变换系数块来重构残差块。重构单元214可以基于经重构的残差块和由模式选择单元202生成的预测块来产生与当前块相对应的重构块(尽管潜在地具有某种程度的失真)。例如，重构单元214可以将经重构的残差块的样本与来自模式选择单元202所生成的预测块的对应样本相加，以产生经重构的块。
115.滤波器单元216可以对经重构的块执行一个或多个滤波器操作。例如，滤波器单元216可以执行解块操作以减少沿着cu的边缘的块效应伪影。在一些示例中，可以跳过滤波器单元216的操作。
116.视频编码器200将经重构的块存储在dpb 218中。例如，在其中不需要滤波器单元216的操作的示例中，重构单元214可以将经重构的块存储到dpb 218中。在其中需要滤波器单元216的操作的示例中，滤波器单元216可以将经滤波的重构块存储到dpb 218中。运动估计单元222和运动补偿单元224可以从dpb 218取回根据经重构的(以及潜在地经滤波的)块形成的参考图片，以对后续编码的图片的块进行帧间预测。另外，帧内预测单元226可以使用在dpb 218中的当前图片的经重构的块来对当前图片中的其它块进行帧内预测。
117.通常，熵编码单元220可以对从视频编码器200的其它功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的经量化的变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对作为视频数据的另一示例的语法元素执行一个或多个熵编码操作，以生成经熵编码的数据。例如，熵编码单元220可以执行上下文自适应变长编码(cavlc)操作、cabac操作、可变
‑
可变(v2v)长度译码操作、基于语法的上下文自适应二进制算术译码(sbac)操作、概率区间分割熵(pipe)译码操作、指数哥伦布编码操作、或对数据的另一类型的熵编码操作。在一些示例中，熵编码单元220可以在其中语法元素未被熵编码的旁路模式下操作。
118.视频编码器200可以输出比特流，其包括用于重构切片或图片的块所需要的经熵编码的语法元素。具体地，熵编码单元220可以输出比特流。
119.上述操作是关于块描述的。这样的描述应当被理解为用于亮度译码块和/或色度译码块的操作。如上所述，在一些示例中，亮度译码块和色度译码块是cu的亮度分量和色度分量。在一些示例中，亮度译码块和色度译码块是pu的亮度分量和色度分量。
120.在一些示例中，不需要针对色度译码块重复关于亮度译码块执行的操作。作为一个示例，不需要重复用于识别用于亮度译码块的运动矢量(mv)和参考图片的操作来识别用于色度块的mv和参考图片。而是，可以对用于亮度译码块的mv进行缩放以确定用于色度块的mv，以及参考图片可以是相同的。作为另一示例，对于亮度译码块和色度译码块，帧内预测过程可以是相同的。
121.视频编码器200表示被配置为对视频数据进行编码的装置的示例，该装置包括被配置为存储视频数据的存储器(例如，视频数据存储器230)以及在电路中实现的一个或多个处理器。模式选择单元202可以被配置为将视频数据分割为多个块。为了对视频数据进行分割，模式选择单元202可以被配置为应用块大小限制以防止对多个块中的块的拆分，该拆分将产生当块高度乘以块宽度小于门限时的包括块宽度和块高度的小块。模式选择单元202可以被配置为生成用于由块大小限制产生的块的预测信息。模式选择单元202可以被配置为基于预测信息来确定用于块的预测块。残差生成单元204可以被配置为基于块与预测块之间的差来生成用于块的残差块。熵编码单元220可以对残差块进行编码。
122.图4是示出可以执行本公开内容的技术的示例视频解码器300的框图。图4是出于解释的目的而提供的，以及不对在本公开内容中广泛地举例说明和描述的技术进行限制。出于解释的目的，本公开内容根据vvc和hevc的技术描述了视频解码器300。然而，本公开内
容的技术可以由被配置为其它视频译码标准的视频译码设备来执行。
123.在图4的示例中，视频解码器300包括译码图片缓冲器(cpb)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和解码图片缓冲器(dpb)314。cpb存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和dpb 314中的任何一者或全部可以在一个或多个处理器中或者在处理电路中实现。此外，视频解码器300可以包括额外或替代的处理器或处理电路以执行这些和其它功能。
124.预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括额外单元，其根据其它预测模式来执行预测。作为示例，预测处理单元304可以包括调色板单元、块内复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(lm)单元等。在其它示例中，视频解码器300可以包括更多、更少或不同的功能组件。
125.cpb存储器320可以存储要由视频解码器300的组件解码的视频数据，诸如经编码的视频比特流。例如，可以从计算机可读介质110(图1)获得被存储在cpb存储器320中的视频数据。cpb存储器320可以包括存储来自经编码的视频比特流的经编码的视频数据(例如，语法元素和残差数据)的cpb。此外，cpb存储器320可以存储除了经译码的图片的语法元素之外的视频数据，诸如表示来自视频解码器300的各个单元的输出的临时数据。dpb 314通常存储经解码的图片，视频解码器300可以输出经解码的图片，和/或在解码经编码的视频比特流的后续数据或图片时使用经解码的图片作为参考视频数据。cpb存储器320和dpb 314可以由各种各样的存储器设备中的任何一者形成，诸如动态随机存取存储器(dram)，包括同步dram(sdram)、磁阻ram(mram)、电阻ram(rram)或其它类型的存储器设备。cpb存储器320和dpb 314可以由相同的存储器设备或分别的存储器设备来提供。在各个示例中，cpb存储器320可以与视频解码器300的其它组件在芯片上，或者相对于那些组件在芯片外。
126.另外或替代地，在一些示例中，视频解码器300可以从存储器120(图1)取回经译码的视频数据。也就是说，存储器120可以如上文所讨论地利用cpb存储器320来存储数据。同样，当视频解码器300的功能中的一些或全部功能是在要被视频解码器300的处理电路执行的软件中实现时，存储器120可以存储要被视频解码器300执行的指令。
127.示出了图4中示出的各个单元以帮助理解由视频解码器300执行的操作。该单元可以被实现为固定功能电路、可编程电路、或其组合。类似于图3，固定功能电路指代提供特定功能并且关于可以执行的操作而预先设置的电路。可编程电路指代可以被编程以执行各种任务并且以可以执行的操作来提供灵活功能的电路。例如，可编程电路可以执行软件或固件，软件或固件使得可编程电路以软件或固件的指令所定义的方式进行操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作的类型通常是不可变的。在一些示例中，该单元中的一个或多个单元可以是不同的电路块(固定功能或可编程)，以及在一些示例中，该一个或多个单元可以是集成电路。
128.视频解码器300可以包括根据可编程电路形成的alu、efu、数字电路、模拟电路和/或可编程内核。在其中由在可编程电路上执行的软件执行视频解码器300的操作的示例中，片上或片外存储器可以存储视频解码器300接收并且执行的软件的指令(例如，目标代码)。
129.熵解码单元302可以从cpb接收经编码的视频数据，以及对视频数据进行熵解码以重新产生语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310
和滤波器单元312可以基于从比特流中提取的语法元素来生成经解码的视频数据。
130.通常，视频解码器300在逐块的基础上重构图片。视频解码器300可以单独地对每个块执行重构操作(其中，当前正在被重构(即，被解码)的块可以被称为“当前块”)。
131.熵解码单元302可以对定义经量化的变换系数块的经量化的变换系数的语法元素以及诸如量化参数(qp)和/或变换模式指示的变换信息进行熵解码。逆量化单元306可以使用与经量化的变换系数块相关联的qp来确定量化程度，以及同样地，确定供逆量化单元306应用的逆量化程度。逆量化单元306可以例如执行按位左移操作以对经量化的变换系数进行逆量化。逆量化单元306从而可以形成包括变换系数的变换系数块。
132.在逆量化单元306形成变换系数块之后，逆变换处理单元308可以将一个或多个逆变换应用于变换系数块，以生成与当前块相关联的残差块。例如，逆变换处理单元308可以将逆dct、逆整数变换、逆karhunen
‑
loeve变换(klt)、逆旋转变换、逆方向变换或另一逆变换应用于变换系数块。
133.预测处理单元304可以在对块进行分割时应用块大小限制。例如，预测处理单元304可以被配置为应用块大小限制以防止对块的拆分，该拆分将产生当块高度乘以块宽度小于门限(例如，16个样本)时的包括块宽度和块高度的小块。预测处理单元304可以仅对块的色度分量应用块大小限制，这可以在译码精度损失很少或没有损失的情况下降低译码复杂度。也就是说，预测处理单元304可以对块的色度分量应用块大小限制，并且避免对块的亮度分量应用块大小限制。以这种方式，预测处理单元304可以考虑对块的色度分量的子采样。例如，预测处理单元304可以应用块大小限制以防止根据单树来对块分割的色度分量的拆分以及对块的亮度分量进行拆分。在另一示例中，预测处理单元304可以对块的色度分量和块的亮度分量应用块大小限制。应用块限制可以有助于降低来自块依赖性的译码复杂度，同时对译码精度没有影响或有很少影响。
134.此外，预测处理单元304根据由熵解码单元302进行熵解码的预测信息语法元素来生成预测块。例如，如果预测信息语法元素指示当前块是经帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示在dpb 314中的要从其取回参考块的参考图片、以及标识相对于当前块在当前图片中的位置而言参考块在参考图片中的位置的运动矢量。运动补偿单元316通常可以以与关于运动补偿单元224(图3)所描述的方式基本类似的方式来执行帧间预测过程。
135.作为另一示例，如果预测信息语法元素指示当前块是经帧内预测的，则帧内预测单元318可以根据通过预测信息语法元素指示的帧内预测模式来生成预测块。再次，帧内预测单元318通常可以以与关于帧内预测单元226(图3)所描述的方式基本上类似的方式来执行帧内预测过程。帧内预测单元318可以从dpb 314取回当前块的相邻样本的数据。
136.重构单元310可以使用预测块和残差块来重构当前块。例如，重构单元310可以将残差块的样本与预测块的对应样本相加来重构当前块。
137.滤波器单元312可以对经重构的块执行一个或多个滤波器操作。例如，滤波器单元312可以执行解块操作以减少沿着经重构的块的边缘的块效应伪影。不必要在全部示例中执行滤波器单元312的操作。
138.视频解码器300可以将经重构的块存储在dpb 314中。例如，在其中不执行滤波器单元312的操作的示例中，重构单元310可以将经重构的块存储到dpb 314中。在其中执行滤
波器单元312的操作的示例中，滤波器单元312可以将经滤波的重构块存储到dpb 314中。如上所讨论的，dpb 314可以将参考信息(诸如用于帧内预测的当前图片以及用于后续运动补偿的先前解码的图片的样本)提供给预测处理单元304。此外，视频解码器300可以从dpb输出经解码的图片，以用于在诸如图1的显示设备118的显示设备上的后续呈现。
139.以这种方式，视频解码器300表示装置的示例，该装置包括：存储器(例如，视频数据存储器230)，其被配置为存储视频数据；以及一个或多个处理单元，其在电路中实现并且被配置为确定用于生成预测信息的多个帧内译码块。预测处理单元304可以被配置为确定将视频数据分割为多个块，其中，对视频数据的分割可以应用块大小限制以防止对多个块中的块的拆分，该拆分将产生当块高度(以样本为单位)乘以块宽度(以样本为单位)小于门限样本数量时的包括块宽度和块高度的小块。预测处理单元304可以被配置为生成用于块的预测信息。预测处理单元304可以被配置为基于预测信息来确定用于块的预测块。熵解码单元302可以被配置为对用于块的残差块进行解码。重构单元310可以被配置为将预测块和残差块进行组合以对块进行解码。
140.图5a
–
5e示出了多类型树结构中的四种拆分类型的示例。在hevc中，通过使用被表示为译码树的四叉树结构将ctu拆分为cu，以适应各种局部特性。在叶cu级别上作出关于使用图片间(时间)预测还是图片内(空间)预测来对图片区域进行译码的决策。根据pu拆分类型，可以将每个叶cu进一步拆分为一个、两个或四个pu。在一个pu内部，应用相同的预测过程，以及在pu的基础上向解码器发送相关信息。在通过基于pu拆分类型应用预测过程获得残差块之后，可以根据另一四叉树结构(如用于cu的译码树)来将叶cu分割为变换单元(tu)。hevc结构的特征是hevc结构具有多个分割概念，包括cu、pu和tu。
141.在vvc中，使用二元和三元拆分分段结构的嵌套多类型树的四叉树代替了多分割单元类型的概念。也就是说，vvc移除了hevc的cu、pu和tu概念的分离，除非需要具有对于最大变换长度而言太大的大小的cu。照此，与hevc相比，vvc可以支持针对cu分割形状的更大的灵活性。在译码树结构中，cu可以具有正方形或矩形形状。视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)首先通过四元树(又称四叉树)结构对译码树单元(ctu)进行分割。然后，视频译码器通过多类型树结构进一步对四元树叶节点进行分割。
142.图5a是示出包括垂直二元拆分440(“split_bt_ver”)和水平二元拆分441(“split_bt_hor”)的四叉树分割的示例的概念图。图5b是示出包括垂直二元拆分442的垂直二叉树分割的示例的概念图。图5c是示出包括水平二元拆分443的水平二叉树分割的示例的概念图。图5d是示出包括垂直三元拆分444、445(“split_tt_ver”)的垂直三叉树分割的示例的概念图。图5e是示出包括水平三元拆分446、447(“split_tt_hor”)的水平三叉树分割的示例的概念图。多类型树叶节点被称为译码单元(cu)，并且除非cu对于最大变换长度而言太大，否则视频译码器(例如，视频编码器200或视频解码器300，或者在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以将该分段用于预测和变换处理，而无需任何进一步的分割。这意味着在大多数情况下，cu、pu和tu在具有嵌套多类型树译码块结构的四叉树中可能具有相同的块大小。当支持的最大变换长度小于cu的颜色分量的宽度或高度时，可能会出现例外情况。
143.在vvc中，ctu由亮度译码树块(ctb)和两个色度译码树块组成。在cu级别，cu是与
亮度译码块(cb)和两个色度译码块相关联的。如在vtm(vvc的参考软件)中，亮度树和色度树在帧内切片中分离(被称为双树结构)，而它们在帧间切片中共享(被称为单树或共享树结构)。ctu的大小可以多达128x128(亮度分量)，而译码单元的大小的范围可以从4x4到ctu的大小。在这种场景中，色度块的大小可以是4:2:0颜色格式的2x2、2x4或4x2。虽然本文描述的示例针对4:2:0颜色格式(其沿垂直方向以二分之一分辨率和沿水平方向以二分之一分辨率进行子采样)，但是可以使用其它颜色格式(例如，4:2:2颜色格式)。
144.图6是示出帧内预测的方向(箭头指向参考样本)的概念图。对于亮度分量，帧内预测涉及dc、平面和方向(或角度)预测模式。用于正方形块的方向预测在vvc测试模型2(vtm2)中使用当前块的
‑
135度到45度之间的方向，如图6中描绘的。
145.在vtm2中，用于指定用于帧内预测的预测块的块结构不限于正方形(宽度w＝高度h)。矩形或非正方形预测块(w>h或w<h)可以基于内容的特性来增加译码效率。
146.在这样的矩形块中，将帧内预测的方向限制在
‑
135度到45度之内可能导致使用更远的参考样本而不是更近的参考样本进行帧内预测的情况。这样的设计可能会对译码效率具有影响；更有利的是放宽限制范围，使得更近的参考样本(例如，超过
‑
135到45度角的样本)可以用于预测。图7中给出了这样的情况的示例。
147.图7是示出8x4矩形块500的概念图，其中由于将帧内预测方向限制在
‑
135度到45度范围内，因此不使用“更近的”参考样本502(虚线箭头)，但是可以使用更远的参考样本504(虚线圆圈)。在第12次jvet会议期间，vtm3采用了对广角帧内预测的修改。该采用包括两个修改以统一用于正方形块和非正方形块的角度帧内预测。首先，修改角度预测方向以覆盖全部块形状的对角线方向。其次，对于全部块宽高比(正方形和非正方形)，全部角度方向保持在左下对角线方向和右上对角线方向之间的范围内，如图8a
‑
8c所示。此外，对于全部块形状，顶部参考行和左侧参考列中的参考样本数量被限制为2*宽度+1和2*高度+1。在图10中提供了在vtm3中采用的更宽角度的说明。尽管vtm3定义了95种模式，但是对于任何块大小，仅允许67种模式。允许的精确模式取决于块宽度与高度的比率。这是通过限制某些块大小的模式范围来实现的。
148.图8a
‑
8c是示出用于对角线方向范围之外的模式的模式映射过程的示例的概念图。具体地，图8a是示出具有对角线方向604和对角线方向606的正方形块602的示例的概念图，其不要求角度模式重新映射。图8b是示出用于具有对角线方向614和对角线方向616的水平非方形块612的角度模式重新映射的示例的概念图。图8c是示出用于具有对角线方向624和对角线方向626的垂直非方形块622的角度模式重新映射的示例的概念图。
149.表1指定了vtm3中的predmodeintra和角度参数intrapredangle之间的映射表。角度模式中的一些角度模式与非方形块对角线相对应。在下文中，具有正intrapredangle值的角度模式被称为正角度模式(模式索引<18或>50)，而具有负intrapredangle值的角度模式被称为负角度模式(模式索引>18和<50)。
150.predmodeintra
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ‑
14
‑
13
‑
12
‑
11intrapredangle
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
512341256171predmodeintra
‑
10
‑9‑8‑7‑6‑5‑4‑3‑2‑
12345678intrapredangle128102867364575145393532292623201816predmodeintra910111213141516171819202122232425intrapredangle1412108643210
‑1‑2‑3‑4‑6‑8‑
10
predmodeintra2627282930313233343536373839404142intrapredangle
‑
12
‑
14
‑
16
‑
18
‑
20
‑
23
‑
26
‑
29
‑
32
‑
29
‑
26
‑
23
‑
20
‑
18
‑
16
‑
14
‑
12predmodeintra4344454647484950515253545556575859intrapredangle
‑
10
‑8‑6‑4‑3‑2‑
10123468101214predmodeintra6061626364656667686970717273747576intrapredangle161820232629323539455157647386102128predmodeintra77787980
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
intrapredangle171256341512
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
151.表1：intrapredangle的规范
152.图9是示出除了65个角模式之外所描绘的广角(
‑
1到
‑
10和67到76)的示例的概念图。图10是示出针对总共93个角度模式的vtm3中超出模式2和66的广角(
‑
1到
‑
14和67到80)的示例的概念图。
153.vvc的一些设计支持用于色度分量的八种帧内预测模式，包括平面、垂直“ver”、水平“hor”、dc、lm、多方向线性模型“l”(mdlm_l)、mdlm_t和推导模式(dm)。为了对色度帧内译码cu进行编码，视频编码器(例如，视频编码器200)可以使用标志来指示该cu是否是dm译码的。如果决定对cu进行dm译码，则视频解码器(例如，视频解码器300)可以使用对应亮度分量的帧内预测模式来获得针对该cu的预测。否则，视频编码器可以向解码器以信令发送cu的模式。视频译码器(例如，视频编码器200或视频解码器300)可以在ver模式下重构顶部相邻块的样本，以及可以在hor模式下重构左侧相邻块的样本以预测当前块。视频译码器可以在平面和dc模式下重构顶部和左侧相邻块的样本以进行预测。视频译码器可以重构用于针对lm、mdlm_l和mdlm_t模式的预测的对应亮度块的样本。
154.图11是示出用于色度分量的帧内预测的参考样本阵列的概念图。视频译码器(例如，视频编码器200或视频解码器300，或者在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以使用译码块640附近的样本进行块的帧内预测。通常，视频译码器使用最接近译码块640的左侧边界和顶部边界的经重构的参考样本行作为用于帧内预测的参考样本。例如，视频译码器可以使用顶部行642和/或左侧行644的重构样本。然而，vvc还使能够将译码块640附近的其它样本用作参考样本(例如，左上、左下、右上)。例如，视频译码器可以使用左上像素648、左下行650和/或右上行646的重构样本。
155.在vvc中，视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以仅将具有mrlidx等于0、1和3的参考行用于亮度分量。图11示出了mrlidx等于0。在vvc中，视频译码器可以根据亮度重构样本预测交叉分量线性模型(cclm)色度块。在该示例中，对于其它色度帧内块，视频译码器可以仅根据具有mrlidx＝0的行来对该预测进行预测。对于亮度，视频译码器可以使用0、1、2的mrlidx(先前为0、1和3，但是在wd8中，mrlidx被修改为0、1和2)来对该预测进行预测。视频编码器(例如，视频编码器200)可以在比特流中以信令发送mrlidx。
156.对于色度分量，视频译码器可以仅使用具有mrlidx等于0的参考行，如图11中描绘的。视频译码器可以使用具有截断的一元码字来对用于对块进行译码的参考行的索引(值0、1和2，分别指示具有mrlidx为0、1和3的行)进行译码。对于具有mrlidx>0的参考行，视频译码器可以不使用平面和dc模式。在一些示例中，视频译码器可以仅将译码块附近的可用
样本添加到参考阵列以进行帧内预测。下文给出了vvc中的样本的可用性检查。
157.8.4.4.2.2参考样本可用性标记过程
158.该过程的输入是：
159.–
样本位置(xtbcmp，ytbcmp)，其指定相对于当前图片的左上样本而言当前变换块的左上样本，
160.–
变量refidx，其指定帧内预测参考行索引，
161.–
变量refw，其指定参考样本宽度，
162.–
变量refh，其指定参考样本高度，
163.–
变量cidx，其指定当前块的颜色分量。
164.该过程的输出是参考样本refunfilt[x][y]，其中对于帧内样本预测，x＝
‑1[0165]
‑
refidx，y＝
‑1‑
refidx..refh
‑
1以及x＝
‑
refidx..refw
‑
1，y＝
‑1‑
refidx。按如下推导在环路中滤波器过程之前构造的样本refw+refh+1+(2*refidx)相邻样本refunfilt[x][y]，其中x＝
‑1‑
refidx，y＝
‑1‑
refidx..refh
[0166]
‑
1以及x＝
‑
refidx..refw
‑
1，y＝
‑1‑
refidx：
[0167]
–
相邻位置(xnbcmp,ynbcmp)由下式指定：
[0168]
(xnbcmp,ynbcmp)＝(xtbcmp+x,ytbcmp+y)
[0169]
ꢀꢀ
(8
‑
108)
[0170]
–
按如下推导当前亮度位置(xtby，ytby)和相邻亮度位置(xnby，ynby)：
[0171]
(xtby,ytby)＝(cidx＝＝0)？(xtbcmp,ytbcmp):(xtbcmp<<1,ytbcmp<<1)
ꢀꢀ
(8
‑
109)
[0172]
(xnby,ynby)＝(cidx＝＝0)？(xnbcmp,ynbcmp):(xnbcmp<<1,ynbcmp<<1)
ꢀꢀ
(8
‑
110)
[0173]
–
如条款6.4.x中指定的用于块的可用性推导过程
[0174]
调用[ed.(bb)：相邻块可用性检查过程tbd]，其中当前亮度位置(xcurr，ycurr)被设置为等于(xtby，ytby)和相邻亮度位置(xnby，ynby)作为输入，并且将输出指派给availablen。
[0175]
–
按如下推导每个样本refunfilt[x][y]：
[0176]
–
如果availablen等于false，则将样本refunfilt[x][y]标记为“不可用于帧内预测”。
[0177]
–
否则，将样本refunfilt[x][y]标记为“可用于帧内预测”，并且将位置(xnbcmp，ynbcmp)处的样本指派给refunfilt[x][y]。
[0178]
当参考样本可用性标记完成时，视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以使用如下给出的参考样本替换过程来获得不可用样本。
[0179]
8.4.4.2.3参考样本替换过程
[0180]
该过程的输入是：
[0181]
–
变量refidx，其指定帧内预测参考行索引，
[0182]
–
变量refw，其指定参考样本宽度，
[0183]
–
变量refh，其指定参考样本高度，
[0184]
–
参考样本refunfilt[x][y]，其中对于帧内样本预测，x＝
‑1‑
refidx，y＝
‑1‑
refidx..refh
‑
1以及x＝
‑
refidx..refw
‑
1，y＝
‑1‑
refidx，
[0185]
–
变量cidx，其指定当前块的颜色分量。
[0186]
该过程的输出是经修改的参考样本refunfilt[x][y]，其中对于帧内样本预测，x＝
‑1‑
refidx，y＝
‑1‑
refidx..refh
‑
1以及x＝
‑
refidx..refw
‑
1，y＝
‑1‑
refidx。
[0187]
按如下推导变量bitdepth：
[0188]
–
如果cidx等于0，则将bitdepth设置为等于bitdepthy。
[0189]
–
否则，将bitdepth设置为等于bitdepthc。
[0190]
按如下修改样本refunfilt[x][y]的值，其中x＝
‑1‑
refidx，y＝
‑1‑
refidx..refh
‑
1以及x＝
‑
refidx..refw
‑
1，y＝
‑1‑
refidx：
[0191]
–
如果全部样本refunfilt[x][y]被标记为“不可用于帧内预测”，其中x＝
‑1‑
refidx，y＝
‑1‑
refidx..refh
‑
1以及x＝
‑
refidx..refw
‑
1，y＝
‑1‑
refidx，则将refunfilt[x][y]的全部值设置为等于1<<(bitdepth
‑
1)。
[0192]
–
否则(至少一个但并非全部样本refunfilt[x][y]被标记为“不可用于帧内预测”)，以下顺序步骤适用：
[0193]
1、当refunfilt[
‑1‑
refidx][refh
‑
1]被标记为“不可用于帧内预测”时，对于被标记为“可用于帧内预测”的样本refunfilt[x][y]，顺序地进行搜索，从x＝
‑1‑
refidx，y＝refh
‑
1到x＝
‑1‑
refidx，y＝
‑1‑
refidx，然后从x＝
‑
refidx，y＝
‑1‑
refidx到x＝refw
‑
1，y＝
‑1‑
refidx。一旦找到被标记为“可用于帧内预测”的样本refunfilt[x][y]，就终止搜索，并且将refunfilt[
‑1‑
refidx][refh
‑
1]的值设置为等于refunfilt[x][y]的值。
[0194]
2、对于x＝
‑1‑
refidx，y＝refh
‑
2..
‑1‑
refidx，当refunfilt[x][y]被标记为“不可用于帧内预测”时，将refunfilt[x][y]的值设置为等于refunfilt[x][y+1]的值。
[0195]
3、对于x＝0..refw
‑
1，y＝
‑
1，当refunfilt[x][y]被标记为“不可用于帧内预测”时，将refunfilt[x][y]的值设置为等于refunfilt[x
‑
1][y]的值。
[0196]
全部样本refunfilt[x][y]被标记为“可用于帧内预测”，其中x＝
‑1‑
refidx，y＝
‑1‑
refidx..refh
‑
1以及x＝
‑
refidx..refw
‑
1，y＝
‑1‑
refidx。
[0197]
为了增加帧内译码的处理吞吐量，一些技术禁用小块大小，例如，双树中的2x2、2x4和4x2。对于单树，一些系统可以共享用于小块的参考样本。当共享用于小块的参考样本时，可以定义包括若干小块的并行区域，其中可以并行处理该区域中的全部子块。虽然该技术可以增加最坏情况处理吞吐量，但是该技术使预测更加复杂。原因是，由于预测可能不使用相邻块的样本作为参考，可能需要帧内预测的显著变化来决定参考样本。
[0198]
在一些硬件视频编码器和视频解码器中，当图片具有更多小块时，处理吞吐量降低。这样的处理吞吐量下降可能来自小帧内块或帧内块复制(ibc)块。吞吐量下降来自小帧内块或ibc块的原因是帧内块具有相邻块之间的数据依赖性(例如，帧内块的预测器生成需要来自相邻块的顶部和左侧边界重构样本)，并且必须被顺序地处理。另外，小ibc块可以使用空间相邻块的重构样本进行预测，这可能导致预测依赖性。
[0199]
在hevc中，当处理4x4色度帧内块时，可能出现最坏情况处理吞吐量。在vvc测试模型4.0(vtm 4.0)中，最小帧内块的大小为2x2，并且由于采用了新的工具(诸如，例如但不限于交叉分量线性模型(cclm)技术、位置相关预测组合(pdpc)技术、参考平滑技术或其它新
工具)，因此色度帧内块的重构过程变得非常复杂。
[0200]
本文描述的技术可以包括将视频编码器200和/或视频解码器300配置为使得能够并行处理小帧内译码块和/或ibc块，以及因此增加视频编码器200和/或视频解码器300的处理吞吐量。
[0201]
本文描述的技术可以包括将视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)配置为包括块大小限制并且移除相邻块之间的依赖性。
[0202]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为不允许(例如，防止)导致小块的拆分(例如，blkwidth*blkheight<门限)。换句话说，视频编码器(例如，视频编码器200，或在一些示例中，视频编码器200的模式选择单元202)可以被配置为将视频数据分割为多个块，其中，该分割包括应用块大小限制以防止对多个块中的块的拆分，该拆分将产生当块高度乘以块宽度小于门限时的包括块宽度和块高度的小块。视频解码器(例如，视频解码器300，或在一些示例中，视频解码器300的预测处理单元304)可以被配置为确定将视频数据分割为多个块，其中，该分割应用块大小限制以防止对多个块中的块的拆分，该拆分将产生当块高度乘以块宽度小于门限时的包括块宽度和块高度的小块。在一些示例中，门限可以被设置为16。照此，视频译码器可以被配置为限制块大小2x2、2x4和4x2，例如，以防止将块拆分为块大小2x2、2x4和4x2。在该示例中，视频译码器可以被配置为不允许针对4x4块的四叉树拆分(qt)和二元拆分(bt)，并且针对8x2或2x8块限制三元拆分。
[0203]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为仅针对双树中的色度分量应用块大小限制。换句话说，视频译码器(例如，视频编码器200，或在一些示例中，视频编码器200的模式选择单元202)可以根据双树的亮度树来对块的亮度分量进行拆分，并且根据双树的色度树来对块的色度分量进行拆分。在该示例中，视频译码器可以仅针对块的色度分量应用块大小限制。视频解码器(例如，视频解码器300，或在一些示例中，视频解码器300的预测处理单元304)可以根据双树的亮度树来确定对块的亮度分量的分割，并且根据双树的色度树来确定对块的色度分量的分割。在该示例中，分割可以仅对块的色度分量应用块大小限制。
[0204]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为针对双树中的色度分量和亮度分量两者应用块大小限制。换句话说，视频编码器(例如，视频编码器200，或在一些示例中，视频编码器200的模式选择单元202)可以根据双树的亮度树来对块的亮度分量进行分割，并且根据双树的色度树来对块的色度分量进行分割。在该示例中，视频编码器可以对块的色度分量和块的亮度分量应用块大小限制。视频解码器(例如，视频解码器300，或在一些示例中，视频解码器300的预测处理单元304)可以根据双树的亮度树来确定对块的亮度分量的分割，并且根据双树的色度树来确定对块的色度分量的分割。在该示例中，分割可以对块的色度分量和块的亮度分量应用块大小限制。
[0205]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为仅针对单树
中的色度分量应用块大小限制。例如，视频译码器可以避免将所得的块的亮度块与门限进行比较。在该示例中，视频译码器可以被配置为将用于移除本公开内容的相邻块之间的依赖性的依赖性移除技术应用于色度小块大小。
[0206]
在单树的一些示例中，当对色度块的拆分产生具有blkwidth*blkhheight<门限的小块时，该拆分可以独立于对亮度块的拆分。例如，在门限为16的情况下，如果进一步拆分8x8/4x16/16x4亮度块，则视频译码器可以被配置为不拆分对应的色度块。换句话说，视频编码器(例如，视频编码器200，或在一些示例中，视频编码器200的模式选择单元202)可以被配置为根据单树来对块的亮度分量和块的色度分量进行分割。在该示例中，为了进行分割，视频编码器可以对块的亮度分量进行拆分，并且应用块大小限制以防止对块的色度分量的拆分。视频解码器(例如，视频解码器300，或在一些示例中，视频解码器300的预测处理单元304)可以被配置为根据对块的亮度分量进行拆分的单树来确定对块的亮度分量和块的色度分量的分割。在该示例中，对视频数据的分割应用块大小限制，以防止对块的色度分量的拆分。亮度分量可以形成例如8x8亮度块、4x16亮度块或16x4亮度块。换句话说，在对块的亮度分量进行拆分之前，亮度分量可以形成8x8亮度块、4x16亮度块或16x4亮度块。也就是说，当在对块的亮度分量进行拆分之前，亮度分量形成8x8亮度块、4x16亮度块或16x4亮度块时，由于色度分量的子采样大小(例如，4:2:0)，色度块可能小于门限16，而亮度块保持大于或等于门限16。
[0207]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为移除相邻块之间的依赖性。例如，视频译码器可以被配置为定义并行可处理区域(ppr)。视频译码器可能能够并行地处理由ppr区域覆盖的全部块。视频译码器可以被配置为通过在比特流中以信令发送的门限或值来设置ppr中的最小样本数量。
[0208]
例如，如果门限为64，则并行可处理区域的形状可以如图12所示。图12是示出大小为64个样本(16个色度样本)的ppr的示例的概念图。视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为将ppr的根样本(r)定义为该区域左上块的左上样本。视频译码器可以被配置为将第n块到根的距离定义为(dx
n
,dy
n
)＝(x
n
‑
x
r
,y
n
‑
y
r
)，其中(x
n
,y
n
)和(x
r
,y
r
)分别是第n块的左上样本和根样本的位置。dxn、dyn可以分别表示第n块的左上样本到ppr的左上样本(例如，根)沿水平方向和沿垂直方向的距离。
[0209]
ppr可以是矩形形状；然而，在一些情况下，视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为将ppr定义为矩形形状的并集；组成ppr的矩形形状可以相邻或可以不相邻。
[0210]
在图12中，显示了具有不相邻矩形块的ppr的两个示例。对于具有垂直三元拆分的4x8块，生成两个不相邻的4x2块，并且它们形成16个样本的ppr；4x4块不被视为ppr的一部分。即，第一示例包括4x8块670，并且第二示例包括8x4块672。
[0211]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为执行模式限制。为了移除区域中相邻块之间的依赖性，视频译码器可以被配置为基于块在并行区域中
的位置来限制块的预测模式候选列表。
[0212]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为从候选列表中移除使用来自相同ppr的相邻块的样本的预测模式。例如，对于具有非零dxn的块，视频译码器可以被配置为限制dc预测、平面(pl)模式预测和/或水平(hor)模式预测。如果对应亮度区域的模式是dc模式、pl模式或hor模式，则视频译码器可以被配置为不允许推导模式(dm)。位置相关预测组合(pdpc)过程可以不使用左相邻块的样本。
[0213]
对于具有非零dyn的块，视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为不允许dc预测、pl预测和/或ver预测。如果对应的亮度区域的模式是dc模式、pl模式或垂直(ver)模式，则视频译码器可以被配置为禁用dm模式。pdpc过程可以不使用上述相邻块的样本。
[0214]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为针对dxn和dyn中的至少一项为非零的块仅允许dc预测。在这种情况下，视频译码器可以被配置为不使用位于ppr内的样本来计算dc值。当dxn和dyn两者为非零时，视频译码器可以被配置为使用dc模式，其中dc值被设置为等于预定义值。
[0215]
在并行可处理区域包括两个分离块的情况下，视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为在不属于该区域的中间块之前处理ppr中的块。在这种情况下，视频译码器可以被配置为限制使用来自中间块的参考样本的预测。
[0216]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为针对小块(例如，2x2、2x4、4x2)禁用ibc模式。
[0217]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为针对排除ppr中的第一块(ppr中的左上块)的全部小块(例如，2x2、2x4、4x2)禁用ibc模式。
[0218]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为将ppr中的全部块从相同ppr中的其它块的ibc预测区域中排除。
[0219]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为将ppr中的小ibc块的预测样本设置为等于默认值。视频译码器可以被配置为基于用于呈现样本的比特深度来确定默认值。
[0220]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为剪裁ppr中的小色度块的运动矢量，使得参考块与ppr不重叠。
[0221]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为从使相邻块
相关的参考样本阵列中移除一个或多个样本。例如，视频译码器可以被配置为将ppr中的块标记为“不可用”于对相同ppr内的其它块的帧内预测。例如，视频译码器可以被配置为不将并行可处理区域内的块的样本用于相同ppr中的其它块。在这种情况下，视频译码器可以被配置为通过值来替换引用不可用样本的预测。
[0222]
用于块的帧内预测的相邻块检查的可用性可以是基于块在ppr中的位置的。如果块具有非零dxn，则视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为将左侧块和左下块标记为不可用。如果块具有非零dyn，则视频译码器可以被配置为将顶部块和右上块标记为不可用。如果块的dxn和dyn两者为非零，则视频译码器可以被配置为将左下块、左侧块、左上块和右上块标记为不可用。再次，可以通过值来替换引用不可用样本的预测。
[0223]
在vvc中，视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为通过修改参考样本可用性标记过程来检查参考样本的可用性(例如，条款8.4.4.2.2)，如下文针对具有16个色度样本(64个亮度样本)的最小样本的ppr示出的。
[0224]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为针对单树和双树两者中的色度分量应用依赖参考样本移除。视频译码器可以被配置为限制双树中的小色度块，而可以针对单树中的色度分量应用依赖移除。
[0225]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为针对色度分量和亮度分量两者应用依赖移除。
[0226]
8.4.4.2.2参考样本可用性标记过程
[0227]
该过程的输入是：
[0228]
–
样本位置(xtbcmp，ytbcmp)，其指定相对于当前图片的左上样本而言当前变换块的左上样本，
[0229]
–
变量refidx，其指定帧内预测参考行索引，
[0230]
–
变量refw，其指定参考样本宽度，
[0231]
–
变量refh，其指定参考样本高度，
[0232]
–
变量cidx，其指定当前块的颜色分量，
[0233]
–
样本位置(xr，yr)，其指定ppr的亮度根位置，
[0234]
–
变量curw，其指定当前变换块的宽度，
[0235]
–
变量curh，其指定当前变换块的高度。
[0236]
该过程的输出是参考样本refunfilt[x][y]，其中对于帧内样本预测，x＝
‑1[0237]
‑
refidx，y＝
‑1‑
refidx..refh
‑
1以及x＝
‑
refidx..refw
‑
1，y＝
‑1‑
refidx。按如下推导在环路中滤波器过程之前构造的样本refw+refh+1+(2*refidx)相邻样本refunfilt[x][y]，其中x＝
‑1‑
refidx，y＝
‑1‑
refidx..refh
[0238]
‑
1以及x＝
‑
refidx..refw
‑
1，y＝
‑1‑
refidx：
[0239]
–
相邻位置(xnbcmp,ynbcmp)由下式指定：
[0240]
(xnbcmp,ynbcmp)＝(xtbcmp+x,ytbcmp+y)
[0241]
ꢀꢀ
(8
‑
108)
[0242]
–
按如下推导当前亮度位置(xtby，ytby)和相邻亮度位置(xnby，ynby)：
[0243]
(xtby,ytby)＝(cidx＝＝0)？(xtbcmp,ytbcmp):(xtbcmp<<1,ytbcmp<<1)
ꢀꢀ
(8
‑
109)
[0244]
(xnby,ynby)＝(cidx＝＝0)？(xnbcmp,ynbcmp):(xnbcmp<<1,ynbcmp<<1)
ꢀꢀ
(8
‑
110)
[0245]
–
按如下推导当前亮度位置(xtby，ytby)和ppr的亮度根位置之间的距离(dxn，dyn)：
[0246]
dxn＝xtby
–
xr
[0247]
dyn＝ytby
–
yr
[0248]
–
按如下推导指定当前块和相同ppr中的其它块之间是否存在依赖性的可用性变量isrestricted：
[0249]
isrestricted＝(dxn！＝0||dyn！＝0)&&(curw*curh<16)&&cidx！＝0
[0250]
–
如条款6.4.x中指定的用于块的可用性推导过程
[0251]
调用[ed.(bb)：相邻块可用性检查过程tbd]，其中当前亮度位置(xcurr，ycurr)被设置为等于(xtby，ytby)和相邻亮度位置(xnby，ynby)作为输入，并且将输出指派给availablen。
[0252]
–
如果isrestricted等于true，则按如下更新availablen：
[0253]
–
如果dxn！＝0&&dyn！＝0，则将availablen设置为false，
[0254]
–
如果dxn！＝0&&dyn＝＝0，以及x＝
‑1‑
refidx，y＝0..refh
‑
1，则将availablen设置为等于false，
[0255]
–
如果dyn！＝0&&dxn＝＝0，以及x＝0..refw
‑
1，y＝
‑1‑
refidx，则将availablen设置为等于false。
[0256]
–
按如下推导每个样本refunfilt[x][y]：
[0257]
–
如果availablen等于false，则将样本refunfilt[x][y]标记为“不可用于帧内预测”。
[0258]
–
否则，将样本refunfilt[x][y]标记为“可用于帧内预测”，并且将该位置(xnbcmp，ynbcmp)处的样本指派给refunfilt[x][y]。
[0259]
当ppr中的块的参考样本不可用时，视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为按如下替换该不可用样本。
[0260]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为将不可用样本设置为等于预定义值。该预定义值还可以是基于用于呈现样本的比特深度的。
[0261]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为将不可用样本设置为等于沿着ppr的边界的重构样本的平均值。
[0262]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码
器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为将该不可用样本设置为等于左上相邻块的右下样本的值。在该示例中，左上相邻块和当前块共享相同的ppr，以及视频译码器可以被配置为将该值设置为等于可以基于用于呈现样本的比特深度的预定义值。
[0263]
在ppr包括两个分离块的情况下，视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为在处理不属于该区域的中间块之前处理该ppr中的块。在该示例中，如果预测引用中间块的样本，则视频译码器可以被配置为将预测值设置为等于预定义值。
[0264]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为当dxn和dyn为非零时通过左上相邻块的右下样本的值或dc值来替换参考样本。
[0265]
视频译码器(例如，视频编码器200或视频解码器300，或在一些示例中，视频编码器200的模式选择单元202或视频解码器300的预测处理单元304)可以被配置为通过在规范中定义的参考样本替换过程(例如，条款8.4.4.2.3 vvc wd4的参考样本替换过程)来填充不可用样本的值。
[0266]
图13是示出用于对当前块进行编码的示例方法的流程图。当前块可以包括当前cu。尽管关于视频编码器200(图1和3)进行了描述，但是其它设备可以被配置为执行与图13的方法类似的方法。
[0267]
模式选择单元202最初预测当前块(750)。例如，模式选择单元202可以使用帧内预测、帧间预测或另一译码模式来形成用于当前块的预测块。模式选择单元202可以使用块大小限制来对视频数据进行分割。例如，模式选择单元202可以应用块大小限制以防止对块的拆分，该拆分将产生当块高度乘以块宽度小于门限(例如，16)时的包括块宽度和块高度的小块。残差生成单元204然后可以计算用于当前块的残差块(752)。为了计算残差块，残差生成单元204可以计算原始的未经译码的块与用于当前块的预测块之间的差。变换处理单元206和量化单元208可以对残差块的系数进行变换和量化(754)。熵编码单元220可以扫描残差块的经量化的变换系数(756)。在扫描期间或扫描之后，熵编码单元220可以对变换系数进行熵编码(758)。例如，熵编码单元220可以使用cavlc或cabac来对变换系数进行编码。熵编码单元220然后可以输出块的经熵编码的数据(760)。
[0268]
图14是示出用于对视频数据的当前块进行解码的示例方法的流程图。当前块可以包括当前cu。尽管关于视频解码器300(图1和4)进行了描述，但是其它设备可以被配置为执行与图14的方法类似的方法。
[0269]
熵解码单元302可以接收用于当前块的经熵编码的数据(例如，经熵译码的预测信息和用于与当前块相对应的残差块的变换系数的经熵译码的数据)(770)。熵解码单元302可以对经熵编码的数据进行熵解码以确定用于当前块的预测信息并且重新产生残差块的变换系数(772)。预测处理单元304可以预测当前块(774)，例如，使用由用于当前块的预测信息指示的帧内或帧间预测模式来计算用于当前块的预测块。预测处理单元304可以使用块大小限制来确定对视频数据的分割。例如，预测处理单元304可以应用块大小限制来确定分割，该分割防止对块的拆分，该拆分将产生当块高度乘以块宽度小于门限(例如，16个样本)时的包括块宽度和块高度的小块。熵解码单元302可以对所重新产生的变换系数进行逆
扫描(776)，以创建经量化的变换系数的块。逆量化单元306和逆变换处理单元308可以对系数进行逆量化和逆变换以产生残差块(778)。最终，重构单元310可以通过将预测块和残差块进行组合来对当前块进行解码(780)。
[0270]
图15是示出用于使用块大小限制来对块进行编码的示例方法的流程图。尽管关于视频编码器200(图1和3)进行了描述，但是其它设备可以被配置为执行与图15的方法类似的方法。
[0271]
模式选择单元202可以使用块大小限制来将视频数据分割为多个块(802)。例如，模式选择单元202可以应用块大小限制以防止对多个块中的块的拆分，该拆分将产生当块高度乘以块宽度小于门限(例如，16)时的包括块宽度和块高度的小块。例如，模式选择单元202可以仅在所得的分割满足块大小限制(例如，对多个块中的块的拆分，该拆分将不产生当块高度乘以块宽度小于门限(例如，16)时的包括块宽度和块高度的小块)时才检查各种分割和译码模式。在一些示例中，模式选择单元202可以应用块大小限制以防止仅对块的色度分量的拆分(并且允许或准许对块的亮度分量的拆分)。通过防止导致相对小的块大小的拆分，模式选择单元202可以确定具有较少块依赖性的视频数据的切片的块的预测信息，从而潜在地在预测精度损失很少或没有损失的情况下降低译码复杂度。
[0272]
模式选择单元202可以生成用于块的预测信息(804)。模式选择单元202可以基于预测信息来生成预测块(806)。残差生成单元204可以基于块与预测块之间的差来生成用于块的残差块(808)。熵编码单元220可以对视频数据的比特流中的残差块进行编码(810)。
[0273]
图16是示出用于使用块大小限制来对视频数据的当前块进行解码的示例方法的流程图。尽管关于视频解码器300(图1和4)进行了描述，但是其它设备可以被配置为执行与图16的方法类似的方法。
[0274]
预测处理单元304可以使用块大小限制来确定将视频数据分割为多个块(852)。该分割可以应用块大小限制以防止对多个块中的块的拆分，该拆分将产生当块高度乘以块宽度小于门限(例如，16)时的包括块宽度和块高度的小块。在一些示例中，该分割可以应用块大小限制以防止仅对块的色度分量的分割。通过防止导致对相对小的块大小的拆分，预测处理单元304可以确定具有较少块依赖性的视频数据的切片的块的预测信息，从而潜在地在预测精度损失很少或没有损失的情况下降低译码复杂度。
[0275]
预测处理单元304可以生成用于块的预测信息(854)。预测处理单元304可以基于预测信息来生成预测块(856)。熵解码单元302可以从视频数据的比特流中解码用于该块的残差块(858)。重构单元310可以将预测块和残差块进行组合以对该块进行解码(860)。
[0276]
下文描述了本公开内容的示例的非限制性说明性列表。
[0277]
示例1：一种处理视频数据的方法，该方法包括：由视频译码器确定用于生成预测信息的多个帧内译码块；以及由视频译码器并行处理多个帧内译码块以生成用于当前块的预测信息。
[0278]
示例2：根据示例1所述的方法，其中，确定多个帧内译码块包括：对多个帧内译码块应用块大小限制。
[0279]
示例3：根据示例1
‑
2的任何组合所述的方法，还包括：在帧内译码块的一个或多个相邻块之间不具有依赖性的情况下对该一个或多个相邻块进行译码。
[0280]
示例4：根据示例3所述的方法，其中，对一个或多个相邻块进行译码包括：基于并
行可处理区域来选择一个或多个相邻块。
[0281]
示例5：根据示例3
‑
4的任何组合所述的方法，其中，对一个或多个相邻块进行译码包括：基于多个帧内译码块中的块在并行区域中的位置来限制该块的帧内预测模式候选列表。
[0282]
示例6：根据示例1
‑
5的任何组合所述的方法，其中，并行处理多个帧内译码块包括：移除参考样本阵列的样本，该参考样本阵列使多个帧内译码块的相邻块相互依赖。
[0283]
示例7：根据示例1
‑
6的任何组合所述的方法，其中，并行处理多个帧内译码块包括：针对小块禁用ibc模式。
[0284]
示例8：根据示例1
‑
7的任何组合所述的方法，其中，并行处理多个帧内译码块包括：针对排除ppr中的第一块的小块禁用ibc模式。
[0285]
示例9：根据示例7
‑
8的任何组合所述的方法，其中，小块包括2x2、2x4或4x2的块大小。
[0286]
示例10：根据权利要求1
‑
9的任何组合所述的方法，其中，并行处理多个帧内译码块包括：将ppr中的全部块从相同ppr中的其它块的ibc预测区域排除。
[0287]
示例11：根据权利要求1
‑
10的任何组合所述的方法，其中，并行处理多个帧内译码块包括：将ppr中的小ibc块的预测样本设置为等于默认值。
[0288]
示例12：根据示例1
‑
12的任何组合所述的方法，其中，并行处理多个帧内译码块包括：基于用于呈现样本的比特深度来确定默认值。
[0289]
示例13：根据示例1
‑
13的任何组合所述的方法，其中，并行处理多个帧内译码块包括：剪裁ppr中的小色度块的运动矢量，使得参考块不应与ppr重叠。
[0290]
示例14：一种用于对视频数据进行译码的设备，该设备包括用于执行根据示例1
‑
13中任一项所述的方法的一个或多个单元。
[0291]
示例15：根据示例14所述的设备，其中，一个或多个单元包括在电路中实现的一个或多个处理器。
[0292]
示例16：根据示例14
‑
15中任一项所述的设备，还包括：用于存储视频数据的存储器。
[0293]
示例17：根据示例14
‑
16中任一项所述的设备，还包括：被配置为显示经解码的视频数据的显示器。
[0294]
示例18：根据示例14
‑
17中任一项所述的设备，其中，所述设备包括相机、计算机、移动设备、广播接收机设备或机顶盒中的一者或多者。
[0295]
示例19：根据示例14
‑
18中任一项所述的设备，其中，所述设备包括视频解码器。
[0296]
示例20：根据示例7
‑
19中任一项所述的设备，其中，所述设备包括视频编码器。
[0297]
示例21：一种具有存储在其上的指令的计算机可读存储介质，所述指令在被执行时使得一个或多个处理器执行根据示例1
‑
13中任一项所述的方法。
[0298]
要认识到的是，根据示例，本文描述的技术中的任何技术的某些动作或事件可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非全部描述的动作或事件对于所述技术的实践是必要的)。此外，在某些示例中，动作或事件可以例如通过多线程处理、中断处理或多个处理器并发地而不是顺序地执行。
[0299]
在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任何组合中实
现。如果在软件中实现，则所述功能可以作为一个或多个指令或代码存储在计算机可读介质上或者通过其进行发送以及由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质的有形介质或者通信介质，所述通信介质包括例如根据通信协议来促进计算机程序从一个地方传送到另一个地方的任何介质。以这种方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质、或者(2)诸如信号或载波的通信介质。数据存储介质可以是可以由一个或多个计算机或者一个或多个处理器访问以取得用于实现在本公开内容中描述的技术的指令、代码和/或数据结构的任何可用的介质。计算机程序产品可以包括计算机可读介质。
[0300]
举例来说而非进行限制，这样的计算机可读存储介质可以包括ram、rom、eeprom、cd
‑
rom或其它光盘存储、磁盘存储或其它磁存储设备、闪存、或者能够用于以指令或数据结构形式存储期望的程序代码以及能够由计算机访问的任何其它介质。此外，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤光缆、双绞线、数字用户线(dsl)或者无线技术(诸如红外线、无线电和微波)来从网站、服务器或其它远程源发送指令，则同轴电缆、光纤光缆、双绞线、dsl或者无线技术(诸如红外线、无线电和微波)被包括在介质的定义中。然而，应当理解的是，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其它暂时性介质，而是替代地针对非暂时性的有形存储介质。如本文所使用的，磁盘和光盘包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘利用激光来光学地复制数据。上述各项的组合也应当被包括在计算机可读介质的范围之内。
[0301]
指令可以由一个或多个处理器来执行，诸如一个或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、现场可编程门阵列(fpga)、或其它等效的集成或分立逻辑电路。相应地，如本文所使用的术语“处理器”和“处理电路”可以指代前述结构中的任何一者或者适于实现本文描述的技术的任何其它结构。另外，在一些方面中，本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块内提供，或者被并入经组合的编解码器中。此外，所述技术可以充分地在一个或多个电路或逻辑元件中实现。
[0302]
本公开内容的技术可以在各种各样的设备或装置中实现，包括无线手机、集成电路(ic)或一组ic(例如，芯片组)。在本公开内容中描述了各个组件、模块或单元以强调被配置为执行所公开的技术的设备的功能性方面，但是不一定需要通过不同的硬件单元来实现。而是，如上所述，各个单元可以被组合在编解码器硬件单元中，或者由可互操作的硬件单元的集合(包括如上所述的一个或多个处理器)结合适当的软件和/或固件来提供。
[0303]
已经描述了各个示例。这些示例和其它示例在下文的权利要求的范围内。