用于视频编码的方法和装置与流程

用于视频编码的方法和装置
交叉引用
1.本技术要求于2021年5月27日提交，标题为“用于视频编码的方法和装置”的美国专利申请第17/332,903号的优先权权益，该申请要求于2020年10月16日提交，标题为“与参考位置中的单一值匹配的字符串”的美国临时申请第63/092,718号的优先权权益。这些先前申请的全部内容通过引用并入本文中。
技术领域
2.本公开描述了通常与视频编码相关的实施例。


背景技术：

3.本公开提供的背景说明旨在概括介绍本公开的背景。在本背景技术部分描述的范围内，当前命名的发明人的作品，以及在提交申请时可能不符合现有技术条件的描述方面，在本公开中既不明示也不暗示地承认为反对本公开的现有技术。
4.可以使用具有运动补偿的图片间预测来进行视频编码和解码。未压缩的数字视频可以包括一系列图片，每个图片具有例如1920
×
1080亮度样本和相关色度样本的空间维度。该系列图片可以具有固定或可变的图片速率(也非正式地称为帧率)，例如每秒60张图片或60hz。未压缩视频有特定的比特率要求。例如，每个样本的8比特的1080p60 4:2:0视频(60hz帧率下的1920
×
1080亮度样本分辨率)需要接近1.5gbit/s的带宽。一小时这样的视频需要600gb以上的存储空间。
5.视频编码和解码的一个目的是通过压缩减少输入视频信号中的冗余。压缩可以帮助减少上述带宽和/或存储空间需求，在某些情况下，可以减少两个数量级或更多。可以使用无损压缩和有损压缩，以及它们的组合。无损压缩是指可以从压缩后的原始信号重建原始信号的精确复制的技术。当使用有损压缩时，重建信号可能与原始信号不同，但原始信号和重建信号之间的失真小到足以使重建信号对预期应用有用。在视频方面，有损压缩被广泛采用。允许的失真量取决于应用。例如，某些消费者流媒体应用程序的用户可以比电视分发应用程序的用户承受更高的失真。可实现的压缩比可以反映：更高的允许/容许失真可以产生更高的压缩比。
6.视频编码器和解码器可以利用来自几个大类的技术，包括例如运动补偿、变换、量化和熵编码。
7.视频编解码器技术可以包括称为帧内编码的技术。在帧内编码中，在不参考来自先前重建的参考图片的样本或其他数据的情况下表示样本值。在一些视频编解码器中，图片在空间上被细分为样本块。当所有样本块都以帧内模式编码时，该图片可以是帧内图片。帧内图片及其衍生图片(例如独立解码器刷新图片)可用于重置解码器状态，因此可用作编码视频比特流和视频会话中的第一图片，或用作静止图片。可以对帧内块的样本进行变换，并且可以在熵编码之前对变换系数进行量化。帧内预测可以是一种使预变换域中的样本值最小化的技术。在某些情况下，变换后的dc值越小，ac系数越小，在给定的量化步长大小下
用于表示熵编码后的块所需的比特数就越少。
8.诸如从例如mpeg-2代编码技术已知传统帧内编码不使用帧内预测。然而，一些较新的视频压缩技术包括尝试例如从周围的样本数据和/或在对空间上相邻并排在解码顺序前面的的数据块进行编码和/或解码期间获得的元数据的技术。此类技术此后被称为“帧内预测”技术。需要注意的是，至少在某些情况下，帧内预测仅使用来自正在重建的当前图片而不是来自参考图片的参考数据。
9.可以有许多不同形式的帧内预测。当在给定的视频编码技术中可以使用多于一种这样的技术时，可以在帧内预测模式中对所使用的技术进行编码。在某些情况下，模式可以具有子模式和/或参数，这些子模式和/或参数可以单独编码或包含在模式码字中。对于给定模式、子模式和/或参数组合使用哪个码字可以通过帧内预测对编码效率增益产生影响，而用于将码字转换为比特流的熵编码技术同样也会产生影响。
10.在h.264中引入了某种帧内预测模式，在h.265中进行了细化，并在联合探索模型(joint exploration model，jem)、通用视频编码(versatile video coding，vvc)和基准集(benchmark set，bms)等较新的编码技术中进一步细化。可以使用属于已经可用样本的相邻样本值来形成预测器块。根据方向将相邻样本的样本值复制到预测器块中。可以在比特流中对使用方向的参考进行编码，也可以对其本身进行预测。
11.参照图1a所示，右下方描绘的是从h.265的33个可能的预测器方向(对应于35个帧内模式的33个角模式)已知的9个预测器方向的子集。箭头会聚的点(101)表示被预测的样本。箭头表示预测样本的方向。例如，箭头(102)表示样本(101)是从一个或多个样本预测到右上角的，与水平方向成45度角。类似地，箭头(103)表示样本(101)是从一个或多个样本(101)预测到左下角的，与水平方向成22.5度角。
12.继续参照图1a所示，在左上角描绘了4
×
4样本的正方形块(104)(由粗虚线指示)。正方形块(104)包括16个样本，每个样本都标有“s”、它在y维度中的位置(例如，行索引)和它在x维度中的位置(例如，列索引)。例如，样本s21是y维度中的第二个样本(从顶部开始)和x维度中的第一个样本(从左侧开始)。类似地，样本s44是块(104)中y维度和x维度上的第四个样本。由于块大小为4
×
4样本，因此s44位于右下角。进一步示出的是遵循类似编号方案的参考样本。参考样本用r标记，它的y位置(例如，行索引)和x位置(列索引)相对于块(104)。在h.264和h.265中，预测样本与正在重建的块相邻，因此不需要使用负值。
13.可以通过指示的预测方向从适当的相邻样本中复制参考样本值来进行帧内图片预测。例如，假设编码视频比特流包括对于该块指示与箭头(102)一致的预测方向的信令-即，样本是从预测样本或样本预测到与水平方向成45度角的右上角的。在这种情况下，从相同的参考样本r05预测样本s41、s32、s23和s14。然后从参考样本r08预测样本s44。
14.在某些情况下，可以组合多个参考样本的值，例如通过插值，尤其是当方向不能被45度平均整除时，以计算参考样本。
15.随着视频编码技术的发展，可能的方向数量也在增加。在h.264(2003年)中，可以表示九个不同的方向。在h.265(2013年)中，这一数字增加到了33。在本公开的时代，jem/vvc/bms最多可以支持65个方向。已经进行了实验来识别最可能的方向，熵编码中的某些技术被用来以少量比特表示那些可能的方向，而对不太可能的方向接受某些不利。此外，这些方向本身有时可以从已解码的相邻块中使用的相邻方向预测。
16.图1b示出了根据jem的描绘65个帧内预测方向的示意图(180)，以说明随着时间增加的预测方向数量。
17.编码视频比特流中表示方向的帧内预测方向比特的映射可以因视频编码技术而不同。例如，范围可以从简单的预测方向直接映射到帧内预测模式，映射到码字，映射到涉及最可能模式的复杂自适应方案，以及类似技术。然而，在所有情况下，与某些其他方向相比，在统计上可能存在视频内容中不太可能出现的某些方向。由于视频压缩的目标是减少冗余，因此在运行良好的视频编码技术中，那些不太可能的方向将由比更可能的方向更多的比特来表示。
18.运动补偿可以是一种有损压缩技术，并且可以涉及这样的技术，其中来自先前重建的图片或其部分(参考图片)的采样数据块在空间上沿运动矢量(mv)指示的方向移动后，用于预测新重建的图片或图片部分。在某些情况下，参考图片可能与当前正在重建的图片相同。mvs可以有两个维度x和y，或者三个维度，第三个维度表示正在使用的参考图片(后者间接地可以是时间维度)。
19.在一些视频压缩技术中，适用于样本数据的某一区域的mv可以从其他mv中预测出来，例如从与正在重建的区域空间上相邻的、且按解码顺序排在该mv之前的与另一样本数据区域相关的mv中预测出来。这样做可以显著减少编码mv所需的数据量，从而消除冗余并增加压缩。mv预测可以有效地进行，例如，因为当对从摄像机(称为自然视频)衍生的输入视频信号进行编码时，在统计上，大于单个mv适用的区域的区域可能以相似的方向移动，因此，在某些情况下，可以使用从相邻区域的mv衍生的相似运动矢量来预测。这导致找到给定区域的mv与从周围的mvs预测的mv相似或相同，并且可以反过来表示，在熵编码后，与直接对mv进行编码相比，可以用更少的比特数来表示。在某些情况下，mv预测可以是从原始信号(即：样本流)衍生的信号(即，mvs)的无损压缩的示例。在其他情况下，例如，因为从几个周围的mv计算预测值时存在四舍五入误差，mv预测本身可能是有损的。
20.h.265/hevc(itu-t h.265建议书，“高效视频编解码(high efficiency video coding)”，2016年12月)中描述了各种mv预测机制。在h.265提供的多种mv预测机制中，本技术描述的是下文称作“空间合并”的技术。
21.请参考图2，当前块(201)包括在运动搜索过程期间已由编码器发现的样本，根据已产生空间偏移的相同大小的先前块，可预测所述样本。另外，可从一个或多个参考图片相关联的元数据中导出所述mv，而非对mv直接编码。例如，使用关联于a0、a1和b0、b1、b2(分别对应202到206)五个周围样本中的任一样本的mv，(按解码次序)从最近的参考图片的元数据中导出所述mv。在h.265中，mv预测可使用相邻块也正在使用的相同参考图片的预测值。


技术实现要素：

22.本公开的各方面提供了用于视频编码/解码的方法和装置。在一些示例中，用于视频解码的装置包括处理电路。处理电路确定具有用于参考样本存储器中可用的样本值的区域，以用于当前块的重建。此外，处理电路更新基于历史的列表，该基于历史的列表用于存储单值字符串模式的先前重建样本的位置。这些位置被限制在该区域内。然后，处理电路基于该基于历史的列表重建当前块内的单值字符串模式的字符串。
23.在一些示例中，处理电路响应于位置在该区域之外，从基于历史的列表的条目中
移除该位置。
24.在一些示例中，处理电路响应于基于该基于历史的列表的条目重建字符串，更新基于历史的列表的条目以在字符串中存储样本位置。在一个示例中，该样本位置是以下之一：字符串中第一个样本位置、字符串中最后一个样本位置以及第一个样本位置与最后一个样本位置之间的一个位置。
25.根据本公开的一个方面，处理电路在开始编码包括所述当前块的范围时确定所述区域，该范围被排除在该区域之外。在示例中，编码树单元具有128
×
128个样本，参考样本存储器能够存储编码树单元的样本，该范围具有64
×
64个样本。在另一示例中，参考样本存储器能够存储128
×
128个样本，编码树单元具有64
×
64个样本，并且该范围具有64
×
64个样本。
26.在一些示例中，处理电路检测到基于历史的列表中的第一条目在该范围中存储了位置，并从参考样本存储器获取位置的样本值。然后，处理电路将样本值存储在样本缓冲器中(在一些示例中也称为二级缓冲器)。例如，处理电路将样本值存储在样与基于历史的列表的第一条目相关联的本缓冲器的第二条目中。在一个示例中，第一个条目和第二条目具有相同的条目索引。在另一示例中，第二条目由索引数组中的条目指示，并且索引数组中的条目与第一条目相关联(例如，具有相同的索引)。
27.在一些示例中，处理电路设置与第一条目相关联的可用性比特指示不可用，并且响应于字符串矢量指向位置，在重建当前块的过程中，访问第二条目中的样本值的样本缓冲器。
28.本公开的方面还提供了一种存储指令的非暂时性计算机可读介质，当由用于视频编码/解码的计算机执行指令时使计算机执行任意所述用于视频编码/解码的方法。
附图说明
29.结合以下详细描述和附图，所公开的主题的进一步特征，性质和各种优点将更加明显。
30.图1a是帧内预测模式的示例性子集的示意图。
31.图1b是示例性帧内预测方向的图示。
32.图2是一个示例中的当前块及其周围的空间合并候选的示意图。
33.图3是根据实施例的通信系统(300)的简化框图的示意图。
34.图4是根据实施例的通信系统(400)的简化框图的示意图。
35.图5是根据实施例的解码器的简化框图的示意图。
36.图6是根据实施例的编码器的简化框图的示意图。
37.图7示出了根据另一实施例的编码器的框图。
38.图8示出了根据另一实施例的解码器的框图。
39.图9示出了根据本公开的实施例的帧内块复制的示例。
40.图10示出了根据本公开的实施例的帧内块复制的示例。
41.图11示出了根据本公开的实施例的帧内块复制的示例。
42.图12a-12d示出了根据本公开的实施例的帧内块复制的示例。
43.图13示出了根据本公开的实施例的用于当前块的帧内块复制块矢量预测的空间
级的示例。
44.图14示出了根据本公开的实施例的字符串复制模式的示例。
45.图15示出了根据本公开的一些实施例的参考样本存储器更新的过程。
46.图16示出了根据本公开的实施例的过程概述的流程图。
47.图17是根据实施例的计算机系统的示意图。
具体实施方式
48.图3是根据本技术公开的实施例的通信系统(300)的简化框图。通信系统(300)包括多个终端装置，所述终端装置可通过例如网络(350)彼此通信。举例来说，通信系统(300)包括通过网络(350)互连的第一终端装置(310)和第二终端装置(320)。在图3的实施例中，第一终端装置(310)和第二终端装置(320)执行单向数据传输。举例来说，第一终端装置(310)可对视频数据(例如由终端装置(310)采集的视频图片流)进行编码以通过网络(350)传输到第二端装置(320)。已编码的视频数据以一个或多个已编码视频码流形式传输。第二终端装置(320)可从网络(350)接收已编码视频数据，对已编码视频数据进行解码以恢复视频数据，并根据恢复的视频数据显示视频图片。单向数据传输在媒体服务等应用中是较常见的。
49.在另一实施例中，通信系统(300)包括执行已编码视频数据的双向传输的第三终端装置(330)和第四终端装置(340)，所述双向传输可例如在视频会议期间发生。对于双向数据传输，第三终端装置(330)和第四终端装置(340)中的每个终端装置可对视频数据(例如由终端装置采集的视频图片流)进行编码，以通过网络(350)传输到第三终端装置(330)和第四终端装置(340)中的另一终端装置。第三终端装置(330)和第四终端装置(340)中的每个终端装置还可接收由第三终端装置(330)和第四终端装置(340)中的另一终端装置传输的已编码视频数据，且可对所述已编码视频数据进行解码以恢复视频数据，且可根据恢复的视频数据在可访问的显示装置上显示视频图片。
50.在图3的实施例中，第一终端装置(310)、第二终端装置(320)、第三终端装置(330)和第四终端装置(340)可为服务器、个人计算机和智能电话，但本技术公开的原理可不限于此。本技术公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络(350)表示在第一终端装置(310)、第二终端装置(320)、第三终端装置(330)和第四终端装置(340)之间传送已编码视频数据的任何数目的网络，包括例如有线(连线的)和/或无线通信网络。通信网络(350)可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本技术的目的，除非在下文中有所解释，否则网络(350)的架构和拓扑对于本技术公开的操作来说可能是无关紧要的。
51.作为实施例，图4示出视频编码器和视频解码器在流式传输环境中的放置方式。本技术所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字tv、在包括cd、dvd、存储棒等的数字介质上存储压缩视频等等。
52.流式传输系统可包括采集子系统(413)，所述采集子系统可包括数码相机等视频源(401)，所述视频源创建未压缩的视频图片流(402)。在实施例中，视频图片流(402)包括由数码相机拍摄的样本。相较于已编码的视频数据(404)(或已编码的视频码流)，视频图片流(402)被描绘为粗线以强调高数据量的视频图片流，视频图片流(402)可由电子装置
usability information，vui)的参数集片段(未标示)。解析器(520)可对接收到的已编码视频序列进行解析/熵解码。已编码视频序列的编码可根据视频编码技术或标准进行，且可遵循各种原理，包括可变长度编码、霍夫曼编码(huffman coding)、具有或不具有上下文灵敏度的算术编码等等。解析器(520)可基于对应于群组的至少一个参数，从已编码视频序列提取用于视频解码器中的像素的子群中的至少一个子群的子群参数集。子群可包括图片群组(group of pictures，gop)、图片、图块、切片、宏块、编码单元(coding unit，cu)、块、变换单元(transform unit，tu)、预测单元(prediction unit，pu)等等。解析器(520)还可从已编码视频序列提取信息，例如变换系数、量化器参数值、运动矢量等等。
57.解析器(520)可对从缓冲存储器(515)接收的视频序列执行熵解码/解析操作，从而创建符号(521)。
58.取决于已编码视频图片或一部分已编码视频图片(例如：帧间图片和帧内图片、帧间块和帧内块)的类型以及其它因素，符号(521)的重建可涉及多个不同单元。涉及哪些单元以及涉及方式可由解析器(520)从已编码视频序列解析的子群控制信息控制。为了简洁起见，未描述解析器(520)与下文的多个单元之间的此类子群控制信息流。
59.除已经提及的功能块以外，视频解码器(510)可在概念上细分成如下文所描述的数个功能单元。在商业约束下运行的实际实施例中，这些单元中的许多单元彼此紧密交互并且可以彼此集成。然而，出于描述所公开主题的目的，概念上细分成下文的功能单元是适当的。
60.第一单元是缩放器/逆变换单元(551)。缩放器/逆变换单元(551)从解析器(520)接收作为符号(521)的量化变换系数以及控制信息，包括使用哪种变换方式、块大小、量化因子、量化缩放矩阵等。缩放器/逆变换单元(551)可输出包括样本值的块，所述样本值可输入到聚合器(555)中。
61.在一些情况下，缩放器/逆变换单元(551)的输出样本可属于帧内编码块；即：不使用来自先前重建的图片的预测性信息，但可使用来自当前图片的先前重建部分的预测性信息的块。此类预测性信息可由帧内图片预测单元(552)提供。在一些情况下，帧内图片预测单元(552)采用从当前图片缓冲器(458)提取的已重建信息生成大小和形状与正在重建的块相同的周围块。举例来说，当前图片缓冲器(558)缓冲部分重建的当前图片和/或完全重建的当前图片。在一些情况下，聚合器(555)基于每个样本，将帧内预测单元(552)生成的预测信息添加到由缩放器/逆变换单元(551)提供的输出样本信息中。
62.在其它情况下，缩放器/逆变换单元(551)的输出样本可属于帧间编码和潜在运动补偿块。在此情况下，运动补偿预测单元(553)可访问参考图片存储器(557)以提取用于预测的样本。在根据符号(521)对提取的样本进行运动补偿之后，这些样本可由聚合器(555)添加到缩放器/逆变换单元(551)的输出(在这种情况下被称作残差样本或残差信号)，从而生成输出样本信息。运动补偿预测单元(553)从参考图片存储器(557)内的地址获取预测样本可受到运动矢量控制，且所述运动矢量以所述符号(521)的形式而供运动补偿预测单元(553)使用，所述符号(521)例如是包括x、y和参考图片分量。运动补偿还可包括在使用子样本精确运动矢量时，从参考图片存储器(557)提取的样本值的内插、运动矢量预测机制等等。
63.聚合器(555)的输出样本可在环路滤波器单元(556)中被各种环路滤波技术采用。
视频压缩技术可包括环路内滤波器技术，所述环路内滤波器技术受控于包括在已编码视频序列(也称作已编码视频码流)中的参数，且所述参数作为来自解析器(520)的符号(521)可用于环路滤波器单元(556)。然而，在其他实施例中，视频压缩技术还可响应于在解码已编码图片或已编码视频序列的先前(按解码次序)部分期间获得的元信息，以及响应于先前重建且经过环路滤波的样本值。
64.环路滤波器单元(556)的输出可以是样本流，所述样本流可输出到显示装置(512)以及存储在参考图片存储器(557)，以用于后续的帧间图片预测。
65.一旦完全重建，某些已编码图片就可用作参考图片以用于将来预测。举例来说，一旦对应于当前图片的已编码图片被完全重建，且已编码图片(通过例如解析器(520))被识别为参考图片，则当前图片缓冲器(558)可变为参考图片存储器(557)的一部分，且可在开始重建后续已编码图片之前重新分配新的当前图片缓冲器。
66.视频解码器(510)可根据例如itu-t h.265标准中的预定视频压缩技术执行解码操作。在已编码视频序列遵循视频压缩技术或标准的语法以及视频压缩技术或标准中记录的配置文件的意义上，已编码视频序列可符合所使用的视频压缩技术或标准指定的语法。具体地说，配置文件可从视频压缩技术或标准中可用的所有工具中选择某些工具作为在所述配置文件下可供使用的仅有工具。对于合规性，还要求已编码视频序列的复杂度处于视频压缩技术或标准的层级所限定的范围内。在一些情况下，层级限制最大图片大小、最大帧率、最大重建取样率(以例如每秒兆(mega)个样本为单位进行测量)、最大参考图片大小等。在一些情况下，由层级设定的限制可通过假想参考解码器(hypothetical reference decoder，hrd)规范和在已编码视频序列中用信号表示的hrd缓冲器管理的元数据来进一步限定。
67.在实施例中，接收器(531)可连同已编码视频一起接收附加(冗余)数据。所述附加数据可以是已编码视频序列的一部分。所述附加数据可由视频解码器(510)用以对数据进行适当解码和/或较准确地重建原始视频数据。附加数据可呈例如时间、空间或信噪比(signal noise ratio，snr)增强层、冗余切片、冗余图片、前向纠错码等形式。
68.图6是根据本技术公开的实施例的视频编码器(603)的框图。视频编码器(603)设置于电子装置(620)中。电子装置(620)包括传输器(640)(例如传输电路)。视频编码器(503)可用于代替图4实施例中的视频编码器(403)。
69.视频编码器(603)可从视频源(601)(并非图6实施例中的电子装置(620)的一部分)接收视频样本，所述视频源可采集将由视频编码器(603)编码的视频图像。在另一实施例中，视频源(601)是电子装置(620)的一部分。
70.视频源(601)可提供将由视频编码器(603)编码的呈数字视频样本流形式的源视频序列，所述数字视频样本流可具有任何合适位深度(例如：8位、10位、12位
……
)、任何色彩空间(例如bt.601y crcb、rgb
……
)和任何合适取样结构(例如y crcb 4:2:0、y crcb 4:4:4)。在媒体服务系统中，视频源(601)可以是存储先前已准备的视频的存储装置。在视频会议系统中，视频源(601)可以是采集本地图像信息作为视频序列的相机。可将视频数据提供为多个单独的图片，当按顺序观看时，这些图片被赋予运动。图片自身可构建为空间像素阵列，其中取决于所用的取样结构、色彩空间等，每个像素可包括一个或多个样本。所属领域的技术人员可以很容易理解像素与样本之间的关系。下文侧重于描述样本。
71.根据实施例，视频编码器(603)可实时或在由应用所要求的任何其它时间约束下，将源视频序列的图片编码且压缩成已编码视频序列(643)。施行适当的编码速度是控制器(650)的一个功能。在一些实施例中，控制器(650)控制如下文所描述的其它功能单元且在功能上耦接到这些单元。为了简洁起见，图中未标示耦接。由控制器(650)设置的参数可包括速率控制相关参数(图片跳过、量化器、率失真优化技术的λ值等)、图片大小、图片群组(group of pictures，gop)布局，最大运动矢量搜索范围等。控制器(650)可用于具有其它合适的功能，这些功能涉及针对某一系统设计优化的视频编码器(603)。
72.在一些实施例中，视频编码器(603)在编码环路中进行操作。作为简单的描述，在实施例中，编码环路可包括源编码器(630)(例如，负责基于待编码的输入图片和参考图片创建符号，例如符号流)和嵌入于视频编码器(603)中的(本地)解码器(633)。解码器(633)以类似于(远程)解码器创建样本数据的方式重建符号以创建样本数据(因为在本技术所考虑的视频压缩技术中，符号与已编码视频码流之间的任何压缩是无损的)。将重建的样本流(样本数据)输入到参考图片存储器(634)。由于符号流的解码产生与解码器位置(本地或远程)无关的位精确结果，因此参考图片存储器(634)中的内容在本地编码器与远程编码器之间也是按比特位精确对应的。换句话说，编码器的预测部分“看到”的参考图片样本与解码器将在解码期间使用预测时所“看到”的样本值完全相同。这种参考图片同步性基本原理(以及在例如因信道误差而无法维持同步性的情况下产生的漂移)也用于一些相关技术。
[0073]“本地”解码器(633)的操作可与例如已在上文结合图5详细描述视频解码器(510)的“远程”解码器相同。然而，另外简要参考图5，当符号可用且熵编码器(645)和解析器(520)能够无损地将符号编码/解码为已编码视频序列时，包括缓冲存储器(515)和解析器(520)在内的视频解码器(510)的熵解码部分，可能无法完全在本地解码器(633)中实施。
[0074]
此时可以观察到，除存在于解码器中的解析/熵解码之外的任何解码器技术，也必定以基本上相同的功能形式存在于对应的编码器中。出于此原因，本技术侧重于解码器操作。可简化编码器技术的描述，因为编码器技术与全面地描述的解码器技术互逆。仅在某些区域中需要更详细的描述，并且在下文提供。
[0075]
在操作期间，在一些实施例中，源编码器(630)可执行运动补偿预测编码。参考来自视频序列中被指定为“参考图片”的一个或多个先前已编码图片，所述运动补偿预测编码对输入图片进行预测性编码。以此方式，编码引擎(632)对输入图片的像素块与参考图片的像素块之间的差异进行编码，所述参考图片可被选作所述输入图片的预测参考。
[0076]
本地视频解码器(633)可基于源编码器(630)创建的符号，对可指定为参考图片的图片的已编码视频数据进行解码。编码引擎(532)的操作可为有损过程。当已编码视频数据可在视频解码器(图6中未示)处被解码时，重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器(633)复制解码过程，所述解码过程可由视频解码器对参考图片执行，且可使重建的参考图片存储在参考图片高速缓存(634)中。以此方式，视频编码器(603)可在本地存储重建的参考图片的副本，所述副本与将由远端视频解码器获得的重建参考图片具有共同内容(不存在传输误差)。
[0077]
预测器(635)可针对编码引擎(632)执行预测搜索。即，对于将要编码的新图片，预测器(635)可在参考图片存储器(634)中搜索可作为所述新图片的适当预测参考的样本数据(作为候选参考像素块)或某些元数据，例如参考图片运动矢量、块形状等。预测器(635)
可基于样本块逐像素块操作，以找到合适的预测参考。在一些情况下，根据预测器(635)获得的搜索结果，可确定输入图片可具有从参考图片存储器(634)中存储的多个参考图片取得的预测参考。
[0078]
控制器(650)可管理源编码器(630)的编码操作，包括例如设置用于对视频数据进行编码的参数和子群参数。
[0079]
可在熵编码器(645)中对所有上述功能单元的输出进行熵编码。熵编码器(645)根据例如霍夫曼编码、可变长度编码、算术编码等技术对各种功能单元生成的符号进行无损压缩，从而将所述符号转换成已编码视频序列。
[0080]
传输器(640)可缓冲由熵编码器(645)创建的已编码视频序列，从而为通过通信信道(660)进行传输做准备，所述通信信道可以是通向将存储已编码的视频数据的存储装置的硬件/软件链路。传输器(640)可将来自视频编码器(603)的已编码视频数据与要传输的其它数据合并，所述其它数据例如是已编码音频数据和/或辅助数据流(未示出来源)。
[0081]
控制器(650)可管理视频编码器(603)的操作。在编码期间，控制器(650)可以为每个已编码图片分配某一已编码图片类型，但这可能影响可应用于相应的图片的编码技术。例如，通常可将图片分配为以下任一种图片类型：
[0082]
帧内图片(i图片)，其可以是不将序列中的任何其它图片用作预测源就可被编码和解码的图片。一些视频编解码器容许不同类型的帧内图片，包括例如独立解码器刷新(independent decoder refresh，“idr”)图片。所属领域的技术人员了解i图片的变体及其相应的应用和特征。
[0083]
预测性图片(p图片)，其可以是可使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多一个运动矢量和参考索引来预测每个块的样本值。
[0084]
双向预测性图片(b图片)，其可以是可使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个块的样本值。类似地，多个预测性图片可使用多于两个参考图片和相关联元数据以用于重建单个块。
[0085]
源图片通常可在空间上细分成多个样本块(例如，4
×
4、8
×
8、4
×
8或16
×
16个样本的块)，且逐块进行编码。这些块可参考其它(已编码)块进行预测编码，根据应用于块的相应图片的编码分配来确定所述其它块。举例来说，i图片的块可进行非预测编码，或所述块可参考同一图片的已经编码的块来进行预测编码(空间预测或帧内预测)。p图片的像素块可参考一个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。b图片的块可参考一个或两个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。
[0086]
视频编码器(603)可根据例如itu-t h.265建议书的预定视频编码技术或标准执行编码操作。在操作中，视频编码器(603)可执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余的预测编码操作。因此，已编码视频数据可符合所用视频编码技术或标准指定的语法。
[0087]
在实施例中，传输器(640)可在传输已编码的视频时传输附加数据。源编码器(630)可将此类数据作为已编码视频序列的一部分。附加数据可包括时间/空间/snr增强层、冗余图片和切片等其它形式的冗余数据、sei消息、vui参数集片段等。
[0088]
采集到的视频可作为呈时间序列的多个源图片(视频图片)。帧内图片预测(常常简化为帧内预测)利用给定图片中的空间相关性，而帧间图片预测则利用图片之间的(时间
或其它)相关性。在实施例中，将正在编码/解码的特定图片分割成块，正在编码/解码的特定图片被称作当前图片。在当前图片中的块类似于视频中先前已编码且仍被缓冲的参考图片中的参考块时，可通过称作运动矢量的矢量对当前图片中的块进行编码。所述运动矢量指向参考图片中的参考块，且在使用多个参考图片的情况下，所述运动矢量可具有识别参考图片的第三维度。
[0089]
在一些实施例中，双向预测技术可用于帧间图片预测中。根据双向预测技术，使用两个参考图片，例如按解码次序都在视频中的当前图片之前(但按显示次序可能分别是过去和将来)第一参考图片和第二参考图片。可通过指向第一参考图片中的第一参考块的第一运动矢量和指向第二参考图片中的第二参考块的第二运动矢量对当前图片中的块进行编码。具体来说，可通过第一参考块和第二参考块的组合来预测所述块。
[0090]
此外，合并模式技术可用于帧间图片预测中以改善编码效率。
[0091]
根据本技术公开的一些实施例，帧间图片预测和帧内图片预测等预测的执行以块为单位。举例来说，根据hevc标准，将视频图片序列中的图片分割成编码树单元(coding tree unit，ctu)以用于压缩，图片中的ctu具有相同大小，例如64
×
64像素、32
×
32像素或16
×
16像素。一般来说，ctu包括三个编码树块(coding tree block，ctb)，所述三个编码树块是一个亮度ctb和两个色度ctb。更进一步的，还可将每个ctu以四叉树拆分为一个或多个编码单元(coding unit，cu)。举例来说，可将64
×
64像素的ctu拆分为一个64
×
64像素的cu，或4个32
×
32像素的cu，或16个16
×
16像素的cu。在实施例中，分析每个cu以确定用于cu的预测类型，例如帧间预测类型或帧内预测类型。此外，取决于时间和/或空间可预测性，将cu拆分为一个或多个预测单元(prediction unit，pu)。通常，每个pu包括亮度预测块(prediction block，pb)和两个色度pb。在实施例中，编码(编码/解码)中的预测操作以预测块为单位来执行。以亮度预测块作为预测块为例，预测块包括像素值(例如，亮度值)的矩阵，例如8
×
8像素、16
×
16像素、8
×
16像素、16
×
8像素等等。
[0092]
图7是根据本技术公开的另一实施例的视频编码器(703)的图。视频编码器(703)用于接收视频图片序列中的当前视频图片内的样本值的处理块(例如预测块)，且将所述处理块编码到作为已编码视频序列的一部分的已编码图片中。在本实施例中，视频编码器(703)用于代替图4实施例中的视频编码器(403)。
[0093]
在hevc实施例中，视频编码器(703)接收用于处理块的样本值的矩阵，所述处理块为例如8
×
8样本的预测块等。视频编码器(703)使用例如率失真(rate-distortion，rd)优化来确定是否使用帧内模式、帧间模式或双向预测模式来编码所述处理块。当在帧内模式中编码处理块时，视频编码器(703)可使用帧内预测技术以将处理块编码到已编码图片中；且当在帧间模式或双向预测模式中编码处理块时，视频编码器(703)可分别使用帧间预测或双向预测技术将处理块编码到已编码图片中。在某些视频编码技术中，合并模式可以是帧间图片预测子模式，其中，在不借助预测值外部的已编码运动矢量分量的情况下，从一个或多个运动矢量预测值导出运动矢量。在某些其它视频编码技术中，可存在适用于主题块的运动矢量分量。在实施例中，视频编码器(703)包括其它组件，例如用于确定处理块模式的模式决策模块(未示出)。
[0094]
在图7的实施例中，视频编码器(703)包括如图7所示的耦接到一起的帧间编码器(730)、帧内编码器(722)、残差计算器(723)、开关(726)、残差编码器(724)、通用控制器
(721)和熵编码器(725)。
[0095]
帧间编码器(730)用于接收当前块(例如处理块)的样本、比较所述块与参考图片中的一个或多个参考块(例如先前图片和后来图片中的块)、生成帧间预测信息(例如根据帧间编码技术的冗余信息描述、运动矢量、合并模式信息)、以及基于帧间预测信息使用任何合适的技术计算帧间预测结果(例如已预测块)。在一些实施例中，参考图片是基于已编码的视频信息解码的已解码参考图片。
[0096]
帧内编码器(722)用于接收当前块(例如处理块)的样本、在一些情况下比较所述块与同一图片中已编码的块、在变换之后生成量化系数、以及在一些情况下还(例如根据一个或多个帧内编码技术的帧内预测方向信息)生成帧内预测信息。在实施例中，帧内编码器(722)还基于帧内预测信息和同一图片中的参考块计算帧内预测结果(例如已预测块)。
[0097]
通用控制器(721)用于确定通用控制数据，且基于所述通用控制数据控制视频编码器(703)的其它组件。在实施例中，通用控制器(721)确定块的模式，且基于所述模式将控制信号提供到开关(726)。举例来说，当所述模式是帧内模式时，通用控制器(721)控制开关(726)以选择供残差计算器(723)使用的帧内模式结果，且控制熵编码器(725)以选择帧内预测信息且将所述帧内预测信息添加在码流中；以及当所述模式是帧间模式时，通用控制器(721)控制开关(726)以选择供残差计算器(723)使用的帧间预测结果，且控制熵编码器(725)以选择帧间预测信息且将所述帧间预测信息添加在码流中。
[0098]
残差计算器(723)用于计算所接收的块与选自帧内编码器(722)或帧间编码器(730)的预测结果之间的差(残差数据)。残差编码器(724)用于基于残差数据操作，以对残差数据进行编码以生成变换系数。在实施例中，残差编码器(724)用于将残差数据从时域转换到频域，且生成变换系数。变换系数接着经由量化处理以获得量化的变换系数。在各种实施例中，视频编码器(703)还包括残差解码器(728)。残差解码器(728)用于执行逆变换，且生成已解码残差数据。已解码残差数据可适当地由帧内编码器(722)和帧间编码器(730)使用。举例来说，帧间编码器(730)可基于已解码残差数据和帧间预测信息生成已解码块，且帧内编码器(722)可基于已解码残差数据和帧内预测信息生成已解码块。适当处理已解码块以生成已解码图片，且在一些实施例中，所述已解码图片可在存储器电路(未示出)中缓冲并用作参考图片。
[0099]
熵编码器(725)用于将码流格式化以产生已编码的块。熵编码器(725)根据hevc标准等合适标准产生各种信息。在实施例中，熵编码器(725)用于获得通用控制数据、所选预测信息(例如帧内预测信息或帧间预测信息)、残差信息和码流中的其它合适的信息。应注意，根据所公开的主题，当在帧间模式或双向预测模式的合并子模式中对块进行编码时，不存在残差信息。
[0100]
图8是根据本技术公开的另一实施例的视频解码器(810)的图。视频解码器(810)用于接收作为已编码视频序列的一部分的已编码图像，且对所述已编码图像进行解码以生成重建的图片。在实施例中，视频解码器(810)用于代替图4实施例中的视频解码器(410)。
[0101]
在图8实施例中，视频解码器(810)包括如图8中所示耦接到一起的熵解码器(871)、帧间解码器(880)、残差解码器(873)、重建模块(874)和帧内解码器(872)。
[0102]
熵解码器(871)可用于根据已编码图片来重建某些符号，这些符号表示构成所述已编码图片的语法元素。此类符号可包括例如用于对所述块进行编码的模式(例如帧内模
式、帧间模式、双向预测模式、后两者的合并子模式或另一子模式)、可分别识别供帧内解码器(872)或帧间解码器(880)用以进行预测的某些样本或元数据的预测信息(例如帧内预测信息或帧间预测信息)、呈例如量化的变换系数形式的残差信息等等。在实施例中，当预测模式是帧间或双向预测模式时，将帧间预测信息提供到帧间解码器(880)；以及当预测类型是帧内预测类型时，将帧内预测信息提供到帧内解码器(872)。残差信息可经由逆量化并提供到残差解码器(873)。
[0103]
帧间解码器(880)用于接收帧间预测信息，且基于所述帧间预测信息生成帧间预测结果。
[0104]
帧内解码器(872)用于接收帧内预测信息，且基于所述帧内预测信息生成预测结果。
[0105]
残差解码器(873)用于执行逆量化以提取解量化的变换系数，且处理所述解量化的变换系数，以将残差从频域转换到空间域。残差解码器(873)还可能需要某些控制信息(用以获得量化器参数qp)，且所述信息可由熵解码器(871)提供(未标示数据路径，因为这仅仅是低量控制信息)。
[0106]
重建模块(874)用于在空间域中组合由残差解码器(873)输出的残差与预测结果(可由帧间预测模块或帧内预测模块输出)以形成重建的块，所述重建的块可以是重建的图片的一部分，所述重建的图片继而可以是重建的视频的一部分。应注意，可执行解块操作等其它合适的操作来改善视觉质量。
[0107]
应注意，可使用任何合适的技术来实施视频编码器(403)、视频编码器(603)和视频编码器(703)以及视频解码器(410)、视频解码器(510)和视频解码器(810)。在实施例中，可使用一个或多个集成电路来实施视频编码器(403)、视频编码器(603)和视频编码器(703)以及视频解码器(410)、视频解码器(510)和视频解码器(810)。在另一实施例中，可使用执行软件指令的一个或多个处理器来实施视频编码器(403)、视频编码器(603)和视频编码器(703)以及视频解码器(410)、视频解码器(510)和视频解码器(810)。
[0108]
基于块的补偿可用于帧间预测和帧内预测。对于帧间预测，来自不同图片的基于块的补偿称为运动补偿。例如在帧内预测中，基于块的补偿也可以从同一图片内的先前重建区域进行。来自同一图片内重建区域的基于块的补偿被称为帧内图片块补偿、当前图片参考(current picture referencing，cpr)或帧内块复制(intra block copy，ibc)。指示同一图片中的当前块和参考块(也称为预测块)之间的偏移的位移矢量被称为块矢量(block vector，bv)，其中可以基于参考块对当前块进行编码/解码。与运动补偿中的运动矢量不同，它可以是任何值(正或负，在x或y方向)，bv有一些约束，以确保参考块可用并已重建。此外，在一些示例中，出于并行处理考虑，排除了一些参考区域，例如是分片边界、切片边界或波前梯形边界。
[0109]
块矢量的编码可以是显式的，也可以是隐式的。在显式模式下，块矢量与其预测器之间的bv差被指示。在隐式模式中，块矢量从预测器(称为块矢量预测器)恢复，而不使用bv差，其方式与合并模式中的运动矢量类似。显式模式可以称为非合并bv预测模式。隐式模式可以称为合并bv预测模式。
[0110]
在某些实现方式中，块矢量的分辨率仅限于整数位置。在其他系统中，允许块矢量指向分数位置。
[0111]
在一些示例中，可以使用块级标志(例如ibc标志)来表示在块级别使用帧内块复制。在一个实施例中，当对当前块进行显式编码时，块级标志被指示。在一些示例中，可以使用参考索引方法来指示在块级别使用帧内块复制。然后，解码中的当前图片被视为参考图片或特殊参考图片。在一个示例中，这样的参考图片被放置在参考图片列表的最后位置。特殊参考图片还与诸如解码图片缓冲器(decoded picture buffer，dpb)之类的缓冲器中的其他时间参考图片一起管理。
[0112]
ibc模式可能会有变化。在一个示例中，ibc模式被视为不同于帧内预测模式和帧间预测模式的第三模式。因此，隐式模式(或合并模式)和显式模式中的bv预测与常规帧间模式分离。可以为ibc模式定义单独的合并候选列表，其中单独的合并候选列表中的条目是bvs。类似地，在示例中，ibc显式模式中的bv预测候选列表仅包括bvs。应用于这两个列表(即，单独的合并候选列表和bv预测候选列表)的一般规则是，就候选衍生过程而言，这两个列表可以遵循与常规合并模式中使用的合并候选列表或常规amvp模式中使用的amvp预测列表相同的逻辑。例如，五个空间相邻位置(例如图2中的a0、a1和b0、b1、b2)，例如针对ibc模式，访问hevc或vvc内部合并模式，以衍生ibc模式的单独合并候选列表。
[0113]
如上所述，图片中正在重建的当前块的bv可以具有某些约束，因此，当前块的参考块在搜索范围内。搜索范围指可从中选择参考块的图片部分。例如，搜索范围可以在图片中重建区域的某些部分内。可以约束搜索范围的大小、位置、形状等。或者，可以约束bv。在一个示例中，bv是包括x和y分量的二维矢量，并且可以约束x和y分量中的至少一个。可以针对bv、搜索范围或bv和搜索范围的组合指定约束。在各种示例中，当针对bv指定某些约束时，搜索范围将相应地受到约束。类似地，当针对搜索范围指定某些约束时，bv也会相应地受到约束。
[0114]
图9示出了根据本发明实施例的帧内块复制的示例。当前帧(900)将在解码下重建。当前帧(900)包括重建区域(910)(灰色区域)和待解码区域(920)(白色区域)。解码器重建当前块(930)。当前块(930)可以从重建区域(910)中的参考块(940)重建。参考块(940)和当前块(930)之间的位置偏移被称为块矢量(950)(或bv(950))。在图9示例中，搜索范围(960)在重建区域(910)内，参考块(940)在搜索范围(960)内，并且块矢量(950)被约束为指向搜索范围(960)内的参考块(940)。
[0115]
各种约束可应用于bv和/或搜索范围。在一个实施例中，在当前ctb中重建的当前块的搜索范围被约束在当前ctb内。
[0116]
在一个实施例中，存储用于帧内块复制中使用的参考样本的有效内存需求是一个ctb大小。在一个示例中，ctb大小为128
×
128个样本。当前ctb包括正在重建的当前范围。当前范围大小为64
×
64个样本。由于参考存储器还可以在当前范围中存储重建的样本，因此当参考存储器大小等于128
×
128个样本的ctb大小时，参考存储器可以再存储3个64
×
64个样本的范围。因此，搜索范围可以包括先前重建的ctb的某些部分，而用于存储参考样本的总存储器需求不变(例如1个ctb大小为128
×
128个样本或总共4个64
×
64个参考样本)。在一个示例中，如图10所示，先前重建的ctb在左边紧邻当前ctb。
[0117]
图10示出了根据本发明实施例的帧内块复制的示例。当前图片(1001)包括正在重建的当前ctb(1015)和在左边紧邻当前ctb(1015)的先前重建的ctb(1010)。当前图片(1001)中的ctb具有ctb大小(例如128
×
128个样本)和ctb宽度(例如128个样本)。当前ctb
(1015)包括4个范围(1016)-(1019)，其中当前范围(1016)正在重建中。当前范围(1016)包括多个编码块(1021)-(1029)。类似地，先前重建的ctb(1010)包括4个范围(1011)-(1014)。编码块(1021)-(1025)被重建，当前块(1026)正在重建，以及编码块(1026)-(1027)和范围(1017)-(1019)是待重建的。
[0118]
当前范围(1016)具有并置范围(即，范围(1011)，在先前重建的ctb(1010)中)。并置范围(1011)相对于先前重建的ctb(1010)的相对位置可以与当前范围(1016)相对于当前ctb(1015)的相对位置相同。在图10所示的示例中，当前范围(1016)是当前ctb(1015)中的左上范围，因此，并置范围(1011)也是先前重建的ctb(1010)中的左上范围。由于先前重建的ctb(1010)的位置从当前ctb(1015)的位置偏移ctb宽度，所以并置范围(1011)的位置从当前范围(1016)的位置偏移ctb宽度。
[0119]
在一个实施例中，当前范围(1016)的并置范围位于先前重建的ctb中，其中先前重建的ctb的位置从当前ctb(1015)的位置偏移一个或多个ctb宽度，因此，并置范围的位置也从当前范围(1016)的位置偏移相应的一个或多个ctb宽度。并置范围的位置可以从当前范围(1016)左移、上移等。
[0120]
如上所述，当前块(1026)的搜索范围的大小受ctb大小的约束。在图10示例中，搜索范围可以包括先前重建的ctb(1010)中的范围(1012)-(1014)和当前范围(1016)中已经重建的部分，例如编码块(1021)-(1025)。搜索范围进一步排除并置范围(1011)，使得搜索范围的大小在ctb大小内。参考图10，参考块(1091)位于先前重建的ctb(1010)的范围(1014)中。块矢量(1020)指示当前块(1026)和相应参考块(1091)之间的偏移。参考块(1091)在搜索范围内。
[0121]
图10所示的示例可以适当地适用于当前范围位于当前ctb(1015)中的另一位置的其他场景。在一个示例中，当当前块在范围(1017)中时，当前块的并置范围是范围(1012)。因此，搜索范围可以包括范围(1013)-(1014)、范围(1016)和范围(1017)中已经重建的部分。搜索范围进一步排除范围(1011)和并置范围(1012)，使得搜索范围的大小在ctb大小内。在一个示例中，当当前块在范围(1018)中时，当前块的并置范围是范围(1013)。因此，搜索范围可以包括范围(1014)、范围(1016)-(1017)和范围(1018)中已经重建的部分。搜索范围进一步排除范围(1011)-(1012)和并置范围(1013)，使得搜索范围的大小在ctb大小内。在一个示例中，当当前块在范围(1019)中时，当前块的并置范围是范围(1014)。因此，搜索范围可以包括范围(1016)-(1018)和范围(1019)已经重建的部分。搜索范围进一步排除先前重建的ctb(1010)，使得搜索范围的大小在ctb大小内。
[0122]
在上述描述中，参考块可以位于先前重建的ctb(1010)或当前ctb(1015)中。
[0123]
在一个实施例中，搜索范围可以按照如下指定。在一个示例中，当前图片是亮度图片，当前ctb是包括多个亮度样本的亮度ctb，并且bv(mvl)满足以下比特流一致性的约束。在一个示例中，bv(mvl)具有分数分辨率(例如，1/16像素分辨率)。
[0124]
约束包括当前块的参考块已经重建的第一条件。当参考块具有矩形形状时，可以执行相邻块可用性检查过程(或参考块可用性检查过程)，以检查是否重建了参考块的左上样本和右下样本。当参考试块的左上样本和右下样本都被重建时，确定参考块被重建。
[0125]
例如，当调用参考块可用性的衍生过程时，将当前块的左上样本的位置(xcurr，ycurr)设置为(xcb，ycb)，并将参考块的左上样本的位置(xcb+(mvl[0]》》4)，ycb+(mvl[1]》
》4))作为输入，当重建参考块的左上样本时，输出等于true，其中块矢量mvl是具有x分量mvl[0]和y分量mvl[1]的二维矢量。当bv(mvl)具有分数分辨率(例如1/16像素分辨率)时，x分量mvl[0]和y分量mvl[1]被移位以具有整数分辨率，分别由mvl[0]》》4和mvl[1]》》4指示。
[0126]
类似地，当调用块可用性的衍生过程时，将当前块的左上样本的位置(xcurr，ycurr)设置为(xcb，ycb)，并将参考块的右下样本的位置(xcb+(mvl[0]》》4)+cbwidth-1，ycb+(mvl[1]》》4)+cbheight-1)作为输入，当重建参考块的右下样本时，输出等于true。参数cbwidth和cbheight表示参考块的宽度和高度。
[0127]
约束还可以包括以下第二条件中的至少一个：1)值(mvl[0]》》4)+cbwidth小于或等于0，这表示参考块位于当前块的左侧，且不与当前块重叠；2)值(mvl[1]》》4)+cbheight小于或等于0，这表示参考块位于当前块的上方，且不与当前块重叠。
[0128]
约束还可以包括块矢量mvl满足以下第三条件：(ycb+(mvl[1]》》4))》》ctblog2sizey＝ycb》》ctblog2sizey
ꢀꢀꢀ
(1)(ycb+(mvl[1]》》4+cbheight-1)》》ctblog2sizey＝ycb》》ctblog2size
ꢀꢀꢀ
(2)(xcb+(mvl[0]》》4))》》ctblog2sizey》＝(xcb》》ctblog2sizey)-1
ꢀꢀꢀ
(3)(xcb+(mvl[0]》》4)+cbwidth-1)》》ctblog2sizey《＝(xcb》》ctblog2sizey)
ꢀꢀꢀ
(4)其中，参数ctblog2sizey以log2形式表示ctb宽度。例如，当ctb宽度为128个样本时，ctblog2sizey为7。等式(1)-(2)规定包括参考块的ctb与当前ctb位于同一ctb行(例如，当参考块位于先前重建的ctb(1010)中时，先前重建的ctb(1010)与当前ctb(1015)位于同一行)。等式(3)-(4)规定包括参考块的ctb位于当前ctb的左ctb列或与当前ctb相同的ctb列中。与参考图10的描述类似，由等式(1)-(4)描述的第三条件指定包括参考块的ctb是当前ctb，例如当前ctb(1015)，或者是紧邻当前ctb左边的ctb，例如先前重建的ctb(1010)。
[0129]
约束条件还可以包括第四条件：当参考块在左边紧邻当前ctb时，参考块的并置范围未被重建(即，并置范围中没有样本被重建)。此外，参考块的并置范围位于当前ctb中。在图10示例中，参考块(1091)的并置范围是从参考块(1091)所在的范围(1014)偏移ctb宽度的范围以及范围(1019)尚未被重建。因此，块矢量(1020)和参考块(1091)满足上述第四条件。
[0130]
在一个示例中，第四条件可以指定如下：例如如图10所示，当(xcb+(mvl[0]》》4))》》ctblog2sizey等于(xcb》》ctblog2sizey)-1，调用参考块可用性的衍生过程时，将当前块的位置(xcurr，ycurr)设置为(xcb，ycb)，并将位置((xcb+(mvl[0]》》4)+ctbsizey)》》(ctblog2sizey)-1))《《(ctblog2sizey-1)，((ycb+(mvl[1]》》4))》》(ctblog2sizey-1))《《(ctblog2sizey-1))作为输入，输出等于false，其指示并置范围未被重建。
[0131]
搜索范围和/或块矢量的约束可以包括上述第一、第二、第三和第四条件的适当组合。在一个示例中，如图10所示，约束包括第一、第二、第三和第四条件。在一个示例中，可以修改第一、第二、第三和/或第四条件，并且约束包括修改后的第一、第二、第三和/或第四条件。
[0132]
根据第四条件，当编码块(1022)-(1029)之一是当前块时，参考块不能在范围(1011)中，因此，对编码块(1022)-(1029)之一的搜索范围不包括范围(1011)。排除范围(1011)的原因如下所述：如果参考块在范围(1011)中，则参考块的并置范围是范围(1016)，然而，至少编码块(1021)中的样本已被重建，因此，违反了第四条件。另一方面，对于要在当
前范围中首先重建的编码块，例如图11中的范围(1116)中的编码块(1121)，第四条件不阻止参考块在范围(1111)中，因为尚未重建用于参考块的并置范围(1116)。
[0133]
图11示出了根据本发明实施例的帧内块复制的示例。当前图片(1101)包括正在重建的当前ctb(1115)和在左边紧邻当前ctb(1115)的先前重建的ctb(1110)。当前图片(1101)中的ctb具有ctb大小和ctb宽度。当前ctb(1115)包括4个范围(1116)-(1119)，其中当前范围(1116)正在重建中。当前范围(1116)包括多个编码块(1121)-(1129)。类似地，先前重建的ctb(1110)包括4个范围(1111)-(1114)。首先在当前范围(1116)中重建正在重建的当前块(1121)，并且编码块(1122)-(1129)待重建。在一个示例中，ctb大小是128
×
128个样本，范围(1111)-(1114)和(1116)-(1119)中的每个范围是64
×
64个样本。参考存储器大小等于ctb大小且为128
×
128个样本，因此，当搜索范围由参考存储器大小限定时，搜索范围包括3个范围和附加范围的一部分。
[0134]
类似地，如参考图10所述，当前范围(1116)具有并置范围(即，先前重建的ctb(1110)中的范围(1111))。根据上述第四条件，当前块(1121)的参考块可以在范围(1111)中，因此，搜索范围可以包括范围(1111)-(1114)。例如，当参考块在范围(1111)中时，参考块的并置范围是范围(1116)，其中在重建当前块(1121)之前，范围(1116)中的没有样本被重建。然而，如参考图10和第四条件所述，例如，在重建编码块(1121)之后，范围(1111)不可再被包括在用于重建编码块(1122)的搜索范围中。因此，使用参考存储缓冲器的紧密同步和定时控制可能具有挑战性。
[0135]
根据一些实施例，当要首先在当前ctb的当前范围中重建当前块时，搜索范围可以排除当前范围的并置范围，该当前范围位于先前重建的ctb中，其中当前ctb和先前重建的ctb位于同一当前图片中。块矢量可以被确定，使得参考块位于排除先前重建的ctb的并置范围的搜索范围内。在一个实施例中，搜索范围包括以解码顺序在并置范围之后和在当前块之前重建的编码块。
[0136]
在下面的描述中，ctb大小可以变化，最大ctb大小设置为与参考存储器大小相同。在一个示例中，参考存储器大小或最大ctb大小为128
×
128个样本。这些描述可以适合于其他参考存储器大小或最大ctb大小。
[0137]
在一个实施例中，ctb大小等于参考存储器大小。先前重建的ctb在左边紧邻当前ctb，并置范围的位置从当前范围的位置偏移ctb宽度，并且搜索范围中的编码块位于当前ctb和先前重建的ctb中的至少一个中。
[0138]
图12a-12d示出了根据本发明实施例的帧内块复制的示例。参考图12a-12d，当前图片(1201)包括正在重建的当前ctb(1215)和在左边紧邻当前ctb(1215)的先前重建的ctb(1210)。当前图片(1201)中的ctb具有ctb大小和ctb宽度。当前ctb(1215)包括4个范围(1216)-(1219)。类似地，先前重建的ctb(1210)包括4个范围(1211)-(1214)。在一个实施例中，ctb大小是最大ctb大小并且等于参考存储器大小。在一个示例中，ctb大小和参考存储器大小是128乘128个样本，因此，范围(1211)-(1214)和(1216)-(1219)中的每一个范围具有64乘64个样本的大小。
[0139]
在图12a-12d中所示的示例中，当前ctb(1215)包括分别对应于范围(1216)-(1219)的左上范围、右上范围、左下范围和右下范围。先前重建的ctb(1210)包括分别对应于范围(1211)-(1214)的左上范围、右上范围、左下范围和右下范围。
[0140]
参考图12a，当前区域(1216)正在重建中。当前范围(1216)可以包括多个编码块(1221)-(1229)。当前范围(1216)具有并置范围，即先前重建的ctb(1210)中的范围(1211)。将被重建的编码块(1221)-(1229)之一的搜索范围可以排除并置范围(1211)。搜索范围可以包括以解码顺序在并置范围(1211)之后和当前范围(1216)之前重建的先前重建ctb(1210)的区域(1212)-(1214)。
[0141]
参考图12a，并置范围(1211)的位置从当前范围(1216)的位置偏移ctb宽度，例如128个样本。例如，并置范围(1211)的位置从当前范围(1216)的位置左移128个样本。
[0142]
再次参考图12a，当当前范围(1216)是当前ctb(1215)的左上范围时，并置范围(1211)是先前重建的ctb(1210)的左上范围，并且搜索范围排除先前重建的ctb的左上范围。
[0143]
参考图12b，当前范围(1217)正在重建中。当前范围(1217)可以包括多个编码块(1241)-(1249)。当前范围(1217)具有并置范围(即，先前重建的ctb(1210)中的范围(1212))。多个编码块(1241)-(1249)中的一个的搜索范围可以排除并置范围(1212)。搜索范围包括先前重建的ctb(1210)的范围(1213)-(1214)和当前ctb(1215)中在并置范围(1212)之后和当前范围(1217)之前重建的范围(1216)。由于参考存储器大小(即，一个ctb大小)的约束，搜索范围进一步排除范围(1211)。类似地，并置范围(1212)的位置从当前范围(1217)的位置偏移ctb宽度，例如128个样本。
[0144]
在图12b示例中，当前范围(1217)是当前ctb(1215)的右上范围，并置范围(1212)也是先前重建的ctb(1210)的右上范围，搜索范围排除先前重建的ctb(1210)的右上范围。
[0145]
参考图12c，当前范围(1218)正在重建中。当前范围(1218)可以包括多个编码块(1261)-(1269)。当前范围(1218)在先前重建的ctb(1210)中具有并置范围(即，范围(1213)。多个编码块(1261)-(1269)中的一个的搜索范围可以排除并置范围(1213)。搜索范围包括先前重建的ctb(1210)的范围(1214)和当前ctb(1215)中在并置范围(1213)之后和当前范围(1218)之前重建的范围(1216)-(1217)。类似地，由于参考存储器大小的约束，搜索范围进一步排除范围(1211)-(1212)。并置范围(1213)的位置从当前范围(1218)的位置偏移ctb宽度，例如128个样本。在图12c示例中，当当前范围(1218)是当前ctb(1215)的左下范围时，并置范围(1213)也是先前重建的ctb(1210)的左下范围，并且搜索范围排除先前重建的ctb(1210)的左下范围。
[0146]
参考图12d，当前范围(1219)正在重建中。当前范围(1219)可以包括多个编码块(1281)-(1289)。当前范围(1219)在先前重建的ctb(1210)中具有并置范围(即，范围(1214))。多个编码块(1281)-(1289)中的一个的搜索范围可以排除并置范围(1214)。搜索范围包括当前ctb(1215)中以解码顺序在并置范围(1214)之后和当前范围(1219)之前重建的范围(1216)-(1218)。由于参考存储器大小的约束，搜索范围排除范围(1211)-(1213)，因此，搜索范围排除先前重建的ctb(1210)。类似地，并置范围(1214)的位置从当前范围(1219)的位置偏移ctb宽度，例如128个样本。在图12d示例中，当当前区域(1219)是当前ctb(1215)的右下范围时，并置范围(1214)也是先前重建的ctb(1210)的右下范围，并且搜索范围排除先前重建的ctb(1210)的右下范围。
[0147]
返回参考图2，与五个周围样本(或位置)相关联的mv，分别表示为a0、a1和b0、b1、b2(分别为202到206)，其可以被称为空间合并候选。可以基于空间合并候选来形成候选列
表(例如，合并候选列表)。任何合适的顺序都可以用来形成来自位置的候选名单。在一个示例中，顺序可以是a0、b0、b1、a1和b2，其中a0是第一个，b2是最后一个。在一个示例中，顺序可以是a1、b1、b0、a0和b2，其中a1是第一个，b2是最后一个。
[0148]
根据一些实施例，当前块(例如，编码块(cb)或当前cu)的先前编码块的运动信息可以存储在基于历史的运动矢量预测(history-based motion vector prediction，hmvp)缓冲器(例如，表格)中，以提供当前块的运动矢量预测(mvp)候选(也称为hmvp候选)。hmvp缓冲器可以包括一个或多个hmvp候选，并且可以在编码/解码过程期间维持。在一个示例中，hmvp缓冲器中的hmvp候选对应于先前编码的块的运动信息。hmvp缓冲器可用于任何合适的编码器和/或解码器中。hmvp候选可以添加到空间mvp(s)和tmvp(s)之后的合并候选列表中。
[0149]
当遇到新的ctu(或新的ctb)行时，可以重置hmvp缓冲器(例如清空)。当存在非子块互编码块时，相关联的运动信息可以作为新的hmvp候选添加到hmvp缓冲器的最后一个条目中。
[0150]
在一个示例中，例如在vtm3中，hmvp缓冲器的缓冲器大小(用s表示)被设置为6，这表示最多可以向hmvp缓冲器添加6个hmvp候选。在一些实施例中，hmvp缓冲器可在先进先出(first-in-first-out，fifo)规则中操作，因此，首先存储在hmvp缓冲器中的一段运动信息(或hmvp候选)是第一个从hmvp缓冲器中移除的，例如，当hmvp缓冲器满时。当向hmvp缓冲器插入新的hmvp候选时，首先应用冗余检查以确定hmvp缓冲器中是否存在相同或相似的hmvp候选时，可以使用受限fifo规则。如果确定hmvp缓冲器中存在相同或相似的hmvp候选，则可以从hmvp缓冲器中移除相同或相似的hmvp候选，并且可以在hmvp缓冲器中向前移动剩余的hmvp候选。
[0151]
hmvp候选可以在合并候选列表构建过程中使用，例如在合并模式中。可以按顺序检查hmvp缓冲器中最近存储的hmvp候选，并将其插入tmvp候选之后的合并候选者列表中。可以针对合并候选列表中的空间或时间合并候选，对hmvp候选应用冗余检查。这些描述可以适合于amvp模式，以构建amvp候选列表。
[0152]
为了减少冗余检查操作的数量，可以使用以下简化。(i)用于生成合并候选列表的hmvp候选数量可以设置为(n《＝4)？m：(8-n)。n表示合并候选列表中的现有候选数量，m表示hmvp缓冲器中的可用hmvp候选数量。当合并候选列表中的现有候选数(n)小于或等于4时，用于生成合并候选列表的hmvp候选数等于m。否则，用于生成合并候选列表的hmvp候选数等于(8-n)。(ii)当可用合并候选总数达到允许的最大合并候选减1时，hmvp缓冲器中的合并候选者列表构建过程终止。
[0153]
当ibc模式作为独立于帧间预测模式的模式运行时，可以使用ibc模式的简化bv衍生过程。基于历史的块矢量预测缓冲器(称为hbvp缓冲器)可用于执行bv预测。hbvp缓冲器可用于存储当前图片中当前块(例如cb或cu)的先前编码块的bv信息(例如bv)。在一个示例中，hbvp缓冲器是与其他缓冲器(例如hmvp缓冲器)分离的历史缓冲器。hbvp缓冲区可以是一个表。
[0154]
hbvp缓冲器可以为当前块提供bv预测器(bv predictor，bvp)候选(也称为hbvp候选)。hbvp缓冲器(例如，表)可以包括一个或多个hbvp候选，并且可以在编码/解码过程中维
持。在一个示例中，hbvp缓冲器中的hbvp候选对应于当前图片中先前编码的块的bv信息。hbvp缓冲器可用于任何合适的编码器和/或解码器中。在当前块的空间相邻块的bv(s)之后，可以将hbvp候选添加到为bv预测配置的合并候选列表中。为bv预测配置的合并候选列表可用于合并bv预测模式和/或非合并bv预测模式。
[0155]
当遇到新ctu(或新ctb)行时，hbvp缓冲器可以重置(例如清空)。
[0156]
在一个示例中，例如在vvc中，hbvp缓冲器的缓冲器大小被设置为6，这表示最多可以向hbvp缓冲器添加6个hbvp候选。在一些实施例中，hbvp缓冲器可以在fifo规则中操作，因此，首先存储在hbvp缓冲器中的一段bv信息(或hbvp候选)是第一个从hbvp缓冲器中移除的，例如，当hbvp缓冲器满时。当向hmvp缓冲器插入新的hmvp候选时，首先应用冗余检查以确定hbvp缓冲器中是否存在相同或相似的hbvp候选时，可以使用受限的fifo规则。如果确定hbvp缓冲器中存在相同或相似的hbvp候选时，则可以从hbvp缓冲区中移除相同或相似的hbvp候选，并且可以在hbvp缓冲器中向前移动剩余的hbvp候选。
[0157]
hbvp候选可以在合并候选者列表构建过程中使用，例如，在合并bv预测模式中。可以按顺序检查hbvp缓冲器中最近存储的hbvp候选，并将其插入空间候选之后的合并候选列表中。可以针对合并候选列表中的空间合并候选，对hbvp候选应用冗余检查。
[0158]
在一个实施例中，建立hbvp缓冲器以存储在ibc模式下编码的一个或多个先前编码块的一条或多条bv信息。一条或多条bv信息可以包括在ibc模式中编码的一个或多个先前编码的块的一个或多个bv。此外，一条或多条bv信息中的每一条信息可以包括侧信息(或附加信息)，例如在ibc模式中编码的各个先前编码的块的块大小、块位置等。
[0159]
在基于级别的基于历史的块矢量预测(也称为cbvp)中，对于当前块，hbvp缓冲器中满足特定条件的一条或多条bv信息可以被划分为相应的类别(也称为级别)，从而形成cbvp缓冲区。在一个示例中，hbvp缓冲器中的每一条bv信息用于各自的先前编码的块，例如，用ibc模式编码。用于先前编码的块的bv信息片段可以包括bv、块大小、块位置等。先前编码的块具有块宽度、块高度和块面积。块面积可以是块宽度和块高度的乘积。在一个示例中，块大小由块面积表示。先前编码块的块位置可以由左上角(例如4
×
4区域的左上角)或先前编码块的左上样本表示。
[0160]
图13示出了根据本发明实施例的当前块(例如，cb、cu)(1310)的ibc bv预测的空间类的示例。左范围(1302)可以位于当前块(1310)的左侧。在左范围(1302)中具有各自的块位置的先前编码的块的bv信息可以被称为左候选或左bv候选。顶部范围(1303)可以位于当前块(1310)之上。在顶部范围(1303)中具有相应块位置的先前编码块的bv信息可被称为顶部候选或顶部bv候选。左上范围(1304)可以位于当前块(1310)的左上角。在左上范围(1304)中具有相应块位置的先前编码块的bv信息可被称为左上候选或左上bv候选。右上范围(1305)可以位于当前块(1310)的右上角。在右上范围(1305)中具有相应块位置的先前编码块的bv信息可被称为右上候选或右上bv候选。左下范围(1306)可以位于当前块(1310)的左下角。在左下范围(1306)中具有相应块位置的先前编码块的bv信息可被称为左下候选或左下bv候选。其他类型的空间类也可以在cbvp缓冲区中定义和使用。
[0161]
如果先前编码的块的bv信息满足以下条件，则可以将bv信息划分为相应的类别(或级别)。(i)级别0：块大小(例如块面积)大于或等于阈值(例如64像素)。
(ii)级别1：bv的发生(或频率)大于或等于2。bv的出现可指示bv用于预测先前编码的块的次数。当使用修剪进程来形成cbvp缓冲器时，当bv被多次用于预测先前编码的块时，bv可以存储在一个条目中(而不是存储在具有相同bv的多个条目中)。可以记录bv的发生情况。(iii)级别2：块位置位于左范围(1302)，其中先前编码块的一部分(例如4
×
4区域的左上角)位于当前块(1310)的左侧。先前编码的块可以在左范围(1302)内。或者，先前编码的块可以跨越包括左范围(1302)的多个范围，其中，块位置位于左范围(1302)中。(iv)级别3：块位置在顶部范围(1303)中，其中先前编码块的一部分(例如4
×
4区域的左上角)在当前块(1310)上方。先前编码的块可以在顶部范围(1303)内。或者，先前编码的块可以跨越包括顶部范围(1303)的多个范围，其中，块位置位于顶部范围(1303)中。(v)级别4：块位置位于左上范围(1304)，其中先前编码的块的一部分(例如4
×
4区域的左上角)位于当前块(1310)的左上角。先前编码的块可以在左上范围(1304)内。或者，先前编码的块可以跨越包括左上范围(1304)的多个范围，其中块位置位于左上范围(1304)中。(vi)级别5：块位置位于右上范围(1305)，其中先前编码块的一部分(例如4
×
4区域的左上角)在当前块(1310)的右上角。先前编码的块可以在右上范围(1305)内。或者，先前编码的块可以跨越包括右上范围(1305)的多个范围，其中，块位置位于右上范围(1305)中。(vii)级别6：块位置位于左下范围(1306)，其中编码块的一部分(例如4
×
4区域的左上角)位于当前块(1310)的左下角。先前编码的块可以在左下范围(1306)内。或者，先前编码的块可以跨越包括左下范围(1306)的多个范围，块位置位于左下范围(1306)中。
[0162]
对于每个级别(或类别)，最近编码的块的bv可以作为bvp候选。cbvp缓冲器可以通过按级别0到级别6的顺序添加每个级别的bv预测器来构建。对于cbvp的上述描述可以适当地修改为包括上面未描述的较少级别或附加级别。可以修改0-6级中的一个或多个。在一个示例中，hbvp缓冲器中的每个条目被划分为七个级别0-6中的一个。可以用一个索引来指示选择了0-6级别中的哪一个级别。在解码器端，所选级别中的第一个条目可用于预测当前块的bv。
[0163]
本发明的各个方面提供了与来自参考位置的单个值进行字符串匹配的技术。字符串匹配也称为字符串复制模式或字符串预测。字符串匹配类似于帧内块复制(intra block copy，ibc)，可以在同一张图片中重建基于样本的重建区域字符串。此外，字符串匹配为样本字符串的形状提供了更大的灵活性。
[0164]
图14示出了根据本发明实施例的字符串复制模式的示例。当前图片(1410)包括重建范围(灰色区域)(1420)和正在重建的范围(1421)。范围(1421)的当前块(1435)正在重建中。当前块(1435)可以是cb、cu等。当前块(1435)可以包括多个字符串，例如图14示例中的字符串(1430)和字符串(1431)。在一个示例中，当前块(1435)被划分为多个连续字符串，其中沿扫描顺序，一个字符串后跟随一个字符串。扫描顺序可以是任何合适的扫描顺序，例如光栅扫描顺序、横向扫描顺序等。
[0165]
重建范围(1420)可用作参考区域，以重建字符串(1430)和(1431)。
[0166]
对于多个字符串中的每一个字符串，可以用信号通知字符串偏移矢量(也称为字符串向矢量(sv))和字符串长度(称为字符串长度)。sv可以是位移矢量，其指示待重建字符串和位于参考范围(1420)中且已重建的参考字符串之间的位移偏移。参考字符串可用于重建待重建的字符串。例如，sv0是表示字符串(1430)和参考字符串(1400)之间位移的位移矢量，sv1是表示字符串(1431)和参考字符串(1401)之间位移的位移矢量。因此，sv可以指示相应的参考字符串在参考区域(1420)中的位置。字符串的字符串长度表示字符串中的样本数。通常，待重建的字符串与参考字符串的长度相同。
[0167]
参考图14，当前块(1435)是包含64个样本的8
×
8cb。使用光栅扫描顺序将当前块(1435)分为字符串(1430)和字符串(1431)。字符串(1430)包括当前块(1435)的前29个样本，字符串(1431)包括当前块(1435)的剩余35个样本。用于重建字符串(1430)的参考字符串(1400)可以由对应的字符串矢量sv0指示，并且用于重建字符串(1431)的参考字符串(1401)可以由对应的字符串矢量sv1指示。
[0168]
一般来说，字符串大小可以指字符串的长度或字符串中的样本数。参考图14，字符串(1430)包括29个样本，因此字符串(1430)的字符串大小为29。字符串(1431)包括35个样本，因此字符串(1431)的字符串大小为35。字符串位置可以由字符串中样本(例如，解码顺序中的第一个样本)的样本位置表示。
[0169]
上述描述可以适当地适用于重建包含任何适当数量的字符串的当前块。或者，在一个示例中，当当前块中的样本在参考区域中没有匹配样本时，发送逃逸样本的信号，并且可以直接对逃逸样本的值进行编码，而无需参考参考区域中的重建样本。
[0170]
在一些示例中，字符串中的所有样本共享相同的样本值，这种特定的字符串匹配模式可以称为单值字符串模式。在单值字符串模式下，字符串的字符串矢量可用于引用参考区域中的重建样本，重建样本具有字符串的样本值。
[0171]
在一个示例中，为了改进单值字符串模式，利用使用单值字符串模式的最近发生的解码样本值列表来形成基于历史的列表，而不是为单值字符串模式发送字符串矢量信号，存储基于历史的列表的存储空间可以称为历史缓冲器。在基于历史的列表中，不是记录样本值，而是将最近发生的样本位置(例如，相对于原点的x和y坐标，例如当前图片的左上角)存储在历史缓冲器中。
[0172]
为了使用基于历史的列表，在一些示例中，可以为基于历史的列表中的每个条目发送重用标志，说明该条目是否用于在单值字符串模式下预测当前块。在一个示例中，如果无法从基于历史的列表中的条目中找到单值字符串模式下的当前块的样本值，则可以在比特流中直接向样本值发送信号，以对当前块进行编码。然后，发出信号的样本值可以被称为新的单值。
[0173]
对于一个编码块，可以在单值字符串模式下对多个字符串进行编码。一组新的单值可以在编码块级别通过信号指示。在一些示例中，为了进行预测，可以通过将基于历史的列表的条目与当前编码块中的重用以及通过信号指示的当前编码块的新单值相结合来形成大小为m的候选集。基于历史的列表的大小可以是p，p可以大于m。候选集包括两个子集，例如基于历史的候选子集和新的单值候选子集。对于基于历史的列表中的每个条目，都会通过信号发出重用标志，以指示该条目是否用于预测当前编码块中的任何字符串。在一个示例中，假设选择并重用基于历史的列表中的n个条目(n《＝固定大小的m)。这n个条目被称
为基于历史的候选子集。在一些示例中，可以在比特流中发送索引，用于从基于历史的候选子集中选择预测样本值。如果索引的值在[0，n-1]范围内，则根据索引从基于历史的候选子集中选择特定条目，以便在单值字符串模式下进行预测。否则，如果索引大于n，则需要从比特流解码新的单值以进行预测。索引范围可以限制在[0，m-1]范围内，因此预测的总体候选不会超过m个条目。参考位置或比特流中的相应样本用于单值字符串模式下的预测。
[0174]
在一些示例中，对于单值字符串模式下的每个新的当前编码块，可以发送一组重用标志，以指示基于历史的列表中的哪些条目将与发送的新单值一起用于当前编码块。在对当前编码块进行编码之后，可以通过对当前编码块使用已经建立的候选集(例如，如上所述，基于历史的候选子集和具有通知的新单值的新单值候选子集的组合)来更新基于历史的列表。如果通过插入已建立的候选集，基于历史的列表未满，则基于历史的列表中未标记为重用的条目可放回基于历史的列表中，直到基于历史的列表满为止。
[0175]
在单值字符串模式的相关设计中，单值字符串模式的基于历史的列表中存储的参考样本位置不会更新位置信息，即使参考样本参考自以单值字符串模式最近编码的字符串，在这种情况下，同一参考样本值可能具有更为最新的位置信息，以供将来参考。在一些示例中，由于参考样本存储更新，单值字符串模式的历史缓冲器(基于历史的列表中的一个条目)中的参考样本位置可能不再可用，则无法使用该参考样本位置。
[0176]
本发明的各个方面提供了在单值字符串模式下比相关设计更有效地更新基于历史的列表位置的技术，并在单值字符串模式下提供了更好的参考样本可用性。本发明中的技术可以单独使用或以任何顺序组合使用。在以下描述中，术语块可被解释为预测块、编码块或编码单元，即cu。
[0177]
在一些实施例中，单值字符串模式的基于历史的列表可以根据ibc的参考样本存储器更新机制进行更新。
[0178]
在一些示例中，参考样本存储大小被假定为与ctu大小相同(例如128
×
128个样本)。
[0179]
图15示出了在一些示例中ibc模式的参考样本存储器更新的过程，并且可以相应地更新单值字符串模式的基于历史的列表。
[0180]
在图15示例中，每个ctu具有128
×
128个样本的大小，因此参考样本存储器具有用于存储128
×
128个样本的大小。在图15中，参考样本存储器被划分为4个子部分，每个子部分的大小为64
×
64个样本。在对当前ctu进行编码的操作期间，在一些示例中，参考样本存储器被一个子部分一个子部分地更新。图15示出了在当前ctu的编码期间参考样本存储器(参考样本存储器视图)的状态，以及基于ctu的相应编码/解码过程(ctu视图)。在图15中，编码部分用灰色表示，未编码部分用白色表示，当前编码块用条纹图案表示，当前编码块的参考块用虚线表示。
[0181]
例如，最初参考样本存储器处于(1510)所示的状态(0)，并将重建样本存储在当前ctu的左ctu中。例如，左ctu可被划分为标记为0、1、2和3的4个子块，参考样本存储器存储如1510所示的左ctu的子块0-3的重建样本。当前ctu可分为4个子块，分别标记为4、5、6和7。
[0182]
为了对当前ctu中的子块4进行编码/解码，参考样本存储器进入如(1520)所示的状态(1)。参考样本存储器仍然可以存储左ctu的子块1、2和3的重建样本。用于存储左ctu的子块0的重建样本的参考样本存储器的子部分将用于存储当前ctu的子块4的重建样本。在
一个示例中，在编码当前ctu的子块4之前，可以清除用于存储子块0的重建样本的参考样本存储器的子部分。
[0183]
从ctu视图中，如(1525)所示，左侧ctu的子块0在参考样本存储器中不可用，并标有“x”。左侧ctu中的子块1-3仍在参考样本存储器中。
[0184]
为了对当前ctu中的子块5进行编码/解码，参考样本存储器进入如(1530)所示的状态(2)。参考样本存储器仍然可以存储左ctu的子块2和3以及当前ctu的子块4的重建样本。用于存储左ctu的子块1的重建样本的参考样本存储器的子部分将用于存储当前ctu的子块5的重建样本。
[0185]
从ctu视图中，如(1535)所示，左侧ctu的子块0和1在参考样本存储器中不可用，并标有“x”。左侧ctu中的子块2和3仍在参考样本存储器中。
[0186]
为了对当前ctu中的子块6进行编码/解码，参考样本存储器进入如(1540)所示的状态(3)。参考样本存储器仍然可以存储左ctu的子块3以及当前ctu的子块4和5的重建样本。用于存储左ctu的子块2的重建样本的参考样本存储器的子部分将用于存储当前ctu的子块6的重建样本。
[0187]
从ctu视图中，如(1545)所示，左侧ctu的子块0、1和2在参考样本存储器中不可用，并标有“x”。左侧ctu中的子块3仍在参考样本存储器中。
[0188]
为了对当前ctu中的子块7进行编码/解码，参考样本存储器进入如(1550)所示的状态(4)。参考样本存储器仍然可以存储当前ctu的子块4、5和6的重建样本。用于存储左ctu的子块3的重建样本的参考样本存储器的子部分将用于存储当前ctu的子块7的重建样本。
[0189]
从ctu视图中，如(1555)所示，左侧ctu的子块0、1、2和3在参考样本存储器中不可用，并标有“x”。
[0190]
在图15示例中，在每个状态下(在开始编码当前ctu的每个64
×
64子块时)，参考样本存储器中具有相应样本的可用参考区域以灰色显示，没有“x”标记。在一些实施例中，可用参考区域中的样本值可以用作单值字符串模式中的预测值。因此，为了在单值字符串模式下正确使用基于历史的列表中的可用样本值，可以根据ibc中的可用参考区域更新基于历史的列表。
[0191]
在一个实施例中，在开始编码每个64
×
64子块时，可以从基于历史的列表中移除基于历史的列表中不再在参考样本存储器中(不再在可用参考区域中)的样本/位置。例如，当基于历史的列表中的条目位于标记为“x”的区域时，可以从基于历史的列表中移除该条目。
[0192]
在一个示例中，ctu大小为128
×
128，要从参考样本存储器中移除的样本区域大小可以是64
×
64，也可以是当前块大小(如果大于64
×
64)。当ctu大小小于128
×
128时，移除范围(要从参考样本存储器移除的样本区域)可以是参考样本存储器中的一个ctu大小。从解码图片的角度来看，在这种情况下，在当前每个ctu的开始处，许多紧靠左侧的ctu中，一个先前最左侧的ctu可以标记为不可用。
[0193]
在一些实施例中，当以单值字符串模式编码新字符串时，可以更新基于历史的列表中参考样本的位置信息。
[0194]
例如，长度为n的当前字符串的样本以扫描顺序位于(x0，y0)、(x1，y1)、
…
、(xn-1，yn-1)。(x0，y0)是当前字符串中按照扫描顺序的第一个样本的位置，(xn-1，yn-1)是当前字
符串中按照扫描顺序的第n个样本(或最后一个样本)的位置。在一些示例中，以单值字符串模式对当前字符串进行编码，并基于存储在基于历史的列表或基于历史的候选子集的特定条目a中的位置(xr，yr)对当前字符串的样本值进行编码。例如，当前字符串的样本值与位置(xr，yr)的样本值相同。
[0195]
根据本发明的一个方面，在对当前字符串进行编码之后，基于当前字符串的信息修改基于历史的列表中特定条目a的位置信息。
[0196]
在一个实施例中，第一个样本的位置，例如(x0，y0)，用于替换基于历史的列表的特定条目a中的(xr，yr)。
[0197]
在另一个实施例中，最后一个样本的位置，例如(xn-1，yn-1)，用于替换基于历史的列表的特定条目a中的(xr，yr)。
[0198]
在第三个实施例中，字符串中的任何样本位置(xi，yi)都可以用来替换基于历史的列表的特定条目a中的(xr，yr)。
[0199]
根据本发明的另一个方面，历史缓冲器的二级缓冲器(例如被称为pixeldpb)可用于存储在基于历史的列表中曾经存在但由于参考样本存储器更新而从基于历史的列表中移除的位置处相应的样本值。在一些示例中，二级缓冲器仅存储样本值。在一些示例中，二级缓冲器存储位置和相应的样本值。例如，存储在基于历史的列表的条目处的位置被标识为被移除，然后该位置和/或位置的样本值可以存储到二级缓冲器pixeldpb中。二级缓冲器pixeldpb的大小可以预先定义，例如总共有m个条目，或者具有与基于历史的列表相同数量的条目。
[0200]
在一个实施例中，二级缓冲器pixeldpb可以以先进先出(fifo)的方式操作。例如，当一个新条目被放入二级缓冲器pixeldpb且二级缓冲器pixeldpb已满时，可以从二级缓冲器pixeldpb中移除最早的条目，为新条目留出空间。
[0201]
在另一个实施例中，二级缓冲器pixeldpb具有与基于历史的列表相同大小的条目p。例如，pixdeldpb[]表示二级缓冲器，pixdeldpb[x](x可以是0,1，
…
，p-1)表示二级缓冲器pixeldpb中的条目x。类似地，historylist[]表示基于历史的列表，historylist[x](x可以是0,1，
…
，p-1)表示基于历史的列表中的条目x。此外，二进制可用性数组由available[]表示，并且具有相同的条目大小p，available[x](x可以是0,1，
…
，p-1)表示与条目historylist[x]对应的二进制比特，并且用于指示存储在基于历史的列表的对应条目处的位置的参考样本存储器中的样本值可用性。例如，当基于历史的列表中的相应条目被初始化或重置时，二进制可用数组中的比特被初始化为0。当一个位置存储到historylist[x](x可以是0，1，
…
，p-1)时，相应的比特available[x]被标记为1。当从参考样本存储器中移除(不可用)基于历史的列表historylist[x](x可以是0，1，
…
，p-1)中条目x的位置时，available[x]被标记为0。同时(当available[x]标记为0时)，存储在historylist[x]中的该位置的参考样本值可以存储在pixeldpb[x]中，而不是被丢弃。这样，从基于历史的列表中移除的样本值可以从二级缓冲器pixeldpb中检索，并且仍然可以用于预测当前编码块中单值字符串模式的字符串。
[0202]
在使用单值字符串模式解码当前编码块的操作期间，候选集可以如上所述的类似方式生成。当重用标志设置为1以从基于历史的列表中选择条目historylist[x](x可以是0，1，
…
，p-1)时，并且当该条目的位置可用(available[x]等于1)时，可以获取存储在
historylist[x]中的位置处的样本值以放入已建立的候选集中。然而，当参考样本存储器中该条目historylis[x]中的位置不可用(available[x]等于0)时，将获取pixeldpb[x]中的样本值以放入已建立的候选集中。
[0203]
在对当前块进行编码后，可以使用已经建立的候选集中的条目(例如，如上所述的基于历史的候选子集和具有通过信号指示的新单值的新单值候选子集的组合)来更新基于历史的列表，以及基于历史的列表中未使用的条目。在一些示例中，对于已建立候选集中的条目，在将其放入基于历史的列表historylist[x]时，available[x]被标记为1。候选集中参考样本的位置将使用当前编码块或当前编码区域(例如128
×
128ctu中的64
×
64范围)中的位置进行更新。对于历史列表中未使用的条目historylist[y](y可以是0，1，
…
，p-1)，未使用的条目可以作为更新放回基于历史的列表中，例如historylist[z](z＝0，1，
…
，p-1)。如果更新前available[y]等于1，则更新后available[z]可以标记为1；否则，如果更新前available[y]等于0，则更新后available[z]可以标记为0。此外，更新前pixeldpb[y]中的样本值可以在更新后移动到pixeldpb[z]。
[0204]
在一些实施例中，二级缓冲器pixeldpb的大小可以小于基于历史的列表，或者与基于历史的列表的大小相同(p表示基于历史的列表的大小)。
[0205]
例如，基于历史的列表由historylist[]表示。另外还使用了两个与基于历史的列表具有相同条目大小的数组。另外两个数组包括二进制可用性数组和索引数组。二进制可用性数组由available[]表示，用于在基于历史的列表条目中记录位置的可用性。索引数组由pixeldpb_idx[]表示，用于在pixeldpb的条目中记录索引。
[0206]
例如，在操作期间，当historylist[]中的条目被初始化或重置时，available[]和pixeldpb_idx[]中的条目可以被初始化为0。当一个位置信息被放入historylist[x](x可以是0，1，
…
，p-1)中时，available[x]被标记为1。当从参考样本存储器中移除基于历史的列表中条目x的位置historylist[x](x可以是0，1，
…
，p-1)时，available[x]被标记为0。同时(当available[x]标记为0时)，获取该位置的参考样本值，并以fifo方式将其放入pixeldpb[]，例如放入pixeldpb[y]，而不是丢弃，并且pixeldpb_idx[x]被设置为y。这样，从基于历史的列表中移除的样本值在pixeldpb[]中仍然可用，并可用于预测当前编码块。
[0207]
在使用单值字符串模式解码当前编码块的过程中，候选集的生成与之前类似。当重用标志设置为1以从基于历史的列表中选择一个条目historylist[x]时，并且当该条目的位置可用(在参考样本存储器中且available[x]等于1)时，可以获取存储在条目historylist[x]的位置处的样本值，并将其放入已建立的候选集中。否则，当存储在条目historylist[x]的位置处的样本值不可用(在参考样本存储器中不可用，available[x]等于0)时，可以获取存储在pixeldpb[pixeldpb_idx[x]]处的样本值，并转而将其放入已建立的候选集中。
[0208]
在对当前块进行编码后，可以使用已经建立的候选集中的条目(例如，如上所述的基于历史的候选子集和具有通过信号指示的新单值的新单值候选子集的组合)以及历史列表中未使用的条目来更新历史列表。在一个示例中，对于已建立候选集中的条目，如果该条目来自historylist[i](i可以是0，1，
…
，p-1)，在将其放入基于历史的列表historylist[x]时，available[x]和pixeldpb_idx[x]被设置为该条目的原始的available[i]和pixeldpb_idx[i]。在另一个示例中，如果候选集中的条目在基于历史的列表historylist
[x]中被更新，并且位置是当前编码块中的一个样本位置，则available[x]将被设置为1。在另一个示例中，基于历史的列表(y可以是0，1，
…
，p-1)中未使用的条目historylist[y]可以作为更新放回历史列表中，例如放回条目historylist[z](z可以是0，1，
…
，p-1)。如果更新前available[y]等于1，则更新后available[z]cam标记为1；否则，如果更新前available[y]等于0，则更新后available[z]将标记为0。类似地，pixeldpb_idx[z]在更新之前被设置为pixeldpb_idx[y]的值。
[0209]
在另一个实施例中，在基于历史的列表中存储的位置处的参考样本存储器中的参考样本可用性可以通过pixeldpb_idx[]的值来指示。例如，如果pixeldpb_idx[]等于pixeldpb_max_size(例如，p)，则historylist[x]中存储的位置处的样本值在参考样本存储器中可用，并且可以被获取并放入已建立的候选集中。否则，在输入historylist[x]中存储的位置处的参考样本在参考样本存储器中不可用，并且可以获取pixeldpb[pixeldpb_idx[x]]中的样本值，并将其放入已建立的候选集中。
[0210]
在另一个实施例中，基于历史的列表p的大小和从缓冲器pixeldpb t的大小之和是固定值。在一个示例中，当pixeldpb条目x中的样本(x可以是0、1、
…
，n-1)用于预测当前编码块时，它将被更新为基于历史的列表并标记为可用(available[x]设置为1)。因此，当前解码范围，基于历史的列表的大小可以增加，并且pixeldpb的大小将减小，其中参考样本存储器未更新(在一个示例中为64
×
64范围)。
[0211]
在一些实施例中，pixeldpb[]中的每个条目可以存储该位置的位置信息和样本值。在一些实施例中，pixeldpb[]中的每个条目在某个位置存储样本值，但不存储该位置的信息。
[0212]
图16示出了根据本发明实施例的过程(1600)概述的流程图。该过程(1600)可用于重建编码视频序列的图片中的块或字符串。过程(1600)可用于块的重建中，以生成用于重建中的块的预测块。本发明中的术语块可以解释为预测块、cb、cu等。在各种实施例中，过程(1600)由处理电路执行，例如终端设备(310)、(320)、(330)和(340)中的处理电路、执行视频编码器(403)功能的处理电路、执行视频解码器(410)功能的处理电路、执行视频解码器(510)功能的处理电路、，执行视频编码器(603)等功能的处理电路。在一些实施例中，过程(1600)在软件指令中实现，因此当处理电路执行软件指令时，处理电路执行过程(1600)。过程从(s1601)开始并进行到(s1610)。
[0213]
在(s1610)，确定具有参考样本存储器中可用的样本值的区域，以用于当前块的重建。
[0214]
在(s1620)，更新基于历史的列表，该基于历史的列表用于存储单值字符串模式的先前重建样本的位置，所述位置被限制在区域内。
[0215]
在一个示例中，响应于位置在区域之外，从基于历史的列表的条目中移除该位置。
[0216]
在一些示例中，在开始编码包括所述当前块的范围时确定所述区域，该范围被排除在区域之外。在一些示例中，基于历史的列表包括存储范围中位置的第一条目。然后，从参考样本存储器获取位置的样本值，并且样本值存储在样本缓冲器(也称为二级缓冲器)中。例如，样本值存储在样本缓冲器的第二条目中。第二条目与基于历史的列表中的第一条目相关联。在一个示例中，第一条目和第二条目具有相同的条目索引。在另一个示例中，第二条目由与第一个条目关联的索引数组中的条目指示。在一些示例中，与第一条目关联的
可用性比特被设置为指示不可用。
[0217]
在(s1630)，基于该基于历史的列表重建当前块内的单值字符串模式的字符串。在一些示例中，当与第一条目相关联的可用性比特指示不可用时，响应于字符串矢量指向该位置，在重建当前块的过程中，访问第二条目中的样本值的样本缓冲器。在一些示例中，响应于根据基于历史的列表的条目重建字符串，更新基于历史的列表的条目以在字符串中存储样本位置。样本位置是以下之一：字符串中第一个样本位置、字符串中最后一个样本位置以及第一个样本位置与最后一个样本位置之间的一个位置。然后，过程进行到(s1699)并终止。
[0218]
过程(1600)可适当调整。可以修改和/或省略过程(1600)中的步骤。也可以添加其他步骤。可以使用任何合适的实现顺序。例如，当如上所述确定当前矢量信息是唯一的时，可以将当前矢量信息存储到历史缓冲器中。在一些示例中，当当前矢量信息存储到历史缓冲器中时，使用修剪进程并移除历史缓冲器中的一个矢量信息。
[0219]
可以将上述描述的技术实现为计算机软件。该计算机软件使用计算机可读指令并且物理地存储在一个或多个计算机可读介质中。例如，图17示出了适合于实现所公开主题的某些实施例的计算机系统1700。
[0220]
可以使用任何合适的机器代码或计算机语言对计算机软件进行编码，任何合适的机器代码或计算机语言可以经受汇编、编译、链接或类似的机制以创建包括指令的代码，该指令可以由一个或多个计算机中央处理单元(cpu)、图形处理单元(gpu)等直接执行或通过译码、微码等执行。
[0221]
指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板计算机、服务器、智能手机、游戏装置、物联网装置等。
[0222]
图17所示的用于计算机系统(1700)的组件本质上是示例性的，并不打算对实现本发明实施例的计算机软件的使用范围或功能提出任何限制。组件的配置也不应被解释为具有与计算机系统(1700)的示例性实施例中所示的组件的任何一个或组合相关的任何依赖性或要求。
[0223]
计算机系统(1700)可以包括某些人机接口输入装置。此类人机接口输入装置可以响应于一个或多个人类用户通过例如下述的输入：触觉输入(例如：击键、划动，数据手套移动)、音频输入(例如：语音、拍手)、视觉输入(例如：手势)、嗅觉输入(未描绘出)。人机接口装置还可以用于采集不一定与人的意识输入直接相关的某些媒介，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描的图像、从静止图像相机获取摄影图像)、视频(例如二维视频、包括立体视频的三维视频)等。
[0224]
输入人机接口装置可以包括以下中的一项或多项(每种中仅示出一个)：键盘(1701)、鼠标(1702)、触控板(1703)、触摸屏(1710)、数据手套(未示出)、操纵杆(1705)、麦克风(1706)、扫描仪(1708)、相机(1707)。
[0225]
计算机系统(1700)还可以也可以包括某些人机接口输出装置。这样的人机接口输出装置可以例如通过触觉输出、声音、光和气味/味道来刺激一个或多个人类用户的感官。此类人机接口输出装置可以包括触觉输出装置(例如触摸屏(1710)的触觉反馈、数据手套(未示出)或操纵杆(1705)，但也可以是不作为输入装置的触觉反馈装置)、音频输出装置(例如：扬声器(1709)、耳机(未示出))、视觉输出装置(例如包括crt屏幕、lcd屏幕、等离子
屏幕、oled屏幕的屏幕(1710)，每种屏幕有或没有触摸屏输入功能，每种屏幕都有或没有触觉反馈功能，其中的一些屏幕能够通过诸如立体图像输出之类的装置、虚拟现实眼镜(未描绘出)、全息显示器和烟箱(未描绘出)以及打印机(未描绘出)来输出二维视觉输出或超过三维的输出。
[0226]
计算机系统(1700)也可以包括人类可访问存储装置及其关联介质：例如包括具有cd/dvd 1711等介质的cd/dvd rom/rw(1720)的光学介质、指状驱动器(1722)、可拆卸硬盘驱动器或固态驱动器(1723)、诸如磁带和软盘之类的传统磁性介质(未示出)、诸如安全软件狗之类的基于专用rom/asic/pld的装置(未示出)等。
[0227]
本领域技术人员还应当理解，结合当前公开的主题使用的术语“计算机可读介质”不涵盖传输介质、载波或其他瞬时信号。
[0228]
计算机系统(1700)还可以包括到一个或多个通信网络(1755)的接口(1754)。网络可以例如是无线网络、有线网络、光网络。网络可以进一步地是本地网络、广域网络、城域网络、车辆和工业网络、实时网络、耐延迟网络等。网络的示例包括诸如以太网之类的局域网、无线lan、包括gsm、3g、4g、5g、lte等的蜂窝网络、包括有线电视、卫星电视和地面广播电视的电视有线或无线广域数字网络、包括canbus的车辆和工业用电视等等。某些网络通常需要连接到某些通用数据端口或外围总线(1749)的外部网络接口适配器(例如计算机系统(1700)的usb端口)；如下所述，其他网络接口通常通过连接到系统总线而集成到计算机系统(1700)的内核中(例如，连接到pc计算机系统中的以太网接口或连接到智能手机计算机系统中的蜂窝网络接口)。计算机系统(1700)可以使用这些网络中的任何一个网络与其他实体通信。此类通信可以是仅单向接收的(例如，广播电视)、仅单向发送的(例如，连接到某些canbus装置的canbus)或双向的，例如，使用局域网或广域网数字网络连接到其他计算机系统。如上所述，可以在那些网络和网络接口的每一个上使用某些协议和协议栈。
[0229]
上述人机接口装置、人机可访问的存储装置和网络接口可以附接到计算机系统(1700)的内核(1740)。
[0230]
内核1740可以包括一个或多个中央处理单元(cpu)(1741)、图形处理单元(gpu)(1742)、现场可编程门阵列(fpga)(1743)形式的专用可编程处理单元、用于某些任务的硬件加速器(1744)和图形适配器(1750)等。这些装置以及只读存储器(rom)(1745)、随机存取存储器(1746)、诸如内部非用户可访问的硬盘驱动器、ssd等之类的内部大容量存储器(1747)可以通过系统总线(1748)连接。在一些计算机系统中，可以以一个或多个物理插头的形式访问系统总线(1748)，以能够通过附加的cpu、gpu等进行扩展。外围装置可以直接连接到内核的系统总线(1748)或通过外围总线(1749)连接到内核的系统总线(1748)。在一个示例中，触摸屏(1710)连接到图形适配器(1750)。外围总线的体系结构包括pci、usb等。
[0231]
cpu(1741)、gpu(1742)1742、fpga(1743)和加速器(1744)可以执行某些指令，这些指令可以组合来构成上述计算机代码。该计算机代码可以存储在rom(1745)或ram(1746)中。过渡数据也可以存储在ram(1746)中，而永久数据可以例如存储在内部大容量存储器(1747)中。可以通过使用高速缓存来进行到任何存储装置的快速存储及检索，该高速缓存可以与下述紧密关联：一个或多个cpu(1741)、gpu(1742)、大容量存储(1747)、rom(1745)、ram(1746)等。
[0232]
计算机可读介质可以在其上具有执行各种由计算机实现的操作的计算机代码。介
质和计算机代码可以是出于本公开的目的而专门设计和构建的介质和计算机代码，或者介质和计算机代码可以是计算机软件领域的技术人员公知且可用的类型。
[0233]
作为非限制性示例，可以由于一个或多个处理器(包括cpu、gpu、fpga、加速器等)执行包含在一种或多种有形的计算机可读介质中的软件而使得具有架构(1700)，特别是内核(1740)的计算机系统提供功能。此类计算机可读介质可以是与如上所述的用户可访问的大容量存储相关联的介质，以及某些非暂时性内核(1740)的存储器，例如内核内部大容量存储器(1747)或rom(1745)。可以将实施本技术的各种实施例的软件存储在此类装置中并由内核(1740)执行。根据特定需要，计算机可读介质可以包括一个或多个存储装置或芯片。软件可以使得内核(1740)，特别是其中的处理器(包括cpu、gpu、fpga等)执行本文所描述的特定过程或特定过程的特定部分，包括定义存储在ram(1746)中的数据结构以及根据由软件定义的过程来修改此类数据结构。附加地或替换地，可以由于硬连线或以其他方式体现在电路(例如，加速器(1744))中的逻辑而使得计算机系统提供功能，该电路可以替换软件或与软件一起运行以执行本文描述的特定过程或特定过程的特定部分。在适当的情况下，提及软件的部分可以包含逻辑，反之亦然。在适当的情况下，提及计算机可读介质的部分可以包括存储用于执行的软件的电路(例如集成电路(ic))、体现用于执行的逻辑的电路或包括两者。本技术包括硬件和软件的任何合适的组合。附录a：首字母缩写jem：联合探索模型vvc：通用视频编码bms：基准集mv：运动矢量hevc：高效视频编码mpm：最可能模式waip：广角帧内预测sei：补充增强信息vui：视频可用性信息gops：图片组tus：转换单元pus：预测单元ctu：编码树单元ctbs：编码树块pbs：预测块hrd：假设参考解码器sdr：标准动态范围snr：信噪比cpus：中央处理器gpus：图形处理单元crt：阴极射线管lcd：液晶显示屏
oled：有机发光二极管cd：光盘dvd：数字视频光盘rom：只读存储器ram：随机存取存储器asic：专用集成电路pld：可编程逻辑器件lan：局域网gsm：全球移动通信系统lte：长期演进canbus：控制器局域网总线usb：通用串行总线pci：外围组件互连fpga：现场可编程门阵列ssd：固态硬盘ic：集成电路cu：编码单元pdpc：位置相关预测组合isp：内部子分区sps：序列参数设置
[0234]
尽管本技术已经描述了多个示例性实施例，但是存在落入本技术的范围内的修改、置换和各种替换等效物。因此，应当理解，本领域技术人员将能够设计出许多虽然未在本文中明确示出或描述，但体现了本技术的原理，因此落入本技术的其精神和范围内的系统和方法。