用于视频处理的方法、装置和介质与流程

本公开的实施例总体涉及视频编解码技术，并且更具体地，涉及帧内块复制(ibc)扩展。

背景技术：

1、如今，数字视频能力正被应用于人们生活的各个方面。多种视频压缩技术，如mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4part 10高级视频编解码(avc)、itu-th.265高效视频编解码(hevc)标准、通用视频编解码(vvc)标准已被提出用于视频编码/解码。然而，传统视频编解码技术的编解码效率通常很低，这是不理想的。

技术实现思路

1、本公开的实施例提供了一种用于视频处理的方案。

2、在第一方面，提出了一种用于视频处理的方法。该方法包括：在视频的目标视频块与所述视频的比特流之间的转换期间，确定针对所述目标视频块要应用的基于帧内块复制(ibc)的模式，所述基于ibc的模式基于以下至少一项：具有块向量差(mbvd)的ibc合并模式、基于ibc模式和至少一个另外的预测模式的组合预测模式、基于三角划分的ibc模式、基于几何划分的ibc模式，基于模板匹配(tm)的ibc高级运动向量预测(amvp)模式，或者基于tm的ibc合并模式；以及根据所述基于ibc的模式执行所述转换。根据本公开的第一方面的方法提供了针对ibc的改进。可以支持更多基于ibc的模式，以提高基于ibc的模式的编解码效率。

3、在第二方面，提出了一种用于处理视频数据的装置。用于处理视频数据的装置包括处理器和其上具有指令的非暂态存储器，其中指令在由处理器执行时使得处理器执行根据第一方面的方法。

4、在第三方面，提出了一种用于处理视频数据的装置。非暂态计算机可读存储介质存储使处理器执行根据第一方面的方法的指令。

5、在第四方面，提出了一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储有视频的由视频处理装置执行的方法所产生的比特流，其中该方法包括：确定针对目标视频块要应用的基于帧内块复制(ibc)的模式，所述基于ibc的模式基于以下至少一项：具有块向量差(mbvd)的ibc合并模式、基于ibc模式和至少一个另外的预测模式的组合预测模式、基于三角划分的ibc模式、基于几何划分的ibc模式、基于模板匹配(tm)的ibc高级运动向量预测(amvp)模式，或者基于tm的ibc合并模式；以及根据所述基于ibc的模式执行所述转换。

6、在第五方面，提出了另一种用于视频处理的方法。用于存储视频的比特流的方法包括：确定针对所述目标视频块要应用的基于帧内块复制(ibc)的模式，所述基于ibc的模式基于以下至少一项：具有块向量差(mbvd)的ibc合并模式，基于ibc模式和至少一个另外的预测模式的组合预测模式，基于三角划分的ibc模式，基于几何划分的ibc模式，基于模板匹配(tm)的ibc高级运动向量预测(amvp)模式，或者基于tm的ibc合并模式；根据所述基于ibc的模式生成所述比特流；以及将所述比特流存储在非暂态计算机可读记录介质中。

7、提供本
技术实现要素：
是为了以简化的形式介绍以下在具体实施例中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护主题的范围。

技术特征：

1.一种用于视频处理的方法，包括：

2.根据权利要求1所述的方法，其中所述ibc mbvd模式将被应用，所述方法还包括：

3.根据权利要求2所述的方法，其中所述bvd信息包括以下至少一项：

4.根据权利要求2或3所述的方法，其中所述bv在bv的有效范围内，并且其中用于将bv导出到所述bv的有效范围之外的bvd信息被排除到要被选择的或要用信号发送的bvd信息集之外。

5.根据权利要求2-4中任一项所述的方法，其中生成所述bv包括：

6.根据权利要求2-4中任一项所述的方法，其中生成所述bv包括：

7.根据权利要求书2-6中任一项所述的方法，还包括：

8.根据权利要求7所述的方法，其中mbvd候选索引被包括在所述比特流中以在所述ibc合并候选列表中的第一预定数目个ibc合并候选之中指定所选择的ibc合并候选。

9.根据权利要求8所述的方法，其中所述第一预定数目是二。

10.根据权利要求8或9所述的方法，其中所述mbvd候选索引被二值化为截断码，其最大值等于第一预定数目减一。

11.根据权利要求7-10中任一项所述的方法，其中选择所述至少一个ibc合并候选包括：

12.根据权利要求3所述的方法，其中针对至少一个运动幅度的所述至少一个指示包括距离索引，所述距离索引指示从起始点开始的预定义偏移。

13.根据权利要求12所述的方法，其中所述预定义偏移包括添加到起始块向量(bv)的水平分量或垂直分量的偏移。

14.根据权利要求12所述的方法，其中所述预定义偏移包括添加到起始bv的水平分量和垂直分量两者的偏移。

15.根据权利要求12所述的方法，其中所述预定义偏移是1个像素、2个像素、4个像素、8个像素、16个像素或32个像素。

16.根据权利要求12所述的方法，其中所述预定义偏移是1个像素、2个像素、4个像素、8个像素、16个像素、32个像素、64个像素或128个像素。

17.根据权利要求12所述的方法，其中所述预定义偏移是1个像素、2个像素、3个像素、4个像素、6个像素、8个像素或16个像素。

18.根据权利要求12所述的方法，其中所述预定义偏移是1个像素、2个像素、3个像素、4个像素、6个像素、8个像素、16个像素、32个像素或64个像素。

19.根据权利要求12-18中任一项所述的方法，其中在序列级别、图片级别、条带级别、编解码树单元(ctu)级别、或编解码单元(cu)级别，从针对所述视频的编码器向针对所述视频的解码器指示各个距离索引与预定义偏移之间的关系。

20.根据权利要求3所述的方法，其中针对所述至少一个运动方向的至少一个指示包括指示bvd相对于起始点的预定义方向的方向索引，并且其中所述方向索引表示第二预定数目个bvd方向之中的bvd方向。

21.根据权利要求20所述的方法，其中所述第二预定数目是四或八。

22.根据权利要求21所述的方法，其中所述第二预定数目是四，且所述第二预定数目个bvd方向包括四个水平/垂直方向、或四个对角线方向。

23.根据权利要求22所述的方法，其中所述方向索引是以下一项：

24.根据权利要求22所述的方法，其中所述第二预定数目是四，并且所述方向索引是以下一项：

25.根据权利要求21所述的方法，其中所述第二预定数目为八，且所述第二预定数目个bvd方向包括四个水平/垂直方向以及四个对角线方向。

26.根据权利要求25所述的方法，其中所述方向索引是以下一项：

27.根据权利要求12或20所述的方法，其中所述距离指数或所述方向指数至少其中之一基于以下至少一项被二值化：

28.根据权利要求3所述的方法，其中所述至少一个运动幅度的数目和/或所述至少一个运动方向的数目基于以下至少一项被确定：

29.根据权利要求28所述的方法，其中所述至少一个邻近块包括上方邻近块和左侧邻近块。

30.根据权利要求28所述的方法，其中所述至少一个邻近块包括至少一个相邻空间邻近块，所述至少一个相邻空间邻近块包括以下至少一项：

31.根据权利要求28-30中任一项所述的方法，其中在序列级别、图片级别、条带级别、编解码树单元(ctu)级别或编解码单元(cu)级别，从针对所述视频的编码器向针对所述视频的解码器指示所述至少一个运动幅度的数目和/或所述至少一个运动方向的数目。

32.根据权利要求1所述的方法，其中基于ibc模式和至少一个另外的预测模式的所述组合预测模式将被应用，并且所述至少一个另外的预测模式包括帧内预测模式或帧间预测模式。

33.根据权利要求32所述的方法，其中所述帧内预测模式包括以下一项：

34.根据权利要求1所述的方法，其中基于ibc模式和至少一个另外的预测模式的所述组合预测模式将被应用，并且该方法还包括：

35.根据权利要求34所述的方法，其中所述目标预测信号还基于偏移来确定，所述偏移是整数。

36.根据权利要求34所述的方法，其中所述至少一个第一预测块的至少一个第一权重和所述至少一个第二预测块的至少一个第二权重是基于权重参数和预定值来确定的。

37.根据权利要求34-36中任一项所述的方法，其中所述目标预测块通过以下等式来确定：

38.根据权利要求36或37所述的方法，其中所述预定值为2。

39.根据权利要求36-38中任一项所述的方法，其中所述权重参数的值是预定义的或者是基于样本的位置而确定的。

40.根据权利要求39所述的方法，其中所述权重参数的值被预定义为2。

41.根据权利要求39所述的方法，其中第一位置的权重参数的值被确定为2的所述预定值次幂，并且第二位置的权重参数的值被确定为零。

42.根据权利要求35-41中任一项所述的方法，其中从针对所述视频的编码器向针对所述视频的解码器指示所述权重参数的值。

43.根据权利要求34所述的方法，其中基于所述ibc模式生成所述至少一个第一预测块包括：

44.根据权利要求36-38中任一项所述的方法，其中所述权重参数的值基于以下至少一项来确定：

45.根据权利要求44所述的方法，其中所述至少一个邻近块包括顶部邻近块和左侧邻近块。

46.根据权利要求45所述的方法，其中所述权重参数的值基于以下来确定：

47.根据权利要求34所述的方法，其中基于所述ibc模式生成针对所述目标视频块的至少一个第一预测块包括：

48.根据权利要求47所述的方法，其中所述ibc合并候选索引被包括在所述比特流中以在所述ibc合并候选列表中的第三预定数目个ibc合并候选之中指定所选择的ibc合并候选。

49.根据权利要求48所述的方法，其中所述第三预定数目被设置为以下一项：

50.根据权利要求48或49所述的方法，其中从针对所述视频的编码器向针对所述视频的解码器指示所述第三预定数目。

51.根据权利要求48-50中任一项所述的方法，其中根据ibc合并候选的绝对变换差总和(satd)成本的升序，从所述ibc合并候选列表中确定所述第三预定数目个ibc合并候选。

52.根据权利要求47-50中任一项所述的方法，其中从ibc合并候选列表中选择ibc合并候选包括：

53.根据权利要求52所述的方法，其中所述satd成本是在对所述ibc合并候选列表进行重新排序之后被确定的。

54.根据权利要求34所述的方法，其中所述至少一个另外的预测模式包括帧间预测模式，并且其中生成针对所述目标视频块的所述至少一个第二预测块包括：

55.根据权利要求54所述的方法，其中所述合并候选索引被包括在所述比特流中以在所述常规合并候选列表中的第四预定数目个常规合并候选之中指定所选择的常规合并候选。

56.根据权利要求55所述的方法，其中所述第四预定数目被设置为以下一项：

57.根据权利要求55或56所述的方法，其中从针对所述视频的编码器向针对所述视频的解码器指示所述第四预定数目。

58.根据权利要求55-57中任一项所述的方法，其中所述第四预定数目个常规合并候选是根据常规合并候选的satd成本的升序从所述常规合并候选列表中确定的。

59.根据权利要求55-58中任一项所述的方法，其中从常规合并候选列表中选择常规合并候选包括：

60.根据权利要求58所述的方法，其中所述satd成本是在对所述常规合并候选列表进行重新排序之后确定的。

61.根据权利要求1所述的方法，其中确定要应用的所述基于ibc的模式包括：

62.根据权利要求61所述的方法，其中所述编解码信息包括以下至少一项：

63.根据权利要求62所述的方法，其中如果所述目标视频块是在合并模式中被编解码的，则基于以下至少一项而将标志包括在所述比特流中以指示所述组合预测模式是否被应用于所述目标视频块：

64.根据权利要求63所述的方法，其中所述合并模式包括ibc合并模式或常规合并模式。

65.根据权利要求63或64所述的方法，其中所述第一阈值包括64个亮度样本。

66.根据权利要求书63-65中任一项所述的方法，其中所述第二阈值包括128个亮度样本或64个亮度样本。

67.根据权利要求1所述的方法，还包括：

68.根据权利要求67所述的方法，其中在所述基于三角划分的ibc模式中，所述分割线包括对角线或反对角线。

69.根据权利要求67所述的方法，其中在所述基于几何划分的ibc模式中，所述分割线包括几何定位的直线。

70.根据权利要求67-69中任一项所述的方法，还包括：

71.根据权利要求70所述的方法，还包括：

72.根据权利要求70所述的方法，其中所述单向预测ibc候选列表是从ibc合并候选列表的至少一部分中导出的。

73.根据权利要求71或72所述的方法，其中导出所述单向预测运动信息包括：

74.根据权利要求70-73中任一项所述的方法，还包括：

75.根据权利要求74所述的方法，其中基于所述样本与所述分割线之间的距离来确定样本的权重。

76.根据权利要求70-73中任一项所述的方法，还包括：

77.根据权利要求70-76中任一项所述的方法，其中如果在区域中所存储的运动向量类型被设置为第一值，则将所述第一运动信息存储到对应的运动场中，并且其中如果在区域中所存储的运动向量类型被设置为第二值或第三值，则将所述第二运动信息存储在所述对应的运动场中，并且

78.根据权利要求69-77中任一项所述的方法，其中使用cu级标志在所述比特流中指示基于三角划分或几何划分的ibc模式的指示，作为ibc合并模式的类型。

79.根据权利要求67-78中任一项所述的方法，其中如果确定基于三角划分的ibc模式被应用于所述目标视频块，则以下至少一项在所述比特流中被指示：

80.根据权利要求67-78中任一项所述的方法，其中如果所述基于几何划分的ibc模式被应用于所述目标视频块，则以下至少一项在所述比特流中被指示：

81.根据权利要求1所述的方法，还包括：

82.根据权利要求81所述的方法，其中所述第五预定数目个ibc mvp候选包括所选择的起始点候选集合。

83.根据权利要求82所述的方法，还包括：

84.根据权利要求83所述的方法，其中执行所述模板匹配包括：

85.根据权利要求83所述的方法，其中执行所述模板匹配包括：

86.根据权利要求84或85所述的方法，其中细化所述起始点候选包括：

87.根据权利要求86所述的方法，其中在所述迭代菱形搜索期间，执行第六预定数目个搜索轮次，直到中心搜索点具有针对菱形搜索模式的最小匹配成本。

88.根据权利要求87所述的方法，其中所述第六预定数目包括无符号整数的最大值或375。

89.根据权利要求84所述的方法，还包括：

90.根据权利要求85所述的方法，其中执行所述模板匹配包括：

91.根据权利要求89或90所述的方法，其中一轮搜索被用于交叉搜索模式。

92.根据权利要求81-91中任一项所述的方法，还包括：

93.根据权利要求92所述的方法，其中从针对所述视频的编码器向针对所述视频的解码器指示关于所述选择的信息。

94.根据权利要求93所述的方法，其中如果所述第五预定数目是1，则不指示关于所述选择的信息。

95.根据权利要求92-94中任一项所述的方法，还包括：

96.根据权利要求92所述的方法，其中针对基于块匹配的本地搜索或基于哈希的搜索的起始点被确定为所选择的经细化的ibc mvp候选、或通过针对ibc的帧内模板匹配(tm_ibc)而导出的bv。

97.根据权利要求92所述的方法，其中如果ibc自适应运动向量分辨率(amvr)被启用，则以至少一个另外的mvd精度来重新使用mvd精度下的经细化的ibc amvp候选。

98.根据权利要求97所述的方法，其中在全像素mvd精度下的经细化的ibc amvp候选以4像素mvd精度被重新使用。

99.根据权利要求1所述的方法，还包括：

100.根据权利要求99所述的方法，其中所述第七预定数目个ibc合并候选包括所选择的起始点候选集合。

101.根据权利要求100所述的方法，还包括：

102.根据权利要求101所述的方法，其中执行所述模板匹配包括：

103.根据权利要求102所述的方法，其中细化所述起始点候选包括：

104.根据权利要求103所述的方法，其中在所述迭代菱形搜索期间，执行第八预定数目个搜索轮次，直到中心搜索点具有针对菱形搜索模式的最小匹配成本。

105.根据权利要求104所述的方法，其中所述第八预定数目包括无符号整数的最大值或375。

106.根据权利要求102-105中任一项所述的方法，还包括：

107.根据权利要求106所述的方法，其中一轮搜索被用于交叉搜索模式。

108.根据权利要求99-107中任一项所述的方法，还包括：

109.根据权利要求108所述的方法，其中从所述视频的编码器向所述视频的解码器指示关于所述选择的信息。

110.根据权利要求109所述的方法，其中如果所述第七预定数目是1，则不指示关于所述选择的信息。

111.根据权利要求108-110中任一项所述的方法，还包括：

112.根据权利要求108-111中任一项所述的方法，其中选择所述经细化的ibc合并候选包括：

113.根据权利要求99所述的方法，还包括：

114.根据权利要求113所述的方法，还包括：

115.根据权利要求1-114中任一项的方法，其中在所述基于ibc的模式中，预测样本至少是从由块向量确定的相同视频区的样本值的块中导出的。

116.根据权利要求1-115中任一项所述的方法，其中所述转换包括将目标视频块编码到比特流中。

117.根据权利要求1-115中任一项所述的方法，其中所述转换包括从所述比特流解码所述目标视频块。

118.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求书1-117中任一项所述的方法。

119.一种非暂态计算机可读存储介质，存储有使处理器执行根据权利要求1-117中任一项所述的方法的指令。

120.一种非暂态计算机可读记录介质，存储有视频的由视频处理装置执行的方法所生成的比特流，其中该方法包括：

121.一种用于存储视频的比特流的方法，包括：

技术总结
本公开的实施例提供了一种用于视频处理的方案。提出了一种用于视频处理的方法。该方法包括：在视频的目标视频块与视频的比特流之间的转换期间，确定针对目标视频块要应用的基于帧内块复制(IBC)的模式，基于IBC的模式基于以下至少一项：具有块向量差(MBVD)的IBC合并模式、基于IBC模式和至少另一个预测模式的组合预测模式、基于三角划分的IBC模式、基于几何划分的IBC模式、基于模板匹配(TM)的IBC高级运动向量预测(AMVP)模式、或者基于TM的IBC合并模式；以及根据所述基于IBC的模式执行所述转换。

技术研发人员：张娜,张凯,张莉
受保护的技术使用者：抖音视界有限公司
技术研发日：
技术公布日：2024/7/4