视频编解码中的递归预测单元的制作方法

本专利文档涉及文件格式的数字音频视频媒体信息的生成、存储和消费。

背景技术：

1、数字视频占了互联网和其他数字通信网络上使用的最大带宽。随着能够接收和显示视频的连接用户设备的数量增加，对数字视频使用的带宽需求可能继续增长。

技术实现思路

1、第一方面涉及一种用于处理视频数据的方法，包括：确定将编解码树单元(ctu)划分为一个或多个编解码单元(cu)；确定将cu递归地划分为预测单元(pu)，其中cu中的一个或多个是一个或多个预测树单元(ptu)；以及基于pu来执行可视媒体数据和比特流之间的转换。

2、可选地，在任一前述方面，该方面的另一实施方式提供了至少一个ptu是叶pu，并且其中叶pu不被进一步划分。

3、可选地，在任一前述方面，该方面的另一实施方式提供了至少一个ptu被进一步划分为多个pu。

4、可选地，在任一前述方面，该方面的另一实施方式提供了pu中的至少一个被进一步划分为多个pu。

5、可选地，在任一前述方面，该方面的另一实施方式提供了叶pu不被进一步划分，并且来自共同ptu的不同叶pu具有不同的预测模式。

6、可选地，在任一前述方面，该方面的另一实施方式提供了来自多个pu的残差在单个变换单元(tu)中被变换编解码。

7、可选地，在任一前述方面，该方面的另一实施方式提供了ptu被划分为：通过四叉树(qt)划分的四个pu、通过垂直二叉树(bt)划分的两个pu、通过水平bt划分的两个pu、通过垂直三叉树(tt)划分的三个pu、通过水平tt划分的三个pu、通过垂直非对称四叉树(uqt)划分的四个pu、通过水平uqt划分的四个pu、通过垂直非对称二叉树(ubt)划分的两个pu、通过水平ubt划分的两个pu、通过垂直扩展四叉树(eqt)划分的四个pu、通过水平eqt划分的四个pu、或者其组合。

8、可选地，在任一前述方面，该方面的另一实施方式提供了一个或多个pu被划分为：通过四叉树(qt)划分的四个pu、通过垂直二叉树(bt)划分的两个pu、通过水平bt划分的两个pu、通过垂直三叉树(tt)划分的三个pu、通过水平tt划分的三个pu、通过垂直非对称四叉树(uqt)划分的四个pu、通过水平uqt划分的四个pu、通过垂直非对称二叉树(ubt)划分的两个pu、通过水平ubt划分的两个pu、通过垂直扩展四叉树(eqt)划分的四个pu、通过水平eqt划分的四个pu、或者其组合。

9、可选地，在任一前述方面，该方面的另一实施方式提供了比特流包括指示应用于pu和ptu的划分的语法。

10、可选地，在任一前述方面，该方面的另一实施方式提供了比特流包括指示对应的ptu是否被进一步划分为多个pu的语法元素。

11、可选地，在任一前述方面，该方面的另一实施方式提供了比特流包括指示对应的pu是否被进一步划分为多个pu的语法元素。

12、可选地，在任一前述方面，该方面的另一实施方式提供了比特流包括指示ptu或pu的划分模式和划分方向的语法。

13、可选地，在任一前述方面，该方面的另一实施方式提供了指示划分模式和划分方向的语法在ptu或pu被进一步划分时仅针对ptu或pu而被信令通知。

14、可选地，在任一前述方面，该方面的另一实施方式提供了深度针对pu或ptu而被计算。

15、可选地，在任一前述方面，该方面的另一实施方式提供了深度是指示祖先视频单元通过qt被划分的次数的qt深度。

16、可选地，在任一前述方面，该方面的另一实施方式提供了深度是指示祖先视频单元通过任何划分类型被划分的次数的多类型树(mtt)深度。

17、可选地，在任一前述方面，该方面的另一实施方式提供了深度被初始化为与ptu或pu相对应的cu的深度。

18、可选地，在任一前述方面，该方面的另一实施方式提供了当前视频单元的划分不包括在比特流中，并且由解码器推断，并且其中当前视频单元是pu或ptu。

19、可选地，在任一前述方面，该方面的另一实施方式提供了划分根据以下而被推断：当前视频单元维度、当前视频单元深度、相对于图片边界的当前视频单元位置、相对于子图片边界的当前视频单元位置、当前视频单元是否可以被进一步划分、相对于深度阈值的当前视频单元深度、相对于高度阈值的当前视频单元高度、相对于宽度阈值的当前视频单元宽度、或者其组合。

20、可选地，在任一前述方面，该方面的另一实施方式提供了划分通过以下的比较而不被允许：相对于高度阈值的当前视频单元高度、相对于宽度阈值的当前视频单元宽度、相对于尺寸阈值的当前视频高度和当前视频宽度、相对于深度阈值的当前视频单元深度、相对于尺寸阈值的当前视频单元尺寸、或者其组合。

21、可选地，在任一前述方面，该方面的另一实施方式提供了转换包括将可视媒体数据编码为比特流。

22、可选地，在任一前述方面，该方面的另一实施方式提供了转换包括解码比特流以获得可视媒体数据。

23、第二方面涉及一种用于处理视频数据的装置，包括：处理器；以及非暂时性存储器，其上具有指令，其中该指令在由处理器执行时使得处理器执行任一前述方面的方法。

24、第三方面提供了一种非暂时性计算机可读介质，包括供视频编解码设备使用的计算机程序产品，该计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可执行指令，使得当由处理器执行时，使视频编解码设备执行任一前述方面的方法。

25、第四方面涉及一种存储通过由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中该方法包括：确定将一个或多个编解码单元(cu)递归地划分为预测单元(pu)；以及基于该确定来生成比特流。

26、第五方面涉及一种用于存储视频的比特流的方法，包括：确定将一个或多个编解码单元(cu)递归地划分为预测单元(pu)；基于该确定来生成比特流；以及将比特流存储在非暂时性计算机可读记录介质中。

27、为了清楚的目的，任何一个前述实施例可以与任何一个或多个其他前述实施例组合，以在本公开的范围内创建新的实施例。

28、从结合附图的以下详细描述以及权利要求中，将更清楚地理解这些和其他特征。

技术特征：

1.一种用于处理视频数据的方法，包括：

2.根据权利要求1所述的方法，其中，至少一个ptu是叶pu，并且其中，叶pu不被进一步划分。

3.根据权利要求1-2中任一项所述的方法，其中，至少一个ptu被进一步划分为多个pu。

4.根据权利要求1-3中任一项所述的方法，其中，所述pu中的至少一个被进一步划分为多个pu。

5.根据权利要求1-4中任一项所述的方法，其中，叶pu不被进一步划分，并且其中，来自共同ptu的不同叶pu具有不同的预测模式。

6.根据权利要求1-5中任一项所述的方法，其中，来自多个pu的残差在单个变换单元(tu)中被变换编解码。

7.根据权利要求1-6中任一项所述的方法，其中，所述ptu被划分为：通过四叉树(qt)划分的四个pu、通过垂直二叉树(bt)划分的两个pu、通过水平bt划分的两个pu、通过垂直三叉树(tt)划分的三个pu、通过水平tt划分的三个pu、通过垂直非对称四叉树(uqt)划分的四个pu、通过水平uqt划分的四个pu、通过垂直非对称二叉树(ubt)划分的两个pu、通过水平ubt划分的两个pu、通过垂直扩展四叉树(eqt)划分的四个pu、通过水平eqt划分的四个pu、或者其组合。

8.根据权利要求1-7中任一项所述的方法，其中，一个或多个pu被划分为：通过四叉树(qt)划分的四个pu、通过垂直二叉树(bt)划分的两个pu、通过水平bt划分的两个pu、通过垂直三叉树(tt)划分的三个pu、通过水平tt划分的三个pu、通过垂直非对称四叉树(uqt)划分的四个pu、通过水平uqt划分的四个pu、通过垂直非对称二叉树(ubt)划分的两个pu、通过水平ubt划分的两个pu、通过垂直扩展四叉树(eqt)划分的四个pu、通过水平eqt划分的四个pu、或者其组合。

9.根据权利要求1-8中任一项所述的方法，其中，所述比特流包括指示应用于所述pu和ptu的划分的语法。

10.根据权利要求1-9中任一项所述的方法，其中，所述比特流包括指示对应的ptu是否被进一步划分为多个pu的语法元素。

11.根据权利要求1-10中任一项所述的方法，其中，所述比特流包括指示对应的pu是否被进一步划分为多个pu的语法元素。

12.根据权利要求1-11中任一项所述的方法，其中，所述比特流包括指示ptu或pu的划分模式和划分方向的语法。

13.根据权利要求1-12中任一项所述的方法，其中，指示划分模式和划分方向的语法在ptu或pu被进一步划分时仅针对ptu或pu而被信令通知。

14.根据权利要求1-13中任一项所述的方法，其中，深度针对pu或ptu而被计算。

15.根据权利要求1-14中任一项所述的方法，其中，所述深度是指示祖先视频单元通过qt被划分的次数的qt深度。

16.根据权利要求1-15中任一项所述的方法，其中，所述深度是指示祖先视频单元通过任何划分类型被划分的次数的多类型树(mtt)深度。

17.根据权利要求1-16中任一项所述的方法，其中，所述深度被初始化为与所述ptu或pu相对应的cu的深度。

18.根据权利要求1-17中任一项所述的方法，其中，当前视频单元的划分不包括在所述比特流中，并且由解码器推断，并且其中，所述当前视频单元是pu或ptu。

19.根据权利要求1-18中任一项所述的方法，其中，所述划分根据以下而被推断：当前视频单元维度、当前视频单元深度、相对于图片边界的当前视频单元位置、相对于子图片边界的当前视频单元位置、当前视频单元是否可以被进一步划分、相对于深度阈值的当前视频单元深度、相对于高度阈值的当前视频单元高度、相对于宽度阈值的当前视频单元宽度、或者其组合。

20.根据权利要求1-19中任一项所述的方法，其中，所述划分通过以下的比较而不被允许：相对于高度阈值的当前视频单元高度、相对于宽度阈值的当前视频单元宽度、相对于尺寸阈值的当前视频高度和当前视频宽度、相对于深度阈值的当前视频单元深度、相对于尺寸阈值的当前视频单元尺寸、或者其组合。

21.根据权利要求1-20中任一项所述的方法，其中，所述转换包括将所述可视媒体数据编码为所述比特流。

22.根据权利要求1-20中任一项所述的方法，其中，所述转换包括解码所述比特流以获得所述可视媒体数据。

23.一种用于处理视频数据的装置，包括：处理器；以及非暂时性存储器，其上具有指令，其中所述指令在由处理器执行时使得所述处理器执行根据权利要求1-22中任一项所述的方法。

24.一种非暂时性计算机可读介质，包括供视频编解码设备使用的计算机程序产品，所述计算机程序产品包括存储在所述非暂时性计算机可读介质上的计算机可执行指令，使得当由处理器执行时，使所述视频编解码设备执行根据权利要求1-22中任一项所述的方法。

25.一种存储通过由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中所述方法包括：

26.一种用于存储视频的比特流的方法，包括：

技术总结
公开了一种由视频编解码装置实施的用于处理视频数据的机制。该机制确定将编解码树单元(CTU)划分为一个或多个编解码单元(CU)。CU中的一个或多个可以是一个或多个预测树单元(PTU)。该机制进一步确定将CU递归地划分为预测单元(PU)。该方法基于PU来执行可视媒体数据和比特流之间的转换。

技术研发人员：张凯,张莉,邓智玭,张娜,王洋
受保护的技术使用者：抖音视界有限公司
技术研发日：
技术公布日：2024/3/4