对环路内滤波的限制的制作方法

对环路内滤波的限制
1.相关申请的交叉引用
2.本技术要求于2019年3月2日提交的题为“对分割结构的限制”的pct/cn2019/076785的优先权。出于所有目的，前述申请的全部公开内容通过引用而并入，作为本技术的公开内容的一部分。
技术领域
3.本专利文件涉及视频编解码技术、设备和系统。


背景技术：

4.目前，正在努力提高当前视频编解码器技术的性能，以提供更好的压缩比或提供允许更低复杂性或并行实施方式的视频编码和解码方案。行业专家最近提出了几种新的视频编解码工具，目前正在进行测试以确定其有效性。


技术实现要素：

5.描述了涉及数字视频编解码，并且具体地，涉及推导运动矢量的设备、系统和方法。所描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(high efficiency video coding，hevc)或多功能视频编解码)以及未来的视频编解码标准或视频编解码器。
6.在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括至少部分地基于虚拟流水线数据单元(virtual pipeline data unit，vpdu)尺寸来确定与分割树相关联的分割类型对于视频块是允许的还是不允许的，其中vpdu尺寸包括vpdu高度和vpdu宽度，其中，响应于不允许分割类型，在比特流中不存在该分割类型的指示。
7.在另一个代表性方面，所公开的技术可以用于提供另一种用于视频处理的方法。该方法包括至少部分地基于最大允许的子块变换尺寸来确定与分割树相关联的分割类型对于视频块是允许的还是不允许的，其中最大允许的子块变换尺寸包括最大允许的子块变换高度和最大允许的子块变换宽度，其中响应于不允许分割类型，在比特流中不存在该分割类型的指示。
8.在又一个代表性方面，所公开的技术可以用于提供又一种用于视频处理的方法。该方法包括至少部分地基于最大允许的变换尺寸和虚拟流水线数据单元(vpdu)尺寸，或者至少部分地基于最大允许的子块变换尺寸和虚拟流水线数据单元(vpdu)尺寸，来确定与分割树相关联的分割类型对于视频块是允许的还是不允许的，其中vpdu尺寸包括vpdu高度和vpdu宽度，其中最大允许的变换尺寸包括最大允许的变换高度和最大允许的变换宽度，其中，响应于不允许分割类型，在比特流中不存在该分割类型的指示。
9.在又一个代表性方面，所公开的技术可以用于提供又一种用于视频处理的方法。该方法包括：在应用子块变换的情况下，确定样点是否位于子块变换边界；如果确定样点位
于子块变换边界，则应用去方块滤波处理；以及执行视频和视频的比特流表示之间的转换。
10.在又一个代表性方面，所公开的技术可以用于提供又一种用于视频处理的方法。该方法包括：基于是否应用子块变换来确定如何对视频块应用滤波处理；基于该确定来执行滤波处理；以及执行视频块和视频的比特流表示之间的转换。
11.此外，在一个代表性方面，公开了一种视频解码装置，包括被配置为实施任何一种或多种所公开的方法的处理器。
12.此外，在一个代表性方面，公开了一种视频编码装置，包括被配置为实施任何一种或多种所公开的方法的处理器。
13.此外，在一个代表性方面，公开了一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器。该指示在由处理器执行时，使得处理器实施任何一种或多种所公开的方法。
14.此外，公开了一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行任何一种或多种所公开的方法的程序代码。
15.在附图、说明书和权利要求书中更详细地描述了所公开技术的以上和其他方面和特征。
附图说明
16.图1示出了宏块分割的示例。
17.图2示出了用于将编解码块(coding blocks，cb)划分成预测块(prediction block，pb)的模式的示例。
18.图3a示出了编解码树块(coding tree block，ctb)及其分割的示例。
19.图3b示出了与图3a中的ctb相对应的四叉树的示例。
20.图4a和图4b示出了结合四叉树加二叉树(quadtree plus binary tree，qtbt)块结构的图示。
21.图5a
‑
图5e示出了分割类型的示例。
22.图6示出了子块变换模式的示例。
23.图7是用于实施本文中描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。
24.图8示出了用于视频编解码的示例方法的流程图。
25.图9示出了用于视频编解码的示例方法的流程图。
26.图10示出了用于视频编解码的示例方法的流程图。
27.图11示出了用于视频编解码的示例方法的流程图。
28.图12示出了用于视频编解码的示例方法的流程图。
29.图13示出了用于视频编解码的示例方法的流程图。
具体实施方式
30.1.h.264/avc中的视频编解码
31.视频编解码标准主要是通过众所周知的itu
‑
t和iso/iec标准的发展而演变的。itu
‑
t制定了h.261和h.263，iso/iec制定了mpeg
‑
1和mpeg
‑
4可视化，并且这两个组织联合
制定了h.262/mpeg
‑
2视频和h.264/mpeg
‑
4高级视频编解码(advanced video coding，avc)和h.265/hevc标准。自h.262以来，视频编解码标准是基于混合视频编解码结构，其中利用了时域预测加变换编解码。为了探索hevc以外的未来视频编解码技术，vceg和mpeg于2015年联合成立了联合视频探索团队(joint video exploration team，jvet)。此后，jvet采用了许多新方法，并将其输入到称为联合探索模型(joint exploration model，jem)的参考软件中。2018年4月，创建了vceg(q6/16)和iso/iec jtc1 sc29/wg11(mpeg)之间的联合视频专家团队(jvet)，致力于vvc标准，目标是与hevc相比，比特率降低50％。
32.vvc草案的最新版本，即多功能视频编解码(草案4)可以在以下网址找到:http://phenix.it
‑
sudparis.eu/jvet/doc_end_user/current_document.php？id＝5755。vvc的最新参考软件，名为vtm，可以在以下网址找到：https://vcgit.hhi.fraunhofer.de/jvet/vvcsoftware_vtm/tags/vtm
‑
3.1。
33.2.1h.264/avc中的分割树结构
34.h.264/avs中使用的术语是宏块和mb模式/8
×
8模式(分割)。宏块是其中每个图片/条带被划分并且应用了帧内/帧间模式决策的单元。分割定义了其中运动信息被信令通知的级别。
35.h.264/avc中的编解码层依赖于宏块，该宏块包括16
×
16亮度样点块，并且在4:2:0颜色采样的通常情况下，包括两个对应的8
×
8色度样点块。
36.2.1.1h.264/avc主档次
37.在该档次中，帧内编解码块使用空域预测来利用像素之间的空域相关性。定义了两个分割：16
×
16和4
×
4。
38.帧间编解码块通过估计图片间的运动来使用时域预测，而不是空域预测。对于16
×
16宏块或其任何宏块分割：16
×
8、8
×
16、8
×
8，可以被独立地估计运动。信令通知语法元素(mb模式)来指示是选择16
×
16、16
×
8、8
×
16还是8
×
8。如果选择了8
×
8，则进一步信令通知另一语法元素(8
×
8模式)以指示是否使用了8
×
8、8
×
4、4
×
8、4
×
4(例如，如图1所示)。每个分割只允许一个运动矢量(motion vector，mv)。
39.只使用了4
×
4变换。
40.2.1.2 h.264/avc高档次
41.在高档次中，引入了8
×
8变换和i_8
×
8(8
×
8帧内预测)。对于帧内编解码宏块，变换尺寸是固定的。i_16
×
16和i_4
×
4使用4
×
4变换；i_8
×
8使用8
×
8变换。
42.对于帧间编解码宏块，可以选择4
×
4或8
×
8变换。然而，变换尺寸不能超过分割尺寸。例如，如果一个宏块选择8
×
8分割，并且还选择8
×
4子模式，则只能应用4
×
4变换。如果一个宏块选择16
×
16、16
×
8、8
×
16、8
×
8分割和8
×
8子模式，则可以选择4
×
4或8
×
8变换。
43.2.1.3总结
44.模式选择在宏块级别决定。变换尺寸不得大于分割尺寸。
45.2.2 hevc中的分割树结构
46.在hevc中，通过使用表示为编解码树的四叉树结构将编解码树单元(coding tree unit，ctu)，最大编解码单元(largest coding unit，lcu)划分成编解码单元(codingunit，cu)，以适应各种本地特性。在cu级别做出是使用图片间(时域)还是图片内(空域)预测来编解码图片区域的决策。根据pu划分类型，每个cu可以进一步划分成一个、两个或四个pu。在
一个pu内，应用相同的预测过程，并且相关信息在pu的基础上被传输到解码器。在通过应用基于pu划分类型的预测过程获得残差块之后，可以根据类似于cu的编解码树的另一个四叉树结构将cu分割成变换单元(transform unit，tu)。hevc结构的重要特征中的一个是它具有多重分割概念，包括cu、pu和tu。
47.在下文中，使用hevc的混合视频编解码中涉及的各种特征被强调如下。
48.1)编解码树单元和编解码树块(coding tree block，ctb)结构：hevc中的相似结构是编解码树单元(ctu)，其具有由编码器选择的尺寸，并且可以大于传统的宏块。ctu包括亮度ctb和对应的色度ctb和语法元素。亮度ctb的尺寸l
×
l可以选择为l＝16、32或64个样点，其中较大的尺寸通常使能更好的压缩。然后，hevc支持使用树形结构和像四叉树的信令将ctb分割成更小的块。
49.2)编解码单元(cu)和编解码块(cb)：ctu的四叉树语法规定其亮度cb和色度cb的尺寸和位置。四叉树的根与ctu相关联。因此，亮度ctb的尺寸是亮度cb的最大支持尺寸。将ctu分割成亮度cb和色度cb被联合地信令通知。一个亮度cb和一般两个色度cb，连同相关联的语法，形成一个编解码单元(cu)。ctb可以仅包含一个cu或者可以被划分以形成多个cu，并且每个cu相关联地分割成预测单元(pu)和变换单元(tu)的树。
50.3)预测单元(pu)和预测块(pb)：在cu级别做出是使用图片间还是图片内预测来编解码图片区域的决策。pu分割结构的根在cu级别。取决于基本的预测类型决策，亮度cb和色度cb可以进一步在尺寸上进行划分，并从预测块(pb)亮度和色度预测块(pb)进行预测。hevc支持从64
×
64到4
×
4样点的可变pb尺寸。图2示出了被允许的pb。
51.4)变换单元(tu)和变换块(tb)：使用块变换对预测残差进行编解码。tu树结构的根在cu级别。亮度cb残差可以与亮度变换块(tb)相同，或者可以进一步划分成更小的亮度tb。这同样适用于色度tb。对于尺寸为4
×
4、8
×
8、16
×
16和32
×
32的正方形tb，定义了类似于离散余弦变换(discrete cosine transform，dct)的整数基函数。对于亮度图片内预测残差的4
×
4变换，可选地规定从离散正弦变换(discrete sine transform，dst)的形式推导的整数变换。
52.2.2.1四叉树的深度
53.对于尺寸为m
×
m的给定亮度cb，标志信令通知它是否被划分成尺寸为m/2
×
m/2的四个块。如果可以进一步划分，如由sps中指示的残差四叉树的最大深度所信令通知的，每个象限被分配一个标志，该标志指示它是否被划分为四个象限。由残差四叉树导致的叶节点块是通过变换编解码进一步处理的变换块。编码器指示它可以使用的最大和最小亮度tb尺寸。当cb尺寸大于最大tb尺寸时，划分是隐含的。当划分会导致亮度tb尺寸小于所指示的最小值时，不划分是隐含的。色度tb尺寸在每个维度中是亮度tb尺寸的一半，除了亮度tb尺寸为4
×
4的情况，在这种情况下，单个4
×
4色度tb用于由4个4
×
4亮度tb覆盖的区域。在图片内预测的cu的情况下，最近邻的tb(在cb内或外)的解码样点被用作图片内预测的参考数据。
54.2.2.2总结
55.基于增加的四叉树深度，一个ctu可以被递归地划分成多个cu。如图3a和3b所示，仅规定了正方形cb和tb分割，其中块可以被递归地划分成象限。
56.模式选择在cu级别决定。根据所选模式的边信息(side information)(诸如运动
信息、帧内预测模式)在pu级别信令通知。残差在tu级别信令通知。
57.对于帧间编解码块，一个pu不得大于cu，并且对于帧内编解码块，一个pu等于cu。
58.对于帧间编解码块，tu可以超过pu，但是对于帧内编解码块，tu等于pu。
59.2.3在jem中具有较大ctu的四叉树加二叉树块结构
60.为了探索hevc以外的未来视频编解码技术，vceg和mpeg于2015年联合成立了联合视频探索团队(jvet)。此后，jvet采用了许多新方法，并将其输入到称为联合探索模型(jem)的参考软件中。
61.2.3.1四叉树加二叉树(qtbt)块分割结构
62.与hevc不同，qtbt结构移除了多重分割类型的概念，即它移除了cu、pu和tu概念的分离，并支持cu分割形状的更大灵活性。在qtbt块结构中，cu可以是正方形或矩形。如图5a
‑
图5e所示，编解码树单元(ctu)首先通过四叉树结构分割。四叉树叶节点通过二叉树结构进一步分割。在二叉树划分中存在两种划分类型，对称水平划分和对称垂直划分。二叉树叶节点被称为编解码单元(cu)，并且该分割被用于预测和变换过程，而无需任何进一步的分割。这意味着在qtbt编解码块结构中，cu、pu和tu具有相同的块尺寸。在jem，cu有时包括不同颜色分量的编解码块(cb)，例如，在4:2:0色度格式的p条带和b条带的情况下，一个cu包含一个亮度cb和两个色度cb，并且一个cu有时包括单个分量的cb，例如，在i条带的情况下，一个cu仅包含一个亮度cb，或者仅包含两个色度cb。
63.对于qtbt分割方案，定义了以下参数。
64.–
ctu尺寸：四叉树的根节点尺寸(例如，与hevc中的概念相同)
65.–
minqtsize：最小允许的四叉树叶节点尺寸
66.–
maxbtsize：最大允许的二叉树根节点尺寸
67.–
maxbtdepth：最大允许的二叉树深度
68.–
minbtsize：最小允许的二叉树叶节点尺寸
69.在qtbt分割结构的一个示例中，ctu尺寸被设置为128
×
128亮度样点，并且具有两个对应的64
×
64色度样点块，minqtsize被设置为16
×
16，maxbtsize被设置为64
×
64，minbtsize(对于宽度和高度两者)被设置为4
×
4，并且maxbtdepth被设置为4。四叉树分割首先应用于ctu以生成四叉树叶节点。四叉树叶节点可以具有从16
×
16(即，minqtsize)到128
×
128(即，ctu尺寸)的尺寸。如果叶四叉树节点是128
×
128，它将不会由二叉树进一步划分，因为它的尺寸超过了maxbtsize(即，64
×
64)。否则的话，叶四叉树节点可以由二叉树进一步分割。因此，四叉树叶节点也是二叉树的根节点，并且它的二叉树深度为0。当二叉树深度达到maxbtdepth(即4)时，不再考虑进一步的划分。当二叉树节点的宽度等于minbtsize(即4)时，不再考虑进一步的水平划分。类似地，当二叉树节点的高度等于minbtsize时，不再考虑进一步的垂直划分。二叉树的叶节点通过预测和变换过程被进一步处理，无需任何进一步的分割。在jem，最大ctu尺寸为256
×
256亮度样点。
70.图4a示出了使用qtbt进行块分割的示例，并且图4b示出了对应的树表示。实线指示四叉树划分，并且虚线指示二叉树划分。在二叉树的每个划分(即，非叶)节点中，信令通知一个标志来指示使用哪种划分类型(即，水平或垂直)，其中0指示水平划分，并且1指示垂直划分。对于四叉树划分，不需要指示划分类型，因为四叉树划分总是水平和垂直地划分块，以产生4个尺寸相等的子块。
71.此外，qtbt方案支持亮度和色度具有分离的qtbt结构的能力。目前，对于p条带和b条带，一个ctu中的亮度ctb和色度ctb共享相同的qtbt结构。然而，对于i条带，亮度ctb通过qtbt结构被分割成cu，并且色度ctb通过另一qtbt结构被分割成色度cu。这意味着，i条带中的cu包括亮度分量的编解码块或两个色度分量的编解码块，并且p条带或b条带中的cu包括所有三种颜色分量的编解码块。
72.在hevc中，小块的帧间预测被限制以减少运动补偿的存储器访问，诸如4
×
8和8
×
4块不支持双向预测，以及4
×
4块不支持帧间预测。在jem的qtbt中，这些限制被移除了。
73.2.3.2 qtbt的总结
74.基于增加的四叉树或二叉树的深度，一个ctu可以被递归地划分成多个cu。规定了正方形和矩形cb(其宽度/高度等于1/2或2)。
75.模式选择在cu级别决定。pu和tu总是等于cu。
76.2.4 vvc的多类型树
77.2.4.1提议
78.按照提议，支持除了四叉树和二叉树以外的树类型。在该实施方式中，如图5d和图5e所示，引入了另外两种三叉树(ternary tree，tt)分割，即水平和垂直中心侧三叉树。
79.存在两种级别(level)的树，区域树(四叉树)和预测树(二叉树或三叉树)。首先通过区域树(region tree，rt)分割ctu。可以用预测树(prediction tree，pt)来进一步划分rt叶。还可以用pt进一步划分pt叶，直到达到最大pt深度。pt叶是基本的编解码单元。为了方便起见，它仍被称为cu。cu不能被进一步划分。预测和变换都以与jem相同的方式应用于cu。整个分割结构被命名为“多类型树”。
80.2.4.2 vvc中的分割树
81.在vvc中定义/信令通知了几个语法元素，以指示不同分割树的使用。
82.例如:
83.–
具有偏移的最大多类型树深度maxmttdepth,
84.–
最大二叉树尺寸maxbtsize
85.–
minbtsizey
86.–
最大二叉树尺寸maxbtsize
87.–
最大三叉树尺寸maxttsize
88.2.4.2.1 bt和tt的使用限制
89.2.4.2.1.1变量定义
90.log2_ctu_size_minus2，log2_min_luma_coding_block_size_minus2可以在sps中信令通知。
91.log2_ctu_size_minus2加2指定每个ctu的亮度编解码树块尺寸。
92.log2_min_luma_coding_block_size_minus2加2指定最小亮度编解码块尺寸。
93.变量ctblog2sizey、ctbsizey、mincblog2sizey、mincbsizey、mintblog2sizey、maxtblog2sizey、mintbsizey、maxtbsizey、picwidthinctbsy、picheightinctbsy、picsizeinctbsy、picwidthinmincbsy、picheightinmincbsy、picsizeinmincbsy、picsizeinsamplesy、picwidthinsamplesc和picheightinsamplesc推导如下：
94.ctblog2sizey＝log2_ctu_size_minus2+2
95.ctbsizey＝1<<ctblog2sizey
96.mincblog2sizey＝log2_min_luma_coding_block_size_minus2+2
97.mincbsizey＝1<<mincblog2sizey
98.mintblog2sizey＝2
99.maxtblog2sizey＝6
100.mintbsizey＝1<<mintblog2sizey
101.maxtbsizey＝1<<maxtblog2sizey
102.picwidthinctbsy＝ceil(pic_width_in_luma_samples
÷
ctbsizey)
103.picheightinctbsy＝ceil(pic_height_in_luma_samples
÷
ctbsizey)
104.picsizeinctbsy＝picwidthinctbsy*picheightinctbsy
105.picwidthinmincbsy＝pic_width_in_luma_samples/mincbsizey
106.picheightinmincbsy＝pic_height_in_luma_samples/mincbsizey
107.picsizeinmincbsy＝picwidthinmincbsy*picheightinmincbsy
108.picsizeinsamplesy＝pic_width_in_luma_samples*pic_height_in_luma_sam ples
109.picwidthinsamplesc＝pic_width_in_luma_samples/subwidthc
110.picheightinsamplesc＝pic_height_in_luma_samples/subheightc
111.2.4.2.1.2允许的二元划分过程
112.对该过程的输入是：
113.–
二元划分模式btsplit，
114.–
编解码块宽度cbwidth，
115.–
编解码块高度cbheight，
116.–
所考虑的编解码块的左上角亮度样点相对于图片的左上角亮度样点的位置(x0，y0),
117.–
多类型树深度mttdepth，
118.–
具有偏移的最大多类型树深度maxmttdepth，
119.–
最大二叉树尺寸maxbtsize，
120.–
分割索引partidx。
121.该过程的输出是变量allowbtsplit。
122.表1基于btsplit的parallelttsplit和cbsize的规范。
[0123][0124]
按照表1中所规定的，推导变量parallelttsplit和cbsize。
[0125]
对于不同的实施例，变量allowbtsplit(例如，采用布尔真或假值的划分变量)可以根据或基于不同的条件。使用这些条件，该变量的值可以如下推导：
[0126]
–
如果以下的一个或多个条件为真，则allowbtsplit设置为等于false：
[0127]
//根据允许的bt块尺寸和最大允许的mtt深度条件
[0128]
–
cbsize小于或等于minbtsizey
[0129]
–
cbwidth大于maxbtsize
[0130]
–
cbheight大于maxbtsize
[0131]
–
mttdepth大于或等于maxmttdepth
[0132]
–
否则，如果以下所有条件都为真，则allowbtsplit设置为等于false
[0133]
//根据图片边界(底部图片边界和底部右侧图片边界没有垂直bt)条件
[0134]
–
btsplit等于split_bt_ver
[0135]
–
y0+cbheight大于pic_height_in_luma_samples
[0136]
–
否则，如果以下所有条件都为真，则allowbtsplit设置为等于false
[0137]
//根据画面边界(底部右侧图片边界没有水平bt)条件
[0138]
–
btsplit等于split_bt_hor
[0139]
–
x0+cbwidth大于pic_width_in_luma_samples
[0140]
–
y0+cbheight小于或等于pic_height_in_luma_samples
[0141]
–
否则，如果以下所有条件都为真，则allowbtsplit设置为等于false:
[0142]
//根据父tt划分方向(例如，对于垂直tt，中间分割没有垂直bt；对于水平tt，中间分割没有水平bt)条件，决定tt分割索引1(中间分割)
[0143]
–
mttdepth大于0
[0144]
–
partidx等于1
[0145]
–
mttsplitmode[x0][y0][mttdepth
‑
1]等于parallelttsplit
[0146]
–
否则，如果以下所有条件都为真，则allowbtsplit设置为等于false
[0147]
//根据最大允许的变换尺寸(例如，当maxtbsizey等于64时，对于64
×
128，没有垂直bt；对于128
×
64，没有水平bt)条件
[0148]
–
btsplit等于split_bt_ver
[0149]
–
cbwidth小于或等于maxtbsizey
[0150]
–
cbheight大于maxtbsizey
[0151]
–
否则，如果以下所有条件都为真，则allowbtsplit设置为等于false
[0152]
–
btsplit等于split_bt_hor
[0153]
–
cbwidth大于maxtbsizey
[0154]
–
cbheight小于或等于maxtbsizey
[0155]
–
否则，allowbtsplit设置为等于true。
[0156]
2.4.2.1.3允许的三元划分过程
[0157]
对该过程的输入是：
[0158]
–
三元划分模式ttsplit，
[0159]
–
编解码块宽度cbwidth，
[0160]
–
编解码块高度cbheight，
[0161]
–
所考虑的编解码块的左上角亮度样点相对于图片的左上角亮度样点的位置(x0，y0),
[0162]
–
多类型树深度mttdepth，
[0163]
–
具有偏移的最大多类型树深度maxmttdepth，
[0164]
–
最大二叉树尺寸maxttsize。
[0165]
该过程的输出是划分变量allowttsplit(例如，它取布尔真或假值)。划分变量allowttsplit的值可以根据或基于不同的条件。使用这些条件，该变量的值可以如下推导出：
[0166]
表2基于ttsplit的cbsize的规范
[0167][0168]
如表2中所规定的，推导出变量cbsize。
[0169]
变量allowttsplit推导如下：
[0170]
–
如果以下一个或多个条件为真，则allowttsplit设置为等于false：
[0171]
//根据允许的tt块尺寸和最大允许的变换尺寸条件
[0172]
–
cbsize小于或等于2*minttsizey
[0173]
–
cbwidth大于min(maxtbsizey，maxttsize)
[0174]
–
cbheight大于min(maxtbsizey，maxttsize)
[0175]
//根据最大允许的mtt深度条件
[0176]
–
mttdepth大于或等于maxmttdepth
[0177]
//根据它是否位于图片边界条件
[0178]
–
x0+cbwidth大于pic_width_in_luma_samples
[0179]
–
y0+cbheight大于pic_height_in_luma_samples
[0180]
–
否则，allowttsplit设置为等于true。
[0181]
2.4.2.1.4语义
[0182]
vvc规范子条款7.4.5.5多类型树语义
[0183]
变量allowsplitbtver、allowsplibthor、allowsplitttver、allowsplittthor的推导如下：
[0184]
–
变量maxbtsize、maxttsize和maxmttdepth的推导如下:
[0185]
–
如果treetype等于dual_tree_chroma，则maxbtsize、maxttsize和maxmttdepth分别被设置为等于maxbtsizec、maxttsizec和maxmttdepthc+depthoffset。
[0186]
–
否则，maxbtsize、maxttsize和maxmttdepth分别被设置为等于maxbtsizey、maxttsizey和maxmttdepthy+depthoffset。
[0187]
–
如条款2.4.2.1.1中规定的，所允许的二元划分过程是以二元划分模式split_bt_ver、编解码块宽度cbwidth、编解码块高度cbheight、位置(x0，y0)、当前多类型树深度mttdepth、具有偏移的最大多类型树深度maxmttdepth、最大二叉树尺寸maxbtsize和当前分割索引partidx作为输入来调用的，并且输出被分配给allowsplitbtver。
[0188]
–
如条款2.4.2.1.1中规定的，所允许的二元划分过程是以二元划分模式split_bt_hor、编解码块高度cbheight、编解码块宽度cbwidth、位置(x0，y0)、当前多类型树深度mttdepth、具有偏移的最大多类型树深度maxmttdepth、最大二叉树尺寸maxbtsize和当前
分割索引partidx作为输入来调用的，并且输出被分配给allowsplitbthor。
[0189]
–
如条款2.4.2.1.3中规定的，所允许的三元划分过程是以三元划分模式split_tt_ver、编解码块宽度cbwidth、编解码块高度cbheight、位置(x0，y0)、当前多类型树深度mttdepth、具有偏移的最大多类型树深度maxmttdepth和最大三叉树尺寸maxttsize作为输入来调用的，并将输出分配给allowsplitttver。
[0190]
–
如条款2.4.2.1.3中规定的，所允许的三元划分过程是以三元划分模式split_tt_hor、编解码块高度cbheight、编解码块宽度cbwidth、位置(x0，y0)、当前多类型树深度mttdepth、具有偏移的最大多类型树深度maxmttdepth和最大三叉树尺寸maxttsize作为输入来调用的，并将输出分配给allowsplittthor。
[0191]
2.4.3.子块变换
[0192]
对于cu_cbf等于1的帧间预测cu，可以信令通知cu_sbt_flag来指示是解码整个残差块还是残差块的子部分。在前一种情况下，进一步解析帧间多重变换选择(mts，又名，emt)信息以确定cu的变换类型。在后一种情况下，残差块的一部分用推断的自适应变换来进行编解码，并且残差块的另一部分被清零。
[0193]
2.4.3.1.子块tu拼接
[0194]
当sbt用于帧间cu时，sbt类型和sbt位置信息被进一步从比特流解码。如图6所示，有两种sbt类型和两种sbt位置。对于sbt
‑
v(或sbt
‑
h)，tu宽度(或高度)可以等于cu宽度(或高度)的一半或cu宽度(或高度)的1/4，由另一个标志信令通知，导致2:2划分或1:3/3:1划分。2:2划分类似于二叉树(bt)划分，而1:3/3:1划分类似于非对称二叉树(abt)划分。如果亮度样点中cu的一侧为8，则不允许沿该侧进行1:3/3:1划分。因此，对于cu最多有8种sbt模式。
[0195]
对于宽度和高度两者都不大于maxsbtsize的cu而言，sbt
‑
v和sbt
‑
h是被允许的。在sps中信令通知maxsbtsize。对于hd和4k序列，编码器将maxsbtsize设置为64；对于其他较小分辨率序列，maxsbtsize设置为32。
[0196]
2.5.子块的变换类型
[0197]
在jvet
‑
m0140中，位置相关变换应用于sbt
‑
v和sbt
‑
h中的亮度变换块(色度tb始终使用dct
‑
2)。sbt
‑
h和sbt
‑
v的两个位置与不同的核心变换相关联。更具体地，图1中指定了每个sbt位置的水平和垂直变换。例如，sbt
‑
v位置0的水平和垂直变换分别是dct
‑
8和dst
‑
7。当残差tu的一侧大于32时，相应的变换被设置为dct
‑
2。因此，子块变换联合指定了残差块的tu拼接、cbf以及水平和垂直变换，对于块的主要残差部分在块的一侧的情况，这可以被认为是语法快捷方式。
[0198]
对于帧间块，从sbt采用部分的总结：
[0199]
‑1‑
d划分(对称或1/4)
[0200]
‑
如果对称，信令通知哪一半；其他使用1/4
[0201]
‑
推断的残差tu的变换类型
[0202]
3.问题
[0203]
分割树限制的当前设计是基于全块变换和通用测试条件的假设。它可能有以下问题：
[0204]
i.是否根据一个分割结构启用或禁用划分取决于最大允许的变换尺寸。启用/禁
用一个分割结构的动机主要是由于硬件实施方式的考虑，即较大的块(诸如128
×
128)很难实施。在多功能视频编解码(vvc)中，使用了vpdu(virtual pipeline data unit，虚拟流水线数据单元)的概念，其中定义了用于运动补偿的最大允许块。在当前常见的测试条件下，vpdu尺寸等于最大允许的变换尺寸。然而，最大允许的变换尺寸在高级语法元素(诸如，序列参数)中自适应地信令通知。
[0205]
ii.假设最大允许的变换尺寸是64
×
64，如果一个编解码块是64
×
128，则不允许垂直bt。然而，由于采用了子块变换，在子块变换尺寸设置为32
×
64的情况下，仍然可以应用垂直bt。
[0206]
iii.如何处理用子块变换编解码的块的边界还没有在本领域中解决。
[0207]
4.示例技术和实施例
[0208]
下面描述的详细实施例应该被认为是解释一般概念的示例。这些实施例不应被狭义地解释。此外，这些实施例可以以任何方式组合。
[0209]
1.代替使用最大允许的变换尺寸，提出是否允许一个分割树可以取决于vpdu尺寸。
[0210]
a.在一个示例中，如果块宽度不大于vpdu宽度并且块高度大于vpdu高度，则不允许垂直bt。
[0211]
b.在一个示例中，如果块宽度大于vpdu宽度并且块高度不大于vpdu高度，则不允许水平bt。
[0212]
c.类似地，对于tt划分，如果以下条件中的一个(或一些\或全部)为真，则它可能不被允许:
[0213]
–
cbsize小于或等于2*minttsizey
[0214]
–
cbwidth大于min(vpdusizex，maxttsize)
[0215]
–
cbheight大于min(vpdusizey，maxttsize)
[0216]
其中minttsizey和maxttsize分别表示最小和最大允许的tt尺寸；cbwidth和cbheight分别表示编解码块的宽度和高度，vpdusizex和vpdusizey分别表示vpdu的宽度和高度。
[0217]
d.在一个示例中，vpdu高度等于vpdu宽度。
[0218]
i.在一个示例中，vpdu高度和宽度中的仅一个从编码器信令通知到解码器。另一个则被设置为等于被信令通知的那一个。
[0219]
ii.在可替换的示例中，vpdu高度可以不等于vpdu宽度。
[0220]
a)在一个示例中，vpdu的高度和宽度两者都从编码器信令通知到解码器。
[0221]
2.代替使用最大允许的变换尺寸，提出是否允许一个分割树可以取决于分割树的最大允许的子块变换尺寸。
[0222]
a.在一个示例中，即使块宽度不大于最大允许的变换宽度并且块高度大于最大允许的变换高度，也可以允许垂直bt。
[0223]
i.可替换地，此外，子块变换可以应用于上述情况，即，变换被应用于由于垂直bt产生的子块的部分。
[0224]
ii.在一个示例中，如果块宽度不大于最大允许的变换宽度并且块高度大于最大允许的变换高度，但是由于垂直bt划分产生的子块支持至少一个子块变换尺寸，则可以允
许垂直bt。
[0225]
iii.在一个示例中，如果块宽度不大于最大允许的变换宽度并且块高度大于最大允许的变换高度，但是块高度不大于最大允许的子块变换高度，则可以允许垂直bt。
[0226]
iv.可替换地，此外，如果块宽度不大于最大允许的子块变换宽度，并且块高度大于最大允许的子块变换高度，则可以不允许垂直bt。
[0227]
a)在一个示例中，指定的最大允许子块变换宽度/高度是针对垂直bt(v
‑
bt)的。
[0228]
v.在一个示例中，v
‑
bt的最大允许子块变换宽度可以被定义为最大允许变换宽度的一半或四分之一。
[0229]
vi.在一个示例中，v
‑
bt的最大允许子块变换高度可以被定义为最大允许变换高度的一半或四分之一，或者大于最大允许变换高度。
[0230]
b.在一个示例中，即使块宽度大于最大允许变换宽度并且块高度不大于最大允许变换高度，也可以允许水平bt。
[0231]
i.可替换地，此外，子块变换可以应用于上述情况，即，该变换被应用于由于垂直bt产生的子块的部分。
[0232]
ii.可替换地，此外，如果块宽度大于最大允许的子块变换宽度并且块高度不大于最大允许的子块变换高度，则不允许水平bt。
[0233]
a)在一个例子中，指定的最大允许子块变换宽度/高度是针对水平bt(h
‑
bt)的。
[0234]
iii.在一个示例中，v
‑
bt的最大允许子块变换宽度可以被定义为最大允许变换宽度的一半或四分之一。
[0235]
iv.在一个示例中，v
‑
bt的最大允许子块变换高度可以被定义为最大允许变换高度的一半或四分之一。
[0236]
c.在一个示例中，设置tx＝maximum{最大允许的变换宽度，最大允许的子块宽度}，ty＝maximum{最大允许的变换高度，最大允许的子块高度}，则提出是否允许划分可以取决于tx和/或ty。
[0237]
i.在一个示例中，如果块宽度不大于tx并且块高度大于ty，则可以不允许垂直的bt。
[0238]
ii.如果块宽度大于tx并且块高度不大于ty，则不允许水平bt。
[0239]
d.可替换地，此外，当子块变换技术被启用时，诸如sps标志为真，可以应用这样的方法。
[0240]
3.是否允许一个分割树可以取决于vpdu尺寸和最大允许子块变换尺寸两者。
[0241]
a.可替换地，是否允许一个分割树可以取决于vpdu尺寸和最大允许子块变换尺寸两者。
[0242]
b.在一个示例中，如果块宽度不大于f(vpdu宽度，最大允许变换宽度)，并且块高度大于f(vpdu高度，最大允许变换高度)，则不允许垂直bt。
[0243]
c.在一个示例中，如果块宽度大于f(vpdu宽度，最大允许变换宽度)，并且块高度不大于f(vpdu高度，最大允许变换高度)，则不允许水平bt。
[0244]
d.在一个示例中，函数f(x，y)返回x和y的较大值。
[0245]
e.在一个示例中，函数f(x，y)返回x和y的较小值。
[0246]
f.在一个示例中，vpdu高度等于vpdu宽度。
[0247]
g.在一个示例中，最大允许变换宽度等于最大允许变换高度。
[0248]
4.上述vpdu尺寸(包括宽度和高度)可以预先定义，例如64
×
64。
[0249]
a.可替换地，它可以在sps/vps/pps/序列报头/图像报头/片组报头/条带报头/ctu行/区域/其他类型的视频处理数据单元中信令通知。
[0250]
5.提出了如何应用滤波处理，例如去方块滤波、sao和/或alf可以取决于子块变换尺寸。
[0251]
a.在一个示例中，子块变换的边界可以在去方块滤波处理中被滤波。
[0252]
b.在一个示例中，去方块滤波的决策(诸如滤波与否、强滤波器还是弱滤波器、或者哪个滤波器或者如何对滤波后的样点应用限幅)可以取决于样点是否位于子块变换边界。
[0253]
5.附加示例实施例
[0254]
5.1.1.1.1允许的二元划分过程
[0255]
该过程的输入：
[0256]
–
二元划分模式btsplit，
[0257]
–
编解码块宽度cbwidth，
[0258]
–
编解码块高度cbheight，
[0259]
–
所考虑的编解码块的左上角亮度样点相对于图片的左上角亮度样点的位置(x0，y0),
[0260]
–
多类型树深度mttdepth，
[0261]
–
具有偏移的最大多类型树深度maxmttdepth，
[0262]
–
最大二叉树尺寸maxbtsi ze，
[0263]
–
分割索引partidx。
[0264]
该过程的输出是变量allowbtsplit(例如，取值为真或假的布尔变量)。
[0265]
否则，如果以下所有条件都为真，则allowbtsplit设置为等于false：
[0266]
–
btsplit等于split_bt_ver
[0267]
–
cbwidth小于或等于vpdusizey
[0268]
–
cbheight大于vpdusizey
[0269]
否则，如果以下所有条件都为真，则allowbtsplit设置为等于false
[0270]
–
btsplit等于split_bt_hor
[0271]
–
cbwidth大于vpdusizey
[0272]
–
cbheight小于或等于vpdusizey
[0273]
5.1.1.1.2允许的三元划分过程
[0274]
该过程的输入是：
[0275]
–
三元划分模式ttsplit，
[0276]
–
编解码块宽度cbwidth，
[0277]
–
编解码块高度cbheight，
[0278]
–
所考虑的编解码块的左上角亮度样点相对于图片的左上角亮度样点的位置(x0，y0),
[0279]
–
多类型树深度mttdepth
[0280]
–
具有偏移的最大多类型树深度maxmttdepth，
[0281]
–
最大二叉树尺寸maxttsize。
[0282]
该过程的输出是变量allowttsplit。
[0283]
表3基于ttsplit的cbsize的规范
[0284][0285][0286]
变量cbsize可以基于表3中规定的信息来推导。
[0287]
变量allowttsplit可以基于或根据以下各种条件来推导:
[0288]
–
如果以下一个或多个条件为真，则allowttsplit设置为等于false：
[0289]
//根据允许的tt块尺寸和最大允许的变换尺寸条件
[0290]
–
cbsize小于或等于2*minttsizey
[0291]
–
cbwidth大于min(vpdusizex，maxttsize)
[0292]
–
cbheight大于min(vpdusizey，maxttsize)
[0293]
//根据最大允许的mtt深度条件
[0294]
–
mttdepth大于或等于maxmttdepth
[0295]
//根据它是否位于图片边界条件
[0296]
–
x0+cbwidth大于pic_width_in_luma_samples
[0297]
–
y0+cbheight大于pic_height_in_luma_samples
[0298]
–
否则，allowttsplit设置为等于true。
[0299]
6.所公开技术的示例实施方式
[0300]
图7是视频处理装置700的框图。装置700可以用于实施本文描述的一种或多种方法。装置700可以体现在智能手机、平板电脑、计算机、物联网(iot)接收器等中。装置700可以包括一个或多个处理器702、一个或多个存储器704和视频处理硬件706。(多个)处理器702可以被配置为实施本文中描述的一种或多种方法。(多个)存储器704可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件706可以用于在硬件电路系统中实施本文中描述的一些技术，并且可以部分或完全是处理器702的一部分(例如，图形处理器核心gpu或其他信号处理电路系统)。
[0301]
在本文中，术语“视频处理”可以指代视频编码、视频解码、视频压缩或视频解压缩。例如，视频压缩算法可以在从视频的像素表示到相应比特流表示的转换期间应用，反之亦然。当前视频块的比特流表示可以例如对应于比特流中的共位的或分布在不同地方的比特，如语法所定义的。例如，宏块可以根据变换后和编解码后的误差残差值来编码，并且还可以使用比特流中的报头和其他字段中的比特来编码。
[0302]
应当理解，通过允许使用本文中公开的技术，所公开的方法和技术将有益于包含在视频处理设备(诸如智能手机、膝上型电脑、台式机和类似设备)中的视频编码器和/或解码器实施例。
[0303]
图8是视频处理的示例方法800的流程图。方法800包括，在810，计算(至少部分基于虚拟流水线数据单元(vpdu)的尺寸和分割树的一个或多个参数)与视频块相关联的划分
变量的值，以用于在视觉媒体数据的视频块和视频块的相应比特流之间进行转换，其中vpdu的尺寸包括高度和宽度。方法800还包括，在820，响应于确定该划分变量的值为布尔真，允许根据分割树来划分视频块。方法800还包括，在830，响应于确定该划分变量的值为布尔假，不允许划分视频块。本文使用的术语视频块可以应用于任何形式的媒体块，包括(但不限于)编解码块、预测块、宏块等。此外，在各种实施例中，这些块可以是帧内块或帧间块。
[0304]
图9是视频处理的示例方法900的流程图。方法900包括，在910，至少部分地基于虚拟流水线数据单元(vpdu)尺寸，确定与分割树相关联的分割类型对于视频块是允许的还是不允许的，其中vpdu尺寸包括vpdu高度和vpdu宽度，其中，响应于不允许分割类型，在比特流中不存在该分割类型的指示。
[0305]
图10是视频处理的示例方法1000的流程图。方法1000包括，在1010，至少部分地基于最大允许的子块变换尺寸，确定与分割树相关联的分割类型对于视频块是允许的还是不允许的，其中最大允许的子块变换尺寸包括最大允许的子块变换高度和最大允许的子块变换宽度，其中，响应于不允许分割类型，在比特流中不存在该分割类型的指示。
[0306]
图11是视频处理的示例方法1100的流程图。方法1100包括，在1110，至少部分地基于最大允许的变换尺寸和虚拟流水线数据单元(vpdu)尺寸，或者至少部分地基于最大允许的子块变换尺寸和虚拟流水线数据单元(vpdu)尺寸，确定与分割树相关联的分割类型对于视频块是允许的还是不允许的，其中vpdu尺寸包括vpdu高度和vpdu宽度，其中最大允许的变换尺寸包括最大允许的变换高度和最大允许的变换宽度，其中，响应于不允许分割类型，在比特流中不存在该分割类型的指示。
[0307]
图12是视频处理的示例方法1200的流程图。方法1200包括，在1210，在应用子块变换的情况下，确定样点是否位于子块变换边界；在1220，如果确定样点位于子块变换边界，则应用去方块滤波处理；以及在1230，执行视频和视频的比特流表示之间的转换。
[0308]
图13是视频处理的示例方法1300的流程图。方法1300包括，在1310，基于是否应用子块变换来确定如何对视频块应用滤波处理；在1320，基于该确定执行滤波处理；以及在1330，执行视频块和视频的比特流表示之间的转换。
[0309]
一些实施例可以使用以下基于条款的格式来描述。
[0310]
1.一种视频处理的方法，包括：
[0311]
在应用子块变换的情况下，确定样点是否位于子块变换边界；
[0312]
如果确定样点位于子块变换边界，则应用去方块滤波处理；和
[0313]
执行视频和视频的比特流表示之间的转换。
[0314]
2.根据条款1所述的方法，还包括：基于样点位于子块变换边界来确定应用强去方块滤波器。
[0315]
3.根据条款1所述的方法，还包括：基于样点位于子块变换边界来确定应用弱去方块滤波器。
[0316]
4.根据条款1所述的方法，还包括：基于样点位于子块变换边界来确定要应用的滤波器类型。
[0317]
5.根据条款1所述的方法，还包括：确定如何对滤波后的样点应用限幅。
[0318]
6.一种视频处理的方法，包括：
[0319]
基于是否应用子块变换来确定如何应用视频块的滤波处理；
[0320]
基于所述确定来执行所述滤波处理；和
[0321]
执行在视频块和视频的比特流表示之间的转换。
[0322]
7.根据条款6所述的方法，其中，所述滤波处理包括以下中的至少一个：去方块滤波处理、样点自适应偏移(sao)滤波处理或自适应环路滤波(alf)过程。
[0323]
8.根据条款7所述的方法，其中，子块变换的边界被视为在所述去方块滤波处理中的变换边界。
[0324]
9.根据条款8所述的方法，其中，如果应用子块变换，则在去方块滤波处理中至少对子块变换的边界进行滤波。
[0325]
10.根据条款1至9中任一项所述的方法，当子块变换被应用于视频块时，所述视频块被划分成多于一个子块，并且所述子块中仅一个子块具有非零变换系数，而其他子块不具有所述非零变换系数；并且对于所述仅一个子块，仅仅信令通知变换系数。
[0326]
11.一种视频解码装置，包括被配置为实施条款1至10中的一个或多个所列举的方法的处理器。
[0327]
12.一种视频编码装置，包括被配置为实施条款1至10中的一个或多个所列举的方法的处理器。
[0328]
13.一种其上存储有计算机代码的计算机程序产品，所述代码在由处理器执行时，使所述处理器实施条款1至10中任一项所列举的方法。
[0329]
14.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时，使所述处理器实施条款1至10中任一项的方法。
[0330]
本文中描述的公开的和其它解决方案、示例、实施例、模块和功能性操作可以在数字电子电路系统中实施，或者在计算机软件、固件、或硬件中实施，包括本文中公开的结构及其结构等同物，或者在它们中的一个或多个的组合中实施。公开的和其它实施例可以实施为一个或多个计算机程序产品，即，在计算机可读介质上编码的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或者它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，示例地包括可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如机器生成的电信号、光信号、或电磁信号，生成信号以编码信息以便传输到合适的接收器装置。
[0331]
计算机程序(也被称为程序、软件、软件应用、脚本、或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且其可以以任何形式部署，包括作为独立程序或作为适合于在计算环境中使用的模块、组件、子例程、或其它单元。计算机程序不必对应于文件系统中的文件。程序可以存储在保存其它程序或数据的文档的部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文档中，或存储在多个协调文档(例如，存储一个或多个模块、子程序、或代码的部分的文档)中。可以部署计算机程序以在一个计算机上运行或者在定位在一个站点处或跨多个站点分布并且通过通信网络
互连的多个计算机上运行。
[0332]
本文中描述的过程和逻辑流程可以由运行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据操作并且生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路系统执行，并且装置也可以实施为专用逻辑电路系统，例如fpga(field programmable gate array，现场可编程门阵列)或asic(application specific integrated circuit，专用集成电路)。
[0333]
适合于计算机程序的运行的处理器示例地包括通用和专用微处理器两者，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机也将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，以从其接收数据或向其传送数据或者进行接收数据和传送数据两者。但是，计算机不需要具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，示例地包括半导体存储器设备，例如eprom、eeprom和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；和cd rom和dvd
‑
rom磁盘。处理器和存储器可以由专用逻辑电路系统补充或者被并入到专用逻辑电路系统中。
[0334]
虽然本专利文档包含许多细节，但是这些细节不应该解释为对任何主题的范围或可以要求保护的范围的限制，而是作为可以指定于特定技术的特定实施例的特征的描述。在本专利文档中、在分离的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以分离地或以任何合适的子组合在多个实施例中实施。此外，尽管以上特征可以描述为以某些组合起作用并且甚至最初如此要求保护，但是来自所要求保护的组合的一个或多个特征可以在一些情况下从组合中切除，并且所要求保护的组合可以针对子组合或子组合的变化。
[0335]
类似地，虽然在附图中以特地顺序描绘了操作，但是这不应该理解为要求以所示的特定顺序或按次序顺序执行这样的操作，或者执行所有示出的操作，以达到期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应该理解为在所有实施例中要求这样的分离。
[0336]
仅描述了少数实施方式和示例，并且可以基于本专利文档中描述和示出的内容做出其它实施方式、增强和变化。