用于视频译码的瓦片的分组的制作方法

用于视频译码的瓦片的分组的制作方法
【专利摘要】本文所述的用于对视频数据进行译码的技术包含用于对分割为瓦片的图片进行译码的技术，其中图片中的多个瓦片中的每一者被指派给多个瓦片群组中的一者。用于对包括分割成多个瓦片的图片的视频数据进行译码的一种实例方法包括：在位流中对视频数据进行译码；以及在所述位流中对指示多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的信息进行译码。本文所述的用于对瓦片进行分组的技术可促进视频位流的编码和解码两者的经改进并行处理、经改进的容错性和较灵活的关注区ROI译码。
【专利说明】用于视频译码的瓦片的分组
[0001]本申请案主张2011年10月24日申请的第61/550，833号美国临时申请案的权益，所述申请案的整个内容以引用的方式并入本文中。
【技术领域】
[0002]本发明涉及视频译码，且更明确地说，涉及用于对经分割为瓦片的图片进行译码的技术。
【背景技术】
[0003]数字视频能力可并入到较宽范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263,ITU-T H.264/MPEG-4，第10部分，高级视频译码(AVC)界定的标准，目前正在开发的高效视频译码(HEVC)标准或此些标准的扩展中所描述的那些技术，以更高效地发射、接收和存储数字视频信息。
[0004]视频压缩技术包含空间预测和/或时间预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将一视频帧或切片分割成若干块。可进一步分割每一块。相对于经帧内译码(I)帧或切片中的相邻块中的参考样本，使用空间预测来编码同一帧或切片中的块。经帧间译码(P或B)帧或切片中的块可使用相对于同一帧或切片中的相邻块中的参考样本的空间预测，或相对于其它参考帧中的参考样本的时间预测。空间或时间预测得出待译码的块的预测块。残余数据表示待译码的原始块与预测块之间的像素差。
[0005]根据指向形成所述预测块的参考样本块的运动向量以及指示经译码块与预测块之间的差的残余数据来编码经帧间译码的块。根据帧内译码模式和残余数据来编码经帧内译码的块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而得出接着可量化的残余变换系数。可以特定次序扫描经量化变换系数(初始布置成二维阵列)，以产生变换系数的一维向量用于熵译码。

【发明内容】

[0006]本文所述的用于对视频数据进行译码的技术包含用于对经分割为瓦片的图片进行译码的技术，其中图片中的多个瓦片中的每一者被指派给多个瓦片群组中的一者。指示图片中的每一瓦片被指派给的瓦片群组的信息可包含在位流中。在一些实例中，包含在位流中的信息可采取每一瓦片的瓦片群组ID的形式，指示瓦片被指派给的瓦片群组。在各种实例中，本文所述的用于对瓦片进行分组的技术可促进视频位流的编码和解码两者的经改进并行处理、经改进的容错性以及较灵活的关注区(ROI)译码。
[0007]在一个实例中，一种对包括经分割成多个瓦片的图片的视频数据进行译码的方法包括:在位流中对所述视频数据进行译码；以及在所述位流中对指示多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的信息进行译码。[0008]在另一实例中，一种用于对包括经分割成多个瓦片的图片的视频数据进行译码的装置经配置以:在位流中对视频数据进行译码；以及在所述位流中对指示多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的信息进行译码。
[0009]在另一实例中，一种用于对包括经分割成多个瓦片的图片的视频数据进行译码的装置包括:用于在位流中对所述视频数据进行译码的装置；以及用于在所述位流中对指示多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的信息进行译码的装置。
[0010]在另一实例中，一种计算机可读存储媒体上存储有指令，所述指令在被执行时致使用于对包括经分割成多个瓦片的图片的视频数据进行译码的装置的处理器:在位流中对视频数据进行译码；以及在所述位流中对指示多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的信息进行译码。
[0011]在附图及下文描述中陈述一个或一个以上实例的细节。将从描述和图式且从所附权利要求书明白其它特征、目标和优点。
【专利附图】

【附图说明】
[0012]图1是说明实例视频编码和解码系统的框图。
[0013]图2A到2D是说明分割成瓦片的实例图片的概念图，其中将所述瓦片中的每一者指派给多个瓦片群组中的一者。
[0014]图3是说明分割成多个瓦片的实例图片的概念图，其中将所述瓦片中的每一者指派给两个瓦片群组中的一者，且所述瓦片群组中的一者对应于ROI。
[0015]图4是说明分割成多个瓦片的另一实例图片的概念图，其中将所述瓦片中的每一者指派给两个瓦片群组中的一者。
[0016]图5是说明通过瓦片边界和切片边界来对图片进行分割的实例的概念图。
[0017]图6是结合囊封单元说明实例视频编码器的框图。
[0018]图7是结合实例拆封单元说明实例视频解码器的框图。
[0019]图8是描绘根据本发明的包含瓦片的分组的实例方法的流程图。
【具体实施方式】
[0020]一般来说，本发明描述用于译码视频数据的技术。明确地说，本发明描述用于对经分割为瓦片的图片进行译码的技术，其中将图片中的多个瓦片中的每一者指派给多个瓦片群组中的一者。本文所描述的用于分组瓦片的技术可促进视频位流的编码和解码两者的经改进的并行处理。在一些实例中，所述技术可促进经改进的容错性和/或较灵活的关注区(ROI)译码。
[0021]数字视频装置实施视频压缩技术来较高效地编码和解码数字视频信息。存在新的视频译码标准，即正由ITU-T视频译码专家组(VCEG)和ISO-1EC运动图片专家组(MPEG)的视频译码联合协作团队(JCT-VC)开发的高效视频译码(HEVC)。布罗斯等人在文献JCTVC-H1003，“ 高效视频译码(HEVC)文本规范草案 6”(ITU-T SG16WP3 和 IS0/IEC JTCl/SC29/WG11的视频译码联合协作团队(JCT-VC)第8次会议:美国加利福尼亚州圣荷西市，2012年2月)中描述HEVC标准的最新草案，称为“HEVC工作草案6”或“WD6”，其从2012年 6 月 I 日起可从 http://phenix.1nt-evry.fr/jet/doc_end_user/documents/8_San %20Jose/wgll/JCTVC-H1003-v22.zip 下载。
[0022]对于根据HEVC的当前工作草案的视频译码，作为一个实例，可将视频帧分割为译码单元。译码单元(CU)通常指代充当对其应用各种译码工具以进行视频压缩的基础单元的图像区。CU通常具有一亮度分量，其可表示为Y ；以及两个色度分量，其可表示为Cr和Cb。取决于视频取样格式，依据样本的数目，Cr和Cb分量的大小可与Y分量的大小相同或不同。CU通常是正方形的，且可被视为类似于所谓的宏块，例如根据其它视频译码标准，例如 ITU-T H.264。
[0023]为了实现较佳译码效率，译码单元可取决于视频内容具有可变大小。另外，可将译码单元分裂成较小的块以进行预测或变换。明确地说，每一译码单元可进一步分割成预测单元(PU)和变换单元(TU)。根据其它视频译码标准(例如H.264)，可将预测单元视为类似于所谓的分区。变换单元(TU)指代可对其应用变换以产生变换系数的残余数据块。残余数据可包含空间域中的像素差值。使用变换来将残余数据变换到变换域，例如频域。
[0024]出于说明的目的，本申请案中将描述根据开发HEVC标准的当前所提出方面中的一些的译码。然而，本发明中所述的技术可对其它视频译码过程有用，例如根据H.264或其它标准界定的过程或专属视频译码过程，尤其是到指定布置成瓦片的视频数据的译码的程度。
[0025]HEVC标准化努力是基于视频译码装置的模型，称为HEVC测试模型(HM)。HM假定视频译码装置优于根据例如ITU-T H.264/AVC的装置的若干能力。举例来说，H.264提供九种帧内预测编码模式，而HM提供多达三十五种帧内预测编码模式。
[0026]根据HM，⑶可包含一个或一个以上预测单元(PU)和/或一个或一个以上变换单元(TU)。位流中的语法数据可界定最大译码单元(LCU)，其为依据像素数目的最大CU。一般来说，CU具有与H.264的宏块类似的目的，只是CU不具有大小差别。因此，CU可分裂为若干子CU。一般来说，本发明中对CU的参考可指代图片的最大译码单元或LCU的子CU。
[0027]可将IXU分裂为若干子⑶，且每一子⑶可进一步分裂为若干子⑶。用于位流的语法数据可界定LCU可分裂的最大次数，称为CU深度。因此，位流还可界定最小译码单元(SCU)。根据上下文，本发明还使用术语“块”、“分区”或“部分”来指代CU、PU或TU中的任一者。一般来说，“部分”可指代视频帧的任一子集。
[0028]IXU可与四叉树数据结构相关联。一般来说，四叉树数据结构每⑶包含一个节点，其中根节点对应于IXU。如果⑶分裂为四个子⑶，那么对应于⑶的节点包含四个叶节点，其各自对应于子CU中的一者。四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，指示对应于所述节点的CU是否被分裂为子CU。CU的语法元素可递归地界定，且可取决于CU是否分裂为子CU。如果不进一步分裂⑶，那么将其称为叶⑶。
[0029]此外，叶⑶的TU还可与相应的四叉树数据结构相关联。就是说，叶⑶可包含指示如何将叶CU分割为TU的四叉树。本发明将指示如何分割LCU的四叉树称为CU四叉树，且将指示如何将叶CU分割为TU的四叉树称为TU四叉树。TU四叉树的根节点通常对应于叶CU，而CU四叉树的根节点通常对应于LCU。TU四叉树的不再分裂的TU称为叶TU。
[0030]叶⑶可包含一个或一个以上预测单元(PU)。一般来说，I3U表示对应⑶的全部或一部分,且可包含用于检索PU的参考样本的数据。举例来说，当I3U经帧间模式编码时，PU可包含界定PU的运动向量的运动信息。运动信息可描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、指定包含运动向量所指向的参考帧的参考列表(例如，列表O或列表I)的预测方向，以及指示参考帧的指定列表内运动向量所指向的特定参考帧的参考索引值。界定I3U的叶CU的数据还可描述(例如)将⑶分割为一个或一个以上PU。分割模式可依据⑶未经预测性译码、经帧内预测模式编码还是经帧间预测模式编码而不同。
[0031]为了译码块(例如，视频数据的预测单元(PU))，首先得出块的预测符。可通过帧内⑴预测(即，空间预测)或帧间(P或B)预测(即，时间预测)来得出预测符。因此，可相对于同一帧中的相邻参考块，使用空间预测来对一些预测单元进行帧内译码(I)，且可相对于其它帧中的参考块对其它预测单元进行帧间译码(P或B)。
[0032]在识别到预测符后，即刻计算原始数据数据块与其预测符之间的差。此差也称为预测残余，且指代待译码的块的像素与参考块的对应参考样本(其可为整数精度像素或经内插分数精度像素)(即，预测符)之间的像素差。为了实现较佳压缩，通常例如使用离散余弦变换(DCT)、整数变换、卡-洛(K-L)变换或其它变换来变换预测残余(即，像素差值阵列)。
[0033]使用帧间预测来译码涉及计算当前块与参考帧中的块之间的运动向量。通过称为运动估计(或运动搜索)的过程来计算运动向量。举例来说，运动向量可指示当前帧中的预测单元相对于参考帧的参考样本的移位。参考样本可为被发现在像素差方面密切地匹配⑶的包含正译码的PU的部分的块，其可由绝对差和(SAD)、平方差和(SSD)或其它差量度确定。参考样本可在参考帧或参考切片内的任何地方出现。在一些实例中，参考样本可整个或部分地内插，且出现在分数像素位置处。在找到参考帧的与当前部分最匹配的实际或经内插部分后，编码器即刻将当前部分的当前运动向量确定为从当前部分到参考帧中的匹配部分(例如，从当前部分的中心到匹配部分的中心)的位置差。
[0034]在一些实例中，编码器可在经编码视频位流中用信号通知用于每一部分的运动向量。用信号通知的运动向量由解码器用来执行运动补偿，以便解码视频数据。然而，直接用信号通知原始运动向量可导致较低效的译码，因为通常需要较大数目的位来传达信息。
[0035]一旦执行运动估计以确定当前部分的运动向量，编码器就将参考帧中的匹配部分与当前部分进行比较。此比较通常涉及将参考帧中的部分(其通常称为“参考样本”)从当前部分减去，且得出所谓的残余数据，如上文所提到。残余数据指示当前部分与参考样本之间的像素差值。编码器接着将此残余数据从空间域变换到变换域，例如频域。通常，编码器将离散余弦变换(DCT)应用于残余数据以实现此变换。编码器执行此变换以便促进残余数据的压缩，因为所得变换系数表示不同频率，其中多数能量通常集中在少数低频率系数上。
[0036]通常，以实现游程长度编码的方式，尤其在首先量化(舍入)变换系数的情况下，将所得变换系数分组在一起。编码器执行经量化变换系数的此游程长度编码，且接着执行统计无损(或所谓的“熵”)编码以进一步压缩经游程长度译码的经量化变换系数。在执行无损熵译码之后，编码器产生包含经编码视频数据的位流。
[0037]HM还使得能够将图片(即，帧)分割为瓦片。瓦片通常将为矩形的，且在HM中为矩形的。尽管本发明中所描述的技术可结合非矩形瓦片使用，但出于说明的目的，将描述矩形瓦片的使用。可分别借助将图片分割成列和行的若干垂直瓦片边界和若干水平瓦片边界来将图片分割成瓦片。使列和行边界相交勾划出矩形瓦片。可将两个垂直图片边界(图片或帧的边缘或末尾)视为两个垂直瓦片边界，且可将两个水平图片边界(图片或帧的边缘或末尾)视为两个水平瓦片边界。作为一个实例，如果存在4个垂直瓦片边界(包含垂直图片边界)和3个水平瓦片边界(包含水平图片边界)，那么将图片分割成(4-1) X (3-1)=6个瓦片。垂直与水平瓦片边界之间的间距可以但无需为均匀的。
[0038]图片内的瓦片的解码次序为瓦片光栅扫描次序。在每一瓦片内，IXU的解码次序为IXU光栅扫描次序。每一瓦片可由整数数目个IXU组成。
[0039]跨所有瓦片边界的图片内预测(包含像素值预测、运动预测、译码模式预测以及熵译码上下文预测)由旗标tile_boundary_independence_idc控制。如果旗标tile_boundary_independence_idc等于I,那么不允许跨瓦片边界的图片内预测。否则，如果旗标tile_boundary_independence_idc等于O,那么允许跨瓦片边界的图片内预测，也为图片边界或切片边界的瓦片边界除外。
[0040]当允许图片内预测时，瓦片用以改变与不存在瓦片或等效地图片中仅存在一个瓦片的情况相比的LCU扫描次序。当不允许图片内预测时，瓦片还提供独立分割，其可通过不同处理核实现例如并行处理(编码和/或解码)。
[0041]HM还使得能够将图片(即，帧)分割为切片。切片由呈光栅扫描次序的整数数目个LCU组成。不同于瓦片，切片之间的边界不一定是跨图片的垂直和/或水平线，且因此切片不一定是矩形的。切片对应于单个网络抽象层(NAL)单元，且不准许跨切片边界的图片内预测。
[0042]切片(或NAL)可包含一个以上瓦片，或瓦片可包含一个以上切片。当切片含有一个以上瓦片中的IXU时，含有IXU的瓦片将为连续的。如果T+1中的第一 IXU在发射次序中紧跟T中的最后IXU之后，那么将瓦片T和T+1称为连续的。福德赛斯(Fuldseth)等人在2011年6月30日的“瓦片”(视频译码联合协作团队(JCTVC)文献JCTVC-F335)中进一步描述瓦片在HEVC译码过程中的使用，所述文献的整个内容特此以引用的方式并入本文中。
[0043]如上文所论述，根据HM，瓦片的译码次序为瓦片光栅扫描次序。然而，瓦片光栅扫描次序可与若干缺点相关联，尤其是在不允许跨瓦片边界的图片内预测时，例如以便促进并行处理或ROI译码。
[0044]举例来说，当使用瓦片来促进并行处理时，瓦片光栅扫描次序可要求每一瓦片的经译码视频数据包含于单独的NAL单元中。因此，用于个别瓦片的NAL单元可显著小于最大发射单元(MTU)大小，且经译码位流的效率可因与NAL单元的多样性相关联的开销而降低。此外，在易错环境中，这些NAL单元中的多者的损失可导致使用错误隐藏技术(例如，基于内插的错误隐藏技术)从相邻CU重构缺失CU的能力的损失。
[0045]作为另一实例，可使用瓦片来提供可独立解码的子图片，例如R0I。在此些情况下，将ROI的经译码视频数据放在位流中在图片的其余部分的经译码视频数据之前可为合意的。然而，ROI很少位于图片中，使得当以瓦片光栅扫描次序(如由HM指定)译码瓦片时，其经译码视频数据将是第一个。相反，ROI可在图片的中心，或至少不可能在图片的最上部分，即瓦片光栅扫描将开始的地方。
[0046]根据本文所述的瓦片分组技术，将图片中的多个瓦片中的每一者指派给多个瓦片群组中的一者。本文所述的用于对瓦片进行分组的技术可促进视频位流的编码和解码两者的经改进并行处理、经改进的容错性和/或较灵活的关注区(ROI)译码。
[0047]图1是说明可经配置以利用如本文所述的用于瓦片分组的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12，其经由通信信道16将经编码的视频发射到目的地装置14。经编码视频数据还可存储在存储媒体35或文件服务器37上，且可由目的地装置14在需要时存取。当存储到存储媒体或文件服务器时，视频编码器20可将经译码视频数据提供给另一装置，例如网络接口、压缩光盘(CD)、蓝光或数字视频光盘(DVD)烧录器或冲压设施装置，或其它装置，用于将经译码视频数据存储到存储媒体。同样地，与视频解码器34分开的装置，例如网络接口、⑶或DVD读取器等，可从存储媒体检索经译码视频数据，并将检索到的数据提供给视频解码器34。
[0048]源装置12和目的地装置14可包括各种各样的装置中的任一者，包含桌上型计算机、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的智能电话)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台等。在许多情况下，此些装置可为无线通信而配备。因此，通信信道16可包括适合发射经编码视频数据的无线信道、有线信道或无线与有线信道的组合。类似地，目的地装置14可经由任何标准数据连接(包含因特网连接)接入文件服务器37。这可包含无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或两者的组合，其适合存取存储在文件服务器上的经编码视频数据。
[0049]根据本发明的实例，用于视频译码过程中的瓦片分组的技术可应用于支持多种多媒体应用(例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如经由因特网))中的任一者的视频译码，用于存储在数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
[0050]在图1的实例中，源装置12包含视频源18、视频编码器20、囊封单元22、调制器/解调器24以及发射器26。在源装置12中，视频源18可包含例如视频捕获装置等来源，例如摄像机、含有先前所捕获视频的视频存档、用以接收来自视频内容提供者的视频的视频馈送接口，和/或用于产生计算机图形数据作为源视频的计算机图形系统，或此些来源的组合。作为一个实例，如果视频源18为摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，本发明中所描述的技术可适用于一般视频译码，且可应用于无线和/或有线应用，或其中将经编码视频数据存储在本地磁盘上的应用。
[0051]所捕获、预捕获或计算机产生的视频可由视频编码器20编码。经编码的视频信息可由调制解调器24根据通信标准(例如无线通信协议)来调制，且经由发射器26发射到目的地装置14。调制解调器24可包含经设计以用于信号调制的各种混频器、滤波器、放大器或其它组件。发射器26可包含经设计以用于发射数据的电路，包含放大器、滤波器及一个或一个以上天线。
[0052]由视频编码器20编码的所捕获、预捕获或计算机产生的视频还可存储到存储媒体35或文件服务器37上以供以后消耗。存储媒体35可包含蓝光光盘、DVD、⑶-ROM、快闪存储器，或任何其它用于存储经编码视频的合适数字存储媒体。存储在存储媒体35上的经编码视频可接着由目的地装置14存取，以用于解码和重放。[0053]文件服务器37可为能够存储经编码视频且将所述经编码视频发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置、本地磁盘驱动器，或能够存储经编码视频数据并将其发射到目的地装置的任何其它类型的装置。经编码视频数据从文件服务器37的发射可为流式发射、下载发射或两者的组合。目的地装置14可经由任何标准数据连接(包含因特网连接)接入文件服务器37。这可包含无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器、以太网、USB等)，或两者的组合，其适合存取存储在文件服务器上的经编码视频数据。
[0054]在图1的实例中，目的地装置14包含接收器28、调制解调器30、视频解码器34以及显示装置36。目的地装置14的接收器28经由信道16接收信息，且调制解调器30解调所述信息以为视频解码器34产生经解调位流。经由信道16传送的信息可包含由视频编码器20产生的多种语法信息，以供视频解码器34在解码视频数据时使用。此语法还可与存储在存储媒体35或文件服务器37上的经编码视频数据包含在一起。视频编码器20和视频解码器34中的每一者可形成能够编码或解码视频数据的相应编码器-解码器(CODEC)的部分。
[0055]显示装置36可与目的地装置14集成或可在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置36向用户显示经解码的视频数据，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
[0056]在图1的实例中，通信信道16可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理传输线、或无线和有线媒体的任一组合。通信信道16可形成例如局域网、广域网等基于包的网络或例如因特网等全局网络的部分。通信信道16通常表示用于将视频数据从源装置12发射到目的地装置14的任何合适通信媒体或不同通信媒体的集合，包含有线或无线媒体的任何合适组合。通信信道16可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。
[0057]视频编码器20和视频解码器34可根据视频压缩标准(例如目前正在开发的HEVC标准)来操作，且可通常符合与HEVC相关联的当前或最终HM。或者，视频编码器20和视频解码器34可根据其它专有或行业标准来操作，例如ITU-T H.264标准，或者称为MPEG4，部分10，高级视频译码(AVC)，或此些标准的扩展。然而，本发明的技术不限于任何特定译码标准。其它实例包含MPEG-2和ITU-T H.263。
[0058]尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器34可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中，如果适用，那么MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(m)P)等其它协议。
[0059]视频编码器20和视频解码器34各自可实施为多种合适编码器电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术被部分地以软件来实施时，装置可将用于所述软件的指令存储在合适的非暂时性计算机可读媒体中，且使用一个或一个以上处理器在硬件中执行所述指令以实施本发明的技术。视频编码器20和视频解码器34中的每一者可包含在一个或一个以上编码器或解码器中，其中的任一者可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。如本发明中所描述，视频译码器可指代视频编码器或视频解码器。类似地，视频译码单元可指代视频编码器或视频解码器。同样地，视频译码可指代视频编码或视频解码。
[0060]如图1中所说明，源装置12可包括囊封单元22，且目的地装置14可包括拆封单元
32。囊封单元22和拆封单元32表示可实施本文所述用于对瓦片进行分组的技术的处理单元的实例。
[0061]举例来说，视频编码器20可将图片分割成瓦片、对瓦片进行分组，且根据分割成瓦片以及所述瓦片的分组来编码所述图片的视频数据。在一些实例中，视频编码器20的并行处理核可分别编码来自不同瓦片群组的视频数据。囊封单元22可经配置以将来自瓦片的经编码视频数据以根据瓦片的分组的次序放入位流中，且将指示如何将图片分割成瓦片以及如何对瓦片进行分组的语法信息放入位流中。
[0062]拆封单元32可接收用于瓦片和瓦片分组的经编码视频数据和语法信息，且根据瓦片分组语法信息将用于瓦片的经编码视频数据提供给解码器34。举例来说，拆封单元32可基于瓦片分组语法将用于不同瓦片群组的经编码视频数据引导到解码器34的不同并行处理核。解码器34可根据用于瓦片的语法信息以及其它语法信息来解码经编码视频数据。
[0063]图2A到2D是说明分割成瓦片的实例图片的概念图，其中将所述瓦片中的每一者指派给多个瓦片群组中的一者。举例来说，图2A说明经由七个水平边界(除了两个水平图片边界之外)分割成八个水平瓦片42A到42D以及44A到44D的实例图片40。瓦片42A到42D为第一瓦片群组，且瓦片44A到44D为第二瓦片群组。在图2A的实例中，来自第一瓦片群组的瓦片42A到42D与第二瓦片群组的瓦片44A到44D交错，即，在交替基础上。
[0064]在一些实例中，编码器20可不允许跨瓦片边界的图片内预测，使得编码器20和/或解码器34的两个并行处理核可分别独立地编码或解码第一群组的瓦片42A到42D以及第二群组的瓦片44A到44D。如果未以图2A中所说明的方式对瓦片42A到42D以及44A到44D进行分组，那么将译码用于所述瓦片的视频数据，并以瓦片光栅扫描次序发射或接收，即瓦片42A、瓦片44A、瓦片42B、瓦片44B等。因此，解码器34将以同一次序解码瓦片中的译码单元，即瓦片42A、瓦片44A、瓦片42B、瓦片44B等。在此情况下，瓦片光栅扫描次序将使得必须为瓦片中的每一者产生单独NAL单元，即为八个瓦片42A到42D以及44A到44D产生八个NAL单元。图片40的经编码视频数据的八个NAL单元的产生和发射可比根据本发明的技术可能的情况低效，例如因为每一 NAL单元将显著小于MTU大小，且相对于较小数目的NAL单元，多个NAL单元将呈现较多开销。举例来说，八个NAL单元中的每一者的标头和/或其它信息将需要包含在位流中，从而增加开销。
[0065]然而，将瓦片42A到42D分组成第一瓦片群组，且将瓦片44A到44D分组成第二瓦片群组可使得能够使用较少数目的NAL单元来发射用于图片40的经编码视频数据。举例来说，如果可将瓦片42A到42D组合以产生具有小于或等于MTU大小的大小的NAL单元，那么可将瓦片42A到42B组合在单个NAL单元中。对于瓦片44A到44D也将如此。因此，在此实例中，编码器20可产生且解码器34可接收两个NAL单元，即，用于第一瓦片群组的瓦片42A到42D的第一 NAL单元，以及用于第二瓦片群组的瓦片44A到44D的第二 NAL单元。两个NAL单元可较接近MTU大小，且将使用于图片40的经编码视频数据的仅两个NAL标头成为必要。在各种实例中，瓦片群组的两个、三个、四个或四个以上瓦片可包含于NAL单元中，取决于瓦片的大小和MTU大小，且用于所述群组的额外瓦片可包含于额外的NAL单元中。换句话说，一群组的瓦片可需要一个以上NAL单元。然而，相对于以瓦片光栅扫描次序对瓦片进行译码，根据本发明对瓦片进行分组可允许图片所需的NAL单元的数目减少。
[0066]在一些实例中，编码器20可将用于两个瓦片群组的经译码视频数据放入相应的经译码切片中，而囊封单元22可接着囊封到相应的包(例如实时输送协议(RTP)包)中。因此，在一些实例中，瓦片群组可一起在切片中呈现，切片接着可提供于单个NAL单元中。可将NAL单元分成一个或一个以上包。因为瓦片群组包含空间上在图片40内彼此交错的瓦片，如图2A中所说明，所以如果所述包中的一者丢失，那么解码器34可仍能够使用接收到的包中的经解码瓦片来重构丢失包中的瓦片所覆盖的区。解码器34可使用多种错误隐藏技术中的任一者来重构丢失包中的瓦片所覆盖的区。在错误隐藏中，如果缺失的CU具有接收到的且可正确解码的一个或一个以上相邻⑶，那么解码器34可使用经正确解码的相邻⑶(例如，经由内插)来重构缺失的⑶。将经交错的瓦片群组放在相应的包中增加了以下情况的可能性:如果包中的一者丢失，那么将存在可用于其它包中所运载的CU的错误隐减的相邻⑶。
[0067]图2B到2D说明分割成瓦片的其它实例图片，其中将每一瓦片指派给多个瓦片群组中的一者，且每一瓦片群组包含多个瓦片。类似于上文所论述的图2A的瓦片的分组，图2B到2D中所说明的瓦片的分组可提供相对于并行化效率和容错性的优点。
[0068]举例来说，图2B说明经由八个水平瓦片边界(除了两个水平图片边界之外)分割成九个水平瓦片52A到52C、54A到54C以及56A到56C的实例图片50。瓦片52A到52C为第一瓦片群组，瓦片54A到54C为第二瓦片群组，且瓦片56A到56C为第三瓦片群组。在图2B的实例中，所述三个瓦片群组的瓦片交错。
[0069]将瓦片52A到52C、54A到54C以及56A到56C分组成三个瓦片群组中的相应群组可使图片50的经编码视频数据能够使用较少数目的NAL单元来发射，所述数目可较接近MTU大小，且将使用于图片50的经编码视频数据的较少NAL标头成为必要。另外，在一些实例中，编码器20可将用于三个瓦片群组的经译码视频数据放入相应的经译码切片中，囊封单元22可接着将其囊封到相应的包中，这可促进在包中的一者或一者以上丢失的情况下，解码器34使用多种错误隐藏技术中的任一者进行重构，如上文相对于图2A所论述。
[0070]将瓦片52A到52C、54A到54C以及56A到56C分组成三个瓦片群组中的相应群组还可促进视频编码器或解码器的并行处理核对图片50的视频数据的并行处理或译码。编码器或解码器的并行处理核可为并行硬件核，或在单个硬件核上执行的并行处理线程。并行处理可包含大体上在同时借助相应处理核来译码视频数据的与指派给不同群组的瓦片相关联的至少某一部分。对于并行处理，处理核可以但不一定同时开始或结束译码图片的视频数据。然而，在并行处理的至少一部分期间，所述核同时进行译码。
[0071]图2C说明经由七个垂直瓦片边界(除了两个垂直图片边界之外)分割成八个垂直瓦片62A到62D以及64A到64D的实例图片60。瓦片62A到62D为第一瓦片群组，且瓦片64A到64D为第二瓦片群组。在图2C的实例中，所述两个群组的瓦片交错。[0072]图2D说明经由八个垂直瓦片边界(除了两个垂直图片边界之外)分割成九个垂直瓦片72A到72C、74A到74C以及76A到76C的实例图片70。瓦片72A到72C为第一瓦片群组，瓦片74A到74C为第二瓦片群组，且瓦片76A到76C为第三瓦片群组。在图2D的实例中，所述三个群组的瓦片交错。
[0073]图3是说明分割成多个瓦片的另一实例图片80的概念图，其中将所述瓦片中的每一者指派给两个瓦片群组中的一者。在所说明的实例中，通过八个垂直瓦片边界和七个水平瓦片边界(除了两个垂直和两个水平图片边界之外)将图片80分割为七十二个瓦片。图3中所说明的影线或空正方形中的每一者为瓦片。所述七十二个瓦片中，为了便于说明，为第一瓦片群组的瓦片82A到82E以及第二瓦片群组的瓦片84A到84D加标签。如图3中所说明，两个群组的瓦片以“棋盘”模式交错。类似图2A到2D中所说明的分组，图3中所说明的瓦片的分组可提供相对于并行化效率和容错性的优点。
[0074]图4是说明通过两个水平瓦片边界和两个垂直瓦片边界分割成多个瓦片92以及94A到94H的实例图片90的概念图。瓦片92为第一瓦片群组，且瓦片94A到94H为第二瓦片群组。因此，在此实例中，第一瓦片群组包含单个瓦片。尽管图4的实例在第一瓦片群组中包含单个瓦片92，但其它实例可在第一瓦片群组中包含两个或两个以上瓦片92。
[0075]在一些实例中，以图4中所说明的方式来对图片序列中的每一图片进行分割，且瓦片的子集(例如图4中的瓦片92)覆盖图片序列中的所有图片中的同一矩形区。可独立于来自同一图片和其它图片的其它区来解码所有图片的此矩形区。此区可称为可独立解码的子图片。对于一些客户端，此区可仅为R0I，例如归因于用户偏好、目的地装置14的受限解码能力，或文件服务器37与目的地装置14之间的通信信道16的受限网络带宽。
[0076]与目的地装置14相关联的客户端可选择请求足以解码此ROI的仅经译码视频数据的发射，或请求视频解码器34丢弃在此ROI之外的视频数据(或不尝试恢复其损失)。为了促进用于ROI的经译码视频数据的此择优解码，囊封单元22可将覆盖ROI的瓦片(例如图4中的瓦片92)的经译码视频数据放在位流中的其它瓦片的经译码视频数据之前，且/或将用于ROI的经译码视频数据放在来自非ROI视频数据的单独切片、包或NAL单元中。
[0077]图5是说明通过瓦片边界和切片边界来对图片进行分割的实例的概念图。在图5的实例中，通过两个垂直瓦片边界106A和106B将图片100分割成三个垂直瓦片102A、102B和104。瓦片102A和102B为第一瓦片群组，且瓦片104为第二瓦片群组。图5还说明瓦片内的IXU，为了便于说明，仅为其中的IXUl到12加标签。
[0078]如上文所论述，HM(类似先前视频译码标准)实现将图片(即帧)分割成切片，所述切片中的每一者由呈光栅扫描次序的整数数目个LCU组成。图5说明图片100的两个切片之间的实例切片边界108。如图5中可见，不同于瓦片边界106，切片边界108不一定是越过图片的垂直和/或水平线，且切片因此不一定是矩形的。
[0079]切片对应于单个NAL单元，且不准许跨切片边界的图片内预测。切片(或NAL单元)可包含一个以上瓦片，或瓦片可包含一个以上切片。换句话说，瓦片内可存在多个切片，如相对于瓦片102A内的至少两个切片所说明。此外，切片可包含来自一个以上瓦片的IXU，例如NAL单元可包含来自一个以上瓦片的经译码视频数据。
[0080]在一些实例中，将与指派给一个瓦片群组的瓦片相关联的视频数据放在共用的一个或一个以上切片或NAL单元中，且将与指派给另一瓦片群组的瓦片相关联的视频数据放在共用的一个或一个以上其它切片或NAL单元中。类似地，可将与指派给一个瓦片群组的瓦片相关联的视频数据放在共用的一个或一个以上包中，且可将与指派给另一瓦片群组的瓦片相关联的视频数据放在共用的一个或一个以上其它包中。在一些实例中，在给定瓦片群组中的瓦片相对于切片、NAL单元或包的所允许大小的大小的情况下，如果可能，那么将与指派给一个瓦片群组的瓦片相关联的视频数据放在单个切片、NAL单元或包中可为优选的。包(例如，RTP包)不一定对应于切片或NAL单元，例如每一 NAL单元可需要多个包，或多个NAL单元可包含在单个包中。然而，在一些实例中，可将与指派给共用瓦片群组的瓦片相关联的视频数据放在单个共用NAL单元(切片)中，其可接着包含于单个共用包中，或分割为多个包。
[0081]此将与指派给不同瓦片群组的瓦片相关联的视频数据分成不同切片、NAL单元或包可促进将与指派给共用群组的瓦片相关联的视频数据连续地放在位流中，而不是以光栅扫描次序将所述视频数据放在所述位流中。此分离还可促进以基于位流中的所述瓦片群组的次序对与指派给不同群组的瓦片相关联的视频数据进行排序，其可促进视频解码器对可独立解码的子图片或ROI的择优解码。此分离还可促进用于不同瓦片群组的所述视频数据的并行处理，或错误恢复，如本文所述。另外，将与指派给共用瓦片群组的瓦片相关联的视频数据放在共用NAL单元或切片内可促进跨瓦片边界(例如跨所述瓦片群组内的瓦片边界)但不在所述瓦片群组之间的受限图片内预测，甚至在共用瓦片群组的瓦片在光栅扫描次序中不邻近时也是如此。
[0082]图6是结合囊封单元22说明视频编码器20的实例配置的框图，其可实施本文所揭示的用于分组瓦片的技术。出于说明的目的，将在HEVC译码的上下文中描述视频编码器20，但不将本发明限制于可实现瓦片的分组的其它译码标准或方法。视频编码器20可执行视频帧内的CU的帧内和帧间译码。帧内译码依靠空间预测来减少或去除给定视频帧内的视频数据中的空间冗余。帧间译码依靠时间预测来减少或去除视频序列的当前帧与先前译码帧之间的时间冗余。帧内模式(I模式)可涉及若干基于空间的视频压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的视频压缩模式中的任一者。
[0083]如图6中所示，视频编码器20接收视频数据，例如待编码图片内的当前视频块。在图6的实例中，视频编码器20包含模式选择单元110。模式选择单元110包含运动估计单元112、运动补偿单元114、帧内预测单元116以及分割单元118。视频编码器20进一步包括求和器120、变换模块122、量化单元124以及熵编码单元126。图6中所说明的变换模块122为将实际变换或变换的组合应用于残余数据块的单元，且不与变换系数块混淆，所述单元还可称为⑶的变换单元(TU)。对于视频块重构，视频编码器20还包含逆量化单元128、逆变换模块130以及求和器132。经重构的视频块可存储在参考图片存储器134中。还可包含去块滤波器以对块边界进行滤波，以从经重构的视频去除成块性假影。在需要时，去块滤波器将通常对求和器132的输出进行滤波。
[0084]在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将帧或切片分为多个视频块。运动估计单元112和运动补偿单元114相对于一个或一个以上参考帧中的一个或一个以上块执行对所接收的视频块的帧间预测译码以提供时间预测。帧内预测单元116可替代地相对于与待译码的块在同一帧或切片中的一个或一个以上相邻块执行所接收视频块的帧内预测译码，以提供空间预测。视频编码器20可执行多个译码遍次，例如为每一视频数据块选择适当的译码模式。
[0085]此外，分割单元118可基于先前译码遍次中的先前分割方案的评估将视频数据块分割成若干子块。举例来说，分割单元118可最初将帧或切片分割成LCU，且基于速率-失真分析(例如，速率-失真优化)将所述LCU中的每一者分割成若干子CU。模式选择单元110可进一步产生指示将IXU分割成子⑶的四叉树数据结构。四叉树的叶节点⑶可包含一个或一个以上PU以及一个或一个以上TU。分割单元118还可将帧或图片分割成切片其它较大单元。举例来说，分割单元118可以本文所述的方式，例如通过界定一个或一个以上水平和/或垂直瓦片边界来将图片分割成瓦片，使得每一瓦片为矩形的且包含整数数目个LCU。
[0086]不管使用时间还是空间预测来译码所述块，模式选择单元110将所得经帧内或帧间预测块(例如，预测单元(PU))提供给求和器120以产生残余块数据，且提供给求和器132以重构经编码块供参考帧中使用。求和器132将所预测的块与来自用于所述块的逆变换模块130的经逆量化、逆变换数据进行组合，以重构经编码块，如下文更详细地描述。可将一些视频帧指定为I帧，其中I帧中的所有块均以帧内预测模式编码。在一些情况下，帧内预测模块116可执行P或B帧中的块的帧内预测编码，例如当运动估计单元112所执行的运动搜索未得出所述块的充足预测时。
[0087]运动估计单元112与运动补偿单元114可高度集成，但出于概念上的目的而分开予以说明。运动估计(或运动搜索)是产生估计视频块的运动的运动向量的过程。举例来说，运动向量可指示当前帧中的预测单元相对于参考帧的参考样本的移位。运动估计单元112通过将预测单元与存储在参考图片存储器134中的参考帧的参考样本进行比较来计算经帧间译码的帧的预测单元的运动向量。参考样本可为在像素差方面发现与CU的包含正译码的PU的部分密切匹配的块，其可由绝对差和(SAD)、平方差和(SSD)或其它差度量确定。参考样本可出现在参考帧或参考切片内的任何地方，且不一定在参考帧或切片的块(例如，译码单元)边界处。在一些实例中，参考样本可出现在分数像素位置处。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元112可执行相对于完整像素位置和分数像素位置的运动搜索，且输出具有分数像素精度的运动向量。
[0088]运动估计单元112将所计算的运动向量发送到熵编码单元126和运动补偿单元114。由运动向量识别的参考帧的部分可称为参考样本。运动补偿单元114可例如通过检索由PU的运动向量识别的参考样本来计算当前CU的预测单元的预测值。
[0089]作为运动估计单元112和运动补偿单元114所执行的帧间预测的替代方案，帧内预测模块116可对接收到的块执行帧内预测。在假定块的从左到右、从上到下编码次序的情况下，帧内预测模块116可相对于相邻的先前经译码块(例如在当前块上方、上方且右侦U、上方且左侧或左侧的块)预测接收到的块。帧内预测模块116可配置有多种不同帧内预测模式。举例来说，帧内预测模块116可基于正编码的CU的大小配置有某一数目的定向预测模式，例如三十五种定向预测模式。
[0090]帧内预测模块116可通过例如为各种帧内预测模式计算误差值且选择得出最低误差值的模式来选择帧内预测模式。定向预测模式可包含用于组合空间上相邻像素的值且将组合值应用于PU中的一个或一个以上像素位置的功能。一旦已计算中的所有像素位置的值，帧内预测模块116便可基于与待编码的所接收块之间的像素差来计算所述预测模式的误差值。帧内预测模块116可继续测试帧内预测模式，直到发现得出可接受误差值的帧内预测模式为止。帧内预测模块46可接着将PU发送到求和器120，且将指示用于所述块的选定帧内预测模式的信息发送到熵编码单元116。
[0091]视频编码器20通过将运动补偿单元114或帧内预测模块116所计算的预测数据从正译码的原始视频块减去来形成残余块。求和器120表示执行此减法操作的组件。残余块可对应于像素差值的二维矩阵，其中残余块中的值的数目与对应于所述残余块的PU中的像素的数目相同。残余块中的值可对应于PU中与待译码的原始块中位于同一位置的像素的值之间的差，即误差。所述差可为取决于被译码块的类型的色度或亮度差。
[0092]变换单元122可从残余块形成一个或一个以上变换单元(TU)。变换模块122从多个变换之中选择变换。可基于一个或一个以上译码特性(例如，块大小、译码模式等)来选择变换。变换模块122接着将选定变换应用于TU，从而产生包括变换系数的二维阵列的视频块。变换模块122可用信号通知经编码视频位流中的选定变换分割。
[0093]变换模块122可将所得变换系数发送到量化单元124。量化单元124可接着量化变换系数。熵编码单元126可接着根据扫描模式执行矩阵中的经量化变换系数的扫描。本发明将熵编码单元126描述为执行所述扫描。然而，应理解，在其它实例中，其它处理单元(例如量化单元124)可执行所述扫描。
[0094]一旦将变换系数扫描到一维阵列中，熵编码单元126就可对所述系数应用熵译码，例如CAVLC、CABAC、基于语法的上下文自适应二进制算术译码(SBAC)或另一熵译码方法。
[0095]为了执行CAVLC，熵编码单元126可为待发射的符号选择可变长度码。可构造VLC中的码字，使得相对较短的码对应于较可能的符号，而较长的码对应于较不可能的符号。以此方式，与例如对待发射的每一符号使用等长码字相比，VLC的使用可实现位节省。
[0096]为了执行CABAC，熵编码单元126可选择上下文模型来应用于某一上下文以编码待发射的符号。所述上下文可与例如相邻值是否为非零有关。熵编码单元126还可对语法元素(例如代表选定变换的信号)进行熵编码。根据本发明的技术，熵编码单元126可基于(例如)帧内预测模式的帧内预测方向、对应于语法元素的系数的扫描位置、块类型和/或变换类型以及用于上下文模型选择的其它因素而选择用以编码这些语法元素的上下文模型。
[0097]在熵编码单元126进行的熵译码之后，可将所得经编码视频提供给囊封单元22，且接着发射到另一装置(例如视频解码器34)或加以存档以用于稍后发射或检索。熵编码单元126还可接收和编码语法元素，例如指示模式选择单元110为块选择的译码模式以及分割单元118将用于图片的视频数据例如分割成瓦片和/或切片的语法元素。熵编码单元126将经译码语法元素提供给囊封单元22，例如以供发射到另一装置，例如视频解码器34，或加以存档以供稍后发射或检索。
[0098]在一些情况下，熵编码单元126或视频编码器20的另一单元可经配置以执行除熵译码之外的其它译码功能。举例来说，熵编码单元126可经配置以确定⑶和的经译码块模式(CBP)值。并且，在一些情况下，熵编码单元126可执行系数的游程长度译码。[0099]逆量化单元128和逆变换模块130分别应用逆量化和逆变换，以在像素域中重构残余块，例如以供稍后用作参考块。求和器132将经重构的残余块与运动补偿单元114所产生的经运动补偿预测块相加，以产生经重构视频块。在一些实例中，可例如通过去块滤波器对经重构残余块进行滤波。在滤波之后，接着将经滤波的经重构视频块存储在参考图片存储器134中。运动补偿单元114可通过将残余块与参考图片存储器134的帧中的一者的预测块相加来计算参考块。运动补偿单元114还可将一个或一个以上内插滤波器应用于经重构的残余块，以计算用于运动估计中的子整数像素值。
[0100]囊封单元22从视频编码器20接收经编码视频数据和语法元素。囊封单元22可对瓦片进行分组，将与瓦片群组相关联的经编码视频数据放入NAL单元中，将NAL单元放入包中，例如以将与不同瓦片群组相关联的经编码数据放入不同包中，且根据本文所述的技术对经编码视频数据(包)进行排序。囊封单元22还可包含经译码语法元素，例如指示分割单元118如何将视频数据分割成瓦片以及囊封单元22如何将瓦片分组到位流中。
[0101]图7是结合拆封单元32说明视频解码器34的实例配置的框图。拆封单元32从囊封单元22接收包含经编码视频数据和语法元素的位流。拆封单元32根据所述语法元素将经编码视频数据提供给视频解码器34。举例来说，在其中视频解码器34包括多个并行处理核的实例中，拆封单元32可将与不同瓦片群组相关联的经编码视频数据提供到并行处理核(例如，硬件核或线程)中的不同者。在其中视频解码器34包括多个并行处理核的实例中，可为每一处理核重复图7中所说明的视频解码器34的至少一些或所有组件。在一些实例中，图7中所说明的视频解码器34的组件中的一些可由不同处理核共享。作为另一实例，拆封单元32可将与覆盖ROI的瓦片群组相关联的经编码视频数据提供给视频解码器34，且丢弃(或以其它方式有区别地提供给视频解码器)与不覆盖ROI的一个或一个以上瓦片群组相关联的视频数据。
[0102]在图7的实例中，视频解码器34包含熵解码单元140、运动补偿单元142、帧内预测模块144、逆量化单元146、逆变换单元148、经解码图片缓冲器152以及求和器150。视频解码器34在一些实例中可执行一般与关于视频编码器20 (见图6)所描述的编码遍次互逆的解码遍次。运动补偿单元142可基于从熵解码单元140接收到的运动向量产生预测数据，而帧内预测单元144可基于从熵解码单元140接收到的帧内预测模式指示符产生预测数据。
[0103]在解码过程期间，视频解码器34从视频编码器20接收表示经编码视频切片的视频块和相关联语法元素的经编码视频位流。熵解码单元140对所述经编码位流执行熵解码过程，以检索变换系数的一维阵列、运动向量或帧内预测模式指示符以及其它语法元素。熵解码单元140将变换系数、运动向量或帧内预测模式指示符以及其它语法元素转发到运动补偿单元142或帧内预测模块144。所使用的熵解码过程取决于视频编码器20所使用的熵译码(例如，CABAC、CAVLC等)。可在经编码位流中用信号通知编码器所使用的熵译码过程，或其可为预定过程。
[0104]在一些实例中，熵解码单元140(或逆量化单元146)可使用镜像由视频编码器20的熵编码单元126 (或量化单元124)所使用的扫描模式的扫描来扫描接收到的值。尽管可在逆量化单元146中执行对系数的扫描，但出于说明的目的，将把扫描描述为由熵解码单元140执行。另外，尽管为了便于说明展示为单独的功能单元，但视频解码器34的熵解码单元140、逆量化单元146以及其它单元的结构和功能性可彼此高度集成。
[0105]逆量化单元146将位流中提供的且由熵解码单元140解码的经量化的变换系数逆量化(即，去量化)。逆量化过程可包含(例如)类似于针对HEVC所提出或由H.264解码标准界定的过程的常规过程。逆量化过程可包含针对CU使用由视频编码器20计算的量化参数QP来确定量化程度以及同样确定应当应用的逆量化的程度。在将系数从一维阵列转换为二维阵列之前或之后，逆量化单元146可对变换系数进行逆量化。
[0106]逆变换模块148将逆变换应用于经逆量化的变换系数。在一些实例中，逆变换模块148可基于来自视频编码器20的信令或通过从例如块大小、译码模式等一个或一个以上译码特性中推断变换来确定逆变换。在一些实例中，逆变换模块148可基于包含当前块的LCU的四叉树的根节点处用信号通知的变换来确定将应用于当前块的变换。或者，可在LCU四叉树中的叶节点CU的TU四叉树的根部用信号通知变换。在一些实例中，逆变换模块148可应用级联逆变换，其中逆变换模块148将两个或两个以上逆变换应用于正解码的当前块的变换系数。
[0107]当将视频切片译码为经帧内译码(I)切片时，帧内预测单元144可基于发信号通知的帧内预测模式以及来自当前帧或图片的先前经解码块的数据来产生当前视频切片的视频块的预测数据。当将视频帧译码为经帧间译码(即，B、P或GPB)切片时，运动补偿单元142基于从熵解码单元140接收到的运动向量和其它语法元素产生当前视频切片的视频块的预测块。运动补偿单元142通过剖析运动向量和其它语法元素来确定当前视频切片的视频块的预测信息，且使用所述预测信息来产生正解码的当前视频块的预测块。举例来说，运动补偿单元142可使用所接收语法元素中的一些来确定用以对视频切片的视频块进行译码的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、所述切片的每一经帧间编码视频块的运动向量、所述切片的每一经帧间译码视频块的帧间预测状态，以及用以解码当前视频切片中的视频块的其它信息。
[0108]运动补偿单元142还可基于内插滤波器执行内插。运动补偿单元142可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的经内插值。在此情况下，运动补偿单元142可从所接收的语法元素确定视频编码器20所使用的内插滤波器，且使用内插滤波器来产生预测块。
[0109]另外，在HEVC实例中，运动补偿单元142和帧内预测模块144可使用语法信息(例如由四叉树提供)中的一些来确定用以编码经编码视频序列的帧的LCU的大小，以及LCU如何分割成瓦片。运动补偿单元142和帧内预测模块144还可使用语法信息来确定描述经编码视频序列的帧的每一 CU如何分裂(且同样地，子CU如何分裂)的分裂信息。语法信息还可包含指示每一分裂如何经编码的模式(例如，帧内或帧间预测，且对于帧内预测，帧内预测编码模式)、每一经帧间编码PU的一个或一个以上参考帧(和/或含有参考帧的识别符的参考列表)，以及用以解码经编码视频序列的其它信息。
[0110]在产生当前视频块的预测块之后，视频解码器34通过将来自逆变换单元148的残余块与对应的预测块求和来形成经解码视频块。求和器150表示执行此求和操作的组件。接着将给定帧或图片中的经解码视频块存储在参考图片存储器152中，其存储用于后续解码操作的参考图片。经解码图片缓冲器152还存储经解码视频以供以后在显示装置(例如，图1的显示装置36)上呈现。[0111]在其中视频解码器34包括多个并行处理核的实例中，图7中所说明的视频解码器34的至少一些或所有组件可为每一处理核重复，或可由不同处理核共享。举例来说，熵解码单元140、运动补偿单元142、帧内预测模块144、逆量化单元146、逆变换单元148、经解码图片缓冲器152和求和器150中的任一者可为每一处理核重复，或由处理核共享。此外，其中与解码单元140、运动补偿单元142、帧内预测模块144、逆量化单元146、逆变换单元148、经解码图片缓冲器152和求和器150中的每一者相关联的各种功能可针对与指派给不同群组的瓦片相关联的视频数据并行执行。并行处理可包含大体上在同时借助相应处理核来对视频数据的与指派给不同群组的瓦片相关联的至少某部分进行译码。对于并行处理，处理核可以但不一定同时开始或结束译码图片的视频数据。然而，在并行处理的至少一部分期间，所述核同时进行译码。
[0112]图8是描绘根据本发明的包含对瓦片进行分组的实例方法的流程图。将图8的实例方法说明为由源装置12和目的地装置14执行。然而，归于源装置12和目的地装置14的各种功能，且更明确地说，本文所描述的这些装置的实例组件可由本文所述的任何其它装置、模块或单元执行。
[0113]根据实例方法，源装置12(例如，视频编码器20，且更明确地说，分割单元118可将图片分割成瓦片(160)。举例来说，分割单元118可通过界定图片内的一个或一个以上垂直和/或水平瓦片边界来将图片分割成瓦片。所得瓦片可为矩形的，且包含整数数目个LCU。
[0114]分割单元118还可将图片分割成切片，其具有与NAL单元的一一对应关系。取决于瓦片的大小，每一瓦片可包含多个切片(或NAL单元)，或多个瓦片可包含于一个切片(或NAL单元)中。源装置12 (例如，视频编码器20)可接着根据将图片分割成瓦片和切片来编码视频数据(162)。举例来说，在一些实例中，源装置12 (例如，视频编码器20)可不允许跨瓦片边界的图片内预测。
[0115]在一些实例中，源装置12可例如基于将瓦片指派给瓦片群组而允许跨瓦片边界的受限图片内预测。举例来说，在一些实例中，模式选择单元110可不允许从瓦片群组所覆盖的区到瓦片群组未覆盖的区的图片内预测，而允许从瓦片群组未覆盖的区到瓦片群组覆盖的区的图片内预测。在其它实例中，模式选择单元110可允许从瓦片群组所覆盖的区到瓦片群组未覆盖的区的图片内预测，而不允许从瓦片群组未覆盖的区到瓦片群组覆盖的区的图片内预测。
[0116]源装置12(例如，囊封单元22)可对瓦片进行分组，例如将瓦片中的每一者指派给多个瓦片群组中的一者(164)。源装置12(例如，囊封单元22)可接着根据瓦片的分组将经编码视频数据和语法元素放入位流中(166)。位流中的语法元素可包含指示图片如何经分割成瓦片的语法，以及指示瓦片如何经指派给群组的语法。下文更详细地描述可用于这些目的的实例语法元素。源装置12可通过基于与视频数据相关联的瓦片被指派给哪一瓦片群组将视频数据放入不同包中，或以基于瓦片群组的次序将视频数据放入位流中，根据瓦片的分组将经编码视频数据放入位流中。
[0117]在一些实例中，源装置12可将与指派给一个瓦片群组的瓦片相关联的视频数据放在共用的一个或一个以上切片或NAL单元中，且将与指派给另一瓦片群组的瓦片相关联的视频数据放在共用的一个或一个以上其它切片或NAL单元中。类似地，源装置12可将与指派给一个瓦片群组的瓦片相关联的视频数据放在共用的一个或一个以上包中，且将与指派给另一瓦片群组的瓦片相关联的视频数据放在共用的一个或一个以上其它包中。在一些实例中，在给定瓦片群组中的瓦片相对于切片、NAL单元或包的所允许大小的大小的情况下，如果可能，那么将与指派给一个瓦片群组的瓦片相关联的视频数据放在单个切片、NAL单元或包中可为优选的。
[0118]此将与指派给不同瓦片群组的瓦片相关联的视频数据分离成不同切片、NAL单元或包可促进将与指派给共用群组的瓦片相关联的视频数据连续地放在位流中，而不是以光栅扫描次序将所述视频数据放在所述位流中。此分离还可促进以基于位流中的所述瓦片群组的次序对与指派给不同群组的瓦片相关联的视频数据进行排序，其可促进视频解码器对可独立解码的子图片或ROI的择优解码。此分离还可促进用于不同瓦片群组的视频数据的并行处理，或错误恢复，如本文所述。另外，将与指派给共用瓦片群组的瓦片相关联的视频数据放在共用NAL单元或切片内可促进跨瓦片边界(例如跨瓦片群组内的瓦片边界)但不在瓦片群组之间的受限图片内预测，甚至在共用瓦片群组的瓦片在光栅扫描次序中不邻近时也是如此。
[0119]包(例如，RTP包)不一定对应于切片或NAL单元，例如每一 NAL单元可需要多个包，或多个NAL单元可包含在单个包中。然而，在一些实例中，可将与指派给共用瓦片群组的瓦片相关联的视频数据放在单个共用NAL单元(切片)中，其可接着包含于单个共用包中，或分割为多个包。
[0120]目的地装置14 (例如，拆封单元32)接收位流(168)。在一些实例中，目的地装置14对位流的接收是通过源装置12与目的地装置14彼此通信。在各种实例中，如上文所论述，目的地装置14可例如经由服务器37或媒体36，在产生之后的某一时间接收由源装置产生的位流。
[0121]在接收到位流之后，目的地装置14 (例如，拆封单元32)可基于位流中指示图片的瓦片已经如何分组的语法元素来确定瓦片的分组(170)。下文更详细地描述用于此目的的实例语法元素。
[0122]目的地装置14(例如，拆封单元32)基于指示瓦片的分组的语法元素来将经编码视频数据引导到视频解码器34(172)。举例来说，在其中视频解码器34包括多个并行处理核的实例中，拆封单元32可将与不同瓦片群组相关联的经编码视频数据提供到并行处理核中的不同者。作为另一实例，拆封单元32可将与覆盖ROI的瓦片群组相关联的经编码视频数据提供给视频解码器34，且丢弃(或以其它方式有区别地提供给视频解码器)与不覆盖ROI的一个或一个以上瓦片群组相关联的视频数据。目的地装置14(例如，视频解码器34)根据将图片分割成瓦片来解码视频数据(174)。举例来说，目的地装置14(例如，视频解码器34)可根据是否允许跨瓦片边界、仅在瓦片群组内跨瓦片边界、从瓦片群组的外部到瓦片群组内或从瓦片群组内到瓦片群组的外部的帧内预测来解码视频数据。作为另一实例，目的地装置14 (例如，视频解码器34)可以通过瓦片的分组所确立的次序来解码视频数据。在一个实例中，解码次序是从具有最小瓦片群组ID的瓦片群组到具有最大瓦片群组ID的瓦片群组，而在另一实例中，解码次序是从最大瓦片群组ID到最小瓦片群组ID。瓦片群组ID为下文更详细地论述的实例语法元素。在一些实例中，在经译码视频位流中，例如通过囊封单元22明确地用信号通知瓦片群组的解码次序。
[0123]现在提供用于本文所描述的瓦片分组技术的语法、语义和译码的实例(对于未移除且未提供语义的那些语法元素，其语义可与JCTVC-F335中所呈现的相关语法和语义相同或类似)。在一些实例中，图片中的每一瓦片与一瓦片ID相关联，所述瓦片ID等于到图片中呈瓦片光栅扫描次序的所有瓦片的列表的索引，从O开始(针对左上瓦片)。将瓦片指派给通过从O开始的不带正负号的整数瓦片群组ID值识别的一个或一个以上瓦片群组。在一些实例中，以根据瓦片群组ID值的次序(例如，从最小到最大瓦片群组ID值)解码瓦片。
[0124]可包含在序列参数集(SPS)和图片参数集(PPS)中的语法信息的实例(包含指示如何对瓦片进行分组的语法)如下。
[0125]
【权利要求】
1.一种对包括分割成多个瓦片的图片的视频数据进行译码的方法，所述方法包括: 在位流中对所述视频数据进行译码；以及 在所述位流中对指示多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的信息进行译码。
2.根据权利要求1所述的方法，其中对于所述图片的所述多个瓦片中的每一者，所述信息包括多个瓦片群组ID中与所述瓦片相关联的选定一者，其中所述选定瓦片群组ID指示所述瓦片被指派给所述瓦片群组中的哪一者。
3.根据权利要求1所述的方法，其中指派给所述多个瓦片群组中的第一者的所述瓦片在所述图片内与指派给所述多个瓦片群组中的第二者的所述瓦片交错。
4.根据权利要求1所述的方法，其中所述多个瓦片群组的子集形成可独立解码的子图片或关注区ROI中的至少一者。
5.根据权利要求4所述的方法，其中对所述视频数据进行译码包括解码所述视频数据，其中解码所述视频数据包括以下各项中的至少一者: 请求不递送所述视频数据的与瓦片群组的所述子集不相关联的一部分，或 丢弃所述视频数据的与瓦片群组的所述子集不相关联的所述部分。
6.根据权利要求1所述的方法，其中所述多个瓦片群组包括第一瓦片群组和第二瓦片群组，且来自所述第一和第二瓦片群组的所述瓦片在所述图片内交替以形成棋盘模式。
7.根据权利要求1所述的方法，其进一步包括: 用视频译码器的第一并行处理核来对所述视频数据的与指派给所述瓦片群组中的第一者的瓦片相关联的第一部分进行译码；以及 用所述视频译码器的第二并行处理核来对所述视频数据的与指派给所述瓦片群组中的第二者的瓦片相关联的第二部分进行译码。
8.根据权利要求1所述的方法，其中对所述视频数据进行译码包括解码所述视频数据，且其中解码所述视频数据包括基于与所述瓦片群组中的至少一个其它瓦片群组相关联的视频数据来重构与所述瓦片群组中的一者相关联的丢失视频数据。
9.根据权利要求1所述的方法，其中与所述瓦片群组中的不同瓦片群组相关联的经译码视频数据包含在所述位流内的不同包内。
10.根据权利要求1所述的方法，其进一步包括根据所述瓦片群组对所述位流内的所述视频数据进行排序。
11.根据权利要求1所述的方法，其中对所述视频数据进行译码包括解码所述视频数据，且其中解码所述视频数据包括以基于所述瓦片群组的次序解码所述视频数据。
12.根据权利要求11所述的方法， 其中对于所述图片的所述多个瓦片中的每一者，所述信息包括多个瓦片群组ID中与所述瓦片相关联的选定一者， 其中所述选定瓦片群组ID指示所述瓦片被指派给所述多个瓦片群组中的哪一者，且 其中以基于所述瓦片群组的次序解码所述视频数据包括以基于所述瓦片的所述瓦片群组ID的数值的次序解码所述视频数据。
13.根据权利要求1所述的方法，其进一步包括: 允许跨共用瓦片群组内的瓦片的瓦片边界的图片内预测；以及不允许跨不同瓦片群组内的瓦片的瓦片边界的图片内预测。
14.根据权利要求1所述的方法，其中在所述位流中对指示多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的信息进行译码包括在序列参数集SPS、图片参数集PPS或适应参数集APS中的至少一者中对所述信息进行译码。
15.根据权利要求1所述的方法，其中所述图片进一步被分割成多个切片，且所述切片的边界不同于所述瓦片的边界。
16.根据权利要求1所述的方法， 其中对所述视频数据进行译码包括解码所述视频数据， 其中在所述位流中对指示多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的信息进行译码包括在所述位流中对指示所述多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的所述信息进行解码， 其中在所述位流内根据所述瓦片群组对所述视频数据进行排序，使得同一瓦片群组中的瓦片的视频数据在所述位流中连续地呈现，且所述多个瓦片群组中的一者中的瓦片的视频数据在所述位流中在所述多个瓦片群组中的另一者中的瓦片的视频数据之前呈现，且 其中解码所述视频数据包括将所述多个瓦片群组中的不同瓦片群组的瓦片的所述视频数据引导到视频解码器的不同并行处理核以用于彼此并行地解码不同瓦片群组。
17.根据权利要求1所述的方法，其中所述瓦片群组中的每一者与相应的一个或一个以上NAL单元相关联， 且所述多个瓦片群组中的每一者的瓦片的视频数据包含在所述相应的一个或一个以上NAL单元中。
18.一种用于对包括分割成多个瓦片的图片的视频数据进行译码的装置，所述装置经配置以: 在位流中对视频数据进行译码；且 在所述位流中对指示多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的信息进行译码。
19.根据权利要求18所述的装置，其中对于所述图片的所述多个瓦片中的每一者，所述信息包括多个瓦片群组ID中与所述瓦片相关联的选定一者，其中所述瓦片中的每一者的所述选定瓦片群组ID指示所述瓦片被指派给所述多个瓦片群组中的哪一者。
20.根据权利要求18所述的装置，其中指派给所述多个瓦片群组中的第一者的所述瓦片在所述图片内与指派给所述多个瓦片群组中的第二者的所述瓦片交错。
21.根据权利要求18所述的装置，其中所述多个瓦片群组的子集形成可独立解码的子图片或关注区ROI中的至少一者。
22.根据权利要求21所述的装置，其中所述装置包括经配置以解码所述视频数据的视频解码器，且进一步经配置以: 请求不递送所述视频数据的与瓦片群组的所述子集不相关联的一部分，或 丢弃所述视频数据的与瓦片群组的所述子集不相关联的所述部分。
23.根据权利要求18所述的装置，其中所述多个瓦片群组包括第一瓦片群组和第二瓦片群组，且来自所述第一和第二瓦片群组的所述瓦片在所述图片内交替以形成棋盘模式。
24.根据权利要求18所述的装置，其进一步包括: 视频解码器，其包括经配置以解码所述视频数据的第一和第二并行处理核；以及拆封单元，其经配置以: 将所述视频数据的与指派给所述多个瓦片群组中的第一者的瓦片相关联的第一部分引导到用于解码所述视频数据的所述第一部分的第一并行处理核，且 将所述视频数据的与指派给所述多个瓦片群组中的第二者的瓦片相关联的第二部分引导到用于解码所述视频数据的所述第二部分的第二并行处理核。
25.根据权利要求18所述的装置，其进一步包括视频解码器，所述视频解码器经配置以基于与所述多个瓦片群组中的至少一个其它瓦片群组相关联的视频数据来重构与所述多个瓦片群组中的一者相关联的丢失视频数据。
26.根据权利要求18所述的装置，其进一步包括囊封单元，所述囊封单元将与所述瓦片群组中的不同瓦片群组相关联的视频数据放在所述位流内的不同包内。
27.根据权利要 求18所述的装置，其进一步包括囊封单元，所述囊封单元根据所述瓦片群组对所述位流内的所述视频数据进行排序。
28.根据权利要求18所述的装置，其进一步包括: 视频解码器；以及 拆封单元，其经配置以将所述视频数据提供给所述视频解码器以用于以基于所述瓦片群组的次序解码所述视频数据。
29.根据权利要求28所述的装置， 其中对于所述图片的所述多个瓦片中的每一者，所述信息包括多个瓦片群组ID中与所述瓦片相关联的选定一者， 其中所述选定瓦片群组ID指示所述瓦片被指派给所述多个瓦片群组中的哪一者，且其中所述拆封单元经配置以便以基于所述瓦片的所述瓦片群组ID的数值的次序提供所述视频数据。
30.根据权利要求18所述的装置，其进一步包括视频译码器，所述视频译码器经配置以: 允许跨共用瓦片群组内的瓦片的瓦片边界的图片内预测；以及 不允许跨不同瓦片群组内的瓦片的瓦片边界的图片内预测。
31.根据权利要求18所述的装置，其中所述装置经配置以在序列参数集SPS、图片参数集PPS或适应参数集APS中的至少一者中对指示多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的所述信息进行译码。
32.根据权利要求18所述的装置，其中所述图片进一步被分割成多个切片，且所述切片的边界不同于所述瓦片的边界。
33.根据权利要求18所述的装置，其中所述装置包括以下各项中的至少一者: 集成电路； 微处理器；以及 无线通信装置。
34.根据权利要求18所述的装置，其进一步包括: 视频解码器，其包括经配置以解码所述视频数据的多个并行处理核；以及拆封单元，其经配置以在所述位流中对指示所述多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的所述信息进行解码，其中在所述位流内根据所述瓦片群组对所述视频数据进行排序，使得同一瓦片群组中的瓦片的视频数据在所述位流中连续地呈现，且所述多个瓦片群组中的一者中的瓦片的视频数据在所述位流中在所述多个瓦片群组中的另一者中的瓦片的视频数据之前呈现，且 其中所述拆封单元将所述多个瓦片群组中的不同瓦片群组的瓦片的所述视频数据引导到所述视频解码器的所述多个并行处理核中的不同并行处理核以用于彼此并行地解码不同瓦片群组。
35.根据权利要求18所述的装置，其中所述瓦片群组中的每一者与相应的一个或一个以上NAL单元相关联，且所述多个瓦片群组中的每一者的瓦片的视频数据包含在所述相应的一个或一个以上NAL单元中。
36.一种用于对包括分割成多个瓦片的图片的视频数据进行译码的装置，所述装置包括: 用于在位流中对所述视频数据进行译码的装置；以及 用于在所述位流中对指示多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的信息进行译码的装置。
37.根据权利要求36所述的装置，其中对于所述图片的所述多个瓦片中的每一者，所述信息包括多个瓦片群组ID中与所述瓦片相关联的选定一者，其中所述选定瓦片群组ID指示所述瓦片被指派给所述多个瓦片群组中的哪一者。
38.根据权利 要求36所述的装置，其中所述多个瓦片群组的子集形成可独立解码的子图片或关注区ROI中的至少一者。
39.根据权利要求36所述的装置，其进一步包括用于对所述视频数据的与指派给所述瓦片群组中的第一者的瓦片相关联的第一部分以及所述视频数据的与指派给所述瓦片群组中的第二者的瓦片相关联的第二部分并行地进行译码的装置。
40.根据权利要求36所述的装置，其中与所述多个瓦片群组中的不同瓦片群组相关联的经译码视频数据包含在所述位流内的不同包内。
41.根据权利要求36所述的装置，其进一步包括用于以基于所述瓦片群组的次序解码所述视频数据的装置。
42.根据权利要求41所述的装置， 其中对于所述图片的所述多个瓦片中的每一者，所述信息包括多个瓦片群组ID中与所述瓦片相关联的选定一者， 其中所述选定瓦片群组ID指示所述瓦片被指派给所述多个瓦片群组中的哪一者，且 其中所述用于以基于所述瓦片群组的次序解码所述视频数据的装置包括用于以基于所述瓦片的所述瓦片群组ID的数值的次序解码所述视频数据的装置。
43.根据权利要求36所述的装置， 其中所述用于对所述视频数据进行译码的装置包括用于解码所述视频数据的装置， 其中所述用于在所述位流中对指示多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的信息进行译码的装置包括用于在所述位流中对指示所述多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的所述信息进行解码的装置， 其中在所述位流内根据所述瓦片群组对所述视频数据进行排序，使得同一瓦片群组中的瓦片的视频数据在所述位流中连续地呈现，且所述多个瓦片群组中的一者中的瓦片的视频数据在所述位流中在所述多个瓦片群组中的另一者中的瓦片的视频数据之前呈现，且 其中所述用于解码所述视频数据的装置包括用于将所述多个瓦片群组中的不同瓦片群组的瓦片的所述视频数据引导到视频译码器的不同并行处理核以用于彼此并行地解码不同瓦片群组的装置。
44.一种上面存储有指令的计算机可读存储媒体，所述指令在被执行时致使用于对包括分割成多个瓦片的图片的视频数据进行译码的装置的处理器: 在位流中对所述视频数据进行译码；以及 在所述位流中对指示多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的信息进行译码。
45.根据权利要求44所述的计算机可读存储媒体，其中对于所述图片的所述多个瓦片中的每一者，所述信息包括多个瓦片群组ID中与所述瓦片相关联的选定一者，其中所述选定瓦片群组ID指示所述瓦片被指派给所述多个瓦片群组中的哪一者。
46.根据权利要求44所述的计算机可读存储媒体，其中所述多个瓦片群组的子集形成可独立解码的子图片或关注区ROI中的至少一者。
47.根据权利要求44所述的计算机可读存储媒体，其中所述指令致使所述处理器对所述视频数据的与指派给所述瓦片群组中的第一者的瓦片相关联的第一部分与所述视频数据的与指派给所述瓦片群组中的第二者的瓦片相关联的第二部分并行地进行译码。
48.根据权利要求44所述的计算机可读存储媒体，其中与所述多个瓦片群组中的不同瓦片群组相关联的经译码视频数据包含在所述位流内的不同包内。
49.根据权利要求44所述的计算机可读存储媒体，其中所述指令致使所述处理器以基于所述瓦片群组的次序解码所述视频数据。
50.根据权利要求49所述的计算机可读存储媒体， 其中对于所述图片的所述多个瓦片中的每一者，所述信息包括多个瓦片群组ID中与所述瓦片相关联的选定一者， 其中所述选定瓦片群组ID指示所述瓦片被指派给所述多个瓦片群组中的哪一者，且 其中所述致使所述装置以基于所述瓦片群组的次序解码所述视频数据的指令包括致使所述装置以基于所述瓦片的所述瓦片群组ID的数值的次序解码所述视频数据的指令。
51.根据权利要求44所述的计算机可读存储媒体， 其中所述致使所述处理器对所述视频数据进行译码的指令包括致使所述处理器解码所述视频数据的指令， 其中所述致使所述处理器在所述位流中对指示多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的信息进行译码的指令包括致使所述处理器在所述位流中对指示所述多个瓦片群组中所述多个瓦片中的每一者被指派给的一个瓦片群组的所述信息进行解码的指令， 其中在所述位流内根据所述瓦片群组对所述视频数据进行排序，使得同一瓦片群组中的瓦片的视频数据在所述位流中连续地呈现，且所述多个瓦片群组中的一者中的瓦片的视频数据在所述位流中在所述多个瓦片群组中的另一者中的瓦片的视频数据之前呈现，且 其中所述致使所述处理器解码所述视频数据的指令包括致使所述处理器将所述多个瓦片群组中的不同瓦片群组的瓦片的所述视频数据引导到视频译码器的不同并行处理核以用于彼此并行地解码不 同瓦片群组的指令。
【文档编号】H04N19/70GK103975596SQ201280052336
【公开日】2014年8月6日 申请日期:2012年10月24日 优先权日:2011年10月24日
【发明者】王益魁, 陈盈, 穆哈默德·扎伊·科班, 马尔塔·卡切维奇 申请人:高通股份有限公司