提供3d查找表编码以用于色域可伸缩性的系统和方法
【专利说明】提供3D查找表编码W用于色域可伸缩性的系统和方法
[0001] 相关申请的交叉引用
[0002] 本申请要求2013年1月7日提交的申请号为61/880,715的美国临时专利申请的权 益，该申请的内容通过引用的方式结合于此。
【背景技术】
[0003] S维（3D)查找表化UT)可W由配色者（colorist)从颜色分级过程来生成，或者可 W由编码器估计（例如，使用一个颜色空间中的原始信号W及另一颜色空间中的相应信 号）。可能需要在比特流中将3D LUT从编码器发送给解码器，从而使得解码器可W在层间处 理期间应用色域转换过程(例如相同的色域转换过程）。
[0004] 3D LUT的信令开销是显著的，运是因为表格的尺寸可W很大。例如，采样位深可W 是8比特，并且单位八分区（octant)大小可W是16xl6xl6(例如颜色空间可W被划分为 16x16x16八分区的表示），并且由此，在3D LUT表格中可W存在17x17x17项。3D LUT的每个 项可W具有3个分量。因此，总的未压缩表格大小可W是117,912(17x17x17x3x8)比特，其可 W产生显著的信令开销。由于运一数量的开销，3D LUT可能必须W序列级别被用信号发送， 运是因为，例如，单个图片可能不能承担得起运样的开销。W序列级别，序列中的每个图片 可W使用相同的3D LUT，其可W产生次优选色域转换和/或可W将增强层编码效率降级。配 色者可W(由于艺术产品因素)逐个图片或逐个场景改变色域，并且3D LUT的运种图片级信 令可能是高效色域预测所需的。
【发明内容】
[0005] 提供了用于改进S维(3D)查找表(LUT)编码和/或减小3D LUT的表格大小(例如编 码表示的比特大小）的系统和方法。例如，可W提供用于颜色空间分割的与3D LUT相关联的 八分区，并且可W对于八分区相关联的八叉树(octree)执行编码。所述八分区中的一个或 多个八分区可W是非统一八分区。八分区的参数可W被降低的精度有损编码。3D LUT可W 包括顶点。所述八分区中的一个或多个八分区可W更粗糖，从而使得邻近的顶点之间具有 更大的距离。
[0006] 所述八分区还可W提供分级树结构的3D数据，该分级树结构的3D数据可W被在八 叉树中被组织W用于编码。可W应用W下至少一者:八叉树可W包括多个层，八叉树中的每 个节点可W表示所述八分区中的一个八分区，或者每个节点可W从根引用。此外，所述八分 区中的一个或多个八分区可W在一个或多个层被分离和/或至少一个八分区被分割成子八 分区。3D LUT中的顶点中的一个顶点可W属于和/或对应于可表示八叉树中的不同层处的 八分区的一个或多个节点。可W执行八叉树的编码，例如通过递归调用和执行编码八分区 函数来对3D LUT中的与其相关联的节点和顶点按照层优先遍历顺序进行编码。也可W用信 号发送3D LUT(例如基于序列和/或图片级别）。
【附图说明】
[0007] 图I显示了具有一个或多个层(例如N个层)的可伸缩视频编码系统的框图。
[0008] 图2显示了用于使用多视角视频编码(MVC)进行立体(例如2-视角）视频编码的时 间和/或层间预测。
[0009] 图3显示了 Cffi颜色分辨率中的81'.709化01^)与81'.2020(1]皿1^)之间的颜色初步 比较。
[0010] 图4A-4B分别显示了针对BT. 709色域与P3色域之间的终端用户的视觉差异。
[0011] 图5描绘了使用图片级层间预测（ILP)的色域可伸缩性(CGS)编码。
[0012]图6显示了针对8比特YUV信号的3D查找表。
[001引图7显示了S线性3D LUT。
[0014] 图8显示了用于3D LUT编码的八叉树。
[001引图9A-9B分别显示了具有两层的全局3D LUT和具有S层的图片级3D LUT，其中具 有S层的图片级3D LUT可W从较粗糖的具有两层的全局3D LUT进行预测。
[0016] 图IOA描绘了示例性通信系统的图示，在该系统中可W实施一个或多个公开的实 施方式。
[0017] 图IOB描绘了示例性无线发射/接收单元(WT抓)的系统图，该WTRU可W用于图IOA 所示的通信系统内；
[0018] 图IOC描绘了示例性无线电接入网和示例性核屯、网的系统图，该示例性无线电接 入网和示例性核屯、网可W用于图IOA所示的通信系统内；
[0019] 图IOD描绘了另一示例性无线电接入网和另一示例性核屯、网的系统图，该另一示 例性无线电接入网和另一示例性核屯、网可W用于图IOA所示的通信系统内；
[0020] 图IOE描绘了另一示例性无线电接入网和另一示例性核屯、网的系统图，该另一示 例性无线电接入网和另一示例性核屯、网可W用于图IOA所示的通信系统内。
【具体实施方式】
[0021] 现今的视频数据可W通过有线网络和无线网络的组合来传送，运可能进一步使得 潜在的传输信道特征复杂。在运种情景下，可伸缩视频编码的前提可W提供有吸引力的方 案来改进异构网络上在具有不同性能的设备上运行的视频应用的体验质量。例如，可伸缩 视频编码可W对W最充分表示(例如时间分辨率、空间分辨率、质量等)的信号进行编码(例 如一次），但是可W使能根据由特定客户端设备上运行的某些应用所使用的特定速率和/或 表示从视频流的子集进行解码。带宽和存储与非可伸缩方案相比可W得到节约。国际视频 标准，例如M阳G-2视频、H. 263、MPEG4视觉和/或H. 264可W具有支持一些可伸缩性模式的工 具和/或简档。
[0022] 图1显示了一种简单的基于块的混合可伸缩视频编码系统的框图。由层1(基层)表 示的空间/时间信号分辨率可W通过输入视频信号的下采样来生成。在随后的编码阶段中， 量化器(Ql)的合适设置可W导致产生某个质量级别的基本信息。为了更高效地对随后的较 高层进行编码，在对随后的层进行编码/解码时可W使用基层重建Yl，该基层重建Yl可W接 近较高层分辨率级别。上采样单元可W执行将基层重建信号上采样到层2的分辨率。下采样 和上采样可W贯穿层（1，2…N)执行，和/或下采样和上采样率可W根据两个给定层之间的 可伸缩性的尺寸而不同。在图1的系统中，对于给定的较高层(2 < n < N)，差分信号可W通过 从当前层n信号减去上采样的较低层信号(例如层n-1信号)来生成。由此获得的差分信号可 W被编码。如果由两层（例如nl和n2)表示的视频信号可W具有相同的空间分辨率，则相应 的下采样和上采样操作可W绕过。给定层n(l含n含N)或多层可W在不使用来自较高层的解 码信息的情况下被解码。但是，如图1中的系统所提供的，对除了基层之外的每个层的残差 信号（即两层之间的差分信号）的编码的依赖有时会引起视觉假象，由于例如对残差信号进 行量化和/或规范化而限制其动态范围和/或在对残差进行编码期间执行的另外的量化。一 些或所有较高层编码器可W采用运动估计和运动补偿预测来作为编码模式。但是，残差信 号中的运动估计和补偿可能不同于常规运动估计，并且可能倾向于视觉假象。为了使得运 种视觉假象最小化，可W提供和/或使用精细残差量化，W及共同量化，例如对残差信号进 行量化和/或规范化与在对残差进行编码期间执行的另外的量化之间的共同量化，由此增 加了系统复杂度。
[0023] 可伸缩视频编码（SVC)可W是H.264的扩展，H. 264可W使能传输和解码部分比特 流，W便提供具有较低时间或空间分辨率或降低的保真度的视频服务，同时在给定部分比 特流的速率的情况下维持相对高的重建质量。SVC的一个设计特征可W是单回路解码。单回 路解码可W指代W下事实：svc解码器可W在正被解码的层设置一个运动补偿回路，并且可 能不必在一个或多个其他较低层设置一个或多个运动补偿回路。例如，比特流可W包括2 层，例如层1(基层)和层2(增强层）。如果解码器希望重建层2视频，则解码的图片缓存器和 运动补偿预测可W被设置用于层2,而不是用于层1(例如层2可W依赖的基层）。因此，SVC可 能不需要和/或使用来自较低层的参考图片来完全重建，例如，由此降低解码器处的计算复 杂度和存储需求。
[0024] 单回路解码可W由约束的层间纹理预测实现，其中，对于给定层中的当前块，如果 相应的低层块可W W内模式编码(运也可W称为约束内预测），则可W允许来自较低层的空 间文理预测。例如，当较低层块可W W内模式编码时，可W被重建，而无需运动补偿操作和 解码的图片缓存。为了改进增强层的率失真效率，SVC可W使用另外的层间预测技术，例如 来自较低层的运动矢量预测、残差预测、模式预测等等。虽然SVC的单回路解码特征可W降 低解码器处的计算复杂度和存储器需求，但是由于严重依赖于块级层间预测方法来实现满 意的性能，可能会增加实施复杂度。此外，为了补偿施加单回路解码约束引起的性能损失， 可能会增加编码器设计和计算复杂度来实现所需性能。对交错的内容进行编码可能不被 SVC很好地支持，运会影响广播产业对它的采用。因此，SVC编码器和解码器设计及系统实施 的复杂度会引起市场中的SVC采用受限。
[0025] 多视角视频编码(MVC)可W是可提供视角可伸缩性的H.264的另一扩展。在视角可 伸缩性中，基层比特流可W被解码W创建常规的2D视频，并且另外的增强层可W被解码W 重建同一视频信号的其他视角表示。当视角可W被合并在一起并且由合适的3D显示器显示 时，用户可W体验到具有合适的深度感知的3D视频。图2可W提供使用MVC的示例性预测结 构来用左视角(层1)和右视角(层2)对立体视频进行编码。0中的左视角视频可W用IBBP预 测结构进行编码。右视角视频可W用PBBB预测结构进行编码。在右视角中，被分配有左视角 中的第一 I图片的第一图片可W被编码为P图片。右视角中的其他图片可W采用来自右视角 中的时间参考的第一预测和来自左视角中的层间参考的第二预测而被编码为B图片。
[0026] 可使用3加艮镜的立体3D TV可W用于在家欣赏3D内容(例如电影、体育直播等等）。 不像SVC, MVC可W不支持单回路解码特征。如图2所示，右视角(层2)视频的解码可能需要左 视角(层1)中的图片(例如所有或整个图片)可用，从而使得运动补偿回路可W在两个视角/ 层中得到支持。但是，MVC可W具有的设计优点是其可W包括高级语法改变，并且可W不包 括对H.264/AVC的块级改变。运会使得实施更容易，运是因为潜在的MVC编码器/解码器逻辑 可W保持相同、可W被容易地复制、和/或片/图片级的参考图片可能需要被正确地配置W 使能MVC。运与近年来3D视频内容（例如主要是3D电影产生和3D体育直播广播）的爆发相禪 合，会使得MVC或允许MVC能够与SVC相比得到更大的商业成功。通过扩展O中的示例来执行 多视角中的层间预测，MVC也可W支持多于两个视角的编码。
[0027] 在3D视频编码中，例如，也可W提供和/或使用MPEG帖兼容(MFC)编码。例如，如运 里所述，3D内容可W是立体3D视频，其可W包括两个视角例如左视角和右视角。立体3D内容 传递可W通过将两个视角封装/复用成一个帖（因此名称、帖兼容)和/或用现有标准(例如 H.264/AVC)来压缩和传送封装视频。在接收机侧，在解码之后，帖可W被解封装并且显示为 两个视角。视角的运种复用可W在时域或空域执行。两个视角可W用两个因子中的一个因 子进行空间下采样并且用不同的布置封装(例如当在空域执行W维持相同的图片大小时