跨层跨通道残差预测的制作方法

跨层跨通道残差预测的制作方法
【专利摘要】描述了包含用于视频编码的操作的系统、装置和方法，该操作包含跨层跨通道残差预测。
【专利说明】跨层跨通道残差预测

【背景技术】
[0001]视频编码器压缩视频信息，以便在给定的带宽上能够发送更多的信息。接着，压缩的信号可以被传送给接收器，该接收器在显示之前解码或解压缩该信号。
[0002]高效视频编码(HEVC)是计划于2012年末完成的新的视频压缩标准。当前它由IS0/IEC运动图像专家组(MPEG)和ITU-T视频编码专家组(VCEG)形成的关于视频编码联合协作组正在开发。该组还将标准化HEVC标准的可扩展的视频编码(SVC)延伸。
[0003]在当前的HEVC规范中，图像被编码在最大编码单元(IXU)的单元中。IXU能够是128x128块、64x64块、32x32块或16x16块。LCU能够被直接编码或分成用于下一层级编码的4个编码单元(CU)。对于一个层级中的CU，它能够直接被编码或进一步分到下一层级用于编码。最小的⑶是8x8。
[0004]一般而言，在每个层级中，⑶(其大小是2Nx2N)可以被分成用于预测的不同大小的预测单元(PU)。对于帧内编码，2Nx2N⑶能够被编码在一个2Nx2N PU中或在四个NxNI3U中。对于帧间编码，2Nx2N CU能够被编码在一个2Nx2N PU，或两个2NxN PU，或两个Nx2NPU，或 0.5Nx2N PU+1.5Nx2N PU，或 1.5Nx2N PU + 0.5Nx2N PU，或 2ΝχΟ.5Ν PU + 2Nxl.5NPU，或 2Νχ1.5Ν PU + 2ΝχΟ.5Ν PU，或四个 NxN PU 中。
[0005]在非灰色图像中，图片由三个通道(B卩，亮度通道Y，和两个色度通道U和V)的数据组成。因此，PU由一个亮度块Y和两个色度块U和V组成。
[0006]在HEVC编码器中，在执行帧内预测(巾贞内预测模块)或帧间预测(运动估计和运动补偿模块)后，对应于输入PU和预测PU之间的差异的预测残差被变换和量化以用于熵编码。当在帧内编码模式中对PU进行编码时，可以应用不同的帧内预测模式，包含DC预测、平面预测、水平预测、垂直预测以及诸如此类。
[0007]随着HEVC的主要部分的标准化趋近完成，JCT-VC已经开始计划将可扩展的视频编码(SVC)延伸增加到HEVC标准。SVC是应付在现代视频服务环境中的网络和设备的异构性的重要的议题。SVC比特流含有本身能够被解码的若干子集合比特流，以及这些子流表示具有不同分辨率、帧率、质量、位深等的源视频内容。通过使用多层编码结构来获得扩展性。一般而言，在SVC系统中，典型地有一个基础层和若干增强层。

【专利附图】

【附图说明】
[0008]在附图中，通过示例并且不作为限制来说明本文中描述的材料。出于说明的简洁和清楚，在图中说明的元素不一定按比例绘制。例如，出于清楚，相对于其它元素，可能放大了一些元素的尺寸。此外，在被认为适当的地方，在图中已经重复了标记以指示对应的或类似的元素。在图中:
下说明书和附图将容易理解本发明的这些和其它优点，其中:
图1是不例视频编码系统的说明图；
图2是示例视频编码过程的流程图；
图3是在操作中的示例视频编码过程的说明图； 图4是示例跨层跨通道残差预测方案的说明图；
图5是另一个示例跨层跨通道残差预测方案的说明图；
图6是又一个示例跨层跨通道残差预测方案的说明图；
图7是不例视频编码系统的说明图；
图8是不例系统的说明图；以及
图9是示例系统的说明图，所有都依照本公开的至少一些实现方式来布置。

【具体实施方式】
[0009]现在，参照附图来描述一个或多个实施例或实现方式。虽然论述了特定的配置和装置，但是应当理解的是，这样做仅是出于说明的目的。相关领域的技术人员将认识到的是，在不背离本说明书的精神和范围的情况下，可以使用其它配置和装置。对于相关领域的那些技术人员而言将明显的是，可以在除了本文中描述的系统和应用之外的各种其它的系统和应用中，使用本文中描述的技术和/或装置。
[0010]虽然以下描述阐述了各种实现方式，可以在例如片上系统(SoC)架构的架构中来体现这些实现方式，但是本文中描述的技术和/或装置的实现方式不限制于特定的架构和/或计算系统，以及可以由用于类似目的的任何架构和/或计算系统来实现。例如，使用例如多个集成电路(IC)芯片和/或封装的各种架构，和/或各种计算设备和/或消费电子(CE)设备(诸如机顶盒、智能电话等)，可以实现本文中描述的技术和/或装置。此外，虽然以下描述可以阐述许多特定的细节，诸如系统组件的逻辑实现方式、类型和相互关系，逻辑划分/集成选择等，但是可以在没有此类特定细节的情况下来实施要求保护的主题。在其它情况下，可能没有详细地示出一些材料，诸如例如，控制结构和全部的软件指令序列，以便不使本文中公开的材料难于理解。
[0011]可以在硬件、固件、软件或它们的任何组合中，实现本文中公开的材料。本文中公开的材料也可以被实现成存储在机器可读介质上的指令，可以由一个或多个处理器来读取和执行该指令。机器可读介质可以包含用于存储或传送以机器(例如，计算设备)可读的形式的信息的任何介质和/或机构。例如，机器可读介质可以包含:只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质；光盘存储介质；闪速存储设备；电、光、声或其它形式的传播信号(例如，载波、红外信号、数字信号等)，以及其它。
[0012]在本说明书中对“一种实现方式”、“一个实现方式”等的引用指示所描述的实现方式可以包含:特定特征、结构或特点，但是每个实现方式可以不是必须包含该特定特征、结构或特点。此外，此类短语未必指相同的实现方式。此外，当结合实现方式来描述特定特征、结构或特点时，主张的是，它在本领域的技术人员用于结合其它实现方式(不管是否在本文中明确描述)来实践此类特征、结构或特点的知识内。
[0013]以下描述包含对于视频编码的操作的系统、装置、产品和方法，该视频编码的操作包含跨层跨通道残差预测。
[0014]如上所述，在可扩展的视频编码中，可以首先对基础层然后对增强层进行编码。在跨层预测中，基础层的信息能够用于对增强层进行编码。当输入视频序列是彩色格式时，它将具有三种彩色通道，即，一个亮度通道Y和两个色度通道U和V。典型地，对于熵编码，可以对这三个通道分别进行预测、变换和量化。
[0015]然而，如以下将更详细描述的，这三个通道不是完全去相关。此外，如果这三个通道中的任何两个通道使用相同的预测类型和/或相同的预测模式，则这两个通道的预测残差仍然具有强相关。因此，跨层跨通道残差预测可以用于改进增强层的编码效率。
[0016]图1是依照本公开的至少一些实现方式布置的示例视频编码系统100的说明图。在各种实现方式中，视频编码系统100可以被配置为进行视频编码和/或根据一个或多个高级视频编解码器标准(例如，由IS0/IEC运动图像专家组(MPEG)和ITU-T视频编码专家组(VCEG)形成的关于视频编码的联合协作组(JCT-VC)正在开发的高效率视频编码(HEVC)H.265视频压缩标准来实现视频编解码器。此外，在各种实施例中，视频编码系统100可以被实现成图像处理器、视频处理器和/或媒体处理器的一部分，以及可以进行帧间预测、帧内预测、预测编码和/或包含依照本公开的跨通道残差预测的残差预测。
[0017]如本文中使用的，术语“编码器”可以指编码器和/或解码器。类似地，如本文中使用的，术语“编码”可以指经由编码器的编码和/或经由解码器的解码。例如，视频编码器103和视频解码器105都可以是能够编码的编码器的示例。
[0018]在一些示例中，视频编码系统100可以包含:出于清楚的原因还没有在图1中示出的另外的项目。例如，视频编码系统100可以包含:处理器、射频类型(RF)的收发器、显示器和/或天线。此外，视频编码系统100可以包含:出于清楚的原因还没有在图1中示出的另外的项目，诸如扬声器、麦克风、加速计、存储器、路由器、网络接口逻辑等。
[0019]在一些示例中，视频编码系统100可以执行SVC操作。例如，说明了两个空间分辨率层(例如，基础层101’和增强层101);然而，除了基础层101’之外，可以使用任何数目的增强层。可以经由HEVC兼容的编码器来处理基础层101’。与基础层相关联的信息(例如，预测模式、重建的像素等)可以用于增强层101的编码。
[0020]例如，在视频操作系统100在增强层101上进行操作的期间，可以将当前的视频信息以视频数据帧的形式提供给内部位深增加模块102。当前的视频帧可以在模块104被分成最大编码单元(IXU)，以及接着被传送给残差预测模块106。残差预测模块106的输出可以经受由变换和量化模块108进行的已知的视频变换和量化过程。可以将变换和量化模块108的输出提供给熵编码模块109和去量化和逆变换模块110。去量化和逆变换模块110可以实现由变换和量化模块108进行的操作的反转，以将残差预测模块106的输出提供给残差重建模块112。本领域的技术人员可以认识到的是，如本文中描述的变换和量化模块和去量化和逆变换模块可以使用缩放技术。残差重建模块112的输出可以被反馈给残差预测模块106，以及还可以被提供给环路，该环路包含:去块滤波器114、样本自适应偏移滤波器116、自适应环路滤波器118、缓冲器120、运动估计模块122、运动补偿模块124和帧内预测模块126。如图1中示出的，运动补偿模块124或帧内预测模块126的输出都与残差预测模块106的输出进行组合，作为去块滤波器114的输入，以及与担当至残差预测模块106的输入的IXU分路模块104的输出差分。
[0021]类似地，在视频编码系统100在基础层101’上的操作期间，可以将当前的视频信息以视频数据帧的形式提供给空间确定或位深增加模块103。当前的视频帧可以在模块104’被分成最大编码单元(LCU)，以及接着被传送给变换和量化模块108’。变换和量化模块108’可以执行已知的视频变换和量化过程。可以将变换和量化模块108’的输出提供给熵编码模块109’和去量化和逆变换模块110’。去量化和逆变换模块110’可以实现由变换和量化模块108’进行的操作的反转，以将IXU模块104’的输出提供给残差重建模块112’，以及还可以提供给包含环路，该环路包含:去块滤波器114’、样本自适应偏移滤波器116’、自适应环路滤波器118’、缓冲器120’、运动估计模块122’、运动补偿模块124’和帧内预测模块126’。本领域的技术人员可以认识到的是，如本文中描述的变换和量化模块和去量化和逆变换模块可以使用缩放技术。残差重建模块112’的输出可以被反馈给残差预测模块106 (例如，用于与基础层101’相对的增强层101的处理的残差预测模块106)，以及还可以被提供给环路，该环路包含:去块滤波器114、样本自适应偏移滤波器116、自适应环路滤波器118、缓冲器120、运动估计模块122、运动补偿模块124和帧内预测模块126 (例如，用于与基础层101’相对的增强层101的处理的那些模块)。如图1中示出的，运动补偿模块124’或帧内预测模块126’的输出都与去量化和逆变换模块110’的输出进行组合作为对去块滤波器114’的输入，并与作为变换和量化模块108’的输入的LCU分路模块104的输出差分。
[0022]如以下将更详细解释的，残差预测模块106可以与残差重建模块112结合进行动作，以提供依照本公开的跨层跨通道残差预测。在各种实施例中，残差预测模块106可以用于生成对于视频数据的一个通道的预测残差，以及残差重建模块112可以重建通道的预测残差以供残差预测模块106在生成对于视频流的另一个层或另一个通道的预测残差中使用。例如，残差预测模块106可以使用来自预测单元(PU)的基础层101’的亮度(Iuma)通道的残差重建模块112’的重建残差，以生成对于的增强层101的色度(chroma)通道的预测残差。对于另一个示例，残差预测模块106还可以使用来自PU的增强层101的亮度通道的残差重建模块112的重建残差，以生成对于的增强层的色度通道的预测残差。
[0023]一般而言，当处理目标通道时，如果在另一个层的任何通道或在与目标通道相同的层中的另一个通道使用相同的预测类型和/或相同的预测模式，则在这两个通道的预测残差之间可能产生可能的关联。因此，使用如本文中描述的跨层跨通道残差预测技术可以促进冗余信息的移除，以及允许更高的视频编码效率。
[0024]在各种实现方式中，可以对预测残差执行残差预测，以及可以对初始预测残差和该预测残差之间所产生的第二级的预测残差进行变换和量化。在依照本公开的跨层跨通道残差预测技术中，如果从第二通道(B)的残差来预测第一通道(A)的残差，则如由残差预测模块106生成的通道B的残差可以由变换和量化模块108进行编码(例如，变换和量化)，接着，首先由去量化和逆变换模块110和残差重建模块112进行重建，然后通道B的重建残差可以由残差预测模块106使用以随后预测通道A的残差。
[0025]如以下更详细论述的，视频编码系统100可以用于执行以下结合图2和/或图3论述的各种功能中的一些或所有功能。
[0026]图2是说明依照本公开的至少一些实施方式布置的示例视频编码过程200的流程图。在所说明的实现方式中，过程200可以包含:如由框202和/或框204中的一个或多个框说明的一个或多个操作、功能或动作。作为非限制性示例，在本文中，将参照图1和/或图?的示例视频编码系统，来描述过程200。
[0027]过程200可以用作对于跨层跨通道残差预测的计算机实现的方法。过程200可以从框202处开始，“确定对于视频数据的参考层中的参考通道的参考预测残差”，其中可以对于视频数据的参考层中的参考通道来确定参考预测残差。例如，可以经由视频编码器来确定对于视频数据的参考层中的参考通道的参考预测残差。
[0028]处理可以从操作202继续到操作204，“至少部分地基于目标预测残差来确定对于第二层中的目标通道的目标预测残差”，其中可以至少部分地基于参考预测残差来确定对于目标层中的目标通道的目标预测残差。例如，可以经由视频编码器，至少部分地基于参考预测残差来确定对于目标层中的目标通道的目标预测残差。可以经由跨层跨通道预测来做出此类确定。在一些示例中，目标层可以是比参考层更高的层，和/或目标通道可以是与参考通道不同的通道。
[0029]在操作中，目标层可以是比参考层更高的层，和/或目标通道可以是与参考层不同的通道。例如，当参考层包含基础层时，目标层可以包含增强层；以及当参考层包含增强层时，目标层可以包含更高的增强层。另外或可替代地，当参考通道包含亮度通道时，目标通道可以包含色度通道；以及当参考通道包含色度通道时，目标通道可以包含亮度通道或另一个色度通道中的一个。
[0030]在以下相对于图3更详细地论述的实现方式的一个或多个示例中，可以说明与过程200有关的一些另外的和/或可替代的细节。
[0031]图3是依照本公开的至少一些实施方式布置的操作中的示例视频编码系统100和视频编码过程300的说明图。在所说明的实现方式中，过程300可以包含:如由动作312、314、316、318、320、322和/或324中的一个或多个动作说明的一个或多个操作、功能或动作。作为非限制性示例，在本文中，将参照图1和/或图7的示例视频编码系统100来描述过程300。
[0032]在所说明的实现方式中，视频编码系统100可以包含:逻辑模块306等，和/或它们的组合。例如，逻辑模块306可以包含:跨层跨通道预测逻辑模块308、残差预测逻辑模块310等，和/或它们的组合。视频编码系统100的跨层跨通道预测逻辑模块308可以被配置为确定对于视频数据的参考层中的参考通道的参考预测残差，以及至少部分地基于经由跨层跨通道的预测的参考预测残差来确定对于目标层中的目标通道的目标预测残差。目标层可以是比参考层更高的层，以及目标通道可以是与参考通道不同的通道。视频编码系统100的残差重建逻辑模块310可以通信地耦合到跨层跨通道预测逻辑模块308，以及可以被配置为至少部分地基于所确定的目标预测残差来重建目标残差。尽管如图3中示出的视频编码系统100可以包含与特定模块相关联的框或动作的一个特定集合，但是这些框或动作可以与不同于此处说明的特定模块的不同模块相关联。
[0033]过程300可以用作对于跨层跨通道残差预测的计算机实现的方法。过程300可以从框312处开始，“确定对于视频数据的参考层中的参考通道的参考预测残差”，其中可以对于视频数据的参考层中的参考通道，来确定参考预测残差。例如，可以经由视频编码器，对于视频数据的参考层中的参考通道，确定参考预测残差。
[0034]处理可以从操作312继续到操作314，“基于参考预测残差来重建参考残差”，其中可以至少部分地基于参考预测残差来构建参考残差。例如，可以经由残差预测逻辑模块310，至少部分地基于参考预测残差来构建参考残差。
[0035]处理可以从操作314继续到操作316，“确定对于另外的参考通道和/或另外的参考层的另外的参考预测残差”，其中可以对于另外的参考通道和/或另外的参考层来确定另外的参考预测残差。例如，可以经由跨层跨通道逻辑模块308，对于另外的参考通道和/或另外的参考层来确定另外的参考预测残差。
[0036]处理可以从操作316继续到操作318，“基于另外的参考预测残差来重建另外的参考残差”，其中可以至少部分地基于另外的参考预测残差来构建另外的参考残差。例如，可以经由残差预测逻辑模块310，至少部分地基于另外的参考预测残差来构建另外的参考残差。
[0037]处理可以从操作318继续到操作320，“将参考预测残差从第二级残差转换到第一级残差”，其中来自第二级残差的参考预测残差可以从第二级残差转换到第一级残差。例如，可以经由跨层跨通道预测逻辑模块308，将来自第二级残差的参考预测残差从第二级残差转换到第一级残差。
[0038]处理可以从操作314、318和/或320继续到操作322，“确定对于目标层中的目标通道的目标预测残差”，其中可以确定目标预测残差。例如，可以经由视频编码器，对于目标层中的目标通道来确定目标预测残差。可以经由跨层跨通道的预测，来做出此类确定。在一些示例中，目标层可以是比参考层更高的层，和/或目标通道可以是与参考通道不同的通道。
[0039]在一些示例中，目标层可以是比参考层和/或另外的参考层更高的层，和/或目标通道可以是与参考层和/或另外的参考层不同的通道。例如，当参考层包含基础层时，目标层可以包含增强层；以及当参考层包含增强层时，目标层可以包含更高的增强层。另外或可替代地，当参考通道包含亮度通道时，目标通道可以包含色度通道；以及当参考通道包含色度通道时，目标通道可以包含亮度通道或另一个色度通道中的一个。
[0040]类似地，目标层可以是比另外的参考层更高的层，和/或目标通道可以是与另外的参考层不同的通道。例如，当另外的参考层包含基础层时，目标层可以包含增强层；以及当另外的参考层包含增强层时，目标层可以包含更高的增强层。另外或可替代地，当另外的参考通道包含亮度通道时，目标通道可以包含色度通道；以及当另外的参考通道包含色度通道时，目标通道可以包含亮度通道或另一个色度通道中的一个。
[0041]在处理操作314继续到操作322的示例中，可以至少部分地基于在操作312处确定的以及在操作314处重建的参考预测残差，来确定目标预测残差。在以下相对于图4更详细地论述的实现方式中的一个或多个示例中，可以说明与操作322有关的一些附加和/或可替代的细节。
[0042]在处理从操作318继续到操作322的示例中，可以至少部分地基于在操作316处确定的以及在操作318处重建的另外的参考预测残差，来确定目标预测残差。可替代地，可以至少部分地基于除了(在操作312处确定的以及在操作318处重建的)参考预测残差之外的(在操作316处确定的以及在操作318处重建的)另外的参考预测残差，来确定目标预测残差。例如，可以至少部分地基于除了参考预测残差之外的另外的参考预测残差，经由视频编码器来确定对于目标层中的目标通道的目标预测残差。在以下相对于图5更详细地论述的实现方式中的一个或多个示例中，可以说明与操作322有关的一些附加和/或可替代的细节。
[0043]在处理从操作320继续到操作322的示例中，可以至少部分地基于已经从第二级残差转换的第一级残差，来确定目标预测残差。例如，视频编码器可以至少部分地基于参考预测残差，从另外的参考预测残差的第二级类型的参考预测残差来重建第一级类型的参考预测残差。可以至少部分地基于另外的参考预测残差的重建的第一级类型的参考预测残差，经由视频编码器来确定对于目标层中的目标通道的目标预测残差。在以下相对于图6更详细地论述的实现方式中的一个或多个示例中，可以说明与操作322有关的一些附加和/或可替代的细节。
[0044]处理可以从操作322继续到操作324，“基于目标预测残差来重建目标残差”，其中可以基于目标预测残差来重建目标残差。例如，可以经由残差预测逻辑模块310，基于目标预测残差来重建目标残差。
[0045]在操作中，过程300 (和/或过程200)可以操作，以便目标预测残差的确定可以包含应用线性关系模型或非线性关系模型。例如，目标预测残差的确定可以包含自适应地应用线性关系模型或非线性关系模型中的一个。在一些示例中，可以响应于编码模式，自适应地应用此类线性关系模型或非线性关系模型。例如，过程300可对不同编码模式应用不同的关系模型。例如，与帧间编码模式相比，不同的关系模型可以用于帧内编码模式。类似地，不同的关系模型可以用于不同的块大小。同样地，不同的关系模型可以用于不同的帧内预测模式。
[0046]另外或可替代地，过程300可以将不同模型参数生成方案应用于不同的编码模式。例如，与帧间编码模式相比，不同模型参数生成方案可以用于帧内编码模式。类似地，不同模型参数生成方案可以用于不同的块大小。同样地，不同模型参数生成方案可以用于不同的帧内预测模式。
[0047]在一些示例中，可以从相同层中的其它模型参数自适应地生成模型参数。在一些示例中，可以从基础层模型参数自适应地生成增强层模型参数。在一些示例中，可以从较低层模型参数自适应地生成较高层模型参数。在一些示例中，可以从样本预测模型参数自适应地生成残差预测模型参数。
[0048]另外或可替代地，响应于块大小，可以自适应地应用此类线性关系模型或非线性关系模型。另外或可替代地，可以以逐块为基础(例如，如CU块或PU块)，自适应地应用此类线性关系模型或非线性关系模型。例如，以最大编码单元(LCU)的单元对图片进行编码。LCU能够是128x128块、64x64块、32x32块或16x16块。能够直接对LCU进行编码，或将它进一步分到下一层级用于编码的4个编码单元(CU)。对于一个层级中的CU，它可以被直接编码或进一步分到下一层级用于编码。最小的CU是8x8块。类似地，在每个层级处，CU(其大小是2Nx2N)可以被分成用于预测的不同大小的预测单元(PU)。对于帧内编码，能够将2Nx2N CU编码在I个2Nx2N PU中或在4个NxN PU中。对于帧间编码，能够将2Nx2N CU编码在一个2Nx2N PU、两个2NxN PU、两个Nx2N PU,0.5Nx2N PU + 1.5Nx2N PU、L5Nx2N PU+ 0.5Nx2N PU、2Nx0.5N PU + 2Nxl.5N PU、2Nxl.5N PU + 2Nx0.5N PU、四个 NxN PU 中。
[0049]在视频编码中，编码单元(CU)或预测单元(PU)具有多种可以使用的编码模式和预测模式。例如，能够以帧内模式或帧间模式对CU进行编码，以及对于帧内模式，PU具有多种可以使用的预测模式，例如，DC预测、平面预测、垂直预测、水平预测和其它方向预测。过程300可以使用能够具有不同的残差预测方案的不同编码模式和预测模式。例如，过程300可以对于帧内模式应用线性残差预测，以及对于帧间模式不应用残差预测。
[0050]在一些示例中，目标预测残差的确定可以包含应用模型参数。例如，目标预测残差的确定可以包含应用一个或多个固定关系模型参数。另外或可替代地，目标预测残差的确定可以包含确定一个或多个关系模型参数。例如，响应于编码模式，可以自适应地应用此类关系模型参数。例如，响应于块大小，可以自适应地应用此类关系模型参数。另外或可替代地，可以以逐块为基础，自适应地应用此类线性关系模型和非线性关系模型。在视频编码中，编码单元(CU)和预测单元(PU)具有多种可以使用的编码模式和预测模式。例如，能够以帧内模式或帧间模式对CU进行编码，以及对于帧内模式，PU具有多种可以使用的预测模式，例如，DC预测、平面预测、垂直预测、水平预测和其它方向预测。过程300可以使用能够具有不同的残差预测方案的不同编码模式和预测模式。例如，过程300可以对于帧内垂直和水平预测模式应用固定参数线性预测，以及对于DC、平面和其它方向预测模式应用自适应的线性预测。
[0051]另外或可替代地，可以至少基于比率失真成本，自适应地应用逐块为基础经由跨层跨通道预测经由视频编码器确定对于目标通道的目标预测残差。可替代地，可以强制地应用对于给定编码模式或给定预测模式的残差预测。
[0052]在一些示例中，经由视频编码器确定对于目标层中的目标通道的目标预测残差可以包含:至少部分地基于与在编码期间的目标预测残差块相关联的标志，在解码期间选择参考层和参考通道。在其它示例中，此类标志可以与整个CU、PU、帧或整个预测残差相关联，而不是与个体块相关联。例如，响应于编码模式或预测模式，例如可以以每个CU或每个PU为基础自适应地应用用于残差预测的机制，标志能够用于应用残差预测的信号或不用于特定编码模式或预测模式。在此类示例中，能够基于比率失真成本来决定该标志的应用。例如，可以在使用重建残差的编码器侧，自适应地生成最优化模型参数。在此类示例中，可以将生成方法的信息传送给编码器侧。例如，能够从在当前层、较低层或基础层中的重建残差来生成模型参数。类似地，可以基于在相同层中的输入残差和重建残差在编码器侧自适应地生成增强层模型参数，接着可以对增强层模型参数进行编码以及将它传送给解码器。类似地，可以基于在目标层中的输入残差和在基础层中的重建残差在编码器侧自适应地生成增强层模型参数，接着可以对增强层模型参数进行编码以及将它传送给解码器。此外，可以基于在这个层中的输入残差和在较低层中的重建残差在编码器侧自适应地生成较高层的模型参数，接着可以对较高层的模型参数进行编码以及将它传送给解码器。
[0053]在其它示例中，视频解码器可以进行计算(在视频解码器中使哪些计算并行)，以便确定视频解码器应当如何编码该视频数据。在此类示例中，视频解码器可以在没有在编码期间与目标预测残差块相关联的此类标志的情况下进行操作。例如，可以基于在相同层中的重建残差的信息，在解码器侧自适应地生成增强层的模型参数。在一些示例中，可以基于在基础层中的重建残差的信息，在解码器侧自适应地生成增强层的模型参数。在一些示例中，可以基于在基础层和同一增强层中的重建残差的信息，在解码器侧自适应地生成增强层的模型参数。在一些示例中，可以基于在较低层中的重建残差的信息，在解码器侧自适应地生成较高层的模型参数。
[0054]更具体地，过程300 (和/或过程200)可以使用跨层跨通道残差预测模型。在此类示例中，假设从通道B的重建残差来预测通道A的残差(并不是说，当从通道B和C的重建残差来预测通道A的残差时，能够应用类似的过程，以及通道A、B和C可以位于不同层)，线性模型或非线性模型可以应用于预测。例如，对于残差方位k，可以使用以下表达式，从方位k的重建的通道B的残差值f (k)，来预测通道A的残差值J (k):
Ap(k)=f(B，(k))(I)
其中K幻可以表示预测值，/ Γ.)可以表示线性或非线性函数或变换。在编码器和解码器侧两者中，# (幻可以在预定层中。否则，可以是使用的层中的任何层，这取决于最优化计算的结果，可以将# (幻的信息发送给解码器。在各种实现方式中，f (.)的参数可以是预定义的固定值或使用至少一些邻居像素方位的生成的或重建的残差值来确定。在各种实现方式中，用于生成/Y.)的参数的残差以及用于预测通道A的残差可以在或不在相同层中。如果/ Γ.)的参数是不固定的，则可以使用适宜的技术(诸如例如，线性最小二乘、非线性最小二乘、加权最小二乘或其它众所周知的最优化方法)来获得/ r.;的参数。
[0055]一般地，可以如下来表示f (.)的线性形式:
Ap (k) 二 a *B’ (k) + b(2)
其中a和6可以表示模型参数。模型参数a和6可以是固定值，或在解码器侧被确定，或在编码器侧被确定以及接着被传送给解码器侧。
[0056]一般地，可以如下来表示f (.)的非线性形式:
Ap (k) = a(k) * B，(k) + b(k)(3)
其中aft；和可以表示非线性等式的参数。在各种实现方式中，可以通过# ft)的值来确定参数a⑷和办⑷。例如，沒?幻的值的范围可以被分成残差值的M个较小子秦S(k)。接着，可以对于将在等式(3)中使用的a (k)和b (k)，为每个子集S(k)分配不同的值，以便当对于特定残差方位的沒?幻的值位于给定子集5/幻内时，将对于的<3如和办⑷的对应值应用于预测对于该方位的残差值K幻。
[0057]也可以从基础层和/或较低层中的/ Γ.)的参数，来预测增强层中的/Y.)的参数。在各种实现方式中，/ Γ.)的参数可以在解码器侧自适应地生成，或被传送给解码器。
[0058]虽然如图2和图3中说明的示例过程200和过程300的实现方式可以包含以说明的顺序执行示出的所有框，但是在这点上，本公开没有限制，以及在各种示例中，过程200和过程300的实现方式可以包含仅执行所示出的框的子集，和/或以不同于说明的顺序来执行不出的框的子集。
[0059]另外，可以响应于由一个或多个计算机程序产品提供的指令，来执行图2和图3的框中的任何一个或多个框。此类程序产品可以包含:提供指令的信号承载介质，当由例如处理器执行该指令时，该指令可以提供本文中描述的功能。可以以计算机可读介质的任何形式来提供计算机程序产品。因此，例如，包含一个或多个处理器核心(多个)的处理器可以响应于通过计算机可读介质运送给处理器的指令，执行图2和图3中示出的框中的一个或多个框。
[0060]如在本文中描述的任何实现方式中使用的，术语“模块”指被配置为提供本文中描述的功能的软件、固件和/或硬件的任何组合。可以将软件具体化成软件包、代码和/或指令集或指令，以及如在本文中描述的任何实现方式中使用的“硬件”可以包含:例如，单个或以任何组合的硬连线的电路、可编程的电路、状态机电路和/或存储由可编程电路执行的指令的固件。该模块可以集体地或个体地被具体化成形成更大系统的一部分的电路，例如集成电路(1C)、片上系统(SoC)以及诸如此类。
[0061]图4是说明依照本公开的至少一些实施方式的示例跨层跨通道残差预测方案的说明图。在所说明的实现方式中，图1的系统100可以实现方案400。在方案400中，在弟一层(例如，参考层，诸如基础层或较低的增强层)中的第一通道(B)的重建的预测残差用于预测第二层(例如，目标层，诸如较高的增强层)中的第二通道(A)的残差，以及接着参考层通道B的编码的残差和目标层通道A的生成的跨层跨通道的预测残差(在编码之后)连同第三通道(C)的编码的残差经受熵编码。
[0062]在各种实现方式中，通道A、B或通道C可以位于各种层。例如，当与通道B相关联的参考层是基础层时，与通道A相关联的目标层可以是增强层。同样地，当与通道B相关联的参考层是增强层时，与通道A相关联的目标层可以是较高的增强层。
[0063]在各种实现方式中，通道A、B或通道C可以是亮度通道(Y)或色度通道(U和V)中的任何一个通道，以及通道A、B或通道C中的每个通道可以是不同的(即，与其它通道不同)。在各种实现方式中，通道A可以是亮度通道，以及通道B和通道C可以是色度通道。在其它实现方式中，通道A可以色度通道，以及通道B和通道C中的一个通道可以是亮度通道，而通道B和通道C中的另一个通道可以是另一个色度通道。
[0064]因此，基于通道类型中的变化、层类型中的变化或层类型中的变化和通道类型中的变化两者，目标层通道A可以不同于参考层通道B。
[0065]如在方案400中描绘的，参考层通道B的预测残差可以在框402处被变换和量化，以及接着在作为参考层通道B的重建残差提供给跨层跨通道预测框406之前，在框404处被去量化和逆变换。在框206处，参考层通道B的重建残差可以用于预测目标层的通道A的残差。接着，可以在连同从框402获得的变换和量化的参考层通道B的残差，以及通道C的变换和量化(框412)预测残差一起在框410进行熵编码之前，在框408对目标层通道A的预测残差进行变换和量化。
[0066]在操作中，方案400可以用于从基础层、较低层或与通道A相同的层中的通道B或通道C的重建的残差，来预测增强层中的通道A的残差。如果通过传统预测对通道B或通道C进行编码，则通道B或通道C的重建的残差可以是传统的预测残差(例如，第一级预测残差)。否则，通道B或通道C的重建残差可以是第二级的预测残差。在图4中说明的示例中，能够从B或C(例如，第一级残差或第二级残差，其中级数将取决于用于B和C的特定编码方法)的残差直接预测通道A的残差，以及没有必要将第二级残差转换到第一级残差。在以下将更详细地描述的图6中说明的示例中，强制使用第一级残差。在此类示例中，必须将第二级残差转换到第一级残差。
[0067]如本文中使用的，术语“传统的预测残差”可以指第一级残差。例如，此类第一级残差可以表示从原始的像素值减去的预测的像素值。类似地，如本文中使用的，“第二级残差”可以指一种构造，在该构造中，例如，通道A的第二级残差等于通道A的第一级残差减去通道B (或C)的重建的第一级残差。
[0068]图5是依照本公开的至少一些实施方式的另一个示例跨层跨通道残差预测方案的说明图。在所说明的实现方式中，图1的系统100可以实现方案500。在方案500中，可以至少部分地基于通道B的参考预测残差和通道C的另一个参考预测残差，来确定通道A的目标预测残差。
[0069]在方案500中，两个通道(参考层通道B和另一个参考层通道C)的重建的预测残差用于预测第三通道(A)的残差，以及接着，参考层通道B和另一个参考层通道C的编码的残差和目标层的通道A的跨层跨通道的预测残差(在编码之后)经受熵编码。
[0070]在各种实现方式中，通道A、B或通道C可以位于各种层。例如，当与通道B相关联的参考层是基础层时，与通道A相关联的目标层可以是增强层。同样地，当与通道B相关联的参考层是增强层时，与通道A相关联的目标层可以是较高的增强层。类似地，与通道C相关联的另一个参考层可以是与通道B相关联的参考层相同的层，或与通道B相关联的参考层不同的层。
[0071]在各种实现方式中，通道A、B或通道C可以是亮度通道(Y)或色度通道(U和V)中的任何一个通道，以及通道A、B或通道C中的每个通道可以是不同的(即，与其它通道不同)。在各种实现方式中，通道A可以是亮度通道，以及通道B和通道C可以是色度通道。在其它实现方式中，通道A可以色度通道，以及通道B和通道C中的一个通道可以是亮度通道，通道B和通道C中的另一个通道可以是另一个色度通道。
[0072]因此，基于通道类型中的变化、层类型中的变化或层类型中的变化和通道类型中的变化两者，目标层通道A可以不同于参考层通道B。
[0073]如在方案500中描绘的，参考层通道B的预测残差可以在框502处被变换和量化，以及接着在作为重建残差提供给跨层跨通道预测框506之前，在框504处被去量化和逆变换。类似地，另一参考通道C的预测残差可以在框508处被变换和量化，接着在作为重建残差提供给跨通道预测框506之前，在框510处被去量化和逆变换。在框506处，参考层通道B和另一参考层通道C两者的重建残差可以用于预测目标层的通道A的残差，如本文中所述。接着，在框514处对连同通道B和通道C的编码残差一起进行熵编码之前，目标层通道A的生成的预测残差可以在框512被变换和量化。
[0074]在操作中，方案400可以用于从基础层、较低层或与通道A相同的层中的通道B或通道C的重建的传统预测残差(例如，第一级预测残差)，来预测增强层中的通道A的残差。可以通过跨层跨通道残差预测对这种参考通道B和C进行编码。
[0075]图6是依照本公开的至少一些实施方式的又一个示例跨层跨通道残差预测方案的说明图。在所说明的实现方式中，图1的系统100可以实现方案600。在方案600中,可以至少部分地基于已经从第二级残差转换的第一级残差来确定通道A的目标预测残差。例如，视频编码器可以至少部分地基于另一个参考层通道C的参考预测残差，从参考层通道B的第二级类型的参考预测残差，来重建第一级类型的参考预测残差。经由视频编码器确定对于目标层中的目标通道A的目标预测残差可以至少部分地基于重建的第一级类型的参考预测残差。
[0076]在方案600中，通过残差预测方法对参考层通道B进行编码。参考层通道B的残差被说明成第二级残差。在对目标层的通道A进行编码的情况下，必须首先获得参考层通道B的第一级残差。从另一个参考通道C或不同通道A (例如，在与图6中的目标层通道A不同的层中)供应框604的重建残差。如在方案600中描绘的，通道B的第二级预测残差可以在框608被变换和量化，以及在被提供给第一跨层跨通道预测框612之前，在框610被去量化和逆变换。去量化和逆变换框610的输出是通道B的第二级残差。框612的输入是框604的重建残差和通道B的第二级残差。框612的输出是通道B的第一级残差(由重建残差框614说明)。如所说明的，通道B的第二级残差需要进行两次的跨层跨通道残差预测(一次在框606以及一次在框612)，因为通道B是第二级残差，第二级残差需要在框612处被重建到第一级残差中。在框616处，通道B的重建残差用于预测通道A的残差。接着，可以在框620处对所有三个通道的编码的残差进行熵编码之前，对通道A的生成的跨层跨通道预测残差进行变换和量化。
[0077]在一些示例中，当输入YUV数据是以YUV420或YUV422的形式时，U通道和V通道的残差块大小小于Y通道的残差块大小。在这些情况下，如果Y通道和U通道或V通道位于相同的空间分辨率层，则如果Y通道用于预测U通道和/或V通道的残差块，可以在Y通道残差块上应用下采样，或如果U通道和/或V通道用于预测Y通道的残差块，可以在U和/或V残差块上应用上采样。
[0078]图7是说明依照本公开的至少一些实施方式布置的示例视频编码系统100的说明图。在所说明的实现方式中，视频编码系统100可以包含:成像设备(多个)701、视频编码器702、天线703、视频解码器704、一个或多个处理器706、一个或多个存储库708、显示器710和/或逻辑模块306。逻辑模块306可以包含:跨层跨通道预测逻辑模块308、残差预测逻辑模块310等，和/或它们的组合。
[0079]如说明的，天线703、视频解码器704、处理器706、存储库708和/或显示器710可能能够彼此通信，和/或与逻辑模块306的部分通信。类似地，成像设备(多个)701和视频编码器702可能能够彼此通信，和/或与逻辑模块306的部分通信。因此，视频解码器704可以包含逻辑模块306的全部或部分，然而视频编码器702可以包含类似的逻辑模块。尽管如图7中示出的视频编码系统100可以包含与特定模块相关联的框或动作的一个特定集合，但是这些框或动作可以与不同于此处说明的特定模块的模块相关联。
[0080]在一些示例中，视频编码系统100可以包含:天线703、视频解码器704等和/或它们的组合。天线703可以被配置为接收视频数据的编码的比特流。视频解码器704可以通信地耦合到天线703，以及可以被配置为对编码的比特流进行解码。视频解码器704可以被配置为确定对于视频数据的参考层中的参考通道的参考预测残差，以及至少部分地基于经由跨层跨通道预测的参考预测残差来确定对于目标层中的目标通道的目标预测残差，其中目标层可以是比参考层更高的层。
[0081]在其它示例中，视频编码系统100可以包含:显示设备710、一个或多个处理器706、一个或多个存储库708、跨层跨通道预测逻辑模块308、残差重建逻辑模块310等和/或它们的组合。显示器710可以被配置为呈现视频数据。处理器706可以通信地耦合到显示器710。存储库708可以通信地耦合到一个或多个处理器706。视频解码器704 (或在其它示例中的视频编码器702)的跨层跨通道预测逻辑模块308可以通信地耦合到一个或多个处理器706，以及可以被配置为确定对于视频数据的参考层中的参考通道的参考预测残差，以及至少部分地基于经由跨层跨通道预测的参考预测残差，来确定对于目标层中的目标通道的目标预测残差。目标层可以是比参考层更高的层，以及目标通道可以是与参考通道不同的通道。视频解码器704 (或其它示例中的视频编码器702)的残差重建逻辑模块310可以通信地耦合到跨层跨通道预测逻辑模块308，以及可以被配置为至少部分地基于确定的目标预测残差，来重建目标残差。
[0082]在各种实施例中，可以在硬件中实现跨层跨通道预测逻辑模块308和/或残差重建逻辑模块310，而软件可以实现其它逻辑模块。例如，在一些实施例中，可以由专用集成电路(ASIC)逻辑来实现跨层跨通道预测逻辑模块308，而由诸如处理器706的逻辑执行的软件指令来提供残差重建逻辑模块310。然而，在这点上本公开没有限制，以及可以由硬件、固件和/或软件的任何组合来实现跨层跨通道预测逻辑模块308和/或残差重建逻辑模块310。另外，储存库708可以是任何类型的存储器，诸如易失性存储器(例如，静态随机存取存储器(SRAM))、动态随机存储存储器(DRAM)等)或非易失性存储器(例如，闪速存储器等)以及诸如此类。在非限制性示例中，可以由高速缓存存储器来实现存储库708。
[0083]图8说明了依照本公开的示例系统800。在各种实现方式中，系统800可以是媒体系统，尽管系统800不限制于这种情景。例如，可以将系统800并入个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合的蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板或智能电视)、移动互联网设备(MID)、消息传送设备、数据通信设备以及诸如此类。
[0084]在各种实现方式中，系统800包含耦合到显示器820的平台802。平台802可以接收来自内容设备(诸如内容服务设备(多个)830或内容传递设备(多个)840或其它类似的内容源)的内容。包含一个或多个导航特征的导航控制器850可以用于与例如平台802和/或显示器820进行交互。以下，更详细地描述这些组件中的每个组件。
[0085]在各种实现方式中，平台802可以包含以下的任何组合:芯片组805、处理器810、存储器812、存储设备814、图形子系统815、应用816和/或无线电818。芯片组805可以在处理器810、存储器812、存储设备814、图形子系统815、应用816和/或无线电818之间提供相互通信。例如，芯片组805可以包含:能够提供与存储设备814相互通信的存储设备适配器(未示出)。
[0086]可以将处理器810实现成复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器；x86指令集兼容处理器，多核心，或任何其它的微处理器或中央处理单元(CPU)。在各种实现方式中，处理器810可以是双核处理器(多个)，双核移动处理器(多个)以及诸如此类。
[0087]可以将存储器812实现成易失性存储设备，诸如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM (SRAM)0
[0088]可以将存储设备814实现成非易失性存储设备，诸如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附接存储设备、闪速存储器、电池供电SDRAM (同步DRAM)和/或网络可以访问的存储设备。在各种实现方式中，存储设备814可以包含:技术以增加对于有价值的数字媒体的存储设备性能增强保护，例如当包含多个硬盘时。
[0089]图形子系统815可以执行图像处理，诸如用于显示的静止图像或视频。图形子系统815可以是例如图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可以用于通信地耦合图形子系统815和显示器820。例如，该接口可以是高清晰度多媒体接口、显示端口、无线HDMI和/或无线HD适用的技术中的任何。图形子系统815可以被集成到处理器810或芯片组805中。在一些实现方式中，图形子系统815可以是通信地耦合到芯片组805的独立卡。
[0090]可以在各种硬件架构中，来实现本文中描述的图形和/或视频处理技术。例如，可以在芯片组中集成图形和/或视频功能。可替代地，可以使用离散的图形和视频处理器。作为又一个实现方式，可以通过通用处理器(包含多核处理器)来提供图形和/或视频功能。在另一个实施例中，可以在消费电子设备中实现该功能。
[0091]无线电818可以包含:能够使用各种合适的无线通信技术来传送和接收信号的一个或多个无线电。此类技术可以涉及跨越一个或多个无线网的通信。示例无线网络包含(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网和卫星网。在跨越此类网络的通信中，无线电818可以依照任何版本中的一个或多个可应用的标准进行操作。
[0092]在各种实现方式中，显示器820可以包含:任何类型的监视器或显示器。显示器820可以包含:例如，计算机显示屏、触摸屏显示器、视频监视器、如电视的设备和/或电视。显示器820可以是数字的和/或模拟的。在各种实现方式中，显示器820可以是全息显示器。此外，显示器820可以是透明表面，该透明表面可以接收视像投影。此类投影可以传递各种形式的信息、图像和/或对象。例如，此类投影可以是用于移动增强现实(MAR)应用的视像叠加。在一个或多个软件应用816的控制下，平台802可以在显示器820上显示用户界面822。
[0093]在各种实现方式中，内容服务设备(多个)830可以由任何国家的、国际的和/或独立的服务来托管，以及因此平台802可以经由例如互联网来访问内容服务设备(多个)830。内容服务设备(多个)830可以耦合到平台802和/或显示器820。平台802和/或内容服务设备(多个)830可以耦合到网络860以传播(例如，发送和/或接收)往返于网络860的媒体信息。内容交付设备(多个)840也可以耦合到平台802和/或显示器820。
[0094]在各种实现方式中，内容服务设备(多个)830可以包括:有线电视，个人计算机，网络，电话，启用互联网的设备或能够递送数字信息和/或内容的装置，以及能够经由网络860或直接地在内容提供商和平台802和/或显示器820之间单向或双向地传播内容的任何其它类似的设备。将了解的是，可以经由网络860单向地和/或双向地往返于系统800中的组件中的任何组件和内容提供商来传播内容。内容的示例可以包含任何媒体信息，媒体信息包含:例如，视频、音乐、医用和游戏信息等。
[0095]内容服务设备(多个)830可以接收诸如包含媒体信息的有线电视节目的内容，数字信息和/或其它内容。内容提供商的示例可以包含任何有线电视或卫星电视或无线电或互联网内容提供商。所提供的示例不是旨在以任何方式限制依照本公开的实现方式。
[0096]在各种实现方式中，平台802可以接收来自具有一个或多个导航特征的导航控制器850的控制信号。例如，控制器850的导航特征可以用于与用户界面822进行交互。在实施例中，导航控制器850可以是定位设备，该定位设备可以是允许用户将空间数据(例如，连续的和多维的)输入到计算机的计算机硬件组件(特别是人机接口设备)。许多系统(诸如，图形用户界面(GUI)和电视以及监视器)允许用户使用物理手势控制计算机或电视机，以及向计算机或电视剧提供数据。
[0097]可以通过移动显示在显示器(例如，显示器820)上的指针、光标、聚焦环或其它可视的指示符，在显示器上来复制控制器850的导航特征的移动。例如，在软件应用816的控制下，可以将位于导航控制器850上的导航特征映射到例如显示在用户界面822上的虚拟导航特征。在各种实现方式中，控制器850可以不是单独的组件而是可以被集成到平台802和/或显示器820中。然而，本公开不限制于这些元素或本文中示出或描述的情景。
[0098]在各种实现方式中，驱动器(未示出)可以包括:例如，使得用户能够在初始启动后使用按钮的触摸，立即开启或关闭如电视的平台802的技术(当启用该技术时)。当“关闭”平台802时，程序逻辑可以允许平台802向媒体适配器或其它内容服务设备(多个)830或媒体分发设备(多个)840流式传输内容。另外，芯片组805可以包括例如用于8.1环绕立体声和/或高清晰度7.1环绕立体声的硬件和/或软件支持。驱动器可以包含用于集成图形平台的图形驱动器。在各种实现方式中，图形驱动器可以包括外部设备互连(PCI)高速图形卡。
[0099]在各种实施例中，可以集成在系统800中示出的组件中的任何一个或多个组件。例如，可以集成平台802和内容服务设备(多个)830，或可以集成平台802和内容交付设备(多个)840，或例如，可以集成平台802、内容服务设备(多个)830和内容交付设备(多个)840。在各种实施例中，平台802和显示器820可以是集成单元。例如，可以集成显示器820和内容服务设备(多个)830，或可以集成显示器820和内容交付设备(多个)840。这些示例不意在限制本公开。
[0100]在各种实施例中，可以将系统800实现成无线系统、有线系统或这两者的组合。当被实现成无线系统时，系统800可以包含:适用于通过无线共享介质进行通信的组件和接口，诸如一个或多个天线、传送器、接收器、收发器、放大器、滤波器、控制逻辑等。无线共享介质的示例可以包含:无线频谱的部分，诸如RF频谱等。当被实现成有线系统时，系统800可以包含:适用于通过有线通信介质进行通信的组件和接口，诸如输入/输出(I/O)适配器、使用对应的有线通信介质连接到I/O适配器的物理连接器、网络接口卡(NIC)、磁盘控制器、视频控制器、音频控制器等。有线通信介质的示例可以包含:电线、电缆、金属导体、印刷电路板(PCB )、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。
[0101]平台802可以建立一个或多个逻辑或物理通道以传播信息。信息可以包含:媒体信息和控制信息。媒体信息可以指表示用于用户的内容的任何数据。内容的示例可以包含:例如，来自语音会话的数据、视频会议、流式传输的视频、电子邮件(“电子邮件”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等。来自语音会话的数据可以是例如话音信息、静默周期、背景噪声、舒适噪声、声调等。控制信息可以指表示用于自动系统的命令、指令或控制字的任何数据。例如，控制信息可以用于通过系统路由媒体信息，或指令节点以预定的方式来处理媒体信息。然而，实施例不限制于在该元素或图8中示出或描述的情景。
[0102]如上所述，可以在各种物理样式或形状因子中来具体化系统800。图9说明了可以具体化系统800的小形状因子设备900的实现方式。在实施例中，例如，可以将设备900实现成具有无线能力的移动计算设备。例如，移动计算设备可以指具有处理系统和移动电源或电力供应(诸如，一个或多个电池)的任何设备。
[0103]如上所述，移动计算设备的示例可以包含:个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触摸板、便携性计算机、手持型计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合的蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板计算机、智能手表或智能电视)、移动互联网设备(MID)、消息传送设备、数据通信设备等。
[0104]移动计算设备的示例还可以包含:被布置为由人穿戴的计算机，诸如手腕计算机、指纹计算机、振铃计算机、眼镜计算机、腰带计算机、手臂计算机、鞋计算机、服饰计算机以及其它可穿戴计算机。在各种实施例中，例如，可以将移动计算设备实现成能够执行计算机应用以及话音通信和/或数据通信的智能电话。尽管可以使用被实现成例如智能电话的移动计算设备来描述一些实施例，但是可以了解的是，也可以使用其它无线移动计算设备来实现其它实施例。在这点上，实施例没有限制。
[0105]如在图9中示出的，设备900可以包含:壳体902、显示器904、输入/输出(I/O)设备906和天线908。设备900还可以包括导航特征1412。显示器904可以包括:适于移动计算设备的用于显示信息的任何合适的显示器。I/O设备906可以包括:用于将信息输入到移动计算设备的任何合适的I/O设备。I/O设备906的示例可以包含:字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别设备和软件等。还可以通过麦克风(未示出)将信息输入到设备900。可以由语音设备(未示出)将此类信息数字化。在这点上，实施例没有限制。
[0106]可以使用硬件元件、软件元素或它们的组合来实现各种实施例。硬件元件的示例可以包含:处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器以及诸如此类)、集成电路、专用集成电路(ASIC)、可编程逻辑设备(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体设备、芯片、微芯片、芯片组以及诸如此类。软件的示例可以包含:软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或它们的任何组合。确定实施例是否使用硬件元件和/或软件元素来实现，可以根据任何数量的因素而变化，诸如期望的计算速率、功率水平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束。
[0107]可以由存储在机器可读介质上的代表性指令来实现至少一个实施例的一个或多个方面，该指令表示处理器内的各种逻辑，当由机器读取该指令时，该指令使得该机器制造逻辑以执行本文中描述的技术。此类表述(被称为“IP核”)可以被存储在有形的、机器可读介质上，以及被提供给各种客户或制作工厂，以促进载入到实际制造逻辑或处理器的制造机器中。
[0108]虽然参照各种实现方式已经描述了本文中阐述的某些特征，但是该描述不是旨在被解释为限制性的含义。因此，本文中描述的实现方式的各种修改，以及其它实现方式，它们对于本公开相关领域的技术人员而言是明显的，被认为在本公开的精神和范围内。
[0109]以下示例关于进一步的实施例。
[0110]在一个示例中，一种计算机实现的用于视频编码的方法，该方法可以包含:经由视频编码器确定对于视频数据的参考层中的参考通道的参考预测残差。可以至少部分地基于经由跨层跨通道预测的参考预测残差，经由视频编码器，做出对于目标层中的目标通道的目标预测残差的确定，其中目标层可以是比参考层更高的层，以及目标通道可以是不同于参考通道的通道。
[0111]在另一个示例中，一种计算机实现的用于视频编码的方法，该方法还可以包含:经由视频编码器确定对于视频数据的另一个参考层和/或另一个参考通道的另一个参考预测残差。经由视频编码器，对于目标层中的目标通道的目标预测残差的确定可以至少部分地基于除了参考预测残差之外的另一个参考预测残差。目标层可以是比另一个参考层更高的层，和/或目标通道可以是不同于另一个参考通道的通道。当参考层包含基础层时，目标层可以包含增强层；以及当参考层包含增强层时，目标层可以包含更高的增强层。当参考通道包含亮度通道时，目标通道可以包含色度通道；以及当参考通道包含色度通道时，目标通道可以包含亮度通道或另一个色度通道中的一个。目标预测残差的确定可以包含:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用线性关系模型或非线性关系模型中的一个。目标预测残差的确定可以包含:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用一个或多个固定关系模型参数中的一个或自适应地确定一个或多个关系模型参数。可至少部分地基于比率失真成本，经由视频编码器自适应地应用逐块为基础经由跨层跨通道预测来确定对于所述目标通道的所述目标预测残差。经由视频编码器确定对于目标层中的目标通道的目标预测残差可以包含:至少部分地基于与在编码期间的目标预测残差块相关联的标志，在解码期间选择参考层和参考通道。
[0112]在另一个示例中，一种计算机实现的用于视频编码的方法，该方法还可以包含:经由视频编码器，确定对于视频数据的另一个参考层和/或另一个参考通道的另一个参考预测残差。视频编码器可以至少部分地基于参考预测残差，从另一个参考预测残差的第二级类型的参考预测残差，来重建第一级类型的参考预测残差。经由视频编码器，确定对于目标层中的目标通道的目标预测残差可以至少部分地基于另一个参考预测残差的重建的第一级类型的参考预测残差。目标层可以是比另一个参考层更高的层，和/或目标通道可以是不同于另一个参考通道的通道。当参考层包含基础层时，目标层可以包含增强层；以及当参考层包含增强层时，目标层可以包含更高的增强层。当参考通道包含亮度通道时，目标通道可以包含色度通道；以及当参考通道包含色度通道时，目标通道可以包含亮度通道或另一个色度通道中的一个。目标预测残差的确定可以包含:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用线性关系模型或非线性关系模型中的一个。目标预测残差的确定可以包含:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用一个或多个固定关系模型参数中的一个或自适应地确定一个或多个关系模型参数。可以至少部分地基于比率失真成本，自适应地应用逐块为基础经由跨层跨通道预测经由视频编码器来确定对于目标通道的目标预测残差。经由视频编码器来确定对于目标层中的目标通道的目标预测残差可以包含:至少部分地基于与在编码期间的目标预测残差块相关联的标志，在解码期间选择参考层和参考通道。
[0113]在其它示例中，一种用于计算机上的视频编码的系统可以包含:显示设备、一个或多个处理器、一个或多个存储库、跨层跨通道预测逻辑模块、残差重建逻辑模块等，和/或它们的组合。显示器可以被配置为呈现视频数据。一个或多个处理器可以通信地耦合到显示设备。一个或多个存储库可以通信地耦合到一个或多个处理器。视频编码器的跨层跨通道预测逻辑模块可以通信地耦合到一个或多个处理器，以及可以被配置为确定对于视频数据的参考层中的参考通道的参考预测残差，以及至少部分地基于经由跨层跨通道预测的参考预测残差，来确定对于目标层中的目标通道的目标预测残差，其中目标层可以是比参考层更高的层，以及其中目标通道可以是与参考通道不同的通道。视频编码器的残差重建逻辑模块可以通信地耦合到跨层跨通道预测逻辑模块，以及可以被配置为至少部分地基于确定的目标预测残差，来重建目标残差。
[0114]在另一个示例中，用于计算机上的视频编码的系统还可以包含:跨层跨通道预测逻辑模块还被配置为确定对于视频数据的另一个参考层和/或另一个参考通道的参考预测残差。确定对于目标层中的目标通道的目标预测残差可以至少部分地基于除了参考预测残差之外的另一个参考预测残差。目标层可以是比另一个参考层更高的层，和/或目标通道可以是不同于另一个参考通道的通道。当参考层包含基础层时，目标层可以包含增强层；以及当参考层包含增强层时，目标层可以包含更高的增强层。当参考通道包含亮度通道时，目标通道可以包含色度通道；以及当参考通道包含色度通道时，目标通道可以包含亮度通道或另一个色度通道中的一个。目标预测残差的确定可以包含:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用线性关系模型或非线性关系模型中的一个。目标预测残差的确定可以包含:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用一个或多个固定关系模型参数中的一个或自适应地确定一个或多个关系模型参数。可以至少基于比率失真成本，自适应地应用逐块为基础经由跨层跨通道预测来确定对于目标通道的目标预测残差。确定对于目标层中的目标通道的目标预测残差可以包含:至少部分地基于与在编码期间的目标预测残差块相关联的标志，在解码期间选择参考层和参考通道。
[0115]在另一个示例中，用于计算机上的视频编码的系统还可以包含:跨层跨通道预测逻辑模块还被配置为确定对于视频数据的另一个参考层和/或另一个参考通道的另一个参考预测残差。残差重建逻辑模块还可以被配置为至少部分地基于参考预测残差，从另一个参考预测残差的第二级类型的参考预测残差，来重建第一级类型的参考预测残差。确定对于目标层中的目标通道的目标预测残差可以至少部分地基于另一个参考预测残差的重建的第一级类型的参考预测残差。目标层可以是比另一个参考层更高的层，和/或目标通道可以是不同于另一个参考通道的通道。当参考层包含基础层时，目标层可以包含增强层；以及当参考层包含增强层时，目标层可以包含更高的增强层。当参考通道包含亮度通道时，目标通道可以包含色度通道；以及当参考通道包含色度通道时，目标通道可以包含亮度通道或另一个色度通道中的一个。目标预测残差的确定可以包含:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用线性关系模型或非线性关系模型中的一个。目标预测残差的确定可以包含:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用一个或多个固定关系模型参数中的一个或自适应地确定一个或多个关系模型参数。可以至少部分地基于比率失真成本，自适应地应用逐块为基础经由跨层跨通道预测来确定对于目标通道的目标预测残差。确定对于目标层中的目标通道的目标预测残差可以包含:至少部分地基于与在编码期间的目标预测残差块相关联的标志，在解码期间选择参考层和参考通道。
[0116]在其它示例中，系统可以包含:天线、视频解码器等，和/或它们的组合。天线可以被配置为接收视频数据的编码的比特流。视频解码器可以通信地耦合到天线，以及可以被配置为对编码的比特流进行解码。视频解码器可以被配置为确定对于视频数据的参考层中的参考通道的参考预测残差，以及至少部分地基于经由跨层跨通道预测的参考预测残差来确定对于目标层中的目标通道的目标预测残差，其中目标层可以是比参考层更高的层。
[0117]在另一个示例中，至少一个机器可读介质可以包含多个指令，响应于在计算设备上执行该指令，该指令使得计算设备执行根据以上示例中的任何一个示例的方法。
[0118]在又一个示例中，一种装置可以包含用于执行以上示例中的任何一个示例的方法的部件。
[0119]以上示例可以包含特征的特定组合。然而，在这点上，此类以上示例没有限制，以及在各种实现方式中，以上示例可以包含:仅执行此类特征的子集，执行不同顺序的此类特征，执行此类特征的不同组合，和/或执行不同于明确列出的那些特征的另外的特征。例如，可以相对于示例装置、示例系统和/或示例产品来实现相对于示例方法描述的所有特征，以及反之亦然。
【权利要求】
1.一种计算机实现的用于视频编码的方法，包括: 经由视频编码器，确定对于视频数据的参考层中的参考通道的参考预测残差；以及 至少部分地基于经由跨层跨通道预测的所述参考预测残差，经由所述视频编码器，确定对于目标层中的目标通道的目标预测残差，其中所述目标层是比所述参考层更高的层，以及所述目标通道是不同于所述参考通道的通道。
2.根据权利要求1所述的方法，其中当所述参考层包括基础层时，所述目标层包括增强层；以及其中当所述参考层包含增强层时，所述目标层包括更高的增强层。
3.根据权利要求1所述的方法，其中当所述参考通道包括亮度通道时，所述目标通道包括色度通道；以及其中当所述参考通道包含色度通道时，所述目标通道包括亮度通道或另一个色度通道中的一个。
4.根据权利要求1所述的方法，还包括: 经由所述视频编码器确定对于所述视频数据的另一个参考层和/或另一个参考通道的另一个参考预测残差。
5.根据权利要求1所述的方法，还包括: 经由所述视频编码器确定对于所述视频数据的另一个参考层和/或另一个参考通道的另一个参考预测残差， 其中所述经由所述视频编码器确定对于所述目标层中的所述目标通道的所述目标预测残差至少部分地基于除了所述参考预测残差之外的所述另一个参考预测残差，以及 其中所述目标层是比所述另一个参考层更高的层和/或所述目标通道是不同于所述另一个参考通道的通道。
6.根据权利要求1所述的方法，还包括: 经由所述视频编码器从第二级类型的参考预测残差来重建第一级类型的参考预测残差，以及 其中所述经由所述视频编码器确定对于所述目标层中的所述目标通道的所述目标预测残差至少部分地基于所述重建的第一级类型的参考预测残差。
7.根据权利要求1所述的方法，还包括: 经由所述视频编码器确定对于所述视频数据的另一个参考层和/或另一个参考通道的另一个参考预测残差；以及 经由所述视频编码器，至少部分地基于所述参考预测残差，从所述另一个参考预测残差的第二级类型的参考预测残差来重建第一级类型的参考预测残差， 其中所述经由所述视频编码器确定对于所述目标层中的所述目标通道的所述目标预测残差至少部分地基于所述另一个参考预测残差的所述重建的第一级类型的参考预测残差，以及 其中所述目标层是比所述另一个参考层更高的层和/或所述目标通道是不同于所述另一个参考通道的通道。
8.根据权利要求1所述的方法，其中所述经由所述视频编码器来确定对于所述目标层中的所述目标通道的所述目标预测残差包括:至少部分地基于与在编码期间的所述目标预测残差相关联的标志，在解码期间选择所述参考层和参考通道。
9.根据权利要求1所述的方法，其中确定所述目标预测残差包括:应用线性关系模型或非线性关系模型中的一个。
10.根据权利要求1所述的方法，其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用线性关系模型或非线性关系模型中的一个。
11.根据权利要求1所述的方法，其中确定所述目标预测残差包括:应用线性关系模型或非线性关系模型中的一个，其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用一个或多个固定关系模型参数中的一个或自适应地确定一个或多个关系模型参数。
12.根据权利要求1所述的方法，其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用线性关系模型或非线性关系模型中的一个，其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用一个或多个固定关系模型参数中的一个或自适应地确定一个或多个关系模型参数。
13.根据权利要求1所述的方法，其中至少部分地基于比率失真成本，自适应地应用逐块为基础经由所述视频编码器经由跨层跨通道预测来确定对于所述目标通道的所述目标预测残差。
14.根据权利要求1所述的方法，还包括: 经由所述视频编码器确定对于所述视频数据的另一个参考层和/或另一个参考通道的另一个参考预测残差， 其中所述经由所述视频编码器确定对于所述目标层中的所述目标通道的所述目标预测残差至少部分地基于除了所述参考预测残差之外的所述另一个参考预测残差， 其中所述目标层是比所述另一个参考层更高的层和/或所述目标通道是不同于所述另一个参考通道的通道， 其中当所述参考层包括基础层时，所述目标层包括增强层；以及其中当所述参考层包含增强层时，所述目标层包括更高的增强层， 其中当所述参考通道包括亮度通道时，所述目标通道包括色度通道；以及其中当所述参考通道包含色度通道时，所述目标通道包括亮度通道或另一个色度通道中的一个， 其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用线性关系模型或非线性关系模型中的一个， 其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用一个或多个固定关系模型参数中的一个或自适应地确定一个或多个关系模型参数， 其中至少部分地基于比率失真成本，自适应地应用逐块为基础经由视频编码器经由跨层跨通道预测来确定对于所述目标通道的所述目标预测残差，以及 其中所述经由所述视频编码器来确定对于所述目标层中的所述目标通道的所述目标预测残差包括:至少部分地基于与在编码期间的所述目标预测残差块相关联的标志，在解码期间选择所述参考层和参考通道。
15.根据权利要求1所述的方法，还包括: 经由所述视频编码器确定对于所述视频数据的另一个参考层和/或另一个参考通道的另一个参考预测残差；以及 经由所述视频编码器，至少部分地基于所述参考预测残差，从所述另一个参考预测残差的第二级类型的参考预测残差来重建第一级类型的参考预测残差，以及 其中所述经由所述视频编码器确定对于所述目标层中的所述目标通道的所述目标预测残差至少部分地基于所述另一个参考预测残差的所述重建的第一级类型的参考预测残差， 其中所述目标层是比所述另一个参考层更高的层和/或所述目标通道是不同于所述另一个参考通道的通道， 其中当所述参考层包括基础层时，所述目标层包括增强层；以及其中当所述参考层包含增强层时，所述目标层包括更高的增强层， 其中当所述参考通道包括亮度通道时，所述目标通道包括色度通道；以及其中当所述参考通道包含色度通道时，所述目标通道包括亮度通道或另一个色度通道中的一个， 其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用线性关系模型或非线性关系模型中的一个， 其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用一个或多个固定关系模型参数中的一个或自适应地确定一个或多个关系模型参数， 其中至少部分地基于比率失真成本，自适应地应用逐块为基础经由视频编码器经由跨层跨通道预测来确定对于所述目标通道的所述目标预测残差，以及 其中所述经由所述视频编码器来确定对于所述目标层中的所述目标通道的所述目标预测残差包括:至少部分地基于与在编码期间的所述目标预测残差块相关联的标志，在解码期间选择所述参考层和参考通道。
16.一种用于计算机上的视频编码的系统，包括: 显示设备，其被配置为呈现视频数据； 一个或多个处理器，其通信地耦合到所述显示设备； 一个或多个存储库，其通信地耦合到所述一个或多个处理器； 视频编码器的跨层跨通道预测逻辑模块，其通信地耦合到所述一个或多个处理器，以及被配置为: 确定对于所述视频数据的参考层中的参考通道的参考预测残差，以及至少部分地基于经由跨层跨通道预测的所述参考预测残差，来确定对于目标层中的目标通道的目标预测残差，其中所述目标层是比所述参考层更高的层，以及其中所述目标通道是与所述参考通道不同的通道；以及 所述视频编码器的残差重建逻辑模块，其通信地耦合到所述跨层跨通道预测逻辑模块，以及被配置为至少部分地基于所述确定的目标预测残差，来重建目标残差。
17.根据权利要求16所述的系统，其中当所述参考层包括基础层时，所述目标层包括增强层；以及其中当所述参考层包含增强层时，所述目标层包括更高的增强层。
18.根据权利要求16所述的系统，其中当所述参考通道包括亮度通道时，所述目标通道包括色度通道；以及其中当所述参考通道包含色度通道时，所述目标通道包括亮度通道或另一个色度通道中的一个。
19.根据权利要求16所述的系统， 其中所述跨层跨通道预测逻辑模块还被配置为确定对于所述视频数据的另一个参考层和/或另一个参考通道的另一个参考预测残差， 其中所述确定对于所述目标层中的所述目标通道的所述目标预测残差至少部分地基于除了所述参考预测残差之外的所述另一个参考预测残差，以及 其中所述目标层是比所述另一个参考层更高的层，和/或所述目标通道是不同于所述另一个参考通道的通道。
20.根据权利要求16所述的系统，还包括: 其中所述残差重建逻辑模块还被配置为从第二级类型的参考预测残差，来重建第一级类型的参考预测残差，以及 其中所述确定对于所述目标层中的所述目标通道的所述目标预测残差至少部分地基于所述重建的第一级类型的参考预测残差。
21.根据权利要求16所述的系统，还包括: 其中所述跨层跨通道预测逻辑模块还被配置为确定对于所述视频数据的另一个参考层和/或另一个参考通道的另一个参考预测残差；以及 其中所述残差重建逻辑模块还被配置为至少部分地基于所述参考预测残差，从所述另一个参考预测残差的第二级类型的参考预测残差来重建第一级类型的参考预测残差， 其中所述确定对于所述目标层中的所述目标通道的所述目标预测残差至少部分地基于所述另一个参考预测残差的所述重建的第一级类型的参考预测残差，以及 其中所述目标层是比所述另一个参考层更高的层和/或所述目标通道是不同于所述另一个参考通道的通道。
22.根据权利要求16所述的系统，其中所述确定对于所述目标层中的所述目标通道的所述目标预测残差包括:至少部分地基于与在编码期间的所述目标预测残差相关联的标志，在解码期间选择所述参考层和参考通道。
23.根据权利要求16所述的系统，其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用线性关系模型或非线性关系模型中的一个，其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用一个或多个固定关系模型参数中的一个或自适应地确定一个或多个关系模型参数。
24.根据权利要求16所述的系统，其中至少部分地基于比率失真成本，自适应地应用逐块为基础经由跨层跨通道预测来确定对于所述目标通道的所述目标预测残差。
25.根据权利要求16所述的系统，还包括: 其中所述跨层跨通道预测逻辑模块还被配置为确定对于所述视频数据的另一个参考层和/或另一个参考通道的另一个参考预测残差， 其中所述确定对于所述目标层中的所述目标通道的所述目标预测残差至少部分地基于除了所述参考预测残差之外的所述另一个参考预测残差， 其中所述目标层是比所述另一个参考层更高的层，和/或所述目标通道是不同于所述另一个参考通道的通道， 其中当所述参考层包括基础层时，所述目标层包括增强层；以及其中当所述参考层包含增强层时，所述目标层包括更高的增强层， 其中当所述参考通道包括亮度通道时，所述目标通道包括色度通道；以及其中当所述参考通道包含色度通道时，所述目标通道包括亮度通道或另一个色度通道中的一个， 其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用线性关系模型或非线性关系模型中的一个， 其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用一个或多个固定关系模型参数中的一个或自适应地确定一个或多个关系模型参数， 其中至少部分地基于比率失真成本，自适应地应用逐块为基础经由跨层跨通道预测来确定对于所述目标通道的所述目标预测残差，以及 其中所述确定对于所述目标层中的所述目标通道的所述目标预测残差包括:至少部分地基于与在编码期间的所述目标预测残差块相关联的标志，在解码期间选择所述参考层和参考通道。
26.根据权利要求16所述的系统，还包括: 其中所述跨层跨通道预测逻辑模块还被配置为确定对于所述视频数据的另一个参考层和/或另一个参考通道的另一个参考预测残差；以及 其中所述残差重建逻辑模块还被配置为至少部分地基于所述参考预测残差，从所述另一个参考预测残差的第二级类型的参考预测残差来重建第一级类型的参考预测残差，以及其中所述确定对于所述目标层中的所述目标通道的所述目标预测残差至少部分地基于所述另一个参考预测残差的所述重建的第一级类型的参考预测残差，其中所述目标层是比所述另一个参考层更高的层和/或所述目标通道是不同于所述另一个参考通道的通道，其中当所述参考层包括基础层时，所述目标层包括增强层；以及其中当所述参考层包含增强层时，所述目标层包括更高的增强层， 其中当所述参考通道包括亮度通道时，所述目标通道包括色度通道；以及其中当所述参考通道包含色度通道时，所述目标通道包括亮度通道或另一个色度通道中的一个， 其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用线性关系模型或非线性关系模型中的一个， 其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用一个或多个固定关系模型参数中的一个或自适应地确定一个或多个关系模型参数， 其中至少部分地基于比率失真成本，自适应地应用逐块为基础经由所述跨层跨通道预测来确定对于所述目标通道的所述目标预测残差，以及 其中所述确定对于所述目标层中的所述目标通道的所述目标预测残差包括:至少部分地基于与在编码期间的所述目标预测残差块相关联的标志，在解码期间选择所述参考层和参考通道。
27.至少一个机器可读介质，包括: 多个指令，响应于在计算设备上被执行而使得所述计算设备执行根据权利要求1-15中的任何一项所述的方法。
28.一种装置，包括: 用于执行根据权利要求1-15中的任何一项所述的方法的部件。
29.—种系统,包括: 天线，其被配置为接收视频数据的编码的比特流；以及 视频解码器，其通信地耦合到所述天线，以及被配置为对所述编码的比特流进行解码，其中所述视频解码器被配置为: 确定对于视频数据的参考层中的参考通道的参考预测残差，以及至少部分地基于经由跨层跨通道预测的所述参考预测残差来确定对于目标层中的目标通道的目标预测残差，其中所述目标层是比所述参考层更高的层。
30.根据权利要求29所述的系统，其中所述视频解码器被配置为: 确定对于所述视频数据的另一个参考层和/或另一个参考通道的另一个参考预测残差， 其中所述确定对于所述目标层中的所述目标通道的所述目标预测残差至少部分地基于除了所述参考预测残差之外的所述另一个参考预测残差， 其中所述目标层是比所述另一个参考层更高的层，和/或所述目标通道是不同于所述另一个参考通道的通道， 其中当所述参考层包括基础层时，所述目标层包括增强层；以及其中当所述参考层包含增强层时，所述目标层包括更高的增强层， 其中当所述参考通道包括亮度通道时，所述目标通道包括色度通道；以及其中当所述参考通道包含色度通道时，所述目标通道包括亮度通道或另一个色度通道中的一个， 其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用线性关系模型或非线性关系模型中的一个， 其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用一个或多个固定关系模型参数中的一个或自适应地确定一个或多个关系模型参数， 其中至少部分地基于比率失真成本，自适应地应用逐块为基础经由跨层跨通道预测来确定对于所述目标通道的所述目标预测残差，以及 其中所述确定对于所述目标层中的所述目标通道的所述目标预测残差包括:至少部分地基于与在编码期间的所述目标预测残差块相关联的标志，在解码期间选择所述参考层和参考通道。
31.根据权利要求29所述的系统，其中所述视频解码器被配置为: 确定对于所述视频数据的另一个参考层和/或另一个参考通道的另一个参考预测残差；以及 至少部分地基于所述参考预测残差，从所述另一个参考预测残差的第二级类型的参考预测残差来重建第一级类型的参考预测残差，以及其中所述确定对于所述目标层中的所述目标通道的所述目标预测残差至少部分地基于所述另一个参考预测残差的所述重建的第一级类型的参考预测残差，其中所述目标层是比所述另一个参考层更高的层和/或所述目标通道是不同于所述另一个参考通道的通道，其中当所述参考层包括基础层时，所述目标层包括增强层；以及其中当所述参考层包含增强层时，所述目标层包括更高的增强层， 其中当所述参考通道包括亮度通道时，所述目标通道包括色度通道；以及其中当所述参考通道包含色度通道时，所述目标通道包括亮度通道或另一个色度通道中的一个， 其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用线性关系模型或非线性关系模型中的一个， 其中确定所述目标预测残差包括:响应于编码模式和/或响应于块大小，以逐块为基础，自适应地应用一个或多个固定关系模型参数中的一个或自适应地确定一个或多个关系模型参数， 其中至少部分地基于比率失真成本，自适应地应用逐块为基础经由跨层跨通道预测来确定对于所述目标通道的所述目标预测残差，以及 其中所述确定对于所述目标层中的所述目标通道的所述目标预测残差包括:至少部分地基于与在编码期间的所述目标预测残差块相关联的标志，在解码期间选择所述参考层和参考通道。
【文档编号】H04N19/59GK104322068SQ201280073483
【公开日】2015年1月28日 申请日期:2012年6月27日 优先权日:2012年6月27日
【发明者】L.徐, Y.韩, W.张, Y-J.秋, H.蒋 申请人:英特尔公司