存储减少的帧内预测模式决策的制作方法
【技术领域】
[0001] 本发明涉及视频译码，并且更确切地说涉及视频译码的帧内预测方面。
【背景技术】
[0002] 数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理（PDA)、膝上型或台式计算机、数码相机、数字记录装置、数字媒体播 放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其 类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH. 263或ITU-T H.264/MPEG-4第10部分高级视频译码（AVC)定义的标准和所述标准的扩展部分中所描述 的那些视频压缩技术，以更有效地发射和接收数字视频信息。正在研发新视频译码标准，例 如，由"视频译码联合合作小组"（JCT-VC)开发的高效率视频译码（HEVC)标准，其为MPEG 与ITU-T之间的合作成果。新出现的的HEVC标准有时被称作ITU-TH. 265,但此名称尚未 正式确定。
【发明内容】
[0003] -般来说，本发明描述用于减少当从多个不同预测模式进行选择时存储速率失真 值所需的空间的技术。通常，视频译码器可使用帧内模式编码（例如，相对于同一图片的其 它块而编码）或帧间模式编码（相对于先前译码的图片块而编码）对图片块进行译码。在 一些实例中，视频译码器可从大量不同模式中选择译码给定块的模式。视频译码器可基于 表示所选模式的近似失真速率的对应近似成本值而选择模式。视频译码器可存储所有可能 的预测模式的子集的近似成本值而不是存储每一可能预测模式的近似成本值。由于子集中 所指定的预测模式的总数小于所有可能预测模式的总数，所以本发明的技术可减少存储这 些近似成本值所需的片上存储器的量。在一些实例中，减少片上存储器要求可改善并行和 /或串行处理视频译码器中的视频译码性能。
[0004] 在一个实施例中，方法包含确定待编码的视频数据的当前块的帧内预测模式的第 一集合。帧内预测模式的第一集合可包含小于能够用于编码当前块的帧内预测模式的总数 的帧内预测模式。所述方法可进一步包含确定除帧内预测模式的第一预定义集合之外的用 于当前块的帧内预测模式的第二集合。帧内预测模式的第二集合包含数量小于或等于能够 用于编码当前块的帧内预测模式的总数的帧内预测模式。第一集合和第二集合均可共同地 包含总计小于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。所述方法可进 一步包含计算包含在帧内预测模式的第一集合中的每一帧内预测模式和包含在帧内预测 模式的第二集合中的每一帧内预测模式的近似成本。所述近似成本可粗略估计使用帧内预 测模式中的对应一者编码视频数据的当前块的速率失真成本。所述方法还可包含将在帧内 预测模式的第一集合中所识别的每一帧内预测模式和在帧内预测模式的第二集合中所识 别的每一帧内预测模式的近似成本存储到存储器。所述方法可进一步包含基于针对帧内预 测模式的第一集合和帧内预测模式的第二集合中所识别的每一帧内预测模式而计算的近 似成本执行帧内预测以根据通过帧内预测模式的第一集合或帧内预测模式的第二集合识 别的帧内预测模式中的一者编码当前块。
[0005] 在一个实施例中，经配置以执行帧内预测过程以译码视频数据的视频译码装置可 包含处理器，其经配置以确定用于待编码的视频数据的当前块的帧内预测模式的第一集 合。帧内预测模式的第一集合可包含小于能够用于编码当前块的帧内预测模式的总数的帧 内预测模式。视频译码装置还可经配置以确定除帧内预测模式的第一预定义集合之外的用 于当前块的帧内预测模式的第二集合。帧内预测模式的第二集合可包含数量小于或等于能 够用于编码当前块的帧内预测模式的总数的帧内预测模式。第一集合和第二集合均可共同 地包含总计小于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。视频译码装 置还可经配置以计算包含在帧内预测模式的第一集合中的每一帧内预测模式和包含在帧 内预测模式的第二集合中的每一帧内预测模式的近似成本。所述近似成本可粗略估计使用 帧内预测模式中的对应一者编码视频数据的当前块的速率失真成本。视频译码装置还可经 配置以将在帧内预测模式的第一集合中所识别的每一帧内预测模式和在帧内预测模式的 第二集合中所识别的每一帧内预测模式的近似成本存储到存储器。视频译码装置还可经配 置以基于针对帧内预测模式的第一集合和帧内预测模式的第二集合中所识别的每一帧内 预测模式而计算的近似成本执行帧内预测以根据通过帧内预测模式的第一集合或帧内预 测模式的第二集合识别的帧内预测模式中的一者编码当前块。
[0006] 在一个实施例中，经配置以执行帧内预测过程以译码视频数据的视频译码装置包 含用于确定待编码的视频数据的当前块的帧内预测模式的第一集合的装置（means)。帧内 预测模式的第一集合可包含小于能够用于编码当前块的帧内预测模式的总数的帧内预测 模式。视频译码装置还可包含确定除帧内预测模式的第一预定义集合之外的用于当前块的 帧内预测模式的第二集合的装置。帧内预测模式的第二集合可包含数量小于或等于能够用 于编码当前块的帧内预测模式的总数的帧内预测模式。第一集合和第二集合均可共同地包 含总计小于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。视频译码装置还 可进一步包含用于计算包含在帧内预测模式的第一集合中的每一帧内预测模式和包含在 帧内预测模式的第二集合中的每一帧内预测模式的近似成本的装置。所述近似成本可粗略 估计使用帧内预测模式中的对应一者编码视频数据的当前块的速率失真成本。视频译码装 置还可包含用于将在帧内预测模式的第一集合中所识别的每一帧内预测模式和在帧内预 测模式的第二集合中所识别的每一帧内预测模式的近似成本存储到存储器的装置。视频译 码装置可进一步包含用于基于针对帧内预测模式的第一集合和帧内预测模式的第二集合 中所识别的每一帧内预测模式而计算的近似成本执行帧内预测以根据通过帧内预测模式 的第一集合或帧内预测模式的第二集合识别的帧内预测模式中的一者编码当前块的装置。
[0007] -或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述 及附图和从权利要求书中显而易见。
【附图说明】
[0008] 图1是说明实例视频编码及解码系统的框图，所述视频编码及解码系统可经配置 以利用本发明中所描述的技术以用于减少当从多个不同预测模式中进行选择时存储速率 失真值所需的空间。
[0009] 图2是说明视频编码器的实例的框图，所述视频编码器可实施用于减少当从多个 不同预测模式中进行选择时存储速率失真值所需的空间的技术。
[0010] 图3是说明可实施本发明中描述的技术的视频解码器的实例的框图。
[0011] 图4A是说明根据本发明中描述的技术的视频译码器可选择的帧内预测模式的概 念表不的框图。
[0012] 图4B是说明根据本发明中描述的技术的待进行帧内预测性译码的当前块和相邻 块的概念表示的框图。
[0013] 图5是说明根据本发明的技术的视频译码器（例如图2中所示的视频编码器）在 执行减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的方面中的示 范性操作的流程图。
[0014] 图6是说明根据本发明的技术的视频译码器（例如图2中所示的视频编码器）在 执行减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的方面中的示 范性操作的流程图。
[0015] 图7是说明根据本发明的技术的视频译码器（例如图2中所示的视频编码器）在 执行减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的方面中的示 范性操作的流程图。
[0016] 图8是说明根据本发明的技术的视频译码器（例如图2中所示的视频编码器）在 执行减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的方面中的示 范性操作的流程图。
【具体实施方式】
[0017] 本发明描述可使视频编码器（其可被称为"视频译码器"）能够减少当从多个不同 预测模式中进行选择时存储速率失真值所需的空间的技术。一般来说，经编码的视频数据 可包含预测数据和残余数据。举例来说，视频编码器可在帧内预测模式或帧间预测模式期 间产生预测数据。例如，帧内预测总体上涉及相对于同一图片的相邻的先前译码块中的一 或多个参考块（其亦可被称为"参考样本"）预测图片块中的像素值，其中所选的先前译码 块可被称为参考块。帧内预测也可被称作空间预测，因为所选参考块来自与待预测块相同 的图片。帧间预测通常涉及相对于按时间移除的图片中的一或多个参考样本预测图片块中 的像素值。出于此原因，帧间预测可被称为时间预测，因为所选参考块来自与具有待预测块 的图片不同的图片（且因此按时间移除）。
[0018] 在执行帧内预测时，视频编码器可从多个不同帧内预测模式中进行选择（例如， 如图4A中进一步说明），从而计算与每一帧内预测模式相关联的近似成本。此近似成本可 粗略估计在执行可被视为资源密集全速率失真优化过程的过程时常用的速率失真成本。计 算速率失真成本通常要求视频编码器使用帧内预测模式中的每一者计算经预测块并确定 经预测块中的每一者与当前块之间的差异（通常被称为"残余块"，其指定上文参考的残余 像素值）。视频编码器接下来将每一残余块从空间域变换到频域并量化每一经变换残余块 中的系数值以产生系数的对应的经编码视频块。最后，视频编码器可对经编码视频块进行 解码并将每一经解码视频块与当前块进行比较来确定失真度量。此外，此速率失真分析可 涉及在给定量化层级的情况下针对帧内预测模式中的每一者计算用以用信号表示经编码 视频块中的每一者的位的量。
[0019] 视频编码器可计算近似成本，而不是针对使用帧内预测模式中的对应一者预测的 每一经预测块执行全速率失真分析。如本发明中进一步描述，存在粗略估计全速率失真成 本的大量不同方式。在一些实例中，视频编码器可避免针对帧内预测模式中的每一者计算 近似成本而相反在帧内预测译码期间识别一或多个所谓的"最可能"帧内预测模式。为识 别最可能模式，视频编码器可识别经先前编码块（其常为邻近于当前块并已经帧内预测的 相邻块，例如，在当前块的顶部或上方及左边的块）的帧内预测模式。这些所谓的相邻块的 帧内模式由于相邻块到当前块的空间接近度而可具有与当前块相同或类似的相对高概率。 在这方面中，视频编码器可仅对这些最可能模式或者这些最可能模式和与其它模式相比以 统计方式更可能在执行帧内预测时使用的其它可能模式（例如平面和DC模式）减少近似 成本计算的数目。
[0020] 然而，在一些实施中，视频编码器可并行执行关于大量块的帧内预测，其可不允 许视频编码器确定这些最可能模式。举例来说，视频编码器可执行关于最大译码单元（IXU) 的帧内预测，所述最大译码单元可经分割成大量不同大小的译码单元。如果这些CU中的每 一者同时经帧内预测或帧间预测，那么视频编码器可不能使用其来确定当前块的最可能模 式。
[0021] 由于不能利用执行帧内预测时的最可能模式，所以视频编码器可试图针对关于 LCU中的每一CU的每一帧内预测模式计算近似成本。视频编码器可存储这些近似成本。一 旦视频编码器完成对相邻块的编码，那么视频编码器可随后使用针对当前块计算的近似成 本识别当前块的最可能模式，以识别各种模式中的哪一者应使用更复杂速率失真分析来更 完全测试。通过以此方式使用最可能模式，视频编码器可减少使用全速率失真分析而分析 的经预测块的数目。换句话说，可根据速率失真分析消除一些所述模式中，从而潜在地减少 执行速率失真分析所需的资源量（其可指代存储器及/或处理器利用率）。
[0022] 虽然以上针对关于IXU中的每一⑶的每一帧内预测模式计算近似成本的过程可 通过减少使用全速率失真分析而分析的经预测块的数目使高度平行的视频译码器（意义 在于视频编码器同时执行关于大量块的帧内预测或帧间预测）能够更高效地执行帧内预 测，但此过程可由于存储近似成本所需的存储器而产生昂贵的视频编码器。鉴于视频编码 器通常要求以局部或片上方式存储这些近似成本并且要求所述片上存储器可为成本高的 并消耗视频编码器芯片上的显著空间（其可被称为"板空间"），所以实施以上过程的视频 编码器可比可顺序地编码每一块的较不平行的视频编码器更昂贵。
[0023] 根据本发明中所描述的技术，视频译码器，例如平行视频编码器（表示在编码当 前块的同时编码相邻块的视频编码器），可仅存储全帧内预测模式的子集的近似成本，从而 减少片上存储器要求并提供在视频编码器生产方面的成本节约。在操作中，视频编码器可 确定用于当前块的帧内预测模式的第一预定义集合。在一些实例中，当前块可总体上指代 视频译码器当前编码过程中的视频块。第一预定义集合中的帧内预测模式的数目可小于能 够用于编码当前块的帧内预测模式的总数。通常，帧内预测模式（例如，模式〇、1及26)的 此第一预定义集合包括一个、两个或三个帧内预测模式，其已经以统计方式识别为在比帧 内预测模式的剩余模式更频繁的基础上出现。
[0024] 视频编码器还可确定除帧内预测模式的第一预定义集合之外的用于当前块的帧 内预测模式的第二集合。另外，帧内预测模式的此第二集合可包含小于能够用于编码当前 块的帧内预测模式的总数的帧内预测模式。模式的第二集合可未经预定义。换句话说，可 设定帧内预测模式的第一预定义集合（但模式的具体列表可横跨LCU、切片、图片、序列等 而变化），而第二集合是通过取样或一些其它选择过程来随机导出或确定的。
[0025] 在任何情况下，视频编码器可随后针对在帧内预测模式的第一预定义集合中所识 别的每一帧内预测模式和在帧内预测模式的第二集合中所识别的每一帧内预测模式计算 近似成本。视频编码器可将在帧内预测模式的第一预定义集合中所识别的每一帧内预测模 式和在帧内预测模式的第二集合中所识别的一些帧内预测模式的近似成本存储到存储器 (其中此存储器又可表示片上存储器，例如1层（LI)高速缓存）。鉴于在第一预定义集合 中指定的帧内预测模式和第二集合中的所选择模式的总数（（即，总和）小于可用于编码器 当前块的帧内预测模式的总数（例如，35个模式），视频编码器可减少（在帧内预测模式的 第一集合与第二集合之间总计指定仅一些模式（例如5个或6个模式）的情况下，有时显 著地减少）存储这些近似成本所需的片上存储器的量。
[0026] 图1是说明实例视频编码及解码系统10的框图，所述视频编码及解码系统可经配 置以利用本发明中所描述的技术以用于减少当从多个不同预测模式中进行选择时存储速 率失真值所需的空间。如图1的实例中所示，系统10包含源装置12,其产生供目的地装置 14解码的经编码视频。源装置12可以经由通信信道16向目的地装置14发射经编码视频， 或者可以在存储媒体34或文件服务器36上存储所述经编码视频，以使得目的地装置14可 以按需要接入经编码视频。源装置12和目的地装置14可包括广泛多种装置中的任一者， 包含台式计算机、笔记型（即，膝上型）计算机、平板计算机、机顶盒、电话手持机（包含蜂 窝电话或手持机以及所谓的智能电话）、电视、相机、显示装置、数字媒体播放器、视频游戏 控制台或类似装置。
[0027] 在许多情况下，此些装置可经配备用于无线通信。因此，通信信道16可包括无线 信道。或者，通信信道16可包括适合于发射经编码的视频数据的有线信道、无线和有线信 道的组合或任何其它类型的通信信道或通信信道的组合，例如射频（RF)频谱或一或多个 实体发射线路。在一些实例中，通信信道16可形成例如局域网（LAN)、广域网（WAN)或例如 因特网的全球网络的封包式网络的一部分。因此，通信信道16-般表示用于将视频数据从 源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合，包含有线 或无线媒体的任何合适组合。通信信道16可包含可用于促进从源装置12到目的装置14 的通信的路由器、交换器、基站或任何其它设备。
[0028] 如图1的实例中进一步展示，源装置12包含视频源18、视频编码器20、调制器/解 调器22 ( "调制解调器22"）和发射器24。在源装置12中，视频源18可包含例如视频捕获 装置的源。借助于实例，视频捕获装置可包含摄像机、含有先前捕获的视频的视频档案、用 以从视频内容提供者接收视频的视频馈送接口和/或用于产生计算机图形数据作为源视 频的计算机图形系统中的一者或多者。作为一个实例，如果视频源18是摄像机，那么源装 置12和目的地装置14可以形成所谓的相机电话或视频电话。然而，本发明中描述的技术 不限于无线应用或设置，并且可以应用于包含视频编码和/或解码能力的非无线装置。因 此，源装置12和目的地装置14仅是可以支持本文所述的技术的译码装置的实例。
[0029] 视频编码器20可以对捕获、预捕获或计算机产生的视频进行编码。一旦经编码， 视频编码器20可以向调制解调器22输出这个经编码视频。调制解调器22可以接着根据 一种通信标准（例如无线通信协议）调制经编码视频，于是发射器24可以向目的地装置14 发射经调制的经编码视频数据。调制解调器22可包含各种混频器、滤波器、放大器或经设 计以用于信号调制的其它组件。发射器24可包含经设计以用于发射数据的电路，包含放大 器、滤波器及一或多个天线。
[0030] 被视频编码器20编码的捕获、预先捕获或计算机产生的视频还可存储到存储媒 体34或文件服务器36上以用于稍后检索、解码和消耗。存储媒体34可包含蓝光光盘、DVD、 CD-ROM、快闪存储器或用于存储经编码视频的任何其它合适的数字存储媒体。目的地装置 14可以接入存储在存储媒体34或文件服务器36上的经编码视频，并且对这个经编码视频 进行解码以产生经解码视频并回放这个经解码视频。
[0031] 文件服务器36可为任何类