用于视频编码速率控制的平均决定差预测的制作方法

本申请是申请日为2012年3月9日、申请日为201210062614.3的同名中国发明专利申请的分案申请。本发明涉及预测平均绝对差的技术。
背景技术：
：平均绝对差(mad)可用作h.264速率控制模型中的视频编码复杂度的索引。在常规系统中，mad是由线性回归模型使用先前存储的帧的实际mad来预测的。对于用时间和质量可伸缩性来编码的比特流(诸如可伸缩视频编码(svc)的h.264的附录g扩展)而言，选择应使用哪个回归量来获得对当前mad的精确预测可能是困难的。在一些情况下，mad的不精确性可导致对量化参数(qp)的不合适的选择，结果导致较差的控制性能。技术实现要素：可提供用于视频编码速率控制的mad预测。提供本
发明内容以便以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。此
发明内容既不旨在标识所要求保护的主题的关键特征或必要特征。本
发明内容也不旨在用于限制所要求保护的主题的范围。可提供用于视频编码的平均绝对差(mad)预测。在接收包括多个质量层级(qualitylayer)的视频流后，可根据与第二帧相关联的第二量化参数(qp)以及与第三帧相关联的第三qp来选择该视频流的第一帧的第一qp。随后可根据所选择的第一qp来编码第一帧。以上概括描述和以下详细描述两者都提供了示例，并且只是说明性的。因此，以上概括描述和以下详细描述不应当被认为是限制性的。此外，除了本文中所阐述的那些特征或变体以外，还可以提供其他特征或变体。例如，实施例可涉及具体实施方式中所描述的各种特征组合和子组合。附图说明合并在本公开中并构成其一部分的附图示出本发明的实施例。在附图中：图1是操作环境的框图；图2是示出svc比特流的图示；图3是用于提供用于视频编码的mad预测的方法的流程图；以及图4是包括计算设备的系统的框图。具体实施方式以下详细描述参考各个附图。只要可能，就在附图和以下描述中使用相同的附图标记来指示相同或相似的元件。尽管可能描述了本发明的实施例，但修改、改编、以及其他实现是可能的。例如，可对附图中所示的元件进行置换、添加、或修改，并且可通过对所公开的方法置换、重新排序、或添加阶段来修改本文中所描述的方法。因此，以下详细描述并不限制本发明。相反，本发明的正确范围由所附权利要求书定义。可提供用于视频编码速率控制的平均绝对差(mad)预测。根据本发明的各实施例，在单个线性回归模型中可使用两个回归量。第一回归量可包括要被编码的当前帧的最近帧跨较高、较低或当前时间层级的mad。第二回归量可包括最近帧的与速率失真(rd)特性有关的mad。根据这两个回归量所预测的mad可随后被二次速率量化模型用来决定用于当前帧的编码的合适的量化参数(qp)。图1是包括捕捉源110和网络头端120的操作环境100的框图，网络头端120至少包括视频编码器130和信道多路复用器135。捕捉源110可包括例如诸如视频相机的实时视频捕捉设备、视频会议服务器和/或经由供应商网络(例如，光纤和/或卫星网络)来提供的实况视频流。头端120可被耦合到诸如混合光纤同轴(hfc)电缆电视网络之类的接入网络130，该网络可被进一步连接到观众场所140，该观众场所140包括耦合到显示器155的视频解码器150。根据本发明的各实施例，其他操作环境可用于提供在此描述的系统和方法。例如，耦合到诸如因特网之类的公共网络的服务器用于使用mad预测来编码视频，以提供给与耦合至该网络的、能够解码的计算设备相关联的用户。图2是示出可伸缩视频编码(svc)比特流200的示图。比特流200可包括两个层级(layer)：基本层级210和增强层级220。根据本发明的各实施例，除了基本层级210以外，svc比特流还可包括多个质量增强层级。根据本发明的各实施例，基本层级210可包括多个时间层级。比特流可包括与每一层级相关联的多个帧，这些帧中的每一个由指示该帧的时间位置的编号以及指示该帧与基本层级210相关联(即，多个帧xb)还是与增强层级220相关联(即，多个帧xe)的字母来标识。图2还示出了比特流200中的一些帧的相应回归量。例如，视频编码器130可预测每一个帧的可用于计算合适的量化参数(qp)的mad。qp可结合帧的数据大小来用于基于带宽约束控制比特流200的传输率。qp可包括范围从0到51的值，其中较低的值导致所得的经编码帧的较大的数据大小及同时该帧的较高的质量，而较高的qp值导致较小的数据大小和较低的质量。为了预测要被编码的帧的mad，视频编码器130可计算比特流200的两个其他帧的mad，并将它们用作线性回归模型中的回归量。第一回归量madtemp可包括最近时间帧跨较高、较低或当前时间层级的mad。例如对于基本层级210，这可包括处于最高的帧速率层级中的在先帧。对于增强层级220，这可包括处于相同时间层级的相应基本层级210帧。这个回归量可允许以分层预测顺序来捕捉突然的改变。第二回归量madrdc可包括具有相似的速率失真(rd)特性的最近帧的mad。帧的rd特性可以是该帧的qp及其参考帧的qp的函数。帧i和帧j间的rd特性的相似性被定义在以下公式1中，其中qp(i)指帧i的qp，且ref(i)指帧i的参考帧。也在下面的表1示出了公式1中可用来计算madrdc的值的qp。x01234567xbkk+5k+4k+5kk+5k+4k+5xek+6k+11k+10k+11k+6k+11k+10k+11表1下面的表2示出了比特流200的第二图片组(gop)间隔的示例回归量。5b5e6b6e7b7e8b8emadtemp4b5b5b6b6b7b7b8bmadrdc3b3e5b5e6b6e4b4e表2可根据在以下公式2中示出的第二阶(order)线性回归模型来计算要被编码的帧的经预测的mad。mad′＝c2·madtemp+c1·madrdc+c0公式2图3是阐明了根据本发明的一实施例的一种用于提供用于视频编码的平均绝对差(mad)预测的方法300中涉及的一般阶段的流程图。方法300可使用如以下参考图4更详细地描述的计算设备400来实现。在下文中将更详细地描述实现方法300的各阶段的方式。方法300可以在开始框305处开始并前进至其中计算设备400可以接收当前帧以进行编码的阶段310。例如，当前帧可包括与可伸缩视频编码(svc)比特流相关联的帧。svc比特流可包括多个层级，这多个层级包括基本层级和至少一个质量增强层级。基本层级可包括一个和/或多个时间层级。方法300可随后前进至阶段315，其中计算设备400可计算第一帧的第一平均绝对差(mad)。例如，在当前帧包括比特流200的帧5b的情况下，编码器130可计算比特流200的帧4b的mad的回归量值。根据本发明的各实施例，第一帧可包括当前帧的时间上在前帧(例如，和与当前帧相同的层级相关联的紧接在前帧)。方法300可随后前进至阶段320，其中计算设备400可标识包括当前帧的相似速率失真特性的第二帧。例如，在当前帧包括比特流200的帧5b的情况下，编码器130可计算比特流200的帧3b的mad的回归量值。编码器130可计算当前帧及比特流200的多个其他帧的速率失真，并确定多个其他帧中的哪一个包括与当前帧最相似的速率失真特性。根据本发明的各实施例，第二帧和当前帧可各自与多个层级中的同一层级或不同层级相关联。方法300可随后前进至阶段325，其中计算设备400可计算所识别的第二帧的第二平均绝对差(mad)。方法300可随后前进至阶段330，其中计算设备400可根据第二阶线性回归模型来预测与当前帧相关联的当前mad。例如，第一mad和第二mad可各自包括与以上公式2中示出的第二阶线性回归模型相关联的回归量。方法300可随后前进至阶段335，其中计算设备400可根据所预测到的当前mad和与传输网络相关联的带宽约束来选择当前帧的量化参数(qp)。例如，量化参数可包括一切在0和51之间的值。方法300可随后前进至阶段340，其中计算设备400可根据所选择的量化参数根据h.264视频编码标准来对当前帧进行编码。经编码的帧可基于所选择的qp包括与比特流的所期望的传输速率相一致的大小。方法300可随后前进至阶段345，其中计算设备400可通过传输网络传送经编码的帧。例如，头端120可通过接入网络来传送经编码的帧，该接入网络可包括混合光纤同轴(hfc)电缆电视网络和/或因特网协议(ip)网络。方法300可随后前进至阶段350，其中计算设备400可更新线性模型参数。例如，可根据从经编码的帧计算出的实际mad来更新公式2中的值c0、c1和c2。可在编码了每一帧之后再更新模型参数，因为对非静止的视频序列的统计可随时间而改变。方法300然后可在阶段355结束。根据本发明的一实施例可包括用于在视频编码器中提供平均绝对差预测的系统。该系统可包括存储器存储和耦合到该存储器存储的处理单元。处理单元可用于：接收包括多个质量层级的视频流、根据与第二帧相关联的第二量化参数(qp)以及与第三帧相关联的第三qp来选择该视频流的第一帧的第一qp、以及根据经预测的第一qp来编码第一帧。视频流可包括例如可伸缩视频编码(svc)比特流，该比特流包括基本层级和至少一个增强层级。用于选择第一帧的量化参数可包括：处理单元用于根据与第一帧相关联的第一速率失真特性和与第二帧相关联的第二速率失真特性之间的相似性来标识第二帧，并将第三帧标识为第一帧的最近在前时间帧。第一、第二和第三帧可以与比特流的同一和/或不同层级相关联。处理单元用于计算第二和第三帧的平均绝对差(mad)并根据线性回归模型来预测第一帧的mad，其中第二帧的mad和第三帧的mad包括与该线性回归模型相关联的回归量。然后可根据第一帧的经预测的mad和与传输网络相关联的带宽约束来选择第一qp。根据本发明的另一实施例可包括用于在视频编码器中提供平均绝对差预测的系统。该系统可包括存储器存储和耦合到该存储器存储的处理单元。处理单元用于：接收与包括多个层级的可伸缩视频编码(svc)比特流相关联的多个视频帧、识别当前帧的紧接在前时间帧、识别当前帧的相似帧、根据与紧接在前时间帧相关联的第一mad和与相似帧相关联的第二mad来预测当前帧的平均绝对差(mad)、以及根据经预测的mad来编码当前帧。用于识别相似帧可包括处理单元用于计算多个视频帧的子集中的每一个视频帧的速率失真特性，并将该多个视频帧的子集中的每一个视频帧的速率失真特性与当前帧的当前速率失真特性进行比较。处理单元还用于将相似帧标识为多个视频帧的子集中包括大于或等于当前帧的0.25倍的速率失真特性相似性度量的帧。紧接在前时间帧可以与多个层级中与当前帧不同的层级相关联。处理单元还用于根据带宽约束和当前帧的经预测的mad来选择当前帧的量化参数(qp)。处理单元还用于通过诸如混合光纤同轴(hfc)电缆电视网络和/或因特网协议(ip)网络之类的网络来传送经编码的帧。根据本发明的又一实施例可包括用于在视频编码器中提供平均绝对差预测的系统。该系统可包括存储器存储和耦合到该存储器存储的处理单元。处理单元用于：接收当前帧以进行编码，其中所述当前帧与包括多个层级的可伸缩视频编码(svc)比特流相关联，并且其中所述多个层级包括基本层级和至少一个增强层级；计算第一帧的第一平均绝对差(mad)，其中所述第一帧包括所述当前帧的时间上在前帧；标识包括所述当前帧的相似速率失真特性的第二帧，其中所述第二帧和所述当前帧各自与所述多个层级中的同一层级相关联；计算所述第二帧的第二平均绝对差(mad)；根据第二阶线性回归模型来预测与所述当前帧相关联的当前mad，其中所述第一mad和所述第二mad各自包括与所述第二阶线性回归模型相关联的回归量；根据经预测的当前mad和与传输网络相关联的带宽约束来选择所述当前帧的量化参数，其中所述量化参数包括一切在0和51之前的值；根据h.264视频编码标准根据所选择的量化参数来编码所述当前帧；以及，通过所述传输网络来传送经编码的帧。图4是包括计算设备400的系统的框图。根据本发明的一个实施例，上述存储器存储和处理单元可在诸如图4的计算设备400之类的计算设备中实现。可使用硬件、软件或固件的任何合适的组合来实现存储器存储和处理单元。例如，存储器存储和处理单元可用计算设备400或结合计算设备400的其他计算设备418中的任一个来实现。根据本发明的实施例，上述系统、设备和处理器是示例，而其他系统、设备和处理器可包括上述存储器存储和处理单元。此外，计算设备400可包括如上所述的操作环境100。在本说明书中描述的方法可在其他环境中操作，而不限于计算设备400。参考图4，根据本发明的一实施例的系统可包括计算设备，诸如计算设备400。在基本配置中，计算设备400可包括至少一个处理单元402和系统存储器404。取决于计算设备的配置和类型，系统存储器404可包括，但不限于，易失性存储器(例如，随机存取存储器(ram))、非易失性存储器(例如，只读存储器(rom))、闪存、或任何组合。系统存储器404可以包括操作系统405、一个或多个编程模块406，并可以包括视频编码器130。例如，操作系统405可适用于控制计算设备400的操作。此外，本发明的实施例可结合图形库、其他操作系统、或任何其他应用程序来实践，并且不限于任何特定应用或系统。该基本配置在图4中由虚线408内的那些组件示出。计算设备400可具有附加特征或功能。例如，计算设备400还可包括附加数据存储设备(可移动和/或不可移动)，诸如例如，磁盘、光盘、或磁带。这些附加存储在图4中由可移动存储409和不可移动存储410示出。计算设备400还可包含可允许设备400诸如通过分布式计算环境中的网络(例如，内联网或因特网)来与其他计算设备418进行通信的通信连接416。通信连接416是通信介质的一个示例。本文所使用的术语计算机可读介质可包括计算机存储介质。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块、或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。系统存储器404、可移动存储409和不可移动存储410都是计算机存储介质(即，存储器存储)的示例。计算机存储介质可包括，但不限于，ram、rom、电可擦除只读存储器(eeprom)、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光存储、磁带盒、磁带、磁盘存储或其他磁性存储设备、或者可用于存储信息且可由计算设备400访问的任何其他介质。任何此类计算机存储介质可以是设备400的一部分。计算设备400还可以具有输入设备412，如键盘、鼠标、笔、声音输入设备、触摸输入设备等。还可包括诸如显示器、扬声器、打印机等输出设备414。上述设备是示例，并且可使用其他设备。本文所使用的术语计算机可读介质还可包括通信介质。通信媒介可由诸如载波或其他传输机制的已调制数据信号中的计算机可读指令、数据结构、程序模块、或其他数据来体现，并且包括任何信息传递介质。术语“已调制数据信号”可以描述以对该信号中的信息进行编码的方式设定或者改变其一个或多个特征的信号。作为示例而非限制，通信介质包括诸如有线网络或直接线连接等有线介质，以及诸如声学、射频(rf)、红外线和其他无线介质等无线介质。如上所述，可在系统存储器404中存储包括操作系统405在内的多个程序模块和数据文件。当在处理单元402上执行时，编程模块406(例如，视频编码器130)可执行各过程，包括例如，如上所述的方法300的各阶段中的一个或多个。上述过程是一个示例，且处理单元402可执行其他过程。根据本发明的实施例可使用的其他编程模块可包括电子邮件和联系人应用程序、文字处理应用程序、电子表格应用程序、数据库应用程序、幻灯片演示应用程序、绘图或计算机辅助应用程序等。一般而言，根据本发明的实施例，程序模块可包括可执行特定任务或可实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。此外，本发明的实施例可用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器的系统或可编程消费电子产品、小型机、大型计算机等。本发明的实施例还可在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实践。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备两者中。此外，本发明的实施例可在包括分立电子元件的电路、包含逻辑门的封装或集成电子芯片、利用微处理器的电路、或在包含电子元件或微处理器的单个芯片上实践。本发明的实施例还可使用能够执行诸如例如，and(与)、or(或)和not(非)的逻辑运算的其他技术来实践，包括但不限于，机械、光学、流体和量子技术。另外，本发明的实施例可在通用计算机或任何其他电路或系统中实践。例如，本发明的实施例可被实现为计算机过程(方法)、计算系统、或诸如计算机程序产品或计算机可读介质之类的制品。计算机程序产品可以是计算机系统可读并对用于执行计算机过程的指令的计算机程序编码的计算机存储介质。计算机程序产品还可以是计算系统可读并对用于执行计算机过程的指令的计算机程序编码的载体上的传播信号。因此，本发明可以硬件和/或软件(包括固件、常驻软件、微码等)来体现。换言之，本发明的实施例可采用其上包含有供指令执行系统使用或结合其使用的计算机可使用或计算机可读程序代码的计算机可使用或计算机可读存储介质上的计算机程序产品的形式。计算机可使用或计算机可读介质可以是可包含、存储、通信、传播、或传输程序以供指令执行系统、装置或设备使用或结合其使用的任何介质。计算机可使用或计算机可读介质例如可以是、但不限于电、磁、光、电磁、红外、或半导体系统、装置、设备或传播介质。更具体的计算机可读介质示例(非穷尽列表)，计算机可读介质可包括以下：具有一条或多条导线的电连接、便携式计算机盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、光纤、以及便携式压缩盘只读存储器(cd-rom)。注意，计算机可使用或计算机可读介质甚至可以是其上打印有程序的纸张或另一合适的介质，因为程序可经由例如对纸张或其他介质的光学扫描而电子地捕获，随后如有必要被编译、解释、或以其他合适的方式处理，并且随后存储在计算机存储器中。以上参考例如根据本发明的实施例的方法、系统和计算机程序产品的框图和/或操作示图描述了本发明的实施例。框中所注明的各功能/动作可按不同于任何流程图所示的次序出现。例如，取决于所涉及的功能/动作，连续示出的两个框实际上可基本同时执行，或者这些框有时可按相反的次序执行。尽管已描述了本发明的特定实施例，但也可能存在其他实施例。此外，虽然本发明的实施例被描述为与存储在存储器和其他存储介质中的数据相关联，但是数据还可被存储在其他类型的计算机可读介质上或从其读取，诸如辅助存储设备(像硬盘、软盘、或cd-rom)、来自因特网的载波、或其他形式的ram或rom。此外，所公开的方法的各步骤可以任何方式修改，包括通过对各步骤重新排序和/或插入或删除步骤，而不背离本发明。包括此处所包括的代码中的版权在内的所有权利都归属于申请人并且是本申请人的财产。本申请人保持并保留此处所包括的代码中的所有权利，并且授予仅关于所授权专利的再现且未出于其他目的再现该材料的许可。尽管本说明书包括示例，但本发明的范围由所附权利要求书来指示。此外，尽管用对结构特征和/或方法动作专用的语言描述了本说明书，但权利要求书并不限于以上所描述的特征或动作。相反，以上所描述的特定特征和动作是作为本发明的实施例的示例来公开的。当前第1页12