专利名称：使用可变速率调制的视频传送的制作方法
技术领域：
本发明涉及到传送已编码的视频，尤其是涉及到使用可变速率调制传送MPEG视频的系统和方法。
由于对在无线(例如蜂窝)和有线(例如因特网)网络上递送的视频应用的需求增加，有效传送视频数据的能力已经成为重要的挑战。必须解决的某些特定挑战包括大多数视频应用所必需的大量带宽、递送视频数据的网络的易出错特性、以及传送健壮视频图像的期望。
典型地，带宽限制是通过使用熟知的编码标准压缩视频数据来解决的，该编码标准包括MPEG-2、MPEG-4、H.261等。已编码视频方案(scheme)(例如那些由MPEG标准提供的已编码视频方案)可以分成具有不定的相对优先级的不同流。除了别的方法以外，对于视频数据的已编码比特流进行划分可以基于(a)诸如参考帧和运动预测帧(I、P和B帧)之类的帧类型、(b)报头和非报头、(c)在(时间、空间、SNR或细粒度)可缩放编码视频中出现的基本层和一个或多个增强层流、或者(d)包含对应于一个或多个宏块的数据的视频分组。目前，当帧的视频流被传送时，特定的调制方案被选择(例如，根据信道状态)，并且整个流被使用选定的调制方案来传送。不幸的是，视频帧相对重要性中固有的差异并没有被利用起来。因此，如果使用当前的系统，一旦调制方案被选定，视频图像的总体健壮性不能非常容易地被加强，为高优先级的视频数据减少传送差错的能力也不能充分地得以解决。
虽然许多包括无线的连网标准允许使用可变的调制方案(因此也允许使用可变的传送速率)，但是没有规定如何最优地动态选择这些可用的调制方案以便动态地匹配被传送数据的特性。因此，存在对这种系统的需要，该系统能够在大多数网络上利用可用的可变调制方案来改善传送已编码视频数据的健壮性。
通过提供一种使用不同调制方案来传送已编码视频数据流的系统和方法，本发明解决了上述问题和其它问题，其中，对调制方案的选择是根据每个流的已确定优先级来进行的。
在第一个方面，本发明提供了一种用于传送已编码视频信号的系统，包括用于将已编码视频数据划分为多个流的系统，用于确定多个已编码视频数据流中的每一个流的优先级的系统，用于根据确定的优先级给每个已编码视频数据流分配不同调制速率的系统。
在第二个方面，本发明提供了一种用于编码和传送视频数据的编码器，包括用于选择编码比特率的系统；用于将已编码视频数据划分为多个流的系统；用于为多个已编码视频数据流中的每一个流确定优先级的系统；和用于根据确定的优先级将多个可能调制速率中的一个分配给每个已编码视频数据流的系统。
在第三个方面，本发明提供了一种存储在可记录介质上的程序产品，当执行时，它包括用于传送已编码视频的系统，该程序产品包括用于将已编码视频划分成多个流的装置；用于确定多个已编码视频流中每一个流的优先级的装置；和用于根据确定的优先级为每个已编码视频流分配可变调制速率的装置。
在第四个方面，本发明提供了一种用于编码和传送视频数据的方法，包括如下步骤在可用的一组调制速率的上界和下界之间选择编码比特率；在选定的编码比特率上编码视频数据；确定多个已编码视频数据流中每一个流的优先级；和根据确定的优先级将多个可能调制速率中的一个分配给每个已编码视频数据流。
在第五个方面，本发明提供了一种用于解码由不同流组成的已编码视频数据的解码器，其中，使用根据每个流的优先级确定的不同调制方案来传送所述不同的流，并且所述解码器包括用于检测和解码所述不同调制方案的系统。
在下文中将结合附图来描述本发明的优选示范实施例，在附图中，相同的标记指示相同的元件，并且
图1描述了根据本发明第一实施例的发送机和接收机的框图；图2描述了根据本发明优选实施例的编码器和解码器的框图。
正如将在下面更详细描述的，本发明利用可变速率调制来提供已编码视频的健壮传送。为了实现这个目标，已编码视频流被分成不同优先级的多个流。这样，例如，不是使用相同的调制(即，速率)来传送所有不同优先级的流，而是更低速率、更健壮的调制被优选用于高优先级流，而更高速率、较不健壮的调制被优选用于较低优先级的流。在较低速率上传送较高优先级流所需的时间上的增加通过降低在较高速率上传送较低优先级流所需的时间而得到适当补偿。通过这种方式，平均传送速率被维持为等于当所有流用单一调制来传送时所用的目标速率。虽然下面的实施例广泛地描述了包括两个调制速率(即，高和低)的系统，但是应该理解的是，本发明可以使用任何数目的调制方案(例如，非常高、高、低、非常低)来实施。
现在参看附图，图1描述了用于将已编码视频数据12传送到接收机20的发送机10。已编码视频数据12可以包括任何类型的已压缩或已编码视频数据，包括例如MPEG-2、MPEG-4、H.261、H.263、H.26L等。在已编码视频数据12被发送机10接收到以后，流划分系统15根据预定的准则将视频数据12分成不同的流。例如，可能根据以下几种方式来划分(1)帧类型(I、P和B帧)；(2)报头数据和非报头数据；(3)在可缩放编码视频中的基本层以及多个增强层(时间、空间、SNR或者细粒)之一；等等。但是应该理解的是，可以使用本领域普通技术人员所熟知的任何划分方案。
在流已经被划分以后，它们被流区分优先级系统14区分优先级。流区分优先级系统14可以以任何方式来区分流的优先级。例如，在MPEG系统中，I帧通常比P帧更重要，而P帧通常比B帧更重要。因此，I帧可以被分配比P帧更高的优先级，而P帧可以被分配比B帧更高的优先级。类似地，报头数据可以被分配比非报头数据更高的优先级，并且基本层可以被分配比增强层更高的优先级。
在流已经被区分优先级以后，它们被发送到方案选择系统16，该系统为每个流分配调制方案。方案选择系统16可以包括传递数据时允许分配不同调制速率的任何方案或标准。例如，可以利用IEEE标准802.11a和802.11b，它们是提供多种调制速率的无线局域网(LAN)标准。在图1描述的一般实例中，有两种可能的调制方案，方案1(高速)和方案2(低速)。例如，方案1可以包括2Mb/s的比特率，而方案2可以包括1Mb/s的比特率。许多无线连网标准允许使用可变的调制方案，例如那些在此提出的那些。因此，这种系统的细节被假定为是本领域普通技术人员所熟知的，并且不作更具体的描述。方案选择系统16根据流的确定的优先级为流分配方案。具体地，对于高优先级的流，可能会优选地分配低速率的、更健壮的方案。对于低优先级的流，可能会优选地分配高速率的、较不健壮的方案。因为低速率调制方案发送数据更健壮，因此，与高速率调制方案相比，差错发生的可能性更小。
例如，如果该流包括I帧，那么优选地，该流将被给予高优先级并使用方案2来传送，即低速调制方案。注意，由于较低速率被用来传送I帧(并且I帧通常比P和B帧要大)，所以传送I帧的时间上的显著增长将会发生。这个时间增长可能会导致问题，因为已编码视频数据典型地必须在某些预定的延时限制内传送。通过在较高速率调制上发送较低优先级的流，也就是使用方案1，本发明抵消了该时间增长。这样，例如，标识为低优先级的P和/或B帧可以在较高传送速率上发送，这需要花更短的时间期间来传送。只要对于整个流的平均传送速率保持在可接受的目标速率上或者基本上与它一致，就能满足预定的延迟限制。用于抵消高优先级流传送时间增加的类似方法同样可以应用到上述其它划分方法中。
确保平均传送速率保持在目标速率的过程由控制系统18来处理。具体地，控制系统18可以连续地监控被处理的数据流以便确定是否维持目标速率，并且使得方案选择系统16在方案选择过程中作出调整。例如，如果没有足够的低优先级流可用来满足目标速率，则可以使用低优先级方案(即，高速率)来发送部分高优先级流。
在接收端，接收机20接收可变速率的流。方案检测系统22可以被用来检测不同的方案从而解调所述流。
现在参看图2，第二实施例被示出，它包括用于对视频数据32编码和将它传送到解码器20的编码器30。在这个实施例中，视频数据32被数据编码系统40以任何公知的方式接收和编码，例如，MPEG-2、MPEG-4、H.261、H.263等。作为编码过程的一部分，编码速率通过编码速率选择系统42来确定，从而规定已编码视频数据将被传送的总速率。优选地，该编码速率被选择在可用来传送已编码数据的传送速率上界和下界之间的某个位置。例如，如果给定协议被提供了在1和2Mb/s上的两个传送方案，则该编码速率可以选择在1和2Mb/s之间某个位置，例如1.5Mb/s。该选定的速率将取决于在划分和区分优先级以后获得的低和高优先级流的相对速率。
类似于针对图1描述的实施例，已编码数据然后被划分和区分优先级。划分是由流划分系统33来处理的，它以任何公知的方式将已编码数据划分为数据流，包括前述那些方式。区分优先级由流区分优先级系统34以任何方式来处理，包括前述的那些。方案选择系统36然后就根据分配的流优先级给每个流分配调制方案，同样也是以与前述方式相同的方式。这样，高优先级流(例如，I帧)将优选地被分配低速率调制方案，而低优先级流(例如，P和B帧)将优选地被分配高速率调制方案。在上述实例中，高优先级数据将以1Mb/s的速率发送，而低优先级数据将以2Mb/s的速率发送。控制系统38将确保遵守选定的编码速率(例如，1.5Mb/s)的传送流的平均传送速率。与在1或2Mb/s上传送相比，这个方案将带来接收机中更佳的视频质量。在1Mb/s的情况下，虽然由于低速率调制，传送是非常健壮的，但是对视频进行编码的降低的比特率降低了视频质量。在2Mb/s的情况下，虽然源编码视频质量非常好，但是由于高速率调制传送导致的传送差错可能会导致接收视频质量的退化。选择中间速率并区分传送优先级在上述两种情况之间提供了一个平衡。
在数据已经被传送以后，解码器50将接收并解码该可变速率数据。解码器50包括方案检测系统52来确定哪些流在哪个速率被解码。然后，解码的数据44被输出。
应该理解，这里描述的系统、功能、方法和模块可以以硬件、软件或者硬件和软件的组合来实现。它们可以通过任何类型的适合于执行这里描述的方法的计算机系统或其它设备来实现。硬件和软件的典型组合可以是具有计算机程序的通用计算机系统，当被加载和执行时，该计算机程序控制该计算机系统以便使它执行这里描述的方法。可替换地，可以采用包含用于执行本发明的一个或多个功能性任务的专用硬件的专用计算机。本发明也可以嵌入到计算机程序产品中，该计算机程序产品包括使得能够实现这里描述的方法和功能的所有特征，并且当被载入计算机系统时，该计算机程序产品能够执行这些方法和功能。在当前的背景下，计算机程序、软件程序、程序、程序产品或者软件意味着一组指令采用任何语言、代码或符号的任何表达式，该指令打算直接或者在下列处理中任何一个或两者之后导致具有信息处理能力的系统执行特定的功能(a)变换为另一种语言、代码或符号；和/或(b)不同材料形式的复制。
本发明优选实施例的前述描述为了图示和说明的目的而出现。它们不打算穷举本发明或者将本发明限制为所公开的精确形式，非常明显，根据上述教导的许多修改和变化是可能的。这种对于本领域技术人员显而易见的修改和变化打算包括在如所附权利要求限定的发明范围内。
权利要求
1.一种用于传送已编码视频信号的系统，包括用于将已编码视频数据划分为多个流的系统，用于为多个已编码视频数据流中的每个流确定优先级的系统，和用于根据确定的优先级来给每个已编码视频数据流分配可变调制速率的系统。
2.如权利要求1的系统，其中，被确定为具有相对高优先级的流被分配比被确定为具有相对低优先级的流更低的调制速率。
3.如权利要求1的系统，其中，被确定为具有相对低优先级的流被分配比被确定为具有相对高优先级的流更高的调制速率。
4.如权利要求1的系统，还包括为所述多个流确保平均调制速率基本上与预定的目标速率一致的系统。
5.如权利要求1的系统，其中，用于划分的系统根据从由以下几种准则组成的组中选择的准则来划分已编码视频数据帧类型之间的差异、报头和非报头数据之间的差异、在可缩放编码视频中出现的基本层和增强层之间的差异以及包含对应于至少一个宏块的数据的视频分组中的差异。
6.如权利要求1的系统，其中，每个流的优先级根据MRPG帧类型来确定，且包含I帧的流被确定为具有比包含P帧的流相对更高的优先级，包含P帧的流被确定为具有比包含B帧的流相对更高的优先级。
7.如权利要求1的系统，其中，包含至少一个宏块的流的优先级被根据包含在该宏块中的运动和纹理信息来确定。
8.如权利要求1的系统，其中，用于确定优先级的系统给MPEG报头数据分配比分配给非报头MEPG数据的优先级相对更高的优先级。
9.如权利要求1的系统，其中，流的优先级是基于基本层和增强层的，并且比分配给增强层的优先级相对更高的优先级被分配给基本层。
10.一种用于编码和传送视频数据的编码器，包括用于选择视频编码器的编码比特率的系统；用于将已编码视频数据划分为多个流的系统；用于为多个已编码视频数据流中的每个流确定优先级的系统；和用于根据确定的优先级而将多个可能调制速率中的一个分配给每个已编码视频数据流的系统。
11.如权利要求10的编码器，其中，所述多个可能调制速率包括编码比特率之下的低调制速率和编码比特率之上的高调制速率。
12.如权利要求11的编码器，其中，被确定为具有相对高优先级的流被分配低调制速率。
13.如权利要求11的编码器，其中，被确定为具有相对低优先级的流被分配高调制速率。
14.如权利要求1的编码器，还包括为所述多个流确保平均调制速率维持在所述编码比特率的系统。
15.一种存储在可记录介质上的程序产品，当执行时，它包括用于传送已编码视频的系统，该程序产品包括用于确定多个已编码视频数据流中每一个流的优先级的装置；和用于根据确定的优先级为每个已编码视频数据流从一组调制速率中选择调制速率的装置。
16.如权利要求15的程序产品，还包括编码装置，它确定所述多个流的编码比特率，其中，在所述一组调制速率的上界和下界之间选择所述编码比特率。
17.如权利要求16的程序产品，还包括用于为所述多个流确保平均调制速率维持在所述编码比特率的装置。
18.如权利要求15的程序产品，其中，分配装置将更高的调制速率分配给更低优先级的流，且将更低的调制速率分配给更高优先级的流。
19.一种编码和传送视频数据的方法，包括如下步骤在可用的一组调制速率的上界和下界之间选择编码比特率；在选定的编码速率上编码视频数据；确定多个已编码视频数据流中每一个流的优先级；和根据确定的优先级将多个可能调制速率中的一个分配给每个已编码视频数据流。
20.如权利要求19的方法，还包括步骤确保所述多个流中每一个的平均传送速率基本上与选定的编码比特率一致。
21.一种用于解码由不同流组成的已编码视频数据的解码器，其中，使用根据每个流的优先级确定的不同调制方案来传送所述不同的流，并且所述解码器包括用于检测和解码所述不同调制方案的系统。
全文摘要
一种用于使用可变速率调制方案来传送已编码视频信号的系统和方法。在一个实施例中，所提供的发送机包括用于将视频划分为多个流的系统；用于确定多个已编码视频数据流中的每个流的优先级的系统；和用于根据确定的优先级给每个已编码视频数据流分配不同的调制速率的系统。具体地，更低速率、更健壮的调制优选地被用于更高优先级流，而更高速率、较不健壮的调制优选地被用于更低优先级的流。
文档编号H04N7/24GK1568620SQ02820009
公开日2005年1月19日 申请日期2002年10月1日 优先权日2001年10月12日
发明者S·克里斯纳马查里, J·P·米汉, R·A·科肯 申请人:皇家飞利浦电子股份有限公司