专利名称：具有运动补偿的完全嵌入式fgs视频编码的制作方法
技术领域：
本发明涉及到视频编码，尤其是涉及到这样一种可扩展性视频编码方案，它采用单个运动补偿环路来产生完全用精细可扩展性(FGS)编码方式编码的双向预测帧(B帧)或者预测帧和双向预测帧(P帧和B帧)。
背景技术：
可扩展性增强层视频编码已经被用来压缩在具有变化带宽的计算机网络(例如，因特网)上传送的视频。采用FGS编码技术(由ISO MPEG-4标准所采用)的当前增强层视频编码方案在图1中示出。正如我们可以看到的，该视频编码方案10包括以比特率RBL编码的基于预测的基本层11以及以REL编码的FGS增强层12。
基于预测的基本层11包括帧内编码的I帧、帧间编码的P帧(它是使用运动估计补偿从前一个I或P帧暂时(temporally)预测出来的)以及帧间编码的双向B帧(它是使用运动估计补偿从与该B帧相邻的前一个帧和后一个帧暂时(temporally)预测出来的。在基本层11中使用预测和/或内插编码(即，运动估计和相应的补偿)降低了其中的时间冗余度，但是只能降低到有限的程度，因为只有基本层帧被用来预测。
增强层12包括通过从相应的原始帧中减去它们相应的重建基本层帧(这个减法也可发生在运动补偿域)从而得到的FGS增强层I、P和B帧。因此，增强层中的FGS增强层I、P和B帧是没有经过运动补偿的。(FGS余项在相同的时间段(time-instance)从帧中取出。)对此的主要理由是提供允许根据发送时的可用带宽来单独地截短每个FGS增强层帧的灵活性。更具体地，增强层12的精细可扩展性编码允许FGS视频流在具有可用带宽范围从Rmin＝RBL到Rmax＝RBL+REL的任何网络会话上被发送。例如，如果发送机和接收机之间的可用带宽是B＝R，那么，发送机然后就以速率RBL发送基本层帧，而以速率REL＝R-RBL上只发送部分增强层帧。正如可以从图1中看到的，增强层中的部分FGS增强层帧可以以精细可扩展的方式进行选择以便传送。因此，总的传送比特率就是R＝RBL+REL，因为对于单个增强层，它具有支持大范围传送带宽的灵活性。
图2示出了用于对图1的视频编码方案中的基本层11和增强层12进行编码的传统FGS编码器的框图。正如我们可以看到的，第i帧的增强层余项(FGSR(i))等于MCR(i)-MCRQ(i)，其中，MCR(i)是第i帧的运动补偿余项，MCRQ(i)是量化和反量化过程以后第i帧的运动补偿余项。
虽然图1中的当前FGS增强层视频编码方案10是非常灵活的，但是它有这样的缺点，即与工作于相同传送比特率的不可扩展编码器功能相比，它在视频图像质量方面的性能相对较低。图像质量的降低不是因为增强层12的精细可扩展编码，而主要是因为较少利用了增强层12内FGS余项帧间的时间冗余。具体说，增强层12的FGS增强层帧仅仅是从它们相应的基本层I、P和B帧的运动补偿余项衍生而来。没有FGS增强层帧被用来预测增强层12中的其它FGS增强层帧或者基本层11中的其它帧。
因此，我们需要具有改善视频图像质量的可扩展性视频编码方案。
发明内容
本发明涉及可扩展视频编码方案，该方案采用单个运动补偿环路以便产生完全用精细可扩展(FGS)编码方案来编码的双向预测帧(B帧)或预测帧和双向预测帧(P帧和B帧)。本发明的一个方面涉及到一种用于对视频编码的方法，包括如下步骤对未编码的视频进行编码以便产生扩展基本层参考帧，该扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和从未编码视频和扩展基本层参考帧中预测帧余项。
本发明的另一个方面涉及到一种用于对具有基本层流和增强层流的已压缩视频进行解码的方法，该方法包括如下步骤对基本层和增强层流进行解码以便产生扩展基本层参考帧，该扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和从扩展基本层参考帧中预测帧余项。
本发明的另一个方面涉及到一种用于对视频进行编码的存储介质，该存储介质包括用于对未编码视频进行编码以便产生扩展基本层参考帧的代码，该扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和用于从未编码视频和扩展基本层参考帧中预测帧余项的代码。
本发明的另一个方面涉及到一种用于对具有基本层流和增强层流的已压缩视频进行解码的存储介质，该存储介质包括用于对基本层和增强层流进行解码以便产生扩展基本层参考帧的代码，该扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和用于从扩展基本层参考帧中预测帧余项的代码。
本发明的另一个方面涉及到一种用于对视频进行编码的设备，该设备包括用于对未编码视频进行编码以便产生扩展基本层参考帧的装置，该扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和用于从未编码视频和扩展基本层参考帧中预测帧余项的装置。
本发明的另一个方面涉及到一种用于对具有基本层流和增强层流的已压缩视频进行解码的设备，该设备包括用于对基本层和增强层流进行解码以便产生扩展基本层参考帧的装置，该扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和用于从扩展基本层参考帧中预测帧余项的装置。
在考虑了现在要结合附图进行详细描述的示意性实施例以后，本发明的优点、特性以及各种附加特征将更完整地显现出来，在整个附图中，相同的附图标记表示相同的元件，附图如下图1示出了当前的增强层视频编码方案；图2示出了用于对图1的视频编码方案的基本层和增强层进行编码的传统编码器的框图；图3A示出了根据本发明第一示范实施例的可扩展性视频编码方案；图3B示出了根据本发明第二示范实施例的可扩展性视频编码方案；图4示出了根据本发明示范实施例的编码器的框图，该编码器可用于产生图3A的可扩展性视频编码方案；图5示出了根据本发明示范实施例的编码器的框图，该编码器可用于产生图3B的可扩展性视频编码方案；图6示出了根据本发明示范实施例的解码器的框图，该解码器可用于对由图4的编码器产生的压缩过的基本层和增强层流进行解码；图7示出了根据本发明示范实施例的解码器的框图，该解码器可用于对由图5的编码器产生的压缩过的基本层和增强层流进行解码；和图8示出了可以用于实现本发明原理的系统的示范实施例。
具体实施例方式
图3A示出了根据本发明第一示范实施例的可扩展性视频编码方案30。该可扩展性视频编码方案30包括基于预测的基本层31和基于预测的单环路增强层32。
基于预测的基本层31被编码为包括帧内编码的I帧和帧间编码的P帧，它们通常在基本层(不可扩展)编码期间从标准的基本层I和P参考帧中产生出来。在基本层不对帧间编码的双向B帧进行编码。
根据本发明的原理，基于预测的增强层32被编码为包括帧间编码的双向B帧，它们是在基本层编码期间从“扩展的”或“增强的”基本层I和P或P和P参考帧(下文中，扩展的基本层I和P参考帧)中经运动预测而来。每个扩展的基本层参考帧包括标准基本层参考帧以及至少部分相关的增强层参考帧(可以使用相关增强层参考帧的一个或多个位平面或部分位平面)。
增强层32还被编码为包括增强层I和P帧，它们通常是通过从它们相应的原始基本层帧余项中减去它们相应的重建(解码的)基本层帧余项而产生的。增强层I、B和P帧可以用任何合适的可扩展的编解码器进行编码。例如，该可扩展编解码器可以是基于DCT的编解码器(FGS)、基于小波变换的编解码器或者任何其它嵌入式编解码器。在图3A示出的的实施例中，可扩展编解码器包括FGS。
因为本领域的普通技术人员将会理解，本发明的视频编码方案30改善了视频的图像质量。这是因为视频编码方案30使用了扩展基本层参考帧以便减少增强层B帧内的时间冗余。
图4示出了根据本发明示范实施例的编码器40的框图，该编码器40可用于产生图3A的可扩展性视频编码方案。正如我们可以看到的，编码器40包括基本层编码器41和增强层编码器42。基本层编码器41包括运动估计装置43，它从存储在帧存储器60中的原始视频序列以及基本层和扩展基本层参考帧中产生运动信息(运动矢量和预测模式)。这个运动信息然后被施加到运动补偿装置44，运动补偿装置44使用运动信息和存储在帧存储器60中的传统参考帧和扩展基本层I和P参考帧以便产生传统的经过运动补偿的基本层参考帧和本发明的扩展基本层I和P参考帧经过运动补偿后的版本(全部用Ref(i)来表示)。第一减法器45从原始视频序列中减去传统的经过运动补偿的参考帧从而产生基本层I和P帧经过运动补偿的余项。第一帧流量控制设备62正是为基本层I和P帧经过运动补偿的余项选择路由以便被离散余弦变换(DCT)编码器46、量化器47和熵编码器48处理，从而产生基本层I和P帧，它们形成了压缩的基本层流的一部分。运动估计装置43产生的运动信息还被施加到复用器49，它将运动信息和基本层I和P帧组合起来从而完成压缩的基本层流。基本层I和P帧经过量化的运动补偿的余项(MCR(i))在量化器47的输出端产生，并且被反量化器50进行反量化，然后被反向DCT解码器51解码。这个过程在反向DCT 51的输出端产生了基本层I和P帧的经过运动补偿的余项的量化/反量化版本(MCRQ(i))。在反向DCT 51输出端的基本层I和P帧的经过量化/反量化和运动补偿的余项被施加到第一加法器61，该加法器61将它们与相应的经过运动补偿的基本层参考帧Ref(i)相加，从而产生如上所述存储在帧存储器60中的传统的基本层参考帧。
基本层I和P帧经过量化/反量化和运动补偿的余项还被施加到增强层编码器42内的第二减法器53。第二减法器53从相应的基本层I和P帧经过运动补偿的余项中减去基本层I和P帧经过量化/反量化和运动补偿的余项，从而产生差分I和P帧余项。第二减法器53的输出由FGS编码器54或类似可扩展编码器进行可扩展编码。FGS编码器54使用传统的DCT编码，然后使用传统的位平面DCT扫描和传统的熵编码，从而产生经过可扩展(FGS)编码的I和P帧，它们形成了压缩的增强层流的一部分。屏蔽设备(masking device)55取出经过可扩展编码的I和P帧中的一个或多个已编码的位平面，选择性地使它们路由通过第一帧流量控制设备65，并将这数据施加到第二加法器56的第一输入端57。由基本层编码器41产生的，I和P帧的经过运动补偿的余项的量化/反量化版本MCRQ(i)被进一步施加到第二加法器56的第二输入端58。通过将增强层已编码的I和P帧的一个或多个已编码位平面与相应的I和P帧余项MCRQ(i)进行累加，第二加法器56产生增强层I和P参考帧。由第二加法器56计算出的增强层I和P参考帧被施加到基本层编码器41内的第三加法器52。第三加法器52将增强层I和P参考帧与相应的经过运动补偿的基本层I和P参考帧Ref(i)以及相应的基本层I和P帧经过量化/反量化和运动补偿的余项进行累加，从而产生扩展的基本层I和P参考帧，它们被存储在帧存储器60中。
运动补偿装置44使用存储在帧存储器60中的扩展基本层I和P参考帧和运动信息以便产生扩展基本层I和P参考帧的经过运动补偿的版本。第一减法器45从原始视频序列中减去经过运动补偿的扩展基本层参考帧，从而产生经过运动补偿的B帧余项。第一帧控制设备62将经过运动补偿的B帧余项路由到增强层编码器42的可扩展(FGS)编码器54，以便进行可扩展编码。经过可扩展(FGS)编码的B帧形成了压缩的增强层流的余下部分。由运动估计装置43产生的属于B帧的运动信息还通过第三帧控制设备63被施加到增强层编码器42内的第二复用器64。第二复用器64将B帧运动信息和增强层帧组合起来从而完成压缩的增强层流。
图6示出了根据本发明示范实施例的解码器70的框图，该解码器70可用于对由图4的编码器40产生的压缩过的基本层和增强层流进行解码。正如我们可以看到的，解码器70包括基本层解码器71和增强层解码器72。基本层解码器71包括解复用器73，它接收已编码的基本层流并且将该流解复用为包含运动信息的第一数据流75a和包含纹理信息的第二数据流75b。增强层解码器72包括解复用器92，它接收已编码的增强层流并且将该流解复用为包含纹理信息的第三数据流74a和包含运动信息的第四数据流74b。运动补偿装置76使用第四数据流74b中的运动信息和存储在相关基本层帧存储器77中的扩展基本层参考帧来重建经过运动补偿的扩展基本层参考(I和p)帧。运动补偿装置76使用第一数据流75a中的I和P运动信息以及存储在基本层帧存储器77中的传统基本层参考帧以便重建传统的经过运动补偿的基本层(I和P)参考帧。然后，经过运动补偿的扩展基本层参考帧和传统的经过运动补偿的基本层参考帧就由第二帧流量控制设备93处理，该处理过程将在下面进行解释。
第二数据流75b中的纹理信息被施加到基本层变长码解码器81以便解码，还被施加到反向量化器82以便进行反量化。反量化的系数被施加到反向离散余弦变换解码器83，在这里，经过反量化的码被变换为施加到第一加法器78的第一输入端80的基本层帧余项。第一加法器78将基本层P帧余项与它们相应的经过运动补偿的基本层参考帧(由第二帧流量控制设备93有所选择地路由到第一加法器的第二输入端79)进行累加，并且输出经过运动补偿的P帧。(基本层I帧余项由第一加法器78作为基本层I帧输出。)由第一加法器78输出的I和P基本层帧被存储在基本层帧存储器77中并且形成了传统的基本层参考帧。此外，第一加法器78输出的I和P帧可以有所选择地输出作为基本层视频。
增强层解码器72包括对压缩的增强层流进行解码以便重建差分I和P帧余项以及B帧余项的FGS位平面解码器84或类似可扩展解码器，所述差分I和P帧余项以及B帧余项被施加到第二加法器90。I和P帧差分余项还被第一帧流量控制设备85有所选择地选路到屏蔽设备86，屏蔽设备86取出差分I和P帧余项中的一个或多个重建的增强层位平面(或其一部分)并将它们施加到第三加法器87的第一输入端88。第三加法器87将I和P帧余项与相应的基本层I和P帧(由基本层解码器71在第三加法器87的第二输入端89施加)进行累加，以便重建扩展基本层I和P参考帧，该扩展基本层I和P参考帧被存储在帧存储器77中。
经过运动补偿的扩展基本层I和P参考帧被第二帧流量控制设备93有所选择地路由到第二加法器90，第二加法器90将经过运动补偿的扩展基本层I和P参考帧与相应的B帧余项和B帧运动信息(在压缩的增强层流中传送)进行累加，从而重建增强层B帧。
由基本层解码器71的第一加法器78输出的基本层I和P帧被第三帧流量控制设备91有所选择地路由到第二加法器90，第二加法器90将增强层I和P帧与相应的基本层I和P帧进行累加从而产生增强的I和P帧。该增强的I和P帧以及增强层B由第二加法器90作为增强的视频输出。
图3B示出了根据本发明第二示范实施例的可扩展性视频编码方案100。第二实施例的可扩展视频编码方案100只包括基于预测的单环路可扩展层132，该层具有帧内编码的I帧；帧间编码的、经过运动预测的P帧；以及帧间编码的、经过双向运动预测的B帧。在这个实施例中，所有的帧(I、P和B帧)都完全用可扩展编解码器进行编码。该可扩展编解码器可以是基于DCT(FGS)的、基于小波的、或者任何其它嵌入式编解码器。P和B帧完全是在编码期间从扩展基本层I和P或者P和P参考帧经过运动预测而来。
本领域普通技术人员将会理解，排除基本层将使得这种编码方案非常有效并且进一步改善了视频图像质量，因为它在增强层P和B帧中都降低了时间冗余。
图5示出了根据本发明示范实施例的编码器140的框图，该编码器140可用于产生图3B的可扩展性视频编码方案。正如我们可以看到的，图5的编码器140包括运动补偿和估计单元141以及可扩展纹理编码器142。运动补偿和估计单元141包括包含扩展基本层I和P参考帧的帧存储器60。运动估计装置43从原始的视频序列以及存储在帧存储器60中的扩展基本层I和P参考帧中产生运动信息(运动矢量和预测模式)。这个运动信息然后被施加给移动补偿装置44和复用器49。运动补偿装置44使用运动信息和存储在帧存储器60中的扩展基本层I和P参考帧来产生扩展基本层I和P参考帧Ref(i)的经过运动补偿的版本。减法器45从原始视频序列中减去扩展基本层参考帧Ref(i)经过运动补偿的版本从而产生经过运动补偿的帧余项MCR(i)。
可扩展纹理编码器142包括传统的FGS编码器54或类似可扩展编码器。在FGS编码器54的情况下，由基本层编码器41的减法器45输出的经过运动补偿的帧余项被进行DCT编码、位平面DCT扫描以及熵编码，从而产生压缩的增强层(经过FGS编码的)帧。复用器49通过将压缩的增强层帧和运动估计装置43产生的运动信息组合起来从而产生压缩的输出流。屏蔽设备55取出增强层已编码的I和P帧中的一个和多个已编码的位平面并将它们施加到加法器52。加法器52将这个数据与相应的经过运动补偿的扩展基本层I和P参考帧Ref(i)进行累加从而产生存储在帧存储器60中的新的扩展基本层I和P参考帧。
对于视频序列中的不同部分或者对于不同的视频序列，本发明的可扩展视频编码方案可以与图1的当前视频编码方案替换使用或者交换使用。此外，替换可以在图3A、图3B的可扩展视频编码方案和图1中的当前视频编码方案、和/或在更早提到的相关未决美国专利申请中描述的视频编码方案和/或其它视频编码方案中进行。这种视频编码方案的替换可以根据信道特性进行，并且可以在编码和传送时进行。此外，本发明的视频编码方案在编码效率方面实现了很大的增进，而在复杂性上只有微小增加(图3A)或降低(图3B)。
图7示出了根据本发明示范实施例的解码器170的框图，该解码器170可用于对由图5的编码器140产生的输出流进行解码。正如我们可以看到的，解码器170包括解复用器173，它接收已编码的可扩展流并将该流解复用为第一和第二数据流174和175。包括运动信息(运动矢量和预测模式)的第一数据流174被施加到运动补偿装置176。运动补偿装置176使用这个运动信息和存储在基本层帧存储器177中的扩展基本层I和P参考帧以便重建经过运动补偿的扩展基本层I和P参考帧。
由解复用器173解复用的第二数据流175被施加到纹理解码器172，该纹理解码器172包括FGS位平面解码器184或类似可扩展解码器，这些可扩展解码器将第二数据流175解码以便重建I、P和B帧余项，该I、P和B帧余项被施加到第一加法器190。该I和P帧余项还通过帧流量控制设备185被施加到屏蔽设备186，该帧流量控制设备185取出I和P帧余项中的一个或多个已编码位平面(或其一部分)并将它们施加到第二加法器187的第一输入端188。第二加法器187将I和P帧余项数据与相应的重建的经过运动补偿的扩展基本层I和P帧(由运动补偿装置176在第二加法器187的第二输入端189处施加)进行累加以便重建新的扩展基本层I和P参考帧，该新的扩展基本层I和P参考帧被存储在帧存储器177中。
经过运动补偿的扩展基本层I和P参考帧还被路由到第一加法器，第一加法器将它们与相应的重建帧余项(来自FGS解码器184)进行累加以便产生增强的I、P和B帧，该I、P和B帧被第一加法器190输出作为增强的视频。
图8示出了可以用于实现本发明原理的系统200的示范实施例。该系统200可以代表电视、机顶盒、桌面型电脑、膝上型电脑或掌上型电脑、个人数字助理(PDA)、诸如录像机(VCR)之类的视频/图像存储设备、数字视频记录设备(DVR)、TiVO设备等以及这些和其它设备中的一部分或其组合。系统200包括一个或多个视频/图像源201、一个或多个输入/输出设备202、处理器203和存储器204。视频/图像源(一个或多个)201可以代表例如电视接收机、VCR或其它视频/图像存储设备。可替换地，源(一个或多个)201可以代表用于在例如诸如因特网之类的全球计算机通信网、广域网、城域网、局域网、地面广播系统、电缆网、卫星网、无线网或电话网以及这些或其它类型网络中的一部分或其组合上从服务器(一个或多个)接收视频的一个或多个网络连接。
输入/输出设备202、处理器203和存储器204可以在通信介质205上通信。通信介质205可以代表例如总线、通信网络、电路的一个或多个内部连接、电路卡和其它设备以及这些和其它通信介质中的一部分或其组合。根据存储在存储器204中并由处理器203执行的一个或多个软件程序来处理来自源(一个或多个)201的输入视频数据从而产生提供给显示设备206的输出视频/图像。
在优选实施例中，采用本发明原理的编码和解码可以通过由该系统执行的计算机可读代码来实现。该代码可以存储在存储器204中或者从诸如CD-ROM或软盘之类的存储介质中读出/下载。在其它实施例中，可以使用硬件电路替换或者结合软件指令来实现本发明。例如，图4-7中示出的元件也可以实现为分立的硬件元件。
虽然上面在具体实施例方面描述了本发明，但是应该理解，本发明并不打算局限于这里公开的实施例。例如，除了DCT之外，还可以采用其它变换，包括但不局限于小波变换和匹配搜寻技术。这些以及所有其它这样的修改和变化可以认为是在所附权利要求书的范围之内。
权利要求
1.一种用于对视频编码的方法，包括如下步骤对未编码视频进行编码(41，141，42，142)以便产生扩展基本层参考帧，扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和从未编码视频和扩展基本层参考帧中产生帧余项(45)。
2.根据权利要求1的用于对视频编码的方法，还包括如下步骤用从由基于DCT的编解码器或基于小波的编解码器组成的组中选择的可扩展编解码器对所述帧余项进行编码(54)以便产生增强层帧。
3.根据权利要求1的用于对视频编码的方法，还包括如下步骤用精细可扩展编解码器对所述帧余项进行编码(54)以便产生精细可扩展的增强层帧。
4.根据权利要求1的用于对视频编码的方法，其中，所述帧余项包括B帧余项。
5.根据权利要求4的用于对视频编码的方法，其中，所述帧余项还包括P帧余项。
6.根据权利要求1的用于对视频编码的方法，其中，所述帧余项包括P帧余项。
7.一种用于对具有基本层流和增强层流的已压缩视频进行解码的方法，该方法包括如下步骤对基本层和增强层流进行解码(71，72，172)以便产生扩展基本层参考帧，扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和从扩展基本层参考帧中预测(78)帧余项。
8.根据权利要求7的用于对视频进行解码的方法，还包括如下步骤用从由基于DCT的解码或基于小波的解码组成的组中选择的可扩展解码(84)对所述帧余项进行解码。
9.根据权利要求8的用于对视频进行解码的方法，还包括如下步骤从所述帧余项中产生增强层帧；和从基本层帧和增强层帧中产生(90)增强的视频。
10.根据权利要求7的用于对视频进行解码的方法，其中，所述帧余项包括B帧余项。
11.根据权利要求10的用于对视频进行解码的方法，其中，所述帧余项还包括P帧余项。
12.根据权利要求7的用于对视频进行解码的方法，其中，所述帧余项包括P帧余项。
13.一种用于对视频进行编码的存储介质，该存储介质包括用于对未编码视频进行编码以便产生扩展基本层参考帧的代码(41，141，42，142)，扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和用于从未编码视频和扩展基本层参考帧中预测帧余项的代码(45)。
14.根据权利要求13的用于对视频编码的存储介质，还包括用于对所述帧余项进行可扩展编码的代码(54)。
15.根据权利要求13的用于对视频编码的存储介质，还包括用于对所述帧余项进行精细可扩展编码的代码(54)。
16.根据权利要求13的用于对视频编码的存储介质，其中，所述帧余项包括B帧余项。
17.根据权利要求16的用于对视频编码的存储介质，其中，所述帧余项还包括P帧余项。
18.根据权利要求13的用于对视频编码的存储介质，其中，所述帧余项包括P帧余项。
19.一种用于对具有基本层流和增强层流的已压缩视频进行解码的存储介质，该存储介质包括用于对基本层和增强层流进行解码以便产生扩展基本层参考帧的代码(71，72，172)，扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和用于从扩展基本层参考帧中预测帧余项的代码(78)。
20.根据权利要求19的用于对已压缩视频进行解码的存储介质，还包括对所述帧余项进行可扩展解码的代码(84)，该用于对可扩展解码的代码是从由基于DCT的代码或基于小波的代码组成的组中选择的。
21.根据权利要求20的用于对已压缩视频进行解码的存储介质，还包括用于从所述帧余项中产生增强层帧的代码；和用于从基本层帧和增强层帧中产生增强视频的代码(90)。
22.根据权利要求19的用于对已压缩视频进行解码的存储介质，其中，所述帧余项包括B帧余项。
23.根据权利要求22的用于对已压缩视频进行解码的存储介质，其中，所述帧余项还包括P帧余项。
24.根据权利要求19的用于对已压缩视频进行解码的存储介质，其中，所述帧余项包括P帧余项。
25.一种用于对视频进行编码的设备(40，140)，该设备包括用于对未编码视频进行编码以便产生扩展基本层参考帧的装置(41，141，42，142)，扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和用于从未编码视频和扩展基本层参考帧中预测帧余项的装置(45)。
26.根据权利要求25的用于对视频编码的设备，还包括用于对所述帧余项进行可扩展编码的装置(54)。
27.根据权利要求25的用于对视频编码的设备，还包括用于对所述帧余项进行精细可扩展编码的编码器(54)。
28.根据权利要求25的用于对视频编码的设备，其中，所述帧余项包括B帧余项。
29.根据权利要求28的用于对视频编码的设备，其中，所述帧余项还包括P帧余项。
30.根据权利要求25的用于对视频编码的设备，其中，所述帧余项包括P帧余项。
31.一种用于对具有基本层流和增强层流的已压缩视频进行解码的设备(70，170)，该设备包括用于对基本层和增强层流进行解码以便产生扩展基本层参考帧的装置(71，72，172)，扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和用于从扩展基本层参考帧中预测帧余项的装置(78)。
32.根据权利要求31的用于对已压缩视频进行解码的设备，还包括用于对所述帧余项进行解码的可扩展解码装置(84)，该可扩展解码装置是从由基于DCT的解码装置或基于小波的解码装置组成的组中选择的。
33.根据权利要求32的用于对已压缩视频进行解码的设备，还包括用于从所述帧余项中产生增强层帧的装置；和用于从基本层帧和增强层帧中产生(90)增强视频的装置。
34.根据权利要求31的用于对已压缩视频进行解码的设备，其中，所述帧余项包括B帧余项。
35.根据权利要求34的用于对已压缩视频进行解码的设备，其中，所述帧余项还包括P帧余项。
36.根据权利要求31的用于对已压缩视频进行解码的设备，其中，所述帧余项包括P帧余项。
全文摘要
一种可扩展视频编码方案，它具有产生完全用可扩展编解码器进行编码的双向预测帧(B帧)或者预测帧和双向预测帧(P和B帧)的单个运动补偿环路。
文档编号G06T9/00GK1636407SQ02815867
公开日2005年7月6日 申请日期2002年7月11日 优先权日2001年8月15日
发明者M·范德沙亚 申请人:皇家飞利浦电子股份有限公司