专利名称：使用高质量参考帧的改进高效快速的结构的制作方法
技术领域：
本发明涉及一种精细颗粒可伸缩(FGS)的视频编码，尤其涉及一种FGS编码方案，其中根据包括基础层信息和至少一部分增强层信息预测双向和/或单向预测的FGS瞬时(FGST)帧的多个层。
背景技术：
互联网协议(IP)网络上的视频流已经使多媒体具有广泛的应用。互联网视频流提供了连续媒体内容的实时传递和呈现，同时补偿了互联网上服务质量(QoS)保证的缺乏。由于IP网络的带宽和其它性能(例如包损失率)的变化和不可预见，通常，大多数建议的流方案都是基于一个分层(或者可伸缩)的视频编码方案的类型。
图1A和1B示例性的表明了一种已知的混合时间-SNR精细颗粒可伸缩(FGS HS)的可伸缩视频编码方案类型，正如前述的公开转让的美国专利申请序列号为09/590,825中所详细描述的那样。每个FGS HS结构10A，10B包括一个基础层11A，11B(BL)和一个增强层12A，12B(EL)。可伸缩视频流中的BL部分通常表示解码该流所需的数据的最小量。该流的EL部分表示附加信息，即FGS SNR帧或者图像以及FGS瞬时帧或者图像(表示为FGST)，当接收机将其解码时，其能提高视频信号的呈现。特别是，引入附加瞬时帧来获得一个更高的帧速率。MPEG-4 FGS标准支持图1A中的双向预测FGST图像类型以及图1B中的前向预测FGST图像类型。
图2表明了一个如美国专利申请序列号为09/590,825中的所述的FGS HS视频编码器100的一个例子的功能结构。编码操作基于DCT变换，尽管也可以使用其它的变换(例如小波变换)。视频编码器100能够产生图1A和1B中的FGS HS结构10A，10B。视频编码器100包括一个BL编码器110和一个EL编码器130。视频编码器100接收原始视频信号，原始视频信号被BL编码器110处理成I帧和P帧的一个BL比特流，以及被EL编码器130处理成FGS SNR I帧和P帧和/或P和B FGST帧的一个EL比特流。
在图1A和1B的FGS HS结构中，根据存储在帧存储块中的低质量的基础层参考帧预测FGST帧。结果产生的运动补偿剩余误差很高，因此需要大量的比特来压缩这些帧。因此，要在低比特率或者在非常高的比特率执行向更高帧速率的转换。
因此，需要一种技术来降低在FGS HS视频编码方案中的引入FGST所需的带宽。
发明内容
本发明的第一方面涉及视频编码。本发明涉及将一个视频或者视频信号编码成基础层帧的一个数据流。剩余的图像帧在转换域根据基础层帧进行计算。根据基础层帧和至少部分剩余图像帧构建扩展的基础层参考帧，并且进行运动补偿来产生运动补偿的扩展基础层参考帧。根据运动补偿的扩展基础层参考帧和视频预测运动补偿的剩余图像帧。运动补偿的剩余图像帧被精细颗粒可伸缩编码成瞬时帧的数据流。
本发明的第二方面涉及一种视频解码。本发明涉及解码一个基础层数据流从而构建基础层帧。增强层流数据的SNR质量帧部分被精细颗粒可伸缩解码从而构建SNR质量帧。根据基础层帧以及至少部分SNR质量帧构建扩展的基础层参考帧。运动补偿扩展的基础层参考帧从而产生运动补偿的扩展基础层参考帧。增强层数据流的瞬时帧部分被精细颗粒可伸缩解码从而构建运动补偿的剩余帧，这些帧将与运动补偿的扩展基础层参考帧组合从而构建瞬时帧。
本发明的优点，特征以及各种附加特征将在考虑到下文中结合附图进行的详细描述后变得清楚明了，在全部附图当中相同的附图标记表示相同的元件。
图1A和1B图示出已知的混合时间-SNR精细颗粒可伸缩的一种可伸缩的视频编码方案的可伸缩结构的例子。
图2图示出一个示例的FGS混合时间-SNR视频编码器的功能结构图，其能够产生图1A和1B的可伸缩结构。
图3A图示出根据本发明的第一实施例的一个基于FGS的混合时间-SNR可伸缩结构。
图3B图示出根据本发明的第二实施例的一个基于FGS的混合时间-SNR可伸缩结构。
图4图示出根据本发明的一个实施例的FGS混合时间-SNR视频编码器的功能结构。
图5图示出根据本发明的一个实施例的FGS混合时间-SNR视频解码器的功能结构图。
图6表明了可以用于执行本发明的原则的一个系统的实施例。
具体实施例方式
图3A表明了根据本发明的第一实施例的基于FGS的混合时间-SNR可伸缩结构(FGS HS结构20A)。FGS HS结构20A包括利用I帧和P帧编码的一个BL21A和利用剩余的SNR I帧和P帧以及运动补偿的剩余或者时间(FGST)双向预测(B)帧FGS编码的一个单一EL22A。应当理解，在本发明的其他实施例中，FGST帧可以位于它们自己的“时间”层。
图3B表明了根据本发明的第二实施例的FGS混合时间-SNR可伸缩结构(FGS HS结构20B)。FGS HS结构20B包括一个利用I帧和P帧编码的BL21B以及利用剩余的SNR I帧和P帧以及运动补偿或者时间(FGST)前向预测(P)帧FGS编码的一个单一EL22B。如上所述，在本发明的其他实施例中，FGST帧可以位于它们自己的“时间”层。
与图1A和1B所示的FGS HS结构的FGST帧不同，其根据仅具有BL数据的参考帧进行预测，本发明中的FGS HS结构中的FGST帧根据高质量的“扩展”参考帧进行预测，每一个高质量的参考帧根据整个BL帧和至少部分EL帧，即EL帧的一个或者多个比特平面或者部分比特平面构建。由于这些扩展参考帧都是更高质量的，所以FGST帧中的剩余运动补偿误差编码就更低于图1A和1B中的FGS HS结构中的FGST帧的误差编码。因此本发明的FGST帧就能够利用更少的比特来更有效的传送。本发明的高编码效率对于无线应用尤其有用，在无线应用中需要高的编码效率增益。
图4表明了根据本发明的一个实施例的FGS HS视频编码器200的功能结构。视频编码器200能够根据图3A和3B的FGS HS结构20A和20B编码一个视频信号。视频编码器200包括一个BL编码器210和一个EL编码器230。视频编码器200接收一个原使的视频信号，该原始视频信号被BL编码器210处理成I帧和P帧的一个BL比特流，被EL编码器230处理成FGS SNR I帧和P帧和/或P和B FGST帧的一个EL比特流。尽管图4的编码器200基于离散余弦变换，但是其它变换，例如小波变换也可以使用。
BL编码器210包括一个第一视频信号处理分支，其包括一个运动估计器211，一个运动补偿器212，一个离散余弦变换(DCT)213，一个量化器214，以及一个产生BL比特流的熵编码器215。BL编码器210进一步包括一个第二视频信号处理分支，其包括一个反量化器216，一个反离散余弦变换(IDCT)217，以及一个帧存储器218。
帧存储器218用于存储标准BL参考帧和扩展BL参考帧。运动估计器211接收原始视频信号，估算存储在帧存储器218中的参考帧和原始视频信号中的视频帧之间的运动量，利用像素特征的变化来表示，并且产生包含BL运动矢量和预测模式(BL参考帧)或者EL运动矢量和预测模式(扩展BL参考帧)的运动信息信号。运动信息信号被提供给运动补偿器212，以及一个第一数据流控制器219。
运动补偿器212利用标准BL参考帧信号以及BL运动矢量和预测模式信号产生用于预测标准BL P帧的运动补偿参考帧信号。运动补偿器212利用扩展BL参考帧信号和FGST帧的EL运动信息信号产生用于预测本发明的FGST帧的运动补偿扩展BL参考帧信号。
在第一减法器220中通过从原始视频信号中减去标准运动补偿BL参考帧信号来产生一个运动补偿剩余BL P帧信号。与此相似，在第一减法器220中通过从原始视频信号中减去运动补偿扩展BL参考帧信号产生一个运动补偿剩余FGST帧信号。
DCT213通过传统的将运动补偿剩余FGST和BL P帧信号的空间信息转换到频率域来实现压缩。原始视频信号中的BL I帧也利用这种方式由DCT213进行压缩。在一个适当的时间，第二数据流控制器221将DCT213的输出端产生的BL I和P帧的DCT比特平面发送到量化器214，用于进一步的压缩。
熵编码器215使用传统的可变长度编码或者类似的技术进一步压缩量化器214的输出端的量化DCT比特平面信号。第一多路复用器222多路复用熵编码器215的输出端的信号和通过第一数据流控制器219从运动估计器211传送到第一多路复用器222的BL运动信息信号，从而产生I帧和P帧的BL比特流。
反量化器216反量化量化器214的输出从而产生一个表示输入到量化器214的变换的信号。该信号表示重建的BL DCT系数。IDCT217解码重建的BL DCT系数从而产生一个提供BL I帧和P帧的信号，表示被转换和量化处理改变的原始视频信号。第一加法器223根据IDCT217的输出端的信号以及运动补偿器212的输出端的合适的参考帧信号重建BL I和P帧。这些重建的BL I和P帧存储在帧存储器218中并用作用于预测其它的BL P帧和FGST帧的标准BL参考帧。
EL编码器230包括一个第一视频信号处理分支，其包括一个DCT剩余图像存储器231，一个适应量化器232，以及一个FGS编码器235。EL编码器230进一步包括一个第二视频信号处理分支，其包括一个位平面选择器236以及一个第二IDCT237。
EL编码器230中的第二减法器238从量化器214的输出端的量化BLDCT位平面信号中减去DCT213的输出端的BL DCT位平面信号从而产生SNRDCT位平面剩余信号。在一个合适的时间，第三数据流控制器239为DCT剩余图像存储器231提供可在第二减法器238的输出端获得的SNR DCT位平面剩余图像信号(SNR剩余信号)或者由第二数据流控制器发送的运动补偿FGST DCT位平面剩余信号(FGST剩余信号)用于存储。
适应量化器232是一种已知的能够改善转换编码视频的视觉质量的编码工具。适应量化器232包括一个已知的选择增强工具233，通过在剩余图像帧内位移选定的宏块而在SNR和FGST剩余信号上执行选择增强，以及一个任意的已知的位移选择系数的频率加权工具234。
适应量化器232输出的SNR剩余信号被FGS编码器235使用位平面DCT扫描和熵编码压缩，从而产生一个FGS SNR比特流。第四数据流控制器240在一个合适的时间将FGS SNR比特流发送给第三多路复用器243。适应量化器232输出端的FGST剩余信号也被FGS编码器235使用位平面DCT扫描和熵编码压缩。第四数据流控制器240在一个合适的时间将FGS编码器235输出的压缩FGST剩余信号发送给第二多路复用器241，其多路复用通过第一数据流控制器219传送的EL运动信息信号和压缩FGST剩余信号，从而产生一个FGST比特流。SNR FGS EL比特流和时间FGS比特流能够或者通过第三多路复用器243多路复用从而产生一个单一的EL比特流(其包括SNR和时间FGS帧)或者以两个分开的流存储/传送。
位平面选择器或者掩模设备236选择至少一部分位平面，即SNR剩余图像信号的一部分位平面，一个或者多个全部位平面，或者全部和部分位平面的任意组合。该数据信号与第二加法器242的BL编码器的IDCT216输出的相应的BL帧信号组合从而构建一个扩展BL参考帧。第二IDCT237解码扩展BL参考帧的DCT系数。第三加法器224组合IDCT237输出的扩展BL帧信号和运动补偿器212输出的合适的参考帧信号。第三加法器224构建的扩展BL帧存储在帧存储器218中并且用作预测FGST帧的扩展BL参考帧。
图5表明了根据本发明的一个实施例的FGSHS视频解码器300的功能结构。该视频解码器300能够解码图4中的视频编码器200所产生的BL和EL比特流。
视频解码器300包括一个BL解码器310和一个EL解码器330。BL解码器310包括一个BL可变长度解码器(VLD)311，一个反量化器312，一个IDCT313，一个BL帧存储器314以及一个运动补偿器315。
EL解码器330包括一个FGS位平面解码器331，一个位平面选择器332，一个第二IDCT333以及一个EL帧存储器334。EL解码器330与BL解码器310共享一个运动补偿器315。
BL解码器310接收BL比特流并通过第一解多路复用器316解复用，从而从BL运动信息信号中分离出编码的BL信息信号。BL VLD311接收BL信息信号并且进行与BL编码器210的熵编码处理相反的处理，从而产生一个量化的BL DCT系数信号。反量化器312反量化量化的BL信息信号从而重建BL DCT系数信号。IDCT313对BL DCT系数信号进行反余弦变换。
运动补偿器315在第一数据流控制器317的控制下，在合适的时间接收BL运动信息信号。然后运动补偿器315使用存储在BL帧存储器314中的BL运动信息和BL参考帧来重建用于预测BL P帧的运动补偿BL参考帧。
第二数据流控制器318在合适的时间将运动补偿器315输出的运动补偿BL参考帧信号提供给第一加法器319。第一加法器319将该信号与IDCT313输出的信号组合从而重建BL I和P帧，BL I和P帧存储在BL帧存储器314中。第一加法器319的输出端产生的BL帧信号可以任意的作为BL视频而输出。
EL解码器330接收BL比特流，第二解多路复用器335将其解复用，从而将编码的FGS SNR信号从编码的FGST信号中分离。编码的FGS SNR信号在一个合适的时间，通过第三数据流控制器337输入到FGS位平面解码器331，FGS位平面解码器331通过执行可变长度解码，逆移位和反离散余弦变换操作解码编码FGS SNR信号的位平面。第二加法器340在一个合适的时间，通过第四数据流控制器338将FGS位平面解码器331输出端的解码的FGS I和P SNR帧信号与第一加法器319输出端的解码的BL I和P帧信号组合。第五数据流控制器341选择一个合适的时间输出在第二加法器340的输出端可以获得的组合BL和SNR帧信号作为增强的视频。
位平面选择器332选择先前选择的位平面的数目，部分位平面或者FGS位平面解码器的输出端的部分解码SNR剩余图像帧信号。第二IDCT333在该选定的DNR剩余位平面信号上执行反余弦变换从而解码SNR剩余图向或者扩展BL参考帧的SNR部分的SNR帧部分(如果情况需要或者是全部帧)。第三加法器342将第二IDCT333输出端的SNR帧部分与存储在BL帧存储器314中的相应的BL帧组合从而重建存储在EL帧存储器334中的扩展BL参考帧。
第三解多路复用器336解复用FGST信息信号从而从EL运动信息信号中分离出编码的FGST帧信号。编码的FGST帧信号在一个合适的时间由FGS位平面解码器通过第三数据流控制器337接收并且解码。运动补偿器315在一个合适的时间通过第一数据流控制器317接收EL运动信息信号。运动补偿器使用EL运动信息和存储在EL帧存储器中的扩展BL参考帧重建运动补偿扩展BL参考帧信号，第四加法器339将运动补偿器315输出端的运动补偿扩展BL参考帧信号与FGS解码器331输出端的解码的FGST帧信号组合。该功能块的定时由第四数据流控制器338控制。第五数据流控制器341在一个合适的时间将第四加法器339输出端的重建的FGST帧信号作为增强视频而输出。
图6表明了能够用于执行本发明的原理的一个系统400的实施例。该系统400可以表示一个电视，一个机顶盒，一个台式，膝上型或者掌上电脑，一个个人数字辅助(PDA)，一个视频/图像存储设备，例如一个视频盒式记录器(VCR)，一个数字视频记录器(DVR)，一个TiTO设备，等，以及这些和其它设备的部分或者组合。系统400包括一个或者多个视频/图像源401，一个或者多个输入/输出设备402，一个处理器403以及一个存储器404。视频/图像源401可以表示，例如一个电视接收机，一个VCR或者其他的视频/图像存储设备。源401或者可以表示一个或者多个网络连接，用于从一个服务器或者从例如诸如互联网，广域网，城域网，局域网，地面广播系统，有线网络，卫星网络，无线网络或者电话网络的全球计算机通信网络，或者这些和其它类型的网络的部分或者组合的服务器上接收视频。
输入/输出设备402，处理器403和存储器404可以在通信介质405上进行通信。通信介质405可以表示例如，一个总线，一个通信网络，电路，电路卡或者其他设备的一个或者多个内部连接，以及这些和其它通信介质的部分和组合。根据一个或者多个存储在存储器404中软件程序处理从源401输入的视频数据，并且由处理器403进行处理从而产生提供给显示设备406的视频/图像。
在一个优选实施例中，应用本发明的原则的编码和解码可以通过该系统执行计算机可读代码来实现。代码可以存储在存储器404中或者从诸如CD-ROM或者软盘的存储介质中读取/下载。在另一个实施例中，可以使用硬件电路来替代软件指令或者与软件指令相结合来实现本发明。例如，图4合5所示的功能元件也可以利用离散的硬件元件来实现。
上面已经描述了本发明的特定实施例，应当理解本发明并不期望限制或者局限于上述的实施例。例如，也可以执行除了DCT以外的其它转换，包括但不局限于小波或者匹配跟踪。这些和所有其它的改变和变形应当被考虑包含在追加的权利要求的范围之内。
权利要求
1.一种编码视频的方法，包括步骤将该视频编码成一个基础层帧的数据流；根据基础层帧计算转换域中的剩余图像帧；根据基础层帧和至少部分剩余图像帧构建扩展的基础层参考帧；运动补偿扩展的基础层参考帧从而产生运动补偿的扩展基础层参考帧；根据运动补偿的扩展基础层参考帧和该视频预测运动补偿的剩余图像帧；将运动补偿的剩余图像帧精细颗粒可伸缩编码为瞬时帧的数据流。
2.根据权利要求1所述的编码视频的方法，进一步包括将剩余的图像帧精细颗粒可伸缩编码成一个SNR质量帧的数据流的步骤。
3.根据权利要求2所述的编码视频的方法，进一步包括将瞬时帧的数据流与SNR质量帧的数据流相组合从而构建一个瞬时和SNR质量帧的单一数据流的步骤。
4.一种编码视频信号的方法，包括步骤将视频信号编码成一个基础层帧的数据流；根据该基础层帧计算转换域的剩余图像帧；根据基础帧和至少部分剩余图像帧构建扩展的基础层参考帧；运动补偿扩展的基础层参考帧从而产生运动补偿的扩展基础层参考帧；根据运动补偿的扩展基础层参考帧和该视频信号预测运动补偿的剩余图像帧；以及将运动补偿的剩余图像帧精细颗粒可伸缩编码为瞬时帧的数据流。
5.根据权利要求4所述的编码视频信号的方法，进一步包括将剩余图像帧精细颗粒可伸缩编码为SNR质量帧的数据流的步骤。
6.根据权利要求5所述的编码视频信号的方法，进一步包括将瞬时帧的数据流与SNR质量帧的数据流相组合从而构建一个瞬时和SNR质量帧的单一数据流的步骤。
7.一种编码视频装置，包括用于将该视频编码成一个基础层帧的数据流的装置(210)；用于根据基础层帧计算转换域中的剩余图像帧的装置(238)；用于根据基础层帧和至少部分剩余图像帧构建扩展的基础层参考帧的装置(236，242，237，224)；用于运动补偿扩展的基础层参考帧从而产生运动补偿的扩展基础层参考帧的装置(212)；用于根据运动补偿的扩展基础层参考帧和该视频预测运动补偿的剩余图像帧的装置(220)；以及用于将运动补偿的剩余图像帧精细颗粒可伸缩编码为瞬时帧的数据流的装置(235)。
8.根据权利要求7所述的装置，进一步包括用于将剩余的图像帧精细颗粒可伸缩编码成一个SNR质量帧的数据流的装置(235)。
9.根据权利要求8所述的装置，进一步包括用于将瞬时帧的数据流与SNR质量帧的数据流相组合从而构建一个瞬时和SNR质量帧的单一数据流的装置(243)。
10.一种用于编码视频的存储介质，包括用于将该视频编码成一个基础层帧的数据流的代码(210)；用于根据基础层帧计算转换域中的剩余图像帧的代码(238)；用于根据基础层帧和至少部分剩余图像帧构建扩展的基础层参考帧的代码(236，242，237，224)；用于运动补偿扩展的基础层参考帧从而产生运动补偿的扩展基础层参考帧的代码(212)；用于根据运动补偿的扩展基础层参考帧和该视频预测运动补偿的剩余图像帧的代码(220)；以及用于将运动补偿的剩余图像帧精细颗粒可伸缩编码为瞬时帧的数据流的代码(235)。
11.根据权利要求10所述的存储介质，进一步包括用于将剩余的图像帧精细颗粒可伸缩编码成一个SNR质量帧的数据流的代码(235)。
12.根据权利要求11所述的存储介质，进一步包括用于将瞬时帧的数据流与SNR质量帧的数据流相组合从而构建一个瞬时和SNR质量帧的单一数据流的代码(243)。
13.一种解码一个基础层数据流和一个增强层数据流的方法，所述数据流共同表示一个视频，包括步骤解码基础层数据流以构建基础层帧；精细颗粒可伸缩解码增强层数据流的SNR质量帧部分以构建SNR质量帧；根据基础层帧和至少部分SNR质量帧构建扩展的基础层参考帧；运动补偿扩展的基础层参考帧以产生运动补偿扩展的基础层参考帧；精细颗粒可伸缩解码增强层数据流的瞬时帧部分以构建运动补偿的剩余帧；组合运动补偿的扩展基础层参考帧与运动补偿的剩余帧以构建瞬时帧。
14.根据权利要求13所述的方法，进一步包括将基础层帧和SNR质量帧组合成一个增强视频的步骤。
15.根据权利要求13所述的方法，进一步包括将基础层帧，SNR质量帧和瞬时帧组合成增强视频的步骤。
16.一种用于解码基础层数据流和增强层数据流的装置，所述的数据流共同表示一个视频，包括用于解码基础层数据流以构建基础层帧的装置(310)；用于精细颗粒可伸缩解码增强层数据流的SNR质量帧部分以构建SNR质量帧的装置(331)；用于根据基础层帧和至少部分SNR质量帧构建扩展的基础层参考帧的装置(332，333，342)；用于运动补偿扩展的基础层参考帧以产生运动补偿的扩展基础层参考帧的装置(315)；用于精细颗粒可伸缩解码增强层数据流的瞬时帧部分以构建运动补偿的剩余帧的装置(331)；用于组合运动补偿的扩展基础层参考帧与运动补偿剩余帧以构建瞬时帧的装置(339)。
17.根据权利要求16所述的装置，进一步包括将基础层帧和SNR质量帧组合成一个增强视频的装置(340)。
18.根据权利要求16所述的装置，进一步包括用于将基础层帧，SNR质量帧，以及瞬时帧组合成一个增强视频的装置(340，341)。
19.一种用于解码一个基础层数据流和一个增强层数据流的存储介质，所述的数据流共同表示一个视频，包括用于解码基础层数据流以构建基础层帧的代码(310)；用于精细颗粒可伸缩解码增强层数据流的SNR质量帧部分以构建SNR质量帧的代码(331)；用于根据基础层帧和至少部分SNR质量帧构建扩展的基础层参考帧的代码(332，333，342)；用于运动补偿扩展的基础层参考帧以产生运动补偿的扩展基础层参考帧的代码(315)；用于精细颗粒可伸缩解码增强层数据流的瞬时帧部分以构建运动补偿的剩余帧的代码(331)；用于组合运动补偿的扩展基础层参考帧与运动补偿剩余帧以构建瞬时帧的代码(339)。
20.根据权利要求19所述的存储介质，进一步包括用于将基础层帧和SNR质量帧组合成一个增强视频的代码(340)。
21.根据权利要求19所述的存储介质，进一步包括用于将基础层帧，SNR质量帧，以及瞬时帧组合成一个增强视频的代码(340，341)。
全文摘要
一种用于编码视频的方法和装置包括根据基础层帧和至少部分基础层剩余图像帧构建运动补偿扩展基础层参考帧。使用运动补偿扩展基础层参考帧进行双向或者单向预测FGS运动补偿剩余图像或者瞬时帧。
文档编号H04N7/32GK1640145SQ03805232
公开日2005年7月13日 申请日期2003年2月18日 优先权日2002年3月4日
发明者M·范德沙亚尔 申请人:皇家飞利浦电子股份有限公司