专利名称：为视频序列进行运动补偿时域内插的方法和装置的制作方法
技术领域：
本发明有关编码和解码视频数据的方法。在对视频信号进行编码，以使其适于数字处理(例如传输或存储)时，对视频数据进行压缩以优化可用带宽和存储容量的使用。好的压缩结果是靠有损编码来得到的，其中在解码阶段不能完全恢复原始信号的信息。
尽管利用有损编码可以获得好的结果，但本发明的一个目的是提供一种编码方法，利用这种方法可以获得更好的压缩结果。更好的性能指的是，利用类似的压缩率或带宽，获得更好的解码结果，或者，利用更好的压缩率或更小的带宽，获得类似的解码结果。为达到这一目的，在权利要求1中提供了一种用于编码一个视频信号的方法。
从一个要被编码的视频流中，去掉一些帧，生成一个抽取帧序列。随后，对该抽取帧序列进行时域内插，以获得该抽取(跳越)帧的好的估计。随后，检测出其中的估计值不充分的跳跃-估算帧区域，说它不充分指的是它不满足预定的标准。通过将编码器中仍然可以使用的被跳过的帧与跳跃-估算帧进行比较，可以检测这些区域，并可确定残留信息。现在，只对抽取帧序列和所检测区域的残留数据进行编码，并将其插入编码比特流中。最好在抽取帧序列的本地解码编码帧上执行时域内插，以便对解码器中也可用的帧执行时域内插。
按本发明，通过从主比特流中提取残留数据来解码一个编码比特流。从而，可以利用与编码过程中使用的插入处理类似的处理方法，对主比特流进行内插。随后，残留数据被加入内插后的帧序列中。
通过使用本发明的编码/解码系统，可以获得较好的性能/带宽比，这是因为，只有相关的残留数据被插入到编码信号中了。
本发明还有关一种解码方法，一个编码器，一个解码器，一个音频视频设备，一个数据保存设备，一个计算机程序和一个数据载体设备(计算机程序存储在其上)。
本发明特殊的详尽的优点列在相关的权利要求中。从以下参照附图的描述中，可以看到本发明进一步的目的，获得的结果，改进，效果和细节，附图包括
图1显示按本发明的一种编码方法的流程图，图2是按照本发明，与图1中的方法结合使用的一种解码方法的流程图，图3是按本发明的另一种编码方法的流程图，图4是按照本发明，与图3中的方法结合使用的一种解码方法的流程图，图5是按本发明的一个编码器的例子，图6是按本发明的一个解码器的例子，图7是按照本发明，另一个编码器的实例的框图，图8是按照本发明，另一个编码器的实例的框图，图9显示了一个视频编码器的例子的框图，该编码器可用在图7的编码器中。
在图1中，显示了按本发明的一种编码方法的流程图。一个包含视频序列的视频输入信号10被送入一个视频编码器中，在该例中是一个MPEG编码器20。编码器20以一种专用的数字格式编码视频信号，在该例中是MPEG格式。编码信号由一系列帧组成，例如MPEG中的一个IPP序列。编码器20在编码过程中执行一个时域抽取操作，也就是说，预定数量的帧被跳过或丢弃。举例来说，输入视频信号是一个50Hz的信号，而被输出的主流输出信号是一个12.5Hz的信号。抽取因子是从4个中抽1个，也就是说，从一个包含四个帧的序列中，只保留一个帧。应指出的是，这里的编码是一个标准MPEG操作。另外，抽取因子是可调整的，以便获得所要求的数据流缩减。
编码器20还编码一个全编码数据流，也就是不丢弃由于时间插入所生成的任何帧。这一数据流被送入一个解码器30，该解码器是一个适用于对所述编码数据流进行解码的解码器，在该例中是一个MPEG解码器。解码数据流35是一个50Hz的信号，这是因为在编码过程中没有丢掉任何帧。数据流35被提供给一个IP选择器40；选择器40执行一个时域滤去过程，该过程与编码器20对原始视频输入信号进行的时域滤去过程相同。其结果又是一个12.5Hz的信号。该缩减后的信号被送入一个运动估计器50，在该例中是一个自然运动估计器。估计器50通过估算附加的帧，将信号从12.5Hz向上扩展为50Hz。估计器50所执行的向上扩展过程，与随后解码器对编码数据流进行解码时所执行的扩展过程相同。按本发明，可以使用任何运动估计方法。特别地，如用在帧速度转换方法中的那样，基于自然或真实运动估算的运动估算可以取得好的效果。一种非常经济实用的方法是三维递归搜索(3DRS)，该方法很适用于用户，该方法见于，例如U.S.Patents 5072293，5148269，5212548。利用3DRS方法估算出的运动矢量趋同于真实运动，运动矢量域很大程度上抑制了空间和时间上的一致性。因此，矢量不一致性并非经常达到极限(？)，从而，与非真实的运动估算相比，所传输的残留数据数量减少了。
向上转换信号55被送入一个评定单元60(用一个减法符号表示)。送给估算单元的还有全数据流35(用一个加法符号表示)。评定单元60将运动估计器50确定的插入帧与实际的帧进行比较。从比较结果确定估计帧与实际帧的不同之处。各个帧中的差值被评定出来；在差值满足某阈值的情况下，该差值被选为残留数据。该阈值可以和差值的可感知度有关；这类阈值准则本身在本技术中是已知的。在该例中，残留数据被描述为meta块。随后，meta块形式的残留数据流120被送入一个MPEG编码器70。可以利用一个MPEG环境中提供的专有数据信道对残留数据编码。
最后，利用多路复用器将主数据流与残留数据流组合，形成一个单一的信号输出数据流90。输出数据流90可被传输(例如，利用一个(无线)数据传输连接)或存储，或用于其它目的。
在图2中，显示了按照本发明，对数据流90进行解码的方法的流程图。首先，在多路信号分离器100中将数据流90分离成主数据流30和残留数据流120。多路信号分离器被编程以识别出包含在输入信号中的残留数据流。在使用一个专用数据信道的情况下，多路信号分离器从所用的专用数据信道提取残留数据。主数据流30和残留数据流120都是借助于一个MPEG解码器解码的，分别见步骤130和140。主数据流解码数据被送入一个运动估计器中，在该例中为一个自然运动估计器150。运动估计器150(在本技术中是已知的)插入所提供的数据，从前面解码所得的12.5Hz信号生成50Hz信号。随后，向上变换的50Hz信号被送入一个组合器160。
除了向上变换信号之外，送入组合器160的还有来自解码器140的解码后的残留信号。组合器160将主数据流的信息与残留数据流进行组合。这样一个操作在本技术中是已知的，包括利用各残留信息(例如meta块)代替主数据流中的信息(例如meta块)。组合器160的输出信号是一个50Hz帧速率的视频数据流。
如果接收数据流90的解码器不具备检测残留数据流的能力时，则只对主数据流进行解码。从而，即使利用一个完全不适于残留数据信号的解码器，也可以解码出一个可用的视频信号。不过，该解码信号不如利用残留数据校正所得到的信号好。
本发明可应用于各种设备，例如一个类似无线发射机或计算机网络路由器之类的数据传输设备，该设备包含输入信号接收装置和用于发射编码信号的发射装置(例如一个天线或一个光纤)，可以向该设备提供一个按本发明的图像编码设备，该编码设备与输入信号接收装置和发射装置相连。另外，可以在一个DVD记录器，一个PVR(HDD)记录器(举例来说)中实现一个按本发明的解码器。按本发明的编码和解码系统可以用例如互联网视频流业务，和家用(无线)网络实现。
从2个中抽出1个的时域抽取方法可以得到好的结果；一般，需检测跳过-估算帧区域内小于5-10％的区域，以满足残留信息的需要。从4个中抽取1个的抽取法也能得到好的结果。在不要求最高图像品质的应用场合，利用本发明，可以跳过更多的帧。
本法明还有关用于执行上述例证编码和解码方法的一个编码器和解码器。在图5中，显示了按本发明的一个编码器的例子。它包含一个用于接收视频数据的输入部分310，与编码器320相连。编码器与一个多路复用器330和一个本地解码器340相连。本地解码器340与选择器350和一个评定单元360相连。选择器350通过一个估计器370与评定单元360相连。选择器350经一个编码器380与与多路复用器相连。多路复用器连接到一个输出单元390上。
在图6中，显示了一个按本发明的解码器。该解码器包含一个与多路分离器420相连的输入部分410。多路分离器420与解码器440和430相连。两个解码器都与组合器460相连；解码器430是直接相连的，而解码器440是经估计器450相连的。组合器460与一个输出部分470相连。
在图3和图4中，显示了一个编码/解码系统的第二个实例。与前面所述实例的元件相对应的部分用同样的参考符号表示，其功能描述参照以上所述。第二个实例与第一个实例的不同之处在于，在解码阶段使用了一个附加的自然运动估计器。至此，在编码器中，编码阶段使用了两种不同类型的时域内插，一种简单的和一种复杂的。解码器只需要使用简单的(相对节省的)时域内插。复杂的(相对昂贵的)时域内插只需用在编码器中。
在第一和第二实例中，对视频流的编码大体类似。在第二个实例中(见图3)，引入了一个附加步骤200，其中，在一个复杂时域内插器(例如自然运动类型的内插器)中对来自挑选器40的信号进行向上转换，得到对抽取帧的高精度内插。这一高精度数据被送给一个评定器220。
与高精度插补并行，数据还被送入一个简单时域内插器210(最终解码器使用的类型)。该简单内插器210生成一个中间精度的数据流，提供给上述的评定器220。评定器220将高精度插补和中间精度插补进行比较，生成一个校正矢量流，包含在(例如)专用数据信道中的残留信息中，送给多路复用器。该矢量流还被送入一个组合器230，组合器将该矢量数据与简单内插器210生成的中间精度内插值进行组合。组合后的信号送入自然运动估计器50’，估计器50’利用该信息校正插补后的帧。随后的残留数据确定步骤与第一个实例类似。
所得到的编码数据流包含主流数据，残留数据和校正矢量信息。因此，所使用的带宽略大于第一个实例，但可以获得更好的品质。
如图4所示，在解码过程中，输入信号被分离为主数据流，残留数据流(类似于第一个实例)和矢量数据。视频输出的形成类似于第一个实例，所不同的是，自然运动估计器150’还包含来自中等品质估计器210’的结果，该结果在230’中由解码矢量校正。通过使用附加的中等品质估计器，所得结果明显改善了，尤其是在使用校正矢量时。获得更好品质所附加的费用相对较少，包括一个额外的简单运动估算设备和略微增加的带宽。另外，在编码步骤中需要一个额外的高品质估计器，不过这只是略微增加了编码器的费用。
在以上所述设备和方法的例子中，残留数据流和主数据流使用相同的编码和解码方法。也可能使用不同的方法来编码和解码残留数据。例如，残留数据流的编码和解码可以专用于残留数据。在这种情况下，与对主数据流和残留数据流使用同样的编码和解码方法相比，可以获得一个更有效的编码。编码效率的提高可以(例如)是由于残留数据和主数据间的相关性的差异引起的，因为，总体来说，残留数据流中连续帧的相关性比主数据流中连续帧的相关性小。
残留数据的编码可以是一些专用的编码方案，其中可以考虑残留数据流中视觉内容的特性。例如，残留数据中分散的非空块可以首先集成到一个大的组中。
图7和图8分别显示了一个编码器和解码器的例子的框图，其中，残留数据和主数据在编码阶段是交叉的。
图7的编码器包含一个用于接收视频数据的接收部分510，与一个视频编码器(例如一个MPEG编码器)520相连。视频编码器520与多路复用器530相连，并连接到一个本地解码器540上。本地解码器540与一个选择器550和一个评定单元560相连。选择器550经一个估计器570与一个评定单元560相连。评定单元560与编码器520相连。多路复用器530连接到一个输出部分590，或自带输出部分590。
视频编码器520以一种专用的数字格式，在本例中是一个MPEG格式，编码视频信号。编码器520还提供一个全编码数据流，也即不丢弃时域内插所得的任何帧。该数据流被送给解码器540，解码器540适于对编码数据流进行解码。在该例中，解码器540是一个MPEG解码器。由于在编码阶段没有丢去任何帧，因此解码数据流535是一个50Hz的信号。数据流535被送给一个IP选择器550；选择器540执行的时域消除与编码器520对原始视频信号所执行的时域消除相同。结果是一个12.5Hz的信号。该缩减后的信号被送入一个运动估计器570，在该例中采用的是一个自然运动估计器。
估计器570通过估算另外的帧，将12.5Hz向上转换为50Hz信号。估计器570所执行的向上转换操作，与解码器对编码数据流进行解码时将要执行的向上转换操作相同。在该例中，估计器570是一个自然运动估计器。向上转换的信号555被送入一个评定单元560(用一个减号表示)。送入评定单元560的还有全数据流535(用加号表示)。评定单元560将运动估计器570所确定的插补帧与真实的帧进行比较。由比较结果确定估计帧与实际帧的不同之处。该比较可以包括，例如，对照预定准则，检查估计帧与实际帧之间的不同。
求出了各帧中的差值之后，若差值满足准则规定的阈值，则评定单元560向视频编码器520发送重定格式代码，指示编码器应该怎样重新构造各个帧。当估算帧和实际帧类似时，评定单元560向视频编码器520发送一个跳跃码。视频编码器520在编码过程中将来自评定单元560的数据与主数据进行交叉。从而，即便是对残留数据和主数据使用相同的编码和解码部件，例如MPEG-2编码器和解码器，也可获得高的编码效率。另外，可以便利地检测出实际帧和跳跃码。
图9显示了视频编码器520的一个实现例子。在图9中，视频编码器包含一个编码设备524，它与一个后处理设备相连，例如一个Tri-Media设备。后处理设备包括变长编码器521，522，它们经一个重定格式设备523相连。重定格式设备523与评定单元560相连，接收重定格式指令。编码器524还与视频编码器520的输入相连。编码器524对一个没有丢掉任何帧的全编码数据流进行编码，即，第二编码器对未进行时间抽取的数据编码。该数据流被发送到本地解码器540，本地解码器540能对全编码数据流进行解码。
在图8中显示了符合本发明的一个解码器。解码器包含一个与视频解码器630相连的输入部分610。视频解码器630的输出与选择器640相连。选择器640直接与一个重写器660相连。选择器640还与一个估计器650相连。估计器650与重写器660相连。重写器660与一个输出部分670相连。
视频解码器630可以解码一个编码数据流，并且特别适于对利用图7的编码器编码的数据流进行解码。随后，由视频解码器630将所得到的解码数据流发送到选择器640。选择器执行一个时间抽取，该过程对应于图7的编码器中选择器550进行的向下转换时间抽取过程。选择器640将抽取后的数据发送给估计器650。重写器根据解码器630送来的信息，决定是使用估计器640送来的信息还是使用选择器640已扔掉的数据。
当图7-9的编码器和/或解码器适应MPEG格式时，如MPEG格式中提供的那样，跳跃码可以是一个跳跃宏块代码。这样一个跳跃宏块代码可被用于其它的编码器类型，因为多数的视频编码标准都提供一个跳跃码。
另外，还可以使用一个编码块模式(cbp)代码，见于“Digital video；an introduction to MPEG-2”章节8.4.5，Kluwer，1997，Haskell etall.。这样一个CBP表明在宏块中哪一个是空块，即，在MPEG中，哪一个块具有全零的离散余弦变换。因此，如果在一个宏块或一个帧中，只有一部分要被实际的帧或(宏)块所代替，则其它部分可由CBP表明，从而减小了数据量。
如果本发明用于MPEG环境下，对基本帧(即抽取数据流)进行编码的一种有效选择是IPP帧编码；对于跳跃帧来说，进行B帧编码是一种有效的选择，不过也可以使用其它的编码方法。
在一个有利实例中，利用一个另加的内插器对一个相对低帧速率的视频序列(例如一个24Hz的渐进的电影序列)进行时域插值，获得一个全帧视频序列，该内插器与用于对抽取帧序列进行插值的内插器相比，具有更高的品质和精度，该另加的内插器可以是，例如，上述复杂的时域内插器或复杂的自然运动，或高精度2-3下拉算法。该内插器最好是一个非实时，离线内插器.。在上述实例中，通过使用一个更高品质的另加内插器对一个相对低帧速率的电影序列进行插值，可以产生一个电影时域增进层。在解码器中，该电影时域增进层用于获得减少电影颤抖的解码视频信号。通过直接将该低帧速率视频序列用作抽取视频序列，可以有效地执行全帧视频序列的抽取。该电影时域增进层还可以与一个空间增进层组合，从而生成一个带有空间和时域增进层的反向兼容比特流，以提高视频品质。
本发明并不局限于在此处所描述的物理设备中实现，它也可用于其它设备。特别是，本发明并不局限于物理设备，还可用于更抽象的逻辑设备中或用在执行设备功能的软件中。另外，该设备还可在物理上分散在几个设备中，而逻辑上认为是一个单一的设备。还有，逻辑上认为是独立的设备也可集成在一个单独的物理设备中。
本发明还可以在运行在一个计算机系统上的计算机程序中实现，当运行在一个计算机系统上时，至少包含用于执行本发明方法的步骤的代码部分，或者使通用计算机系统能够执行本发明计算机系统的功能。这样一个计算机程序可以提供在一个数据载体上，例如一个CD-ROM或磁盘上，该数据载体存有可装入计算机系统内存中的数据，该数据代表计算机程序。该数据载体还可以是一个数据连接，例如一个电话线或一个能发射代表本发明计算机程序的信号的无线连接。
权利要求
1.一种用于编码一个数字视频流的方法，包含以下步骤提供一个全帧视频序列，借助于时域抽取，通过从全帧序列中删除一些帧，生成一个抽取帧序列，借助于一个内插器对抽取帧序列进行时域内插，将全帧序列的帧与时域内插帧序列的相应帧进行比较，根据至少是对一个帧的比较，为该帧确定残留信息，以及提供一个包含抽取帧序列和所确定的残留信息的输出流。
2.权利要求1中所述的方法，其中抽取帧序列被压缩编码。
3权利要求1中所述的方法，其中残留信息以数据块的形式编码。
4.根据前面任一个权利要求的方法，其中的残留信息在一个专用数据信道中编码。
5.根据前面任一个权利要求的方法，其中的时域插值是依靠自然或真实运动执行的。
6.根据前面任一个权利要求的方法，其中的预定帧数量是从2个帧中抽出1个。
7.根据权利要求1-5中任一个的方法，其中的帧数量是从4个帧中抽出1个。
8.权利要求1中所述的方法，其中利用除抽取帧序列之外的数据(例如运动矢量)来协助时域内插。
9.权利要求1中所述的方法，其中借助于一个另加的内插器，通过对一个相对低帧速率的视频序列进行时域内插，获得全帧视频序列，该另加内插器与对抽取帧序列进行时域内插所用的内插器相比，具有更高的品质和精度。
10权利要求9中所述的方法，其中抽取帧序列是直接由低帧速率视频序列形成的，而不是从全帧序列中删除一些帧形成的。
11一种方法，对按照前面任一个权利要求中所描述的方法编码的数据流进行解码，该方法包括从编码数据流中分离除抽取帧序列和所确定的残留信息。解码抽取帧序列，利用与编码过程中所用内插处理相类似的内插处理，对解码后的抽取帧序列进行时域内插，解码残留信息，并将残留信息与内插帧序列进行组合，生成一个输出数据流。
12.一个用于编码数字视频数据的编码器，配有一个输入部分，用于提供一个全帧视频流，用于生成一个抽取帧序列的装置，借助于时域抽取，从接收部分所接收全帧序列中删除一些帧，生成一个抽取帧序列，内插装置，借助于一个内插器，对抽取帧序列进行时域内插，比较装置，将全帧序列的帧与时域内插后帧序列中的相应帧进行比较，并根据至少是该帧的比较结果，为该帧确定残留信息，和一个输出部分，提供一个包含抽取帧序列和所确定的残留信息的输出流。
13.一个带有输入部分和输出部分的解码器，用于对数字视频数据解码，该解码器配有一个解码部分，用于执行符合权利要求11的解码处理。
14.一个音频视频装置，包含数据输入装置，音频视频输出装置，和权利要求13中所声明的一个解码装置。
15.一个数据保存装置，包含有代表一个输出流的数据，该输出流是按照权利要求1-10的任一个中所声明的方法获得的。
16.一个计算机程序，包含用于执行权利要求1-11的任一个中所声明方法的步骤的代码部分。
17.一个数据保存设备，包含有代表权利要求16中所声明的计算机程序的数据。
18.一个视频数据流，包含一个抽取帧序列和与抽取帧序列相关的残留信号，将利用内插器对抽取帧序列进行时域内插所得到的帧序列中的各个帧，与全帧序列中相应的各个帧进行比较，获得该残留信号。
全文摘要
一种用于编码一个数字视频流的方法，包含以下步骤将一个视频序列编码为一个全帧序列，借助于时域抽取，从全帧序列中删除预定数量的帧，生成一个抽取后的帧序列。对全帧序列进行本地解码，对抽取帧序列进行本地解码，借助于一个内插器对解码后的抽取帧序列进行时域内插，将全帧序列的本地解码帧与本地内插帧序列的相应帧进行比较，根据至少是对一个帧的比较结果，为该帧确定残留信息，并提供一个包含抽取帧序列和所确定的残留信息的输出流。
文档编号H04N7/26GK1605211SQ02825342
公开日2005年4月6日 申请日期2002年12月16日 优先权日2001年12月21日
发明者W·H·A·布鲁斯, F·J·德布鲁伊恩, G·德哈恩, D·布拉泽罗维, G·J·M·维沃尔特 申请人:皇家飞利浦电子股份有限公司