专利名称：视频编码和译码方法
技术领域：
本发明涉及视频编码和译码方法，特别是涉及利用数据分段结构的视频编码和译码方法，以及使用这种方法的视频编码和译码装置。
最近，在已经规定了很多涉及诸如H.32X的视频会议的标准的国际电信联盟(ITU)的视频编码小组、即所谓的第16个研究小组的第15个问题小组(Q.15/SG16)直在致力于开发名称为H.263++的先进视频编码方案。在使H.263++能够灵活地适应易出现差错的移动信道方面付出了大量努力。截止到目前为止，已经向ITU-T中的Q.15/SG16建议了很多有关容错(errorresilience)的技术方案。在这些技术建议当中，由UCLA/Samsung共同建议的数据分段和可逆变长编码(RVLC)在形成H.263++容错特性方面取得了很大的进展。尽管在H.263++方案中至今还没有采用这种容错特性，但是，在ITU-T中Q.15/SG16的容错对话技术中的最新技术方案都是以使用数据分段和RVLC为基础的。本发明是以数据分段为目的的。
本发明的一个目的是提供一种根据信道的状态和语法的重要程度将冗余位自适应地添加到视频位流中去的视频数据编码方法。
本发明的另一个目的是提供一种用于对由上述编码方法编码的视频位流进行译码的方法。
根据本发明的一个方面，提供了一种在用于经过通信信道发射和接收视频数据的视频数据收发信机中使用的视频编码方法，该方法包括接收指出通信信道差错分布的信道状态信息；和在信道状态信息的基础上自适应地将冗余信息添加到由具有分层结构的语法划分的数据包中。
在本发明的另一个实施例中，提供了一种在用于经过通信信道发射和接收视频数据的视频数据收发信机中使用的视频编码方法，该方法包括(a)接收包含指出信道差错分布的信息的信道状态信息；(b)在信道状态信息的基础上确定是否需要一个附加层；(c)如果在步骤(b)中确定不需要附加层，则组成包含视频数据信息和管理信息的第一层；(d)如果在步骤(b)中确定只需要第二层，则通过添加包含与有关第一层的信息对应的冗余信息的第一辅助信息而构成第二层；(e)如果在步骤(b)中确定第二和第三层都是需要的，则通过添加包含与有关第一层的信息对应的冗余信息的第一辅助信息而构成第三层，和通过添加包含与有关第一层的信息对应的其它冗余信息的第二辅助信息而构成第三层。
如果在步骤(b)确定只有第二层需要或者第二和第三层都是需要的，那么，视频编码方法最好还包括将预定的唯一标志添加到第二层结构中相应数据包的前导部分上的步骤。另外，如果在步骤(b)中确定只有第二层需要或者第二层和第三层都是需要的，那么，视频编码方法还可以包括添加指出存在附加层的第二标记位的步骤。
第一附加信息最好包含有关第一层中图像数据的编码参数的信息、和一个或多个指出是否执行编码的COD位。另外，COD位可以由每一个宏块三个位组成。另外，第一辅助信息可以包含每个宏块一个或多个MCBPC(MaCro块图案色度)位，MCBPC位可以由每个将被编码的宏块5个位组成。
第二辅助信息最好包含有关第一层中图像数据的编码参数的信息。例如，第二辅助信息可以包含指出每个宏块的MCBPC(MaCro块图案色度)位数量的多个位，MCBPC指出宏块的色度的类型。指出MCBPC位数量的位可以由每个QCIF(四分之一公用中间格式(Quarter Common IntermediateFormat))4位组成。另外，第二辅助信息可以包含一个或多个指出是否执行编码的COD位，COD位可以由每个宏块1位组成。最好，第二辅助信息包含指出宏块类型的MB(宏块)类型位，MB类型位由每个宏块位2位组成。
根据本发明的另一个实施例，提供了一种在用于经过通信信道发射和接收视频数据的视频数据收发信机中使用的视频译码方法，该方法包括把已经利用分层结构自适应添加了冗余信息的视频位流输入给由语法划分的数据包；识别是否存在附加层和哪一个层已经被添加；和在关于附加层信息的基础上对相应的层译码。
在本发明的另一个实施例中，在用于经过通信信道发射和接收视频数据的视频数据收发信机中使用的视频译码方法包括将已经利用分层结构自适应添加了冗余信息的视频位流输入给由语法划分的数据包；通过检测来自视频位流的再同步标志规定第一层，和识别指出在第一层中是否存在附加层的第一标记位；如果第一标记位指出附加层不存在，则对第一层译码；如果第一标记位指出存在附加层，识别指出第二层开始的标志；识别指出是否存在第三层的第二标记位；如果第二标记位指出不存在第三层，则对第一和第二层译码；和如果第二标记位指出存在第三层，则对第一、第二和第三层译码。
本发明可通过运行来自计算机可读介质的程序而应用于通用数字计算机中，计算机可读介质包括但不局限于读如磁存储介质(例如ROM、软盘、硬盘等)、光可读介质(例如CD-ROM、DVD等)和载波(例如在因特网(Internet)上的传送)等的存储介质。因此，本发明可以被用做计算机可读介质。
通过下面结合附图对优选实施例的详细描述，本发明的上述目的和优点将变得更加清楚，附图中
图1的框图示出了根据本发明用于执行视频编码和译码方法的视频数据收发信机；图2的流程示出了根据本发明实施例的视频编码方法的主要步骤；图3示出了根据本发明的视频编码方法对位流编码的例子；图4示出了图3所示层2的例子；图5示出了图3所示层3的例子。
参看图1，根据本发明用于执行视频编码和译码方法的视频数据收发信机系统包括发射机10和接收机12。发射机10包括H.263编码器102和第一系统104，接收机12包括H.263译码器和第二系统124。
在视频数据收发信机的运行过程中，发射机10的H.263编码器102对视频数据编码，第一系统104接收和多路复用被编码的视频数据和添加控制信息，以便在无线通信信道上经过射频(RF)级发射视频位流。当接收机12经过无线通信信道接收视频位流时，第二系统124多路分解所接收的位流并提取控制信息。被多路分解的编码视频位流被H.263译码器126译码。另外，在由H.263译码器126进行译码处理期间，可以提取包含所发射视频位流的差错信息在内的信道状态信息。然后，接收机12经过额外的返回信道发射信道状态信息。
发射机10的第一系统104经过返回信道接收包含与被编码视频位流相关的状态信息的信道状态信息，并在所接收信息的基础上将层控制信息发射给H.263编码器102，以允许H.263编码器102规定冗余添加结构。H.263编码器102在所接收的层控制信息的基础上自适应地将冗余信息添加到视频数据流中。即，由于冗余信息的附加是根据信道状态进行控制的，所以，针对易出错无线信道的容错得到了改善。
图2的流程示出了根据本发明实施例的视频编码方法的主要步骤。参看图2，视频编码方法包括接收包含指出信道差错分布(步骤202)和在信道状态信息的基础上确定是否需要附加层(步骤204)的信息的信道状态信息。在这个实施例中，可以规定相对于基线流的第一层和包括第二和第三层的附加层。
然后，如果在步骤204确定不需要附加层，则将第一标记位添加到数据包中，以便指出不存在附加层(步骤210)，和构成包含第二和第三层的第一层(步骤212)。相反，如果在步骤204确定只有第二层是需要的或者第二层和第三层都是需要的，那么，添加第一标记位，以指出附加层的存在(步骤204)，然后构成第一层(步骤226)。然后，在只有第二层是需要的情况下，通过添加包含与有关第一层的信息对应的冗余信息的第一辅助信息而组成第二层(步骤244)。同时，在第二层和第三层都是需要的情况下，通过添加包含与第一层信息对应的冗余信息的第一辅助信息而组成第二层，通过添加包含与第一层信息对应的其它冗余信息的第二辅助信息组成第三层(步骤264)。另外，当在步骤204确定附加层时只有第二层或第二层和第三层都是需要的情况下，最好在步骤224之前将预定的唯一标志添加到附加层相应数据包的前导部分中(步骤222)。另外，在步骤244和264之前，可将第二标记位添加到相应数据包中，以指出不存在(步骤242)或存在(步骤262)第三层。
经过上述步骤，冗余信息被根据信道状态信息利用分层结构自适应地添加到由语法划分的数据包中，由此产生视频位流(步骤282)。
如本领域技术人员所期待的，当在数据包中包括多个层时，容错将逐步得到改善，但这将牺牲编码效率。通过监视信道状态，可以在系统中完全构成模式选择(仅仅是第一层、第一和第二层或第一、第二和第三层)，本领域的技术人员可以适当地选择一个模式。
在本实施例中，为简便起见，实验是利用QCIF(四分之一公用中间格式)序列和在每个数据包中11个宏块(MB)实施的。图3示出了利用本发明视频编码方法编码的位流的结构。图3所示的位流包括仅仅第一层(层1)、第一和第二层(层1+2)或第一、第二和第三层(1+2+3)。层1包括用于指出是否存在附加层的第一标记位(标记1)；和包含诸如对熟悉MPEG技术的人员来讲是很明显的DC、AC和MV位的视频数据信息的首标(Header)以及关于编码参数的信息的首标(header)。层2包括位于其前导部分处的预定的唯一标志(marker)、用于指出是否存在附加层的第二标记位、和包含与第一层的信息对应的冗余信息的第一辅助信息(Aux Info 1)。层3包括包含有关第一层图像数据编码参数的第二辅助信息(Aux Info 1)。
图4示出了图3中所示的层2的一个例子。由于如参考图2只有当确定需要附加层时才构成层2，所以，例如22位的唯一码(0000 0000 0000 00001110 00)的预定唯一标志才被添加到层2的数据包的前导部分中。层2的数据包包括一位的标记2、用于指出编码状态的每个MB 3位的COD、以及用于指出MB色度类型的每个MB 5位的MCBPC(MaCro块图案色度)。由于宏块的数量是11，所以，33位的COD被包括在层2的数据包内。另外，由于MCBPC的存在与否取决于是否执行编码，所以，它的位数在0和55之间。
图5示出了图3中所示的层3的一个例子。参看图5，层3包含作为第二辅助信息的位，第二辅助信息用于表示MCPBC位的数量，MCBPC位用于指出MB的色度类型。表示MCBPC位数量的位最好由每个QCIF 4位组成。另外，层3包含每个MB 1位的COD，即11位COD。另外，层3包含表示MB类型的MB类型位。这里，MB类型位最好由每个MB 2位组成。另外，由于MB类型位的存在与否取决于是否执行编码，所以，MB类型位的数量在0和22之间。
在为评估差错分布、诸如位速率和帧速率的编码参数、将被编码的最小帧的数量等技术贡献而由ITU-TQ.15/SG16于1998年7月建立的公用仿真条件的基础上，执行计算机仿真以评估本发明实施例的视频编码和译码方法。根据公用条件，48kbps/10fps速率的4个测试序列的950个帧被编码。用于INTRA(内)帧的量化器的量化系数被设置为15，和被跳跃的帧数被设置为每10fps为2。在各种推荐的差错分布中，选择使用三种宽带CDMA差错分布，它们的特征如表1所示。
表1
表2到表5示出了对前500个被译码帧以dB测量的平均PSNR(峰值信号与噪声比值)。对于每种差错分布来讲，每种情况的帧损失几乎是不变的。
特别是，图2示出了信道差错相对于速率为32kbps/10fps的第一取样序列(称之为“母和子序列”)的平均PSNR。表3示出了信道差错相对于速率为32kbps/10fps的第二取样序列(称之为“载体序列”)的平均PSNR。表4示出了信道差错相对于速率为48kbps/10fps的第三取样序列(称之为“Forman(福尔曼)序列”)的平均PSNR。表5示出了信道差错相对于第四取样序列(称之为“New(新闻)序列”)的平均PSNR。
表2
表3
表4
表5
如表2-5所示，在使用简单的H.263+编码的情况下、在以数据分割(DP)为基础编码的情况下、在DP基础上添加层2的情况下和在添加层2和层3的情况下，平均值是顺序增加的。特别是，参看图2，对于差错1，在使用第一取样序列的情况下，在使用传统的H.263+编码的情况下，平均PSNR是27.34dB，在以DP为基础编码的情况下，平均PSNR是29.10dB，在以DB为基础添加层2的情况下，PSNR是30.26dB，而在DP基础上添加层2和层3的情况下，PSNR是30.87dB。
根据与使用D1条的差错分布的图像质量比较显示结果，使用简单的H.263++能够在无差错信道状态下产生最佳图像质量。但是，在易出现差错的信道中的容错更加影响图像的质量。根据本发明的编码和译码方法能够明显减少由易出现差错信道引起的致命错误图像的发生，所以，改善了整个图像的质量。
另外，压缩比和编码效率通常与差错鲁棒性(robustness)成反比。在给定具有某个位预算的信道时，需要将冗余信息添加到以减少压缩比形式牺牲编码效率的源编码的位流中，以便使被编码的位流具有更强的容错性。除了上述特征之外，另外一个优点是在进行速率控制时冗余具有固定长度。用于冗余信息的位数量的变化可以导致非常好地逼近所希望的速率控制。
如上所述，根据本发明的视频编码和译码方法可以被用在视频编码器-译码器(CODEC)中，以避免在易出现差错信道中的错误译码，从而改善PSNR，借此增强整个图像的质量。
另外，根据本发明的视频编码和译码方法可以分别利用视频编码和译码装置执行。视频编码装置(未示出)最好包括信道信息接收单元、附加层确定单元和编码单元。信道信息接收部分接收表示信道差错分布的信道状态信息。附加层确定单元确定是否需要附加层。编码单元产生包含图像数据信息和管理信息的第一层数据字段。另外，编码部分将包含与有关第一层的信息对应的冗余信息的第一附加信息作为第二层数据字段添加到第一层数据字段中。另外，如果附加层确定单元确定只需要第二层或者第二和第三层都需要，那么，编码单元将把包含与第一层的信息对应的其它冗余信息的第二附加信息添加到包含第一辅助信息的信号中。
视频译码装置(未示出)最好包括位流输入单元、识别单元和译码单元。位流输入单元将已经被利用分层结构自适应添加了冗余信息的视频位流输入给由语法划分的数据包中。识别部分检测来自视频位流的再同步标志(Resync Marker)，以规定第一层，和识别指出在第一层中存在附加层的第一标记位。如果第一标记位表示存在附加层，则识别单元识别指出第二层开始的标志。另外，识别单元识别指出第三层存在的第二标记位。
如果第一标记位表示不存在附加层，则译码单元对第一层译码，如果第二标记位表示不存在第三层，则译码单元对第一和第二层译码。另外，如果第二标记位表示存在第三层，则译码单元对第一、第二和第三层译码。
通过运行来自计算机可用介质的程序，根据本发明的视频编码和译码方法可以被应用于通用数字计算机中，计算机可用介质包括但不局限于诸如磁存储介质(例如ROM、软盘、硬盘等)、光可读介质(例如CD-ROM、DVD等)和载波(例如经过Internet传输)的存储介质。从这里所包含的对本发明的描述中，普通计算机编程人员可以得到用于执行本发明的功能程序、代码和代码段。
权利要求
1.一种在用于经过通信信道发射和接收视频数据的视频数据收发信机中使用的视频编码方法，包括接收指出所述通信信道的差错分布的信道状态信息；在所述信道状态信息的基础上，利用分层结构自适应地将冗余信息添加到由语法划分的数据包中。
2.一种在用于经过通信信道发射和接收视频数据的视频数据收发信机中使用的视频编码方法，该方法包括(a)接收包含用于指出信道差错分布的信息的信道状态信息；(b)在所述信道状态信息的基础上确定是否需要附加层；(c)如果在步骤(b)确定不需要所述附加层，则组成包含视频数据信息和管理信息的第一层；(d)如果在步骤(b)确定只有第二层是需要的，则通过添加包含与有关所述第一层的信息对应的冗余信息的第一辅助信息构成第二层；(e)如果在步骤(b)确定第二和第三层都是需要的，则通过添加包含与有关所述第一层的信息对应的冗余信息的第一辅助信息而组成第三层，和通过添加与有关所述第一层的信息对应的其它冗余信息的第二辅助信息而组成第三层。
3.根据权利要求2所述的视频编码方法，其特征是，还包括如果在步骤(b)确定只有第二层需要或者第二和第三层都是需要的，则将预定的唯一标志添加到第二层结构中相应数据包的前导部分中。
4.根据权利要求2所述的视频编码方法，其特征是，还包括如果在步骤(b)确定只有第二层需要或者第二和第三层都是需要的，则添加指出附加层存在的第二标记位。
5.根据权利要求2所述的视频编码方法，其特征是，所述第一辅助信息包含与在第一层中的图像数据的编码参数相关的信息。
6.根据权利要求2所述的视频编码方法，其特征是，所述第一辅助信息包含指出是否执行编码的一个或多个COD位。
7.根据权利要求6所述的视频编码方法，其特征是，所述COD位由每个宏块3位组成。
8.根据权利要求2所述的视频编码方法，其特征是，所述第一辅助信息包含用于指出宏块的色度类型的每个宏块一个或多个MCBPC(MaCro块图案色度)位。
9.根据权利要求8所述的视频编码方法，其特征是，所述MCBPC位由将被编码的每个宏块5位组成。
10.根据权利要求2所述的视频编码方法，其特征是，所述第二辅助信息包含与在所述第一层中的图像数据的编码参数相关的信息。
11.根据权利要求2所述的视频编码方法，其特征是，所述第二辅助信息包含用于指出每个宏块MCBPC(MaCro块图案色度)位数量的多个位，所述MCBPC指出宏块的色度类型。
12.根据权利要求11所述的视频编码方法，其特征是，指出所述MCBPC位的数量的位由每个QCIF(四分之一公用中间格式(Quarter CommonIntermediate Format))4位组成。
13.根据权利要求12所述的视频编码方法，其特征是，所述第二辅助信息包含指出是否执行所述编码的一个或多个COD位。
14.根据权利要求13所述的视频编码方法，其特征是，所述COD位由每个宏块1位组成。
15.根据权利要求2所述的视频编码方法，其特征是，所述第二辅助信息包含用于指出所述宏块类型的MB(宏块)类型位。
16.根据权利要求15所述的视频编码方法，其特征是，所述MB类型位由每个宏块2位组成。
17.一种其上记录有用于视频编码的计算机程序的计算机可读介质，其中所述视频编码包括如下步骤(a)接收包含指出所述信道差错分布的信息的信道状态信息；(b)在所述信道状态信息的基础上确定是否需要附加层；(c)如果在步骤(b)确定不需要所述附加层，则组成包含图像数据信息和管理信息的第一层；(d)如果在步骤(b)确定仅仅需要第二层，则通过添加包含与所述第一层的信息对应的冗余信息的第一辅助信息而组成第二层；(e)如果在步骤(b)确定所述第二和第三层是需要的，则通过添加包含与所述第一层信息对应的冗余信息的第一辅助信息而组成第二层，和通过添加与所述第一层信息对应的其它冗余信息的第二辅助信息而组成第三层。
18.根据权利要求17所述的计算机可读介质，其特征是，所述视频编码还包括如果在步骤(b)确定只有第二层需要或者第二和第三层都是需要的，则将预定的唯一标志添加到所述第二层结构中相应数据包的前导部分中。
19.根据权利要求17所述的计算机可读介质，其特征是，所述视频编码还包括如果在步骤(b)确定只有第二层需要或者第二和第三层都是需要的，则添加指出存在附加层的第二标记位。
20.根据权利要求17所述的计算机可读介质，其特征是，所述第一辅助信息包含与所述第一层中图像数据的编码参数相关的信息。
21.根据权利要求17所述的计算机可读介质，其特征是，所述第一辅助信息包含用于指出是否执行编码的一个或多个COD位。
22.根据权利要求21所述的计算机可读介质，其特征是，所述COD位由每个宏块3位组成。
23.根据权利要求17所述的计算机可读介质，其特征是，所述第一辅助信息包含用于指出宏块色度类型的每个宏块一个或多个MCBPC(MaCro块图案色度)位。
24.一种用于对将被经过通信信道发射的视频数据进行编码的视频编码装置，所述视频编码装置包括用于接收包含指出信道差错分布的信息的信道状态信息的装置；用于在所述信道状态信息的基础上确定是否需要附加层的装置；和编码装置，用于产生包括图像数据信息和管理信息的第一层数据字段，如果所述用于确定是否需要附加层的装置确定只有第二层是需要的，则添加包含与所述第一层数据字段的信息对应的冗余信息的第一辅助信息作为第二层数据字段，和如果所述用于确定是否需要附加层的装置确定所述第二层和第三层都是需要的，则添加包含与所述第一层数据字段的信息对应的冗余信息的第一辅助信息作为第二层数据字段，和添加包含与所述第一层数据字段的信息对应的其它冗余信息的第二辅助信息作为第三层数据字段。
25.根据权利要求24所述的视频编码装置，其特征是，如果确定只有第二层需要或者第二层和第三层都是需要的，则所述编码装置将预定的唯一标志添加到相应层的前导部分中。
26.根据权利要求24所述的视频编码装置，其特征是，如果确定只有第二层需要或者第二和第三层都是需要的，则所述编码装置添加指出附加层存在的第二标记位。
27.根据权利要求24所述的视频编码装置，其特征是，所述第一辅助信息包含与所述第一层中图像数据的编码参数相关的信息。
28.根据权利要求27所述的视频编码装置，其特征是，所述第一辅助信息包含用于指出是否执行编码的一个或多个COD位。
29.根据权利要求28所述的视频编码装置，其特征是，所述COD位由每个宏块3位组成。
30.根据权利要求28所述的视频编码装置，其特征是，所述第一辅助信息包含用于指出宏块色度类型的每个宏块一个或多个MCBPC(MaCro块图案色度)位。
31.一种在用于经过通信信道发射和接收视频数据的视频数据收发信机中使用的视频译码方法，所述方法包括将已经被利用分层结构自适应添加了冗余信息的视频位流输入给由语法划分的数据包中；识别是否存在附加层和哪一层已经被添加；和在关于附加层的信息的基础上对相应的层译码。
32.一种在用于经过通信信道发射和接收视频数据的视频数据收发信机中使用的视频译码方法，所述方法包括将已经被利用分层结构自适应添加了冗余信息的视频位流输入给由语法划分的数据包中；通过检测来自所述视频位流的再同步标志规定第一层，和识别指出在所述第一层中是否存在附加层的第一标记位；如果所述第一标记位指出不存在所述附加层，则对所述第一层译码；如果所述第一标记位指出存在所述附加层，则识别指出第二层开始的标志；识别指出是否存在第三层的第二标记位；如果所述第二标记位指出不存在所述第三层，则对所述第一和第二层译码；如果所述第二标记位指出存在所述第三层，则对所述第一、第二和第三层译码。
33.一种其上记录有用于视频译码的计算机程序的计算机可读介质，其中所述视频译码包括如下步骤(a)将已经利用分层结构被自适应添加了冗余信息的视频位流添加到由语法划分的数据包中；(b)通过检测来自所述视频位流的再同步标志规定第一层，和识别指出在所述第一层中是否存在附加层的第一标记位；(c)如果所述第一标记位指出不存在所述附加层，则对所述第一层译码；(d)如果所述第一标记位指出存在所述附加层，则识别指出第二层开始的标志；(e)识别指出是否存在第三层的第二标记位；(f)如果所述第二标记位指出不存在所述第三层，则对所述第一和第二层译码；和(g)如果所述第二标记位指出存在所述第三层，则对所述第一、第二和第三层译码。
34.一种用于对编码视频数据进行译码的视频译码装置，包括用于将已经被利用分层结构自适应添加了冗余信息的视频位流输入给由语法划分的数据包的装置；识别装置，用于通过检测来自所述视频位流的再同步标志规定第一层，并识别用于指出在所述第一层中是否存在附加层的第一标记位，如果所述第一标记位指出存在附加层，则识别指出第二层开始的标志，和识别指出第三层是否存在的第二标记位；用于当所述第一标记位指出不存在所述附加层时对所述第一层译码、当所述第二标记位指出不存在第三层时对第一和第二层译码、和当所述第二标记位指出存在所述第三层时对所述第一、第二和第三层译码的装置。
全文摘要
一种视频编码和译码方法。该视频编码方法包括:接收指出通信信道差错分布的信道状态信息;根据信道状态信息利用分层结构将冗余信息自适应地添加由语法划分的数据包中。该视频译码方法包括:接收被编码的视频位流;识别是否存在附加层和哪一层被添加;和根据附加层的信息对相应层译码。该视频编码和译码方法能够用于视频编码—译码器(CODEC)以避免在易出现差错信道中的错误译码,从而改善了CODEC的容错。
文档编号H04N1/41GK1258168SQ99125449
公开日2000年6月28日 申请日期1999年11月2日 优先权日1998年11月2日
发明者朴东植, 刘国烈 申请人:三星电子株式会社