视频编码的制作方法

专利名称：视频编码的制作方法
技术领域：
本发明涉及-见频编码。
技术背景视频序列由 一 系列静止图像或帧构成。视频压縮方法是基于减少 视频序列的冗余和感觉上不相关的部分。视频序列中的冗余度可以分 为光谱、空间及时间冗余度。光谱冗佘度指的是相同图像的不同彩色 成分之间的相似性。空间冗余度是由图像中相邻像素之间的相似性所 导致的。由于出现在前一图像中的对象也可能出现在当前图像中，因 此存在时间冗余度。通过利用这种时间冗余度并且从称作锚点或参考 图像的另一图像来预测当前图像，可以实现压縮。通过产生描述当前 图像和前一图像之间运动的运动补偿数据，实现进一步压缩。但是，仅通过减小序列的固有冗余度通常无法实现足够的压缩。 因此，视频编码器还尝试降低视频序列中主观上不太重要的那些部分 的质量。另外，通过压缩参数和系数的有效无损编码，减小了编码比 特流的冗余度。主要技术是采用可变长度码。视频压缩方法通常区分采用时间冗余度压缩和不采用时间冗余度 压缩的图像。不采用时间冗余度压缩方法的压缩图像通常称作INTRA 或I帧或I图像。时间上预测的图像通常是从出现在当前图像之前的图 像进行正向预测，并且称作INTER或P帧。在INTER帧的情况下， 预测的运动补偿图像几乎都不够精确，因此把空间上压缩的预测差错 帧与各INTER帧相关联。INTER图像可以包含INTRA编码的区域。许多视频压缩方案还采用了时间上双向预测的帧，它们通常称作B图像或B帧。B图像插入I和/或P帧的锚点图l象对之间，并且根据 这些锚点图像中任一个或两个来进行预测。与正向预测图像相比，B 图像通常得到增大的压缩。B图像不用作锚点图像，也就是说，不根 据它们来预测其它图像。因此，它们可以被(有意或无意地)丟弃，而 不影响后续图像的图像质量。虽然与P图像相比，B图像可以改善压 縮性能，但是它们的产生要求较大的计算复杂度和存储器用量，并且 它们还引入额外的延迟。对于如视频流之类的非实时应用，这可能不 成问题，但是在如电视会议之类的实时应用中就会产生问题。压缩的视频剪辑通常由图像序列构成，它们可大致分为时间上独 立的INTRA图像和时间上差分编码的INTER图像。由于INTRA图像 中的压缩效率通常低于INTER图像，因此保守地使用INTRA图像， 尤其是在较低比特率的应用中。视频序列可以包含许多场景或镜头。不同场景之间，图像内容可 能明显不同，因此，场景中的第一幅图像通常是INTRA编码的。电视 和电影素材中存在频繁的场景变化，而在电视会议中场景剪接相对较 少。另夕卜，通常插入INTRA图像来停止重构的视频信号中的传输差错 在时间上的传播，以及向视频比特流提供随机存取点。压缩视频易受到传输差错的破坏，主要有两个原因。首先，由于 利用了时间预测差分编码(INTER帧)，在空间和时间上都传播了差错。 实际上，这意味着一旦出现差错，较长时间内肉眼容易看到。尤其易 受影响的是低比特率的传输，其中只有少量INTRA编码的帧，因此在 一段时间内时间上的差错传播不会停止。其次，可变长度码的使用增 加了对差错的敏感度。当比特差错改变了码字时，解码器会丢失码字 同步，并且还会对后续的无差错码字(包括若干比特)进行错误解码， 直到下一个同步(或开始)码为止。同步码是一种位^^莫式，它无法根据 其它码字的任何合法组合来产生，把这些码不时地添加到比特流中来 实现再同步。另外，在传输过程中丢失数据时会产生差错。例如，在 IP网络中采用不可靠的UDP传输协议的视频应用中，网元可能丟弃部分的编码视频比特流。接收机有许多方法来解决传输路径中引入的讹误。 一般，在接收 到信号时，首先检测传输差错，然后再由接收机来校正或隐藏。纠错 是指将错误数据恢复到完全象以前从未引入任何差错一样的处理。差 错隐藏是指隐藏传输差错的影响、使得在重构的视频序列中几乎看不 到这些差错的处理。通常由源或传输编码添加一定量的冗余度，以便 帮助差错检测、纠正以及隐藏。差错隐藏技术大致可分为三类正向 差错隐藏、通过后处理的差错隐藏以及交互差错隐藏。术语"正向差 错隐藏"是指这样一些技术，其中，发射机侧将冗余加入所发送的数 据，以便提高编码数据的差错恢复力。通过后处理的差错隐藏是指对 接收信号的特性作出响应而在解码器上进行的操作。这些方法估算错 误接收的数据的正确表示。在交互差错隐藏中，发射机和接收机配合 工作，以便使传输差错的影响减至最小。这类方法主要利用接收机提 供的反馈信息。通过后处理的差错隐藏也可称作纟皮动差错隐藏，而其 它两类代表主动差错隐藏的形式。现有大量已知的隐藏算法，在Y. Wang和Q. -F. Zhu的"视频通 信的差错控制和隐藏述评"(Proceedings of the IEEE，第86巻，第5 期，1998年5月，第974-997页)中以及在P. Salama、 N. B. Shroff、 E. J.Delp才是交给正EE Journal on Selected Areas in Communications的文章 "编码视频中的差错隐藏"中，对这些算法提供了述评。当前的视频编码标准为自给自足的视频比特流定义了语法。编撰 时最通用的标准是ITU-T建议H.263,"低比特率通信的视频编码"， 1998年2月；ISO/正C 14496-2,"视听对象的通用编码，第2部分 视觉，，，1999年(称作MPEG-4);以及ITU-T建议H.262(ISO/正C 13818-2)(称作MPEG-2)。这些标准定义了用于比特流以及相应地用于 图像序列和图像的分级结构。在H.263中，语法具有包括四层的分层结构图像层、图段层、 宏块层以及块层。图像层的数据包含影响整个图像区以及图像数挺解码的参数。这种数据的绝大部分安排在所谓的图像信头中。图段层可以是块层组或者一个片段层。缺省情况下，各图像被分为多个块组。 一个块组(GOB)通常包含16个相继的像素行。各GOB 的数据包含可选的GOB信头以及随后的宏块数据。如果使用可选的片 段结构化模式，则各图像神支分为若干片段而不是若干GOB。 一个片段 包含多个按扫描顺序排列的相继宏块。每片段的数据包含片段信头以 及随后的宏块数据。各GOB或片段-波分成多个宏块。 一个宏块涉及到亮度的16 x 16 个像素(或2x2个块)，以及空间上相应的色度分量的8 x 8个像素(或 块)。 一个块涉及到亮度或色度的8x8个像素。块层数据包含均匀量化的离散余弦变换系数，它们按Z字形顺序 被扫描，釆用游程长度编码器来处理，并采用可变长度码来编码。 MPEG-2和MPEG-4层分级结构类似于H.263中的一个。缺省情况下，这些标准一般将时间上的前一参考图像(I或P)(又称 作锚点图像)作为运动补偿的参考。这条信息不会一皮发送，也就是说， 比特流不包含标识参考图像的信息。因此，解码器无法检测是否丢失 了参考图像。虽然许多传输编码器将视频数据^:入若千数据包中并将 序号与这些数据包相关联，但这些序号不与视频比特流相关。例如， 一部分视频比特流可能包含P图像P1、 B图像B2、 P图像P3以及P 图像P4，它们按这种顺序被捕捉(以及被显示)。然而，该部分将会按 以下顺序进行压缩、传送及解码Pl、 P3、 B2、 P4，因为B2在能够 被编码或解码之前需要Pl和P3。假定每个图像有一个数据包，每个 数据包含有一个序号，并且携带B2的数据包已丟失，则接收机能够根 据数据包序号来检测该数据包丢失。但是，接收机无法检测是否丟失 了 P4的运动补偿参考图像或者是否丟失了 B图像，在该情况下它能 够正常地继续进行解码。因此，解码器通常向发射机发送INTRA请求，并冻结显示器上的 图像。但发射机可能不会响应这个请求。例如在非实时视频流应用中，发射机无法响应来自解码器的INTRA请求。因此，解码器冻结图像， 直至接收到下一个INTRA帧。在实时应用、如电视会议中，发射机可 能无法响应。例如，在多方会议中，编码器可能无法响应各个请求。 解码器还是冻结图像，直到发射机输出INTRA帧。 发明内容根据本发明的第一方面，提供一种对表示图像序列的视频信号进 行编码的方法，该方法既采用了非时间预测又采用了时间预测，其中 所述方法包括对于构成用于另 一图像的时间预测的参考图像的每个 图像，将指示符与每个这样的图像相关联，该指示符指明编码视频信 号中的参考图像相对于编码视频信号中的其它参考图像的时间顺序。这样，每个参考图像(如I帧和P帧)均与序号相联系。最好是在每 次对参考图像进行编码时使指示符递增。最佳方法是，在每次对参考 图像进行编码时使指示符加一。这样，指示符在前一参考图像的基础 上加一。如果使用多层编码，则这个指示符最好是在相同增强层中的前一 参考图像的基础上加一。包含该指示符意味着解码器能够确定是否丟失了参考图像并且在 有效时采取适当的行动。即使传输协议未包含与发送的数据包有关的 序列信息，或者发射机使用了变化封装策略，情况也是如此。例如， 如果发射机在一个数据包中封装了不定数量的GOB,则接收机即使能 够根据数据包序号来检测数据包丢失，也无法可靠地知道丢失了多少 GOB或者整个图像。本发明还使解码器能够把B图像丟失与参考图像丟失区分开。因 此，解码器在B图像丢失之后能够继续进行解码，而不是等待下一个 INTRA图像。另外，如果丢失了来自较高增强层的参考图像，则解码器可以继 续对较低增强层进行解码。参考图像序号可以与整个图像或图像的一部分有关。在前一种情况下，参考图像序号通常包含在图像信头中。在本发明的一种最佳实现中，视频信号是根据H.263标准编码的，而指示符包含在附加增强 信息中。在RPON与图像的一部分有关的情况下，参考图像序号可以 包含在编码图像的图段信头或宏块信头中。根据本发明的笫二方面，提供一种对表示图像序列的编码视频信 号进行解码的方法，该方法包括接收编码视频信号；对每个接收的 图像进行解码；对于构成另 一个图像的参考图像的每个待解码图像， 检查表示参考帧的时间顺序的指示符；以及如果指示符不是连续地从 紧靠前面的已解码的参考帧得出的，则检测丟失的参考帧。解码器最好是向发射机发送请求，使其在指示符不是连续地从紧 靠前面的已解码的参考帧得出的情况下，以非时间方式对图像进行编 码。根据本发明的第三方面，提供一种编码视频信号，其中，对于构 成用于另一图像的时间预测的参考图像的每个图像，将指示符与每个 这样的参考图像相关联，指示编码视频流中参考图像的时间顺序。根据本发明的第四方面，提供一种视频编码器，它包括输入，用 于接收表示图像序列的视频信号以及产生编码图像，所述编码器被设 置成既采用非时间预测又采用时间预测，其中所述编码器^皮设置成 对于构成用于另 一图像的时间预测的参考图像的每个图像，将各参考 图像与指示符相关联，指示符指明编码视频信号中的参考图像相对于编码视频信号中的其它参考图像的时间顺序。最好是在每次对参考图像进行编码时使指示符递增。 根据本发明的第五方面，提供一种视频解码器，它包括用于接 收表示图像序列的编码视频信号的输入；用于对每个接收的图像进行 解码的解码器，所述解码器被设置成对于构成另一图像的参考图像的 每个待解码图像、检查表示参考帧的时间顺序的指示符，并且在指示符不是连续地从紧靠前面的解码参考帧得出的情况下，检测丟失的参 考帧。本发明还涉及便携式无线电通信装置，其中包括上述的编码器和/ 或解码器。


仅以举例的方式参照附图来描述本发明，图中 图1说明一种多々某体移动通信系统； 图2说明多^ 某体终端的多i某体组件的一个实例； 图3说明视频编解码器的一个实例；图4说明根据本发明的第一实施例的视频编码器的第一种实现的 操作；图5说明根据本发明的第一实施例的视频编码器的第二种实现的操作；图6说明根据H.263所知的比特流的语法；图7说明根据本发明的编码器所输出的比特流的第 一实例；图8说明根据本发明的编码器所输出的比特流的第二实例；图9说明根据本发明的编码器所输出的比特流的第三实例；图IO说明视频编码中用于SNR可缩;故性的增强层；以及图11说明视频编码中用于空间可缩放性的增强层。
具体实施方式
图1说明一种典型的多々某体移动通信系统。第一多々某体移动终端 1通过到移动通信网络4的无线电链路3与第二多J 某体移动终端2进 行通信。在两个终端l、 2之间发送控制数据以及多媒体数据。图2说明终端1的典型多力某体组件。终端包括视频编解码器10、 音频编解码器20、数据协议管理器30、控制管理器40、复用器/分用 器50以及调制解调器60(如杲需要的话)。视频编解码器10从终端的 视频捕捉装置(未标出)(如摄像机)接收要编码的信号，以及从远程终端 2接收要解码的信号，以供终端1在显示器70上显示。音频编解码器 20从终端1的传声器(未标出)接收要编码的信号，以及从远程终端2 接收要解码的信号，以便通过终端1的扬声器(未标出)再现。..10控制管理器40控制视频编解码器10、音频编解码器20以及数据 协议管理器30的操作。但是，由于本发明与视频编解码器10的操作 有关，因此不再对音频编解码器20和协议管理器30进行讨论。图3说明根据本发明的视频编解码器10的实例。视频编解码器包 括编码器部分100和解码器部分200。编码器部分100包括输入101 ， 用于从终端1的摄像机或视频源(未标出)接收视频信号。切换器102 使编码器在编码的INTRA模式和INTER模式之间进行切换。在INTRA模式中，来自输入101的视频信号由DCT变换器103 转换为DCT系数。然后，DCT系数^皮传递乡合将系数量化的量化器104。 切换器102和量化器104均由视频编解码器的编码控制管理器105控 制，编码控制管理器105还通过控制管理器40从接收终端2接收反馈 控制。在INTER模式中，对切换器102进行操作，以便从减法器106接 收来自输入101的信号与存储在图像存储器107中的前一图像之差。 从减法器106输出的差数据表示当前图像与存储在图像存储器107中 的前一图像之间的预测误差。使量化器输出的数据通过逆量化器108， 并将逆DCT变换109应用于逆量化的数据，从而产生图像存储器107 中的数据。所产生的数据由加法器IIO加入图像存储器107的内容中。 运动估算器111可以从图像存储器107的数据中以传统方式产生运动 补偿数据。编码控制管理器105确定是应用INTRA还是应用INTER编码， 或者完全根据减法器106的输出或者对接收解码器接收的反馈控制数 据作出响应，对帧进行编码。在不对反々贵控制数据作出响应时，或者 仅在编码开始时(所有其它帧是P帧)，或者按照一定间隔，例如每5 秒，或者在减法器的输出超过阈值时，即当前图像和存储在图像存储 器107中的图像大不相同时，编码器通常将帧编码为INTRA帧。还可 以对编码器进行编程，以便按特别规定的序列、如IBBPBBPBBP BBPBBIBBP等对帧进行编码。另外，编码控制管理器还可以确定对某个接收的帧完全不编码。在当前帧和参考帧之间的相似性极高、 使得编码器决定不对当前帧进行编码时，出现这种情况。编码控制管 理器相应地操作切换器。视频编解码器输出经量化的DCT系数112a、量化索引112b(即所 用量化器的详细资料)、表明所执行的编码模式(I或P/B)的 INTRA/INTER标志112c、表明所编码的帧的号码的发送标志112d以 及所编码的图像的运动矢量112e。它们与其它多媒体信号共同由复用 器50复用在一起。视频编解码器10的解码器部分200包括逆量化器120、逆DCT 变换器121、运动补偿器122、图像存储器123以及控制器124。控制 器124接收由分用器50从编码多々某体流中分用的视频编解码器控制信 号。实际上，编码器的控制器105和解码器的控制器124可以是同一 个处理器。下面说明根据本发明的编码器的操作。视频编解码器IO接收待编 码的视频信号。视频编解码器的编码器IOO通过执行DCT变换、量化 以及运动补偿来对视频信号进行编码。然后，经解码的视频数据输出 给复用器50。复用器50将来自视频编解码器10的视频数据和来自控 制管理器40的控制数据(以及其它适当的信号)复用为多々某体信号。终 端1将此多媒体信号经调制解调器60(根据需要)输出给接收终端2。在本发明的第 一实施例中，每次编码器对可能形成后续帧的参考 帧的一帧进行编码时，编码控制管理器105将所谓的参考图像序号 (RPON)与该帧相关联。例如，RPON与-见频信号的每个I或P帧相关 联，但不与B帧相关联。每次对连续参考图像进行编码时，使RPON 值递增，最好是加l。编码控制管理器105在输出112f处输出RPON码字，指明与所编 码的帧相关联的参考图像序号。由复用器将其复用到视频比特流中。图4说明编码器的操作。在本实施例中，编码器被设置成当所编 码的帧和参考帧之间的相似性小于第一阈值时，即减法器.〗06的输出大于第一阈值时，输出I帧。否则，编码器输出P帧。图4的第一行 表示从捕捉输入装置接收并在输入101处输入视频编码器中的数据的帧。图4的第二行表示编码器决定编码的输入信号的帧和用于对各帧进行编码的编码片莫式。如上所述，编码控制管理器可以决定不对某帧进行编码图4通过未对帧2、 3和11编码的事实举例说明这种情况。以INTRA模式对帧1进行编码；参考帧1将帧4编码为P帧；参 考帧4将帧5编码为P帧；参考帧5将帧6编码为P帧；参考帧6将 帧7编码为P帧；将帧8编码为I帧；参考帧8将帧9编码为P帧； 参考帧9将帧IO编码为P帧；参考帧10将帧12编码为P帧。在本实施例中，所有的(最后 一帧除外)编码帧用作后面帧的参考 帧。因此，RPON与所有待编码的帧相关，如图4的第三行所示。可 以看到，RPON每次增加1 。图4的第四行说明编码帧的时间参考(TR)。这是一个包含在H.263 中的字段，将时间上的前一参考图像信头中的TR值加一，再加上自 前一发送的图像以来跳过的图像或非参考图像的数目，从而形成TR 的值。因此，在图4所示的实例中，所示各帧的TR与输入到102的 原始信号的原始编号相同。图5说明根据本发明的编码器的第二实施例。在本实施例中，编 码器被设置成按照常规的序列IBBPBBPBBPBBPBBIBBP 对帧进行编码。图5的第一行表示输入帧，第二行表示编码帧及其编 码才莫式，即I、 P或B。各帧是以l、 2、 3、 4、 5、 6等的顺序从-f见频捕捉装置中接收的， 并以该顺序显示，也就是说，经解码的帧以II、 B2、 B3、 P4、 B5、 B6、 P7等的顺序进行显示。但是，视频比特流是按照以下顺序II、 P4、 B2、 B3、 P7、 B5、 B6等进行压缩、传送以及解码的。这是因为每个 B帧在可以;波编码/解码之前需要前面的和后续的参考帧，也就是说， 在可以对帧B2编码/解码之前，帧B2要求帧II和P4先编码/解码。如上所迷，B帧插入I和/或P帧的锚点图像对之间，并根据这些锚点图像中任一个或者两个来进行预测。这样，如图5所示，以INTRA 冲莫式对帧1编码；参考帧1和/或6将帧4编码为B帧；参考帧1和/ 或6将帧5编码为B帧；参考帧1将帧6编码为P帧；参考帧6和/ 或9将帧7编码为B帧；参考帧6和/或9将帧8编码为B帧；参考帧 6将帧9编码为P帧；参考帧9和/或13(未标出)将帧10编码为B帧； 参考帧9和/或13将帧12编码为B帧，等等。在本实施例中，编码序列的每个I帧和P帧用作另 一帧的参考帧。 但B帧不作为其它任何帧的参考图像。因此，RPON与所有I帧和P 桢相关联，如图5的第三行所示。可以看到，RPON每次增加1。因此， 帧1(1帧)的RPON为1 ，帧4(P帧)的RPON为2,以及帧9(P帧)的RPON 为3。图5的第四行说明编码帧的时间参考(TR)。在图4所示的实例中， 所示的各帧的TR与输入到10的原始信号中出现的顺序相同。考虑终端1从终端2接收编码的视频数据，参照视频编解码器10 的解码作用对其操作进行说明。终端1从发送终端2接收多i某体信号。 分用器50对多々某体信号进行分用，并将视频数据传递给视频编解码器 10，以及将控制数据传递给控制管理器40。视频编解码器的解码器200 通过对数据进行逆量化、逆DCT变换以及运动补偿，对编码的视频数 据进行解码。解码器的控制器124检验所接收数据的完整性，如果检 测到差错，则尝试以下述方式来隐藏该差^"。然后输出经过解码、纠 错以及隐藏的视频数据，以便在接收终端1的显示器70中再现。视频数据中的差错可能出现在图像层、GOB层或宏块层。差错检 验可在任何层或所有层上进行。首先考虑如图4所示的信号，当根据本发明的解码器接收这个信 号时，对该信号的每帧以传统方式进行解码，然后显示在显示装置上。 可按照传统方式对经过解码的帧进行纠错及隐藏差错。每次对帧进行 解码时，解码器检查TR字段以确定显示该帧的时间。如果TR不是连 续的(例如，解码器收到TR-1的帧，然后收到TR=4的帧)、,按照常规，解码器将帧1保持在显示器上的时间是通常帧周期的三倍。解码器还检查接收的帧的RPON。在图4所示的情况下，解码器接收帧1,并确 定该帧具有RPON-l;然后，解码器接收TR=4且RPON=2的帧。解 码器将当前接收的帧的RPON与以前接收的帧的RPON进行比较，并 计算这些RPON值之差。在这种情况下，差值为1，因此解码器知道 在当前帧和以前解码的参考帧之间没有丟失参考图像。因此，解码器 继续以常规方式对信号进行解码。下面假定解码器无法重构帧5(可能是由于数据被过多破坏或完全 丟失)而且解码器所接收并解码的下一帧是帧6。解码器将当前所接收 的帕(帧6)的RPON与以前接收并解码的帧(帧4)的RPON进行比较， 并计算这些RPON值之差。在这种情况下，差值为2,因此，解码器 知道在当前帧的传输和前一帧的传输之间丟失了参考图像。如杲解码 器具有向发送视频编码器发送控制反馈数据的装置，解码器就可以向 发送视频编码器发送请求，以便将帧编码为INTRA帧，从而停止由于 参考帧4对帧6进行解码而产生的时间差错传播。下面考虑如图5所示的信号，当根据本发明的解码器接收这个信 号时，按常规方式对该信号的每帧进行解码，然后显示在显示装置上。 可按常规方式对经过解码的帧纠错及隐藏差错。每次对帧进行解码时， 解码器检查TR字段以确定显示该帧的时间。解码器还检查所接收的 帧的RPON。在图5所示的情况下，解码器接收帧1，并确定该帧具有RPON4。 解码器按常规的INTRA才莫式对该帧进行解码。解码器所接收的下一帧 则是具有TR=6且RPON=2的帧6。解码器将当前接收的帧(帧6)的 RPON与以前接收并解码的参考帧(帧l)的RPON进行比较，并计算这 些RPON之差。在这种情况下，差值为1,因此，解码器知道在当前 帧的传输和以前解码的参考帧的传输之间没有丟失参考图像。随后， 解码器参考帧1对帧6进行解码。然后，解码器接收具有TR-4而且没有RPON的帧。在这种情况下，解码器不再使用RPON,而参考经解码的帧1和6对帧4进行解 码。下面假定解码器无法重构帧5(这可能是由于数据被过多破坏或完 全丟失)。B帧5丟失的事实对解码器不重要，因为B帧不形成其它任 何帧的参考图像，因此，它的丟失不会引入任何时间差错传播。下一个待4^收的帧是帧9。不过，这里々￡定解码器无法重构作为P 帧的帧9(可能是由于数据被过多破坏或完全丟失)。因此，解码器可能 无法顺利地对帧7、 8、 10或12中任一个进行解码，因为它们可能都 是至少部分地参考帧9来预测的。在这种情况下，解码器通常会冻结 所显示的图像。解码器所接收并解码的下一帧是帧13。解码器将当前接收的参考 帧(帧13)的RPON与以前所接收并解码的参考帧(帧6)的RPON进行比 较，并计算这些RPON之差。在这种情况下，差值为2，因此，解码 器知道在当前帧和以前解码的参考帧之间丟失了参考图像。如果解码 器具有向发送视频编码器发送控制反馈数据的装置，解码器就可以向 发送视频编码器发送请求，以便将帧编码为INTRA帧，从而停止由于 参考帧6对帧13进行解码而产生的时间差错传播。下面参照H.263视频编码标准来说明如何可将参考图像序号包含 在编码信号中。图6说明根据H.263所知的比特流的语法。以下实现说明了 GOB 格式，但是，本领域的技术人员应当清楚，本发明也可按照片段格式 来实现。如前文所提到的，比特流具有四层图像层、图段层、宏块层以 及块层。图像层包括图像信头，其后是块组的数据，最后是可选序列 结束码及填充位。先有技术H.263比特流纟支格式化成如图6所示。每个部分的描迷 符如下PSC图像开始码(PSC)指示图像的开始CPMPSBI TRBDBQUANT PEITR 通过把时间上的前一参考图像信头中的TR值加一并且加上自先前发送的一个以来跳过的或非参考图像的数 目来形成时间参考(TR) PTYPE 其中，PTYPE包括图像编码类型、即INTRA或INTER 的详细情况PQUANT指示直到由任何后续量化器信息更新为止用于图像的 量化器的码字用信号通知可选的连续出现多点和视频复用(CPM)模 式的使用的码字图像子比特流指示符一仅在设置了 CPM时出现 在帧为双向预测帧(称作PB帧)的情况下出现 在双向帧的情况下出现这涉及额外插入信息，并设置为"1"以表示下列可 选数据字段PSUPP和PEI的出现。PSUPP和PEI统 称为补充增强信息，在H263的附录L中有进一步定 义GOBS是当前图像的块组的数据 ESTF 为获得EOS之前的字节对齐而提供的填充码字EOS 表示图像的数据序列的结束的码字PSTUF 供下一图像开始码PSC的字节对齐用的填充码字 如图4所示的结构不包括可选的PLUSTYPE数据字段。PSBI仅 在CPM指示的情况下出现。TRB和DBQUANT仅在PTYPE指示使用 了所谓的PB帧模式的情况下出现(出现PLUSTYPE字段并且其中指示 使用了 DBQUANT的情况除外)。H.263规范中更详细地陈述了这些事 项。下文概述了根据本发明第 一方面的编码器所输出的比特流的可能 的实现。参考图像序号可以按如下方式结合到H.263比特流中。图，说明才艮据本发明的第一种实现的编码器所输出的比特流的实例。如图7所示，比特流包括另一个码字RPON，这是一个表示参考图像序号的码 字。如上所述，它由根据本发明的编码器插入。或者，参考图像序号可以包含在补充增强信息PSUPP中(参阅 H.263的附录L以及图4)。补充信息可以出现于比特流中，即使解码 器也许不能提供增强功能来使用它或者甚至是正确地解释它。简单地 丟弃补充信息是解码器可允许的，除非发射机和接收机已协商了提供 所请求功能的需要。如果PEI设置为"1",则随后有9位，其中包括8位数据(PSUPP) 以及另 一个指示是否随后还有9位的PEI位，等等。PSUPP数据包括一个4位函数类型指示FTYPE，随后有一个4位 参数数据大小规格DSIZE，随后是函数参数数据的DSIZE字节，其后 可选地跟随另 一个FTYPE,等等。已知采用这种PSUPP码字来以信 号方式通知各种情况，比如指示整个图像或部分图像在调整或不调 整大小的情况下冻结或取消冻结请求；标记视频流中的特定图像或图 像序列以供外部使用；或者为视频合成传送色键信息。为了采用补充增强信息来实现本发明，另 一个FTYPE被定义为参 考图像序号。图8说明一个实例，其中，参数RPON包含在图像信头的SEI中。 FTYPE被定义为RPON。 DSIZE指定参数大小，随后的字节是参数数 据、即RPON的值。根据该值，接收解码器能够确定是否丢失了参考 图像。或者，信息可以包含在附加的补充增强信息中，如"新附录W的 草案附加补充增强信息规范，，(P. Ning和S.Wenger, ITU-T Study Group 16 Question 15 Document Ql5-1-58， 1999年11月)所述。在该提议草案中，FTYPE 14被定义为"图像消息"。在设置了这 个FTYPE时，图像消息函数指示一个或多个代表消息数据的八位字节 的出现。消息数据的第一个八位字节是具有如图9所示结构的消息信头，即CONT、 EBIT以及MTYPE。 DSIZE等于与图像消息函数对应 的消息数据中八位字节的数量，包括第 一个八位字节消息信头。继续字段CONT如果等于1，则表示与图像消息相关的消息数据 是与和下 一 图像消息函数相关的消息数据相同的逻辑消息的 一部分。结束比特位置字段EBIT指定最后一个消息字节中应忽略的最低有效 位的数量。这些字段的详细情况可查阅上述附录W的草案。字段MTYPE指示消息的类型。附录W的草案中建议了各种类型 的消息。根据本发明， 一种类型、如MTYPE12被定义为RPON或图 像编号。消息包含两个带有IO位图像编号的数据字节。因此，DSIZE 应当为3， CONT应为0，以及EBIT应为6。在10位才莫运算中，对于 每个经编码并发送的I或P图像或PB或改进的PB帧，图像编号应当 加l。对于EI和EP图像，对于相同可缩放性增强层内的每个EI或EP 图像，应增大图像编号。对于B图像，应相对于B图像的参考层中按 比特流顺序在B图像之前(时间上在B图像之后的图像)的最近的非B 图像的值来增大图像编号。如果相同增强层中的相邻图像具有相同的 时间参考，并且如果正在使用参考图像选择;溪式(参见附录N),则解码 器应将这种情况看作是已经发出大致相同图像场景内容的冗余副本的 指示，并且所有这些图像应共用相同的图像编号。如果相同增强层中 的两个连续接收的非B图像的图像编号之差(才莫1024)不为1,并且如 果这些图像不表示上述大致相同的图像场景内容，则解码器可推断图 像丟失或数据损坏。在消息信头之后的八位字节中定义RPON的值。在一个特定实例中，这种消息包含一个数据字节，即DSIZE为2， CONT为0,以及EBIT为0。参考图像序号在以前编码的参考图像的相应编号的基础上加1 。 增量结果的最低有效的8位放置在与该消息相关的数据字节中。本发明还可根据H.263的附录U来实现。参照对双向预测图像(B图像)进行编码的编码视频流进行^上描 述。如上所述，B图像决不用作参考图像。由于它们可以被丟弃而不会影响后续图像的图像质量，因此，它们提供了时间可缩放性。可缩 放性允许在一个以上的质量等级上对压缩视频序列进行解码。换句话 说，可以对可缩放的多々某体剪辑进行压缩，使得它能够以不同的数据率在信道上进行传递，并且仍然可对其实时地解码和重;^丈。因此，视频流可以按照不同方式通过不同的解码器进行解码。例 如，如果这是解码器能够获取的最大解码速率，则该解码器可以决定 仅对信号的I和P图像进行解码。不过，在解码器有能力的情况下， 它也可以对B图像进行解码，从而提高图像显示速率。因此，通过仅 对I和P图像进行解码的解码器，会增强显示图像的所感受图像质量。 通常对可缩放多媒体进行排序，使得存在数据的分层。基层包含 多i某体剪辑的基本表示，而增强层则包含处于基础层之上的提炼数据。因此，增强层改进了剪辑的质量。可缩放性是多机种、易出错环境所需要的特性。需要这种特性以 防止某些限制，诸如比特率、显示分辨率、网络吞吐量以及解码器复 杂度上的约束。在分层编码与传输优先化相结合的传输系统中，可缩放性能够用 来改进差错恢复力。逸里，术语"传输优先化"是指在传输中提供不 同质量的业务的各种机制，包括不等差错保护，以便提供具有不同差 错/丢失率的不同信道。数据可根据其特性进行不同的分配。例如，基 层可通过具有高度差错保护的信道进行传送，而增强层则可通过较易 出错的信道进行传送。一般来说，与不可缩放编码相比，可缩放多々某体编码会遇到较差 的压缩效率。换句话说，与编码成具有同等质量的不可缩放单层剪辑 相比，编码成具有增强层的可缩放多々某体剪辑的多+某体剪辑需要更大 的带宽。但是，这种一般规则存在例外情况，例如视频压缩中的时间 上可缩》i:的B帧。本发明可应用于其它可缩放视频压缩系统。例如，H.2634十录O 中定义了两种其它形式的可缩;改性信噪比(SNR)可缩;改性和空间可縮放性。空间可缩放性和SNR可缩放性密切相关，唯一差别在于通过空间可缩放性所提供的经提高的空间分辨率。SNR可缩放图像的一个实例 如图10所示。SNR可缩放性是指创建多速率比特流。它允许恢复原 始图像与其重构图像之间的编码差错或差异。这是利用更精细的量化 器对增强层中的差异图像进行编码来实现的。这种附加信息增大了整 个再现图像的SNR。空间可缩放性允许创建多分辨率的比特流，以满足不同的显示要 求和/或约束。图ll说明一种空间上可缩放的结构。它与SNR可缩放 性基本相同，不同之处在于空间增强层尝试恢复重构的参考层图像 的上升抽样形式与原始图像的较高分辨率形式之间的编码损失。例如， 如果参考层具有四分之一公用中间格式(QCIF)分辨率，而增强层具有 公用中间格式(CIF)分辨率，则参考层图像必须相应地进行缩放，使得 由其可预测增强层图像。对于单增强层，QCIF标准允许分辨率仅在垂 直方向、仅在水平方向或同时在垂直和水平方向上增大到两倍。可以 存在多个增强层，每层均在前一层上增加图像分辨率。用于对参考层 图像进行上升抽样的内插滤波器在H.263标准中有明确的定义。除了 从参考至增强层的上升抽样过程之外，空间缩放图像的处理及语法与 SNR缩放图像相同。无论在SNR还是在空间可缩放性中，增强层图像均称作EI或EP 图像。如果增强层图像是以参考层中的图像为基础向上预测的，则增 强层图像称作增强I(EI)图像。在这种类型的可缩放性中，参考层表示 当前增强层"之下，，的层。在某些情况下，当参考层图像的预测较差 时，在增强层中会出现图像的静态部分的过度编码，产生不必要的过 度比特率。为了避免这种问题，在增强层中允许正向预测。能够从前 一增强层图像进行正向预测或者从参考层图像向上预测的图像称作增 强P(EP)图像。应当指出，计算向上及正向预测图像的平均'袓能够为 EP图像提供双向预测。对于EI和EP两种图像，根据参考层图像进行向上预测意"木着不需要任何运动矢量。在EP图像的正向预测的情况 下，需要运动矢量。根据本发明，如果编码器能够进行多层编码(如H.263的附录O中 所述)，则为各层的参考图像提供连续的参考图像序号。它们可与当前 图像的增强层编号(ELNUM)相关联。参考图像序号是由相同增强层中 前一编码参考图像的相应编号加1。如图10和11所示，增强层的图像可根据增强层的前面图像和/或 根据基层的等效I或P图像进行预测。增强层不可根据参考层中的B 图像进行预测。如果同 一增强层中的相邻图^f象具有相同的时间参考，并且如果正 在使用H.263的附录N或附录U，则解码器最好是将这种情况视为已 发出大致相同的图像场景内容的冗余副本的指示，并且所有这些图像 共用相同的RPON。根据本发明的解码器在接收到如上所述的多层信号时，尝试以传 统方式对该信号进行解码。在各层中，每次对参考图像进行解码时， 解码器检查所解码图像的RPON。如果解码器确定增强层中丟失了参 考图像，则解码器停止显示来自增强层的图像，直至接收到EI图像。 解码器继续对基层进行解码，如上所述。本发明并未限制于上述视频编码协议它们仅作为示范。本发明 适用于任何可采用时间预测的视频编码协议。如上所述的信息增加允 许接收解码器确定已丟失了参考图像并采取相应的动作。
权利要求
1.一种对表示图像序列的视频信号进行编码的方法，所述方法既采用非时间预测又采用时间预测，其中所述方法包括对于构成用于另一图像的时间预测的参考图像的每个图像，将指示符与每个这样的图像相关联，所述指示符指示编码视频信号中的参考图像相对于所述编码视频信号中的其它参考图像的时间顺序。
2. 如权利要求1所述的方法，其特征在于还包括在每次对参考图 像进行编码时，使所述指示符递增。
3. 如权利要求2所述的方法，其特征在于还包括在每次对参考图 像进行编码时，将所述指示符加一。
4. 如任一上述权利要求所述的方法，其特征在于，所述指示符包 含在图像信头中。
5. 如权利要求3所述的方法，其特征在于，所述视频信号是根据 H.263标准进行编码的，而所述指示符包含在补充增强信息中。
6. —种对表示图像序列的编码视频信号进行解码的方法，所述方 法包括接收编码视频信号；对每个接收图像进行解码；对于构成另 一图像的参考图像的每个待解码图像，检查表示参考帧的时间顺序的 指示符；以及当所述指示符不是由紧靠前面的解码参考帧连续地得出 时，检测丟失的参考帧。
7. 如权利要求6所述的方法，其特征在于还包括在所述指示符不 是由紧靠前面的解码参考帧连续地得出时，向发射机发送请求，以非 时间方式对图像进行编码。
8. —种编码视频信号，其中对于每个构成用于另一图像的时间预 测的参考图像的图像，将指示符与每个这样的参考图像相关联，所述 指示符指示所述编码视频流中参考图像的时间顺序。
9. 一种视频编码器，它包括输入，用于接收表示图像序列的视频信号以及产生编码图像，所述编码器设置成既采用非时间预测又采用时间预测，其中所述编码器设置成对于构成用于另一图像的时间预 测的参考图像的每个图像，将各个参考图像与指示符相关联，所述指 示符指示所述编码视频信号中的参考图像相对于所述编码视频信号中的其它参考图像的时间顺序。
10. 如权利要求9所述的视频编码器，其特征在于还包括用于在 每次对参考图像进行编码时使所述指示符递增的装置。
11. 一种视频解码器，它包括输入端，用于接收表示图像序列 的编码视频信号；解码器，用于对每个接收图像进行解码，所述解码 器设置成对于构成另 一图像的参考图像的每个待解码图像，检查表示 参考帧的时间顺序的指示符，并且在所述指示符不是由紧靠前面的解 码参考帧连续地得出时，检测丟失的参考帧。
12. —种便携式无线电通信装置，它包括如权利要求9或IO所述 的编码器和/或如权利要求11所述的解码器。
全文摘要
一种对表示图像序列的视频信号进行编码的方法，该方法既采用非时间预测又采用时间预测，其中所述方法包括对于构成用于另一图像的时间预测的参考图像的每个图像，将指示符与每个这样的图像相关联，该指示符指示编码视频信号中的参考图像相对于编码视频信号中的其它参考图像的时间顺序。
文档编号H03M7/36GK101252696SQ20081008532
公开日2008年8月27日 申请日期2001年5月11日 优先权日2000年5月15日
发明者M·汉努克塞拉 申请人:诺基亚有限公司