专利名称：采用信息传输方法的信息传输系统中的信息传输方法及编解码装置及编码复用/解码解 ...的制作方法
技术领域：
本发明涉及用无线通信网如ISDN，因特网或如PHS网的射频通信网或卫星通信网来传送编码视频图象/静止图象的数据传输方法，及采用该方法的数据传输系统中的编解码装置。
由于近年来对各种信息如图象信息的数字编码技术及宽带网技术的发展，采用这些技术的应用已得到巨大的发展，并开发了采用通信网传输压缩编码图象等的系统。
如视频电话，电话会议系统及数字电视采用了将视频、语音信息压缩编码为小数据量的技术，将压缩视频数据流、压缩声音码流及其它数据流多路复用到一个码流的技术，传输/保存它的技术。
对视频压缩编码，已发展了运动补偿技术，离散余弦变换(DCT)，子带编码，分层编码，变长编码等技术及溶合这些技术的方法。国家标准视频编码方法包括ISO MPEG1，MPEG2，ITV-TH.261，H.262及H.263。国家多路复用视频、语音/音频信号及其它数据的压缩码流的标准方法包括ISO MPEG系统，ITU-TH.221及H.223。
如上述视频编码国家标准方法之一的传统视频编码中，视频信号被分成帧，每帧又被分为小区，这样以GOBs，宏块或类似的单元来编码信号。每帧，GOB及宏块中加入指示编码方式等的头信息。解码整个GOBs或类似的时需要这些头信息。这样若传输路径/存贮媒体引入的差错使视频解码器不能解码头信息时，整个附加了该头信息的帧，GOB等均不能被正确解码。由此，视频解码器重构图象的质量大大降低了。
用通信网传输压缩编码图象数据时，接收端必须从“0”及“1”的传送比特流中解码数据以重构重要信息。为此，作为指明编码预定块比特流的专用规则的信息，上述头信息有很重要的作用。这样的头信息包括如指明当前编码帧的预测类型的信息(帧内编码，帧间编码等)，指明帧显示定时(时间参照)的信息，量化的步长信息等。若丢失了这些头信息，其后传送的信息不能被正确解码。
假定由于某种原因比特流中有一差错，使得将指明帧预测类型的信息从帧间编码改为帧内编码。此时，即使其后的实际信息被正确传送，由于解码端判定信号是帧内编码，最终信号不能被正确解码，因此视频解码器重建图象的质量大大降低。
现在将盛行使用无线通信网的系统。甚至假定所用卫星通信的差错率极低，并建立了使用射频通信系统的系统。因此没有足够地考虑传输码流结构的抗差错性，并没有很好地保护重要信息如头信息以避免传输路径的差错。
移动通信主流的一部分PHS系统中，差错率约为卫星通信的十万倍或百万倍。故仅根据传统技术编码的比特流的纠错，不能完全纠错。象PHS系的因特网系统中，它被预测为通信主流的一部分，数据中可能出现的差错类型的统计规律还不清楚，故有时不能执行合适的纠错。另外，PHS与因特网系统中，可能会丢失部分码流信息。理论上，纠错不能处理这种情况。因此，码流结构本身要有抗错性。
如上述，没有很好地考虑传输码流结构的抗错性。也没有很好地对重要信息如头信息考虑传输路径差错，特别是，其中有传输路径差错时图象质量大大降低。
本发明的一个目的是提供一信息传输方法，通过给码流结构本身提供抗错性，及在采用该方法的信息传输系统中提供一编/解码装置，即使是重要信息如头信息中引入传输路径差错时也能高质量地解码图象信号。
根据本发明，提供了一信息传输方法，包括使发送端在给编码信息附加重构信息后发送重构头信息或部分头信息的内容所需的重构信息，使接收端校验错误头信息或部分头信息的错误，当校验中发现错误时使用重构信息作为替代来解码编码信息。
根据本发明，提供了一信息传输方法，在将重构信息加到数据流后，传输重构信息以重构再建编码信息所需的头信息内容或部分头信息的内容，当接收端在头信息或部分信息中检测到错误时，用重构信息作为替代解码数据流。
根据该信息传送方法，即使头信息有错误，及头信息不能用于解码时，使用指定信息指定的信息作为替代可正确地继续进行解码处理。可用头信息或部分头信息，也可用前一发送头信息或其部分与当前发送的重要信息之间的差异信息，或类似的作为重构信息。
此外，根据本发明提供了一种信息传输系统，其中将信息分成两或更多层(如图象层，GOB层，宏块层，块层)，在给每层加入同步信号与头信息之后传送解码所需的同步信号与头信息，其中有一编码装置包括在头信息中插入一有预定模式的指定信息的装置，及一装置，它能发送上一层已发送的信息或其中一部分，能发送同一层已发送的信息或其中一部分，或能发送用于重构上一层或同一层已发送的信息内容(图象如人体或脸)的信息或其中一部分，且包括与编码装置相应的解码装置。
根据本发明，提供了一信息传输系统，它在加入同步信号与信息后发送解码所需的同步信号与头信息，其中提供一信息传输系统编码装置，包括一将有预定模式的指定信息插入头信息的插入部分，及一用于发送已发送的信息或其中一部分信息或用于重构该信息内容的信息或一部分的发送部分，及一与编码装置相应的解码装置。
根据本发明，提供一信息传输系统，它在加入同步信号及头信息之后发送同步信号及该信息，其中提供一编码装置，它包括一在头信息中插入一有预定模式的指定信息的插入部分，及一发送某信息的发送部分，该信息用于将与头信息相关部分的编码处理从与头信息相关部分之前的部分的编码处理中改变过来，其中码流本身有抗差错性以致于即使头信息中有错误也能正确解码，且有一与编码装置相应的解码装置。
上述装置中，优先采用所有层的解码所需的信息作为重构信息，其传输由指定信息指示。此外，其传输由指定信息指示的重构信息和另一部分中被解码的信息可合并入所有层的解码均需的信息中。另外，可用未使用过的定义为头信息而不是指定信息的位模式的一种方式作为指定信息的位模式。此外，传输图象信息中，由指定信息所指定的信息优先为指示一帧显示定时的信息，指示帧预测类型的信息，量化步的大小信息，或指示图象帧时间的信息，可传送该信息。
根据本发明，编码装置中包括一个或多个用于接收和压缩编码图象信号的图像编码器，及包括一多路复用每一图像编码器输出的图像码流与其他信息码流的多路复用器，该多路复用器还输出包括一多路复用头及多路复用有效负荷的多路复用码流，其中有一信息传输装置，它具有一在图像码流或多路复用码流中相应部分中插入头信息的插入部分，及一将从多路复用头中的信息产生的差错纠正/检测码加到多路复用头，并用一差错纠正/检测码给与多路复用头中与多路复用相关的其他信息一起发送的图象码中的头信息提供差错保护，并发送该头信息和其他信息的发送部分。
该编码装置中为图像码流中的头信息及多路复用头提供了一采用差错纠正/检测码的强差错保护，在头信息中引入差错后能使解码图像的质量大大降低。因此，即使通过一个不可靠的传输路径/存贮介质传送一压缩图像，仍能得到高质量的传送图像。
包括于多路复用头中的图像码流的头信息可以是指示图像帧的时间的信息。采用该信息，即使包括于图像码流中头信息的指示图像帧的时间的信息丢失了，也能从多路复用头解码出图像帧的时间信息。因此，能在合适的时间显示/重构解码图像，并检测图像码流中图像帧的正确界限。
此外，根据本发明，提供了一编码/多路复用装置，它包括一对以编码单元压缩编码输入信号而得的多种压缩码串分段的分段部分，一通过在段单元分段压缩码串中加入填充比特来产生多路复用码单元的第一多路复用部分，一通过多路复用其长度为预定长度整数倍的多路复用单元码串来产生多路复用码流的第二多路复用部分。
由于这样的方式中，每个多路复用单元码串是通过在段单元中加入填充比特而使其长度为预定长度整数倍，通过将每一多路复用单元码串中的压缩码串的结束部分与填充比特的开始部分相比，解码/解多路复用装置能容易地发现错误。此外，即使有错误时也不会轻易地产生伪同步码，能达到高的抗差错性。
另外，本发明的编码/多路复用装置包括一压缩编码器，它对一输入信号编码而产生压缩码串以将该信号分成物定编码单元，及一从分段压缩码串中收集同样重要的同步码字来产生多路复用码流的多路复用部分，根据相应的重要性在所得的多路复用码流中插入指示编码单元间的分界符的码。采用该处理，能根据每一码字各自的重要性对其提供差错保护，因此在有传输路径差错时，改善了解码图象的质量。
图1是根据本发明实施方式1的信息传输系统使用的编码装置的框图；图2是根据本发明实施方式1的信息传输系统使用的解码装置的框图；图3A、3B示出根据本发明的实施方式1的信息传输系统中一个帧是如何被分成多层的；图4A至4C示出图3A、3B中各层相应的比特流；图5A至5E示出代替图4A至4C的比特流的格式；图6A、图6B示出根据本发明实施方式1的信息传输系统中一帧仅有单个层的情形；图7是根据本发明的信息传输系统使用的另一编码装置的框图；图8是与图7中编码装置相应的解码装置的框图；图9A，9B示出了根据实施方式1的信息传输系统刷新操作之后一帧的内部状态及相应比特流；图10A，10B示出了与被根据实施方式1的信息传输系统传送的重要信息的内容相关的另一例子；图11是与图10A，10B相应的解码处理电路的框图；图12示出了实施方式1使用的指定信息为部分头信息表的情形；
图13解释了根据本发明实施方式2的信息传输系统使用的帧中待编码区；图14A至14D示出了实施方式2的图象码流的例子；图15示出了图14A至14D的图象码流中包括的信息的时间片；图16是实施方式2使用的解码装置的框图；图17A至17C例示了实施方式2使用的VOP头及视频包头；图18是实施方式2使用的另一解码装置的框图；图19是根据本发明实施方式3的信息传输系统使用的图象/语音编码装置的整体框图；图20是实施方式3使用的图象/声音解码装置的整体框图；图21A与21B例示了实施方式3使用的视频码流；图22例示了实施方式3使用的多路复用码流；图23A、23B是实施方式3使用的多路复用头的第一示例；图24A、24B是实施方式3使用的多路复用头的第二示例；图25是实施方式3使用的多路复用码流的第二示例；图26是实施方式3使用的多路复用码流的第三示例；图27A，27B是本发明使用的视频包头的第三示例；图28A，28是本发明使用的视频包头的第四示例；图29是存贮基于本发明的信息的媒体及该媒体解码装置的框图；图30是解码存于图29媒体的信息的过程流图；图31A至31D示出了本发明的在码流中加入比特以防止伪同步码的情形；图32A至32C例示了本发明的码流所用的标识比特；图33是本发明使用了一切片层的比特流的示例；图34A至34C每一个例示了本发明实施方式4所用的视频码流；图35A、35B示出了实施方式4设置同步码及填充比特的方法；图36是实施方式4的多路复用器的框图；图37例示了实施方式4中调整层的输出；图38A至38C每一个例示了实施方式4中多路复用层的输出；
图39A至39C每一个是实施方式中视频码流在调整层怎样被分面的第一示例；图40A至40C每一个是实施方式4中视频码流在调整层怎样被分段的第二示例；图41A，41B每一个是实施方式4中视频码流在调整层怎样被分段的第三示例；图42A至42C每一个是实施方式4中视频码流在调整层怎样被分段的第四示例；图43A至43C每一个是实施方式4中视频码流在调整层怎样被分须的第五示例；图44A，44B每一个是实施方式4中视频码流在调整层怎样被分段的第六示例；图45A，45B每一个是实施方式4中视频码流在调整层怎样被分段的第七示例；图46A至46D每一个是实施方式4中视频码流在调整层怎样被分段的第八示例；图47例释了实施方式中怎样在调整层上进行填充；图48是实施方式4中多路复用器的第二示例框图；图49例示了实施方式4中结构如图48的多路复用器的FLexMux层上产生的码流；图50解释了访问单元间的边界及实施方式4中一帧的另一再同步标志；图51解释了实施方式4中怎样根据帧中每一区的重要性来切换差错保护；图52A至52C每一个例示了实施方式4中访问单元的另一格式；图53是图1中编码装置的编码器的电路框图；及图54是图2中解码装置的解码器的电路框图；下面将参照附图描述本发明的实施方式。
图1是根据本发明一实施方式的编码装置的结构。照相机101输入的图象信号由A/D转换器102变为数字信号。该数字信号被送至编码器103。该编码器用DCT变换，量化，变长编码，逆量化，反DCT变换，运动补偿等对视频信号进行高效压缩编码，并产生一编码数据流。该编码中，解码所需的重要信息被插入数据流中。编码数据流中的该重要头信息被输入至重要头信息重构电路104以暂时地保存它。编码器103之后为一比特串重构电路107。电路107中，决定送至传输路径的最终码流，即根据MPEG-2等的数据流。
比特串重构电路107中，同步信号电路105决定的一同步信号被以预定比特流单元加至数据流的头。其后指定信息插入电路106将指定信息插入比特流。比特流中插入该指定信息操作允许加入重要头信息至比特流中。假定重要头信息在指定之后就被插入。从重要头信息重构电路104中抽取重要头信息的加入至比特流中。后面将参考图4A至4C及5A至5E描述该比特流结构的细节。
多路复用器108多路复用比特串重构电路107决定的最终比特流、语音信息及字符信息等其它编码信息，并被输出至传输路径110。注意编码器103外的用户可指定任一部分头信息作为重要头信息。
图2是本发明解码部分的结构。
解多路复用器121将所发送的比特流解多路复用为图象信息，语音信息，字符信息等。同步检测器122对图象信息比特流进行同步检测以检测比特流解码的开始位置。该信息被送至可开始或重新开始解码处理的解码器124。解码从最上层的头信息开始。检错电路125检验这些解码信号是否有错误。若判断有错误，由于相应部分不能使用，相应的信息被送至重要信息电路126。解码下一层的头信息时，在同步检测器122执行了同步后，相同的比特流被送至检验指定信息内容的指定信息判定电路123。通过该操作，可检验是否加入了重要头信息。若加了该信息，则检验重要头信息的类型及加入位置。根据检测结果，指定信息判定电路123输出一操作指令至解码器124。解码器124解码当前层的头信息及附加其上的重要头信息。解码重要头信息的结果被送至重要信息电路126以暂时保存它。若从检错误电路125收到一差错引入确认信号，它表明上一层的重要头信息不能用。因此解码器124用当前层送来的重要头信息代替上一层的重要头信息，以继续解码其后的码流。D/A电路127将解码信息如图象信息转为模拟信号以在显示器128上显示。
下面描述该实施方式使用的图象码流结构。
图3A，3B示出了分成多层的帧的概念。
一帧200被分成大量切片(slice)(宏块线(macroblock line))201，其中生一个由16(点)×16(点)宏块组成(图3A)。每个切片201为一组宏块203(图3B)。帧200整体上对应于最上层。每个切片201对应于下一层。每一宏块203对应于下一层的下一层。
图4A，4B，4C例示了图3A，3B中相应各层的数据结构。
图4A为图3A中最上层的比特流。图4B为相应于图3B中切片的切片层的传统比特流。图4C为与图3B中切片相应的切片层的新建议比特流。
如图4A示，帧层中的图象码，即一帧图象码从表明图象开始位置的同步信号(图象开始码；PSC)开始。PSC之后为指示帧再生定时的时间参考(TR)，及指示预测编码类型如帧内编码或帧间编码的类型信息(PT)。PT之后为量化步大小信息(PQ)。TR，PT，PQ这些信息是解码或显示整个帧所必需的。若由于有差错等破坏了这些信息，即使以后的层建立了同步也不能正确解码或显示。低层信息存于“PQ”之后的“Data”。图4B为“Data”的典型比特流。
如图4B所示，在切片层，每一切片201的图象码流从表明码开始的同步信号(SSC)开始，接着是预测类型信息(SPT)及切片号(SN)。最后设置量化步大小信息(SQ)。“SQ”之后的“Data是关于低于切片层的宏块层信息。
下面参考图4C描述实施方式1使用的切片层结构。
如上述，图4A中的信息为重要信息。若该信息不可用，即使低于该帧层的切片层信息未被破坏，也不能正确解码帧。为正确解码低于帧层的切片层上的信息，即使图4A中信息不可用时，需要识别图4A中与切片层相应的头信息内容。因此实施方式1中，在“SPT”准备了有一指示指定信息的预定比特模式的码。出现该码时，已被传输的图4A中头信息在切片层被再次传送。此时，传送“TR”与“PT”(此时，“SPT”用作指定信息，因“SPT”未指出预测类型，需要“PT”)。若图4A的帧层未出错误，不使用这些信息(TR与PT)。若由于差错等帧层的信息被破坏，用图4C中这些信息(TR与PT)作为替代可继续解码。
图5A至5E为代替图4A至4C的另一例子。
图5A中帧层与图4A中的一样，但图5B，5C中的每一切片层中插入头信息中的指定信息不同于图4B，4C。图4B，4C所示的每一切片层中，指定信息在“SPT”中准备。图5B，5C中每一切片层中，插入一新比特(IS)。该比特IS为代表两类标识信息的一比特。“IS”可包括2个比特以代表四类标识信息。
当“IS”指出下面为帧层的重要信息时，在图5C的“IS”之后发送“TR”。在解码端，若由于差错等帧层的信息被破坏，可使用切片层上的“TR”。此时，由于“SPT”仅代表预测类型，不象图4A至4C那样在切片层上再传送“PT”。
图5D为图5B比特流的改进。此时，切片层不发送“SPT”。根据“IS”指定重传帧层的重要信息时，切片层需要“TR”与“PT”，如图5E示。
图6A，6B为一帧仅有单层及一比特流的情形。
此时，如图6A示，帧简单地被分为块(宏块)。如图6B示，仅用一同步信号PSC来同步一帧图象码流。此时，“TR”与“PT”也是重要的，若它们被破坏，即使随后的信息被正确发送也不能被解码。此时用某种方法再传这些重要信息的机制是有效的。特别是随机错误事件中，与仅发送一次这些信息相比，信息TR与PT均被破坏的积率大大降低了。突发错误事件中，若在第一次发送TR与PT一定时间之后再发送它们，也能降低它们被破坏的可能。图6B所示比特流中，“IS”插在信息TR，PT，PQ等之后。根据该信号表示的指令，“TR”，“PT”等可被插入“IS”之后。由于以上原因，在发送重要信息之后发送指定信息IS的时间间隔优选为等于或长于突发错误的统计持续时间。
图7是本发明编码部分的另一结构例。
A/D转换器302将照相机301输入的图象转换为数字信号并将其输出至编码器303。编码器303之后为比特流重构电路307。比特流重构电路307决定送至传输路径的最终比特流。当所用网络易出错误时，一般以预定间隔执行不预计的刷新操作以使传输差错不被更正的积率最小化。可对整个帧执行这样的刷新(此时，帧预测类型为帧内编码)。然而由于刷新(帧内编码)产生的信息量远大于帧间编码产生的信息量，这种技术很难进行低比特率编码传输。因此优先采用一种技术仅刷新多个连续帧中每帧的一部分，从而在多帧所需的时间内刷新完一帧。此外，解码端检测到错误时，输出一再传请求从仅使错误的部分被再传是重要的。
为实现这些操作，编码器303在编码时其预测类型须在帧内与帧间编码间切换。假定只有预定部分(此时图3A，3B中所示的专用切片)需刷新，由于此切片的预测类型不同于以前的切片，该信息是很重要的。此外，由于刷新中量化步大小大不同于帧间编码，该信息是很重要的。
图7所示的编码装置中，编码器303执行刷新编码时，编码所需的信息被送至指定信息插入电路305。上述刷新所需的重要信息事先存于编码处理改变信息电路306。比特流重构电路307将同步信号电路304所确定的同步信号加入至为刷新而被编码的切片比特流的头。其后，指定信息插入电路305将标识数据已被刷新的指定信息插于比特流。此时，由于能加入解码刷新图象数据所需的上述重要信息，所需重要信息从编码处理改变信息电路306中被抽出以将其加至切片比特流。参考图9A，9B将描述该比特流格式的细节。
多路复用器308将比特流重构电路307决定的最终比特流与其它编码信息如语音信息与字符信息多路多路复用。数据结果被送至传输路径310。注意编码处理改变信息电路306外的用户可指定任意信息作为待加入的重要信息。
图8例示了与图7编码部分相应的解码装置。解多路复用器320将发送码流解多路复用为图象信息，语音信息，字符信息等。同步检测器321对图象信息比特流进行同步检测以检测比特流的解码开始位置。该信息被送至解码器323时，开始或重新开始解码。比特流也被送至判断指定信息内容的指定信息判定电路322。执行刷新时，由于只要相应于该指定信息，根据预测类型即帧内或帧间编码能改变解码类型就够了，根据指定信息判定电路322的输出信号来切换解码器323中的帧间解码器325与帧间解码器324的开关。帧内解码器324执行刷新切片的解码操作。根据上述重要信息如量化步大小来控制帧内解码。D/A电路326将解码器323中的帧内解码器324或帧间解码器325解码出的图象信息转换为模拟信号并显示于显示器327上。
图9A，9B为刷新帧的格式，及相应图象码流的结构。
帧351被分为多个切片。假定切片353在帧间编码(图9A)的切片352之后被发送。下一切片354也是帧间编码。图9B为此时待发送帧的比特流格式。该比特流的部分361，362，363相应于图9A的切片352，353，354。在切片比特流中用于刷新的“SPT2”处插入指示用帧内编码刷新的指定信息。随后的信息“SQ2”表明刷新用的量化步大小。所有“Data 2”均以帧内编码的方式被解码。
图10A，10B为重要信息内容的另一例。图10A为帧层的比特流。图10B为切片层的比特流。
参考图4A至4C，切片层上指定信息SPT之后为“TR”该信息表示显示定时，但有时其比特数会很大。为防止这种不方便的情况，图10A、10B所示中，采用了一技术对给定与已发送的相应信息的差异进行编码。该技术一般用于压缩编码。
更详细地，若TR为0至255，则需8比特来表示其值。然而假定能建立一条件。使得没有相应于三帧或更多的帧的低速范围值。此时，由于显示中邻近帧不能被三帧或更多的帧相互分开，若相对时间参照能表示4个状态就够了(低速范围值为0，1，2，3)就够了。此时，“TR”仅需2比特。因此能减少比特数。此时，由于前一已被解码的信息，此部分不能仅用“TR”来决定。
图10B是用上述差异TR(图10B中DTR)作重要头信息时，切片层上待发送的比特流例子。解码“DTR”后，通过将“DTR”加至图10A帧层上被解码的前一帧的比特流中TR信息上。就可计算当前帧的TR。
图11是针对图10A，10B的情形执行解码的电路。图11中的电路取代图2中的解码部分。首先，同步检测器122检测解多路复用器121送来的比特流的解码开始部分，解码器401解码帧层的“TR”，“PT”等。同时解码信息TR存于存贮器(2)404中。检错电路402检测信息头中是否有错误。结果送至存府器(1)403(上述处理用于图10A的比特流)。对图10B的切片层，首先，指定信息判定电路123决定“SPT”。然后解码器401解码“DTR”与“PT”。“DTR”被送至存贮器403。若从检错电路402送来的信息中发现，由于错误等使上一帧层的头信息(TR)不能使用，存贮器403输出一请求至存贮器404以将存于存贮器404的前一帧的信息TR传送至存贮器403。存贮器403中，该信息TR与上述当前帧的信息DTR相加以形成当前帧的“TR”。该信息被回送至解码器401以继续解码。信息TR也被送至存贮器404以待下一帧中相同处理使用。
图12是为未用作为指定信息的其它头信息准备的比特模式。
假定优先给“SPT”分配2比特模式。此时，有三种预测类型，I(帧内编码)，P(前向预测编码)，B(双向预测编码)，分别分配了00，01，10比特样值。由于未使用“11”对应的信息，该码用作指定信息。即若“SPT”为“11”，它不表示任何预测类型但说明其后有重要信息。注意指定信息指出的重要信息可以是头信息(TR，PT，PQ)或其一部分。替代地，该信息可包括随后的数据(如图4A的“DATA”)。可根据系统请求，网络错误出现频率，所需编码率等改变这些信息。
如上述，根据实施方式1，若丢失了如头信息的重要信息，根据规定指定信息的指令加入/传送重构重要信息的信息。因此，即使重要头信息有错误，该信息不能被重建，通过使用随后传送的指定信息及指定信息指定的重构信息可继续正确解码。
下面描述本发明的实施方式2。
根据实施方式2的编码装置的整体结构大致与图1的编码装置相同。实施方式2中，每帧(也为一图象或VOP)也被编码以便分成称为宏块的小区(图13中小区用点线围起来)。此外，当编码图象信号的图象码流中有错误时，为允许每帧的码流恢复同步，该帧以由多个宏块组成的视频包单元(图13中以实线围起)来编码。
图14A至14D为编码装置输出的图象码流的例子。图14A为一帧的整体图象码流(VOP)。在VOP头中加入能独立解码的作为同步码字的VOP开始码(图14A中“VSC”)，及包括关于VOP的头信息的VOP头(图14A中“VOP头”)。
VOP码流又被分成包括宏块的视频包码流(图14A中“MB数据”)。在每一视频包的图象码流头中加入可独立解码被称为再同步标志的同步码字(图14A中的“RM”)，及再同步标志之后的视频包头(图14A中“视频包头)。然而注意由于VOP的第一视频包中加有VOP开始码及VOP头，第一视频包中不必加入再同步标志(RM)及视频包头(视频包头)。
图14B例示了VOP头中的头信息。参考图14B，模时间基(MTB)及VOP时间增量(VTI)是VOP的时间信息。这些信息用于VOP帧的解码及显示时序。
下面参考图15描述VOP的时间，模时间基(MTB)与VOP时间增量(VTI)间的关系。VOP时间增量以毫秒的精度表示VOP时间，其值为VOP时间除以1000毫秒(1秒)所得的余数。模时间基以秒为精度表示VOP的时间，若VOP的时间与前一编码VOP的秒相同则它为“0”。若VOP的秒数不同，模时间基为差值。
如VOP时间(毫秒)为0，33，700，1000，1300，1833，2,067，则VOP时间增量分别为以1000除这些值的余数，即0，33，700，0，300，833，67。若时间除以1000且去掉小数点后的所有数字(图15中0，0，0，1，1，1，或2)所得的值不同于前一VOP则取值为1。即相应于时间＝1，1000，2067的VOP的模时间基为“1”，对余下的VOP其值为“0”。此外，可用变长码来编码模时间基。如模时间基为0，1，2，…，变长码为“1”，根据模时间基可设定“01”，“001”，…。
图14B的VOP预测方式(VPT)是指示整帧预测编码方式(I，B或P)的信息。VOP量化参数(图14B中“PQ”)是指示用于编码VOP的量化步长的信息。然而，在被分成多个视频包而对VOP编码时，由于量化步长以视频包的单元改变，该信息可用作指出第一视频包的量化步长的信息。
图14C，14D例示了作为头信息被加至一视频包的视频包头中的信息。宏块号(图14C，图14D中“MBA”)是表示视频包第一宏块号的信息。视频包量化参数(图14C，14D中“SQ”)是表示视频包的量化步长的信息。头扩展码(图14C，14D中“HEC”，相应于图5B至5E中的“IS”)是一表示是否加入了与视频包头合用(多路复用)的重要信息的标识。“HEC”为“0”时，没加入重要信息，如图14C示。“HEC”为“1”时，加入了重要信息，如图14D示。图14D情形中，为能重构图象帧的时间信息，表示VOP时间的模时间基(图14D中“MTB”)与VOP时间增量(图14D中“VTI”)相加，并作为重要信息被不修改地加入。
图16是解码图14A至14D的图象码流的装置的框图。图16中相同的标号表示与图2中解码装置相同的部分，下面仅描述两者的不同。除图2中解码装置的结构外，图16中解码装置包括一VOP头解码器601，一视频包解码器602，一时间解码器603及一缓冲存贮器621。
检测到VOP开始码后，同步检测器122通知解码器124一个表示已检测到码的信号。对此通知作响应，解码器124发送一个包括一VOP头及VOP开始码的码流，即第一视频包至解码VOP头的VOP头解码601。VOP头解码器601解码出VOP头中的时间信息，VOP编码方式信息，VOP量化参数。这些信息中，时间信息即模时间基与VOP时间增量被送至解码时间信息的时间解码器603。
时间解码器603解码送来的模时间基及VOP时间增量，并检测是否有错误。时间解码器603通过检验从模时间基与VOP时间时间增量解码出来的时间能否为一实际时间来检验是否有错误。如编码图象信号为NTSC信号时，由于帧率为30HZ，时间应为1/30秒(＝33毫秒)的整数倍。因此若解码时间不为1/30秒的整数倍，则模时间基与VOP时间增量有传输路径差错。编码图象信号为PAL信号时，它检验时间是否是1/25秒的整数倍。
作为检错的参考值，一预定值可根据图象信号类型(PAL，NTSC，CIF或类似)被设置在编码/解码装置中，或表示参考值的信息可被插入系统信息码流(未示出)或部分图象码流中。
时间解码器603完成了时间信息的解码与检错后，若判断有错误则向VOP头解码器601送一表示有错误的信号。若判断无错误，则向VOP头解码器601送一表示解码时间信息的信号。时间信息无错误时，VOP头解码器601将该时间信息存于缓冲存贮器621，并将该信息与其它信息一起送至解码器124。若时间信息有错误，丢弃包括VOP头的第一视频包码，开始解码下一视频包。
检测了再同步标志(RM)后，同步检测器122向解码器124送一表示标志检测的信号。对该信号作响应，解码器124向解码视频包头的VOP头解码器601送一包括紧接再同步标志的视频包头的码流，即第二或随后的视频包。视频包头解码器602解码视频包头中的宏块号(MBA)，视频包量化参数(SQ)及头扩展码(HEC)。
若头扩展码(HEC)＝“1”，随后的模时间基与VOP时间增量被送至解码时间信息的时间解码器603。如前一VOP头解码的情形，时间解码器603解码送来的模时间基与VOP时间增量，并检验是否有错误。时间解码器603完成了时间信息解码与检错后，若判断有错误，则向视频包头解码器602发送一表示有错误的信号。若判断无错，则向视频包头解码器602送一表示解码时间信息的信号。若时间信息有错误，视频包头解码器602丢弃包括VOP头的视频包码流，并解码下一视频包。
若时间信息无错误，将时间信息与存于第一缓冲存贮器621，即从前一编码视频包得到的时间信息相比，以判断当前视频包中的VOP。若它们一致，判定视频包括于与包括有前一编码视频包相同的VOP中，并送一表示解码器124已解码视频包信息的信号，随后执行解码。与此相反，若解码时间信息不同于存于缓冲存贮器621中的时间信息，它判断待解码的视频包括于不同于包括有前一编码视频包的VOP的VOP中。此时，解码时间信息存于缓冲存贮器621中。此外，向解码器124送一表示前一视频包与该视频包间有一VOP区，且该视频包被解码为一新VOP的VOP划分信号，解码时间信息，及表示解码视频包头信息的信号。接收了VOP划分信号后，解码器124判定前一编码视频包为VOP的最后一视频包，并执行VOP解码结束处理。解码器124也判定现在从起待解码的视频包是下一VOP的第一视频包，并继续解码视频包。
用此处理，即使由于错误丢失了VOP开始码与VOP头，根据视频包的时间信息可决定VOP边界，并得到正确的解码时间，因此改善解码图象的质量。
图17A至17C是VOP头与视频包头的第二示例，它们与图14A至14D的不同点是加入了检验头中信息是否有错误的CRC检验比特。
图17A为VOP头。参考图17A，“CW1”是对VOP头中的模时间基，VOP时间增量，VOP编码方式，VOP量化参数进行CRC检验的校验比特。
图17B，17C为视频包头。参考图17B，“CW2”是对宏块号，视频包量化参数，及头扩展码进行CRC校验的校验比特。参考图17C，仅有“HEC＝1”的视频包，即加入了重要信息的视频包中才有“CW3”，它是对重要信息即模时间基与VOP时间增量进行CRC校的校验比特。
图18是针对图17A至17C中图象码流的解码装置。图18中相同的标号表示与图16相同的部分。该装置与图16中的区别是加入了CRC判定电路605。下面仅描述此差异。
VOP头解码器601解码VOP头中的信息，并用CRC校验比特CW1对VOP头进行CRC校验。若CRC校验判定有错误，丢弃VOP头及其中的视频包，并开始解码下一视频包。
视频包头解码器602解码视频包头中的信息，并用CRC校验比特CW2对视频包头进行CRC校验。若CRC校验判定有错误，则丢弃视频包头及其中的视频包，并开始解码下一视频包。若判定无错误，且解码头扩展码“HEC”为“1”，则解码“HEC”之后所加的重要信息(MTB，VTI)。CRC校验比特用于检验重要信息是否有错误。若判定无错误，则如图16中解码装置一样，则将VOP头与另一视频包中的这些信息与时间信息时间比较，并执行VOP分段处理等。
如上述，实施方式2中，由于帧中每一视频包加入了表示图象帧时间的信息，即使因错误丢失了VOP头中的时间信息，也能基于视频包头中的重要信息解码出正确的时间。因此解码装置能以正确的时间重构并显示图象。
此外，由于是通过将视频包头中时间信息与VOP头或另一视频包头中时间信息相比来判定VOP边界，即使因错误丢失了VOP开始码，也能正确解码VOP边界。故改善了解码图象的质量。
上述例中，每一视频包中的头扩展码(HEC)表示是否包括重要信息。如“HEC”＝“1”可设置给所有视频包以加入重要信息，或仅对某些视频包设定HEC＝“1”。通过根据传输路径的差错来控制加入重要信息的视频包的数目，可仅用一小部分多余头来有效地保护重要信息。
假定解码时间由以上模时间基(MTB)与VOP时间增量(VTI)表示。此时，MTB＝0时，即使不能正确解码时间信息，解码时间的误差为1秒或更少。然而若没有正确解码“MTB”不为“0”的VOP的“MTB”，则后面VOP的解码时间误差为好几秒。故对MTB＝0的VOP，其所有视频包均可设为HEC＝0，或仅设一小部分视频包HEC＝1，而将MTB不为“0”的VOP中所有或大部分视频包设为HEC＝1，由此正确解码“MTB”。
实施方式2中，使用表示时间的信息(模时间基与VOP时间增量)来作为与视频包头双多路复用的重要信息。除了这些信息，视频包头可与表示编码方式的信息，表示量化参数的信息与运动补偿有关的信息，运动矢量信息双多路复用。
假定VOP编码时以VOP为单位切换VOP预测方式(如帧内预测VOP(I-VOP)，前向预测VOP(P-VOP)，双向预测VOP(B-VOP)。此时，若不能正确解码VOP预测方式信息，则不能解码相应VOP。当VOP预测方式信息也在视频包头中被双多路复用时，即使因错误丢失了VOP头中VOP预测方式信息，也能基于视频包头的双多路复用信息中的VOP预测方式信息解码VOP。下面描述此情况。
图27A，27B为实施方式2的视频包头的第三示例。整帧的图象码流与VOP头(VOP)与图14A，14B中相同。图27A，27B分别表示了头扩展HEC＝“1”与HEC＝“0”的视频包头。这些视频包头与图14A至14D所不同的是，HEC＝“1”时除表示时间的信息(图27B中“MTB”与“VTI”)外还包括VOP预测方式信息(图27B中“VPT”)。
图27A，27B所示图象码流解码装置的整体结构同图16。然而，视频包头解码器602的工作不同于图16。此外，此装置与图16的不同是，VOP预测方式信息(VPT)与时间信息(模时间基及VOP时间增量)一起被存于缓冲存贮器621。下面将描述解码器的工作，主要是关于不同点的工作。
检测到VOP开始码后，同步检测器122向解码器124送一表示已检测到该码的信号。对该信号作响应，解码器124向VOP头解码器601送一在VOP开始码之后包括VOP头的码流，以解码VOP头。VOP头解码器601解码VOP头中的时间信息(MTB及VTI)，VOP编码方式信息(VPT)，及VOP量化参数(PQ)。这些消息中的模时间基(MTB)及VOP时间增量(VTI)被送至解码时间信息的时间解码器603。
时间解码器603解码送来的模时间基与VOP时间增量，并检验是否有错误。通过检验从模时间基及VOP时间增量解码出来的时间是否是实际时间来检验是否有错误。如编码图象为NTSC信号，由于帧率为30HZ，时间信息应是1/30秒(＝33毫秒)的倍数。因此若解码时间不是1/30秒的倍数。它判定模时间基及VOP时间增量有传输路径错误。若编码信号是PAL信号，通过检测信号信息是否是1/25秒的倍数来进行检错。
作为该检错的参考值，可根据图象信号类型(PAL，NTSC，CIF等)在编解码装置中设定预定值，或在系统信息码流(未示出)或部分图象码流中插入表示参考值的信息。
当时间解码器603完成了时间信息解码及检错后，若它判定有错误则向VOP头解码器601送一表示出错误的信号。若它判断无错误，向VOP头解码器601送一表示时间信息的信号。时间信息无错误时，VOP头解码器601还解码VOP预测方式信息(VPT)。若VOP预测方式信息也无错误，时间信息与VOP预测方式信息被存于缓冲存贮器621，并与其它信息一起被送至解码器124。若时间信息或VOP头中VOP预测方式信息有错误，丢弃包括VOP头的视频包的码流，并解码下一视频包。
检测到再同步标志后，同步检测器122向解码器124发送一表示已检测到标志的信号。对此信号作出响应，解码器124向解码视频包头的VOP头解码器601发送包括后随再同步标志的视频包头的码流。VOP头解码器601解码视频包头中的宏块号，视频包量化参数，及头扩展码。
若头扩展码HEC＝“1”，“HEC”之后的模时间基及VOP时间增量被送至解码时间信息的解码器603，同前一VOP头的解码一样，时间解码器603解码送来的模时间基及VOP时间增量，并检验是否有错误，时间解码器603完成了时间信息解码及检错后，若它判断有错误则向视频包头解码器602送一表示出错误的信号。若判断无错误，向视频包头解码器602送一表示解码时间信息的信号。若时间信息有错误，视频包头解码器602丢弃包括该视频包头的视频包码流，并解码下一视频包。
若时间信息无错误，解码时间信息之后的VOP预测方式信息。若VOP预测方式信息也无错误，将解码时间信息与存于缓冲存贮器621中的时间信息相比以判断包括视频包的VOP。若它们一致，则判定该视频包与前一视频频包包括于同一VOP，并向解码器124送一表示解码视频头信息的信号，由此解码视频包。与此相反，若该时间信息不同于存于缓冲存贮器621中的时间信息，则判断从现在起待解码的视频包处于与包括前一视频包的VOP不同的VOP中。此时，将解码时间信息及VOP预测方式信息记于缓冲存贮器621，并向解码器124发送表示该视频包是VOP的第一视频包的VOP分段信号，表示解码时间信息的信号，及表示解码视频包头信息的信号。接收到VOP分段信号后，解码器124判定前一解码视频包是VOP的最后包，并执行VOP解码结束处理。解码器124也判定从现在起待解码的视频包是下一VOP的第一视频包，并进行VOP解码开始处理，由此继续解码下一视频包。
若视频包头中的VOP预测方式信息不同于存于缓冲存贮器621中的VOP预测方式信息，则用视频包头中的VOP预测方式信息解码视频包。采用此操作，即使不能正确解码VOP头中的VOP预测方式信息，也能解码视频包。
用该处理，即使因错误丢失了VOP开始码及VOP头，由于能从视频包头中的时间信息及VOP预测方式正确地识别出VOP边界及VOP预测方式，改善解码图象的质量。
假定解码VOP头或视频包头时，图象码流中出现了差错检验信息(CRC，填充比特等)，或从传输路径/存贮介质接收码流的电路，或将接收的码流解多路复用为图象码流、语音码流等的解多路复用器能判断码流中是否有错误。此时，能用这种检错信息及这种电路得到的判定结果决定解码VOP头或视频包头中是否有错误。若通过此方式也判定这些解码信息有错误，图象解码就不使用这些信息。替代地，丢弃包括有出错误信息的视频包而不对其解码。
图28A，28B是实施方式2中视频包头的第四示例。整帧(VOP)的图象码流及VOP头与图14A，17A中的相似。图28A，28B分别表示HEC＝“0”与HEC＝“1”的视频包头。这些视频包头不同于图17B，17C之处是HEC＝“1”时，除表示时间的信息(图28B中“MTB”及“VTI”)外还有VOP预测方式(图28B中“VPT”)。
针对图28A，28B中图象码流的解码装置的整体结构与图18相同。然而视频包头解码器602的工作不同于图18中的。此外，此装置与图18中的不同点是VOP预测方式信息(VPT)与时间信息(模时间基及VOP时间增量)一起被存于缓冲存贮器621。下面描述解码器的工作，主要是关于不同点的工作。
VOP头解码器601解码VOP头中的信息，并用CRC校验比特CW1对VOP头进行CRC校验。若CRC校验判断有错误，丢弃VOP头及包括VOP头的视频包，并开始解码下一视频包。
视频包头解码器602解码视频包中的信息，并用CRC校验比特CW2对视频包头进行CRC校验。若CRC校验判断有错误，则丢弃视频包头及包括视频包头的视频包，并开始解码下一视频包。若判断无错误，且解码头扩展码HEC为“1”，解码“HEC”之后的双多路复用重要信息(图28B中“MTB”，“VTI”，“VPT”)。CRC校验比特CW3用于检验双多路复用重要信息是否有错误。若无错误，则如图16中解码装置一样，比较VOP头与另一视频包头中的这些重要信息及时间信息，进行分段处理等。
如上述，由于重要信息中有表示时间的信息，即使因错误丢失了VOP中的时间信息，也能从视频包头中的重要信息解码出正确的时间信息。因此解码装置能以正确的时间重构并显示图象。此外，由于将视频包头中的时间信息与VOP头或另一视频包头中的时间信息相比来执行VOP边界判定，即使因错误丢失了VOP开始码，也能正确解码出VOP边界，并改善解码图象的质量。
此外，当VOP预测方式信息也作为双多路复用信息包括于视频包头时，即使因错误丢失了VOP头中的VOP预测方式信息，也能基于作为双多路复用信息包括于视步包头中的VOP预测方式信息解码VOP。
实施方式2中，为避免在VOP头及视频包头中产生与同步码(图象开始码，VOP开始码，再同步标志等)的模式，须加入叫标志比特的比特。
图31A至31D例示怎样在图14A至14D的码流中加入标志比特。参考图31A至31D，VOP时间增量(VTI)之后的“标志”是有预定比特值(如“1”)的一标志比特。
图32A至32C为无任何标志比特的视频包头与有一标志比特的视频包头的比较。假定作为同步码的再同步标志为模式是“00 00 00 0000 00 00 001”的17比特码字，VOP时间增量(VTI)是值任意的10比特码字，“MTB”是最后位为“0”的变长码。
若不设置标志比特，“VTI”为连续“0”，则如图32B所示产生了与再同步标志一致的比特模式。图32B所示例中，MTB的“0”，“VTI”的“00 00 00 00 00”与随后的比特流“00 00 01”组成了与再同步标志一样的模式。
与此相反，图32C中，通过在“VTI”之后加入标志比特“1”，视频包头中连续零的最大数为11(“MTB”的最后一位“0”，“与VTI”的“00 00 00 00 00”)。因此不能产生与再同步标志一致的比特模式。
注意标志比特有预定值(图32A至32C中为“1”)。因此，解码装置可检验标志比特是否有预定值来判定VOP头及视频包头中是否有错误。
标志比特也可加至实施方式2中图17A至17C，27A，27B，28A，28B中。
这种码流结构也可用于使用切片层的码流。图33是实施方式1中使用切片层的另一码流。
参照图33，参考符号SSC指切片同步码；值为“1”的EPB被加入到码流中的避免不是同步码(如SSC)的部分与同步码有相同的比特模式、MBA，表示相应切片中第一宏块的号的信息；SQUATNT，切片使用的量化参数；GFID，表示图象头中信息或其部分信息的信息。在码流指定比特处设置同步码SSC时，在“SSC”之前设置填充比特SSTUF。“宏块数据”是每一宏块的数据。
“TR”时间信息(暂时参考)是双多路复用重要信息。“TRI”是指示是否加入了“TR”的1比特标识。TRI＝1时，加入了“TR”。
下面描述本发明的实施方式3。
图19是根据本发明实施方式3的视频/语音编码器的整体结构。待压缩编码的视频信号101A及语音信号102A分别输入到视频编码器111A及语音编码器112A，它们分别压缩视频及语音信号并输出视频码流121A及语音码流122A。由于参考(Hiroshi Yasuda，“多媒体编码国际标准”，Maruzen(1994))等中详细介绍了视频编码器及语音编码器，省略其详细描述。
多路复用器130A多路复用视频码流121A，语音码流122A及一数据码流。结果输出一多路复用码流135A。
图20是相应于图19中视频/语音编码器的视频/语音编码器的整体框图。解多路复用器180A解多路复用视频/语音编码器出来的多路复用码流185A。结果输出一视频码流171A，一语音码流172A，一数据码流173A。视频码流171A及语音码流172A分别输入至视频解码器161A及一语音解码器162A以进行解码。结果，输出重构的视频信号151A及重构的语音信号152A。
图21A，21B为视频码流121A的两个示例。视频编码器111A以图象单元(帧，或VOP)编码信号以产生视频码流121A。每个图象又被分为称作宏块的编码小区。
I图象的视频码流从图象开始码(PSC)201A(也为VOP开始码)开始，图象开始码表示图象的开始位置并能被独立解码。
图象开始码201A之后是图象头(PH)202A(也为VOP头)。图象头202A包括表示图象临时位置的PTR(图象临时参考)221A，表示整个图象编码方式的图象编码方式(PCM)222A，及图象量化步长(PQ)223A。图象头202A之后是每一宏块的编码数据203A。
图21B显示的是以由多个宏块组成的切片为单元进行编码的情形。
每一切片的码流包括一表示切片开始位置并能被独立解码的再同步标志(RM)210A。“RM”之后是切片头(SH)211A及每个宏块的宏块数据(MB)203A。切片头211A包括表示切片中第一宏块的号的SMBN(切片宏块号)231A及量化步长(WQ)232A。
可给图象帧中每个预定数目的比特或在预定位置处加入再同步标志210A及切片头211A。编码这种切片结构时，即使视频码流中有错误，也能用可被独立解码的再同步标志210A建立再同步。由于避免了错误传至切片外，有传输路径差错时改善了重构图象的质量。
图22例示了多路复用器多路复用的多路复用码流135A。多路复用码流135A由多个多路复用包组成，其中每个多路复用包有分别被多路复用成预定大小的视频码流(视频)，语音(音频)码流(语音)及数据/控制信息码流(数据)。参考图22，301A，302A，303A部分分别是多路复用包。所有多路复用包可以是长度相同(比特数)的定长包，或长度不同的变长包。
每一多路复用包的头中加入了表示多路复用包开始位置的多路复用开始码(MSC)310A。多路复用开始码310A之后是多路复用头(MH)311A，312A，或313A。多路复用头之后是以包为单元多路复用图19中视频码流121A，语音码流122A，数据码流103A得到的多路复用有效负荷(图22中321A，322A，或323A)。
图23A，23B是多路复用头(MH)311A中信息的第一示例。参考图23A，23B，多路复用码(MC)351A是表示视频码流(视频)，语音码流(语音)，数据码流(数据)怎样在多路复用有效负荷321A中被多路复用的信息。若此多路复用码信息(MC)中有传输路径差错，不能识别出码流的多路复用方式。因此，解多路复用器180A不能正确解码视频码流，语音码流，数据码流。故视频解码器161A及语音解码器162A也不能正确解码，导致重构的视频及语音信号的质量下降。
为避免此情形，用一检错码及纠错码给每一多路复用头(MH)提供了强的差错保护。参考图32A，32B，标号343A(CRC)指CRC检错比特；354A(FEC)纠错码校验比特。
实施方式3中，包括视频码流(视频)的多路复用包中的多路复用头(MH)包括视频头信息(VHD)352A及多路复用码信息(MC)。图23A，23B所示情形中，“MH1”(311A)及“MH2”(312A)为包括视频头信息(VHD)352A的多路复用头。视频头信息(VHD)352A是表示视频编码中整个图象(帧)的编码方式等的重要信息。若此信息有错误，重构图象质量大大降低。例如若视频码流格式如图21A，21B所示，图象头202A或切片头211A或其部分信息被作为视频头信息(VHD)352A设置在多路复用头。
实施方式3的特征在于以这样的方式在多路复用头中插入了重要信息如视频编码中的图象头，并产生了多路复用码(MC)，检错码及纠错码以利用这些码来提供强的差错保护。采用此特征，与不对重要信息提供差错保护的传统视频编码装置相比，改善了抗传输路径差错性。
图24A，24B是多路复用头(MH)的第二示例。图24A，24B中相同标号代表图23，23B中第一示例的相应部分，下面仅描述不同点。第二示例不同于第一示例的是除视频头信息(VHD)352A外，包括视频码流(视频)的多路复用包有一表示视频码流图象或切片边界位置并包括于多路复用头中的图象指针(ALP)451A。
若不设置图象指针(ALP)451A，在解多路复用器180A解多路复用视频码流后，视频解码器161A须根据图象开始码或再同步标志检测图象或切片边界。与此相反，若多路复用头中包括图象指针(ALP)451A，可用该指针检测图象或切片边界。由于多路复用头中的图象指针有强的纠错能力，增加了正确检测图象或切片边界的可能性，并改善重构图象的质量。
此外，视频头信息(VHD)352A可包括图象或切片头中所有或部分信息。
图25示出了一情形，除相应多路复用码(MC1及MC2)611A及621A外，在包括视频码流(视频)的多路复用包601A及601B的多路复用头中，仅包括了作为视频头信息的图象时间参考(PTR1及PTR2)612A及622A。
参考图25，多路复用包601A的多路复用有效负荷在PTR＝1的图象码流尾包括有一切片(切片N)，随后的PTR＝2的图象的图象开始码(PSC)614A，PTR＝2的图象时间参考(PTR2)，图象编码方式(PCM2)616A，及PTR＝2的图象码象的第一切片的前半部分(切片1)617A。多路复用包602A的有效负荷包括PTR＝2的图象码流的第一切片的后半部分(切片1)，第二切片的再同步标志(RM)624A，切片头(SH2)625A，及PTR＝2的图象码流的第二切片(切片2)626A。
多路复用包601A的多路复用头(MH1)有在多路复用包601A中包括最后部分码流的PTR＝1的图象的PTR 612A。使用一纠错码及一检错码(CRC及FEC)，为PTR 612A及多路复用码MC1提供了差错保护。故即使因错误不能正确解码多路复用有效负荷的视频码流中的PTR(615A)，由于能正确解码多路复用头中的PTR(612A)，故能得到正确的PTR，以正确的时间显示解码图象。
使用切片结构的视频编码方法中，若在包括一切片开始码(再同步标志)及一切片头的多路复用包的视频头信息中插入一PTR，即使因错误不能正确解码图象开始码，也能基于PTR判定图象边界。假定丢失了图象开始码(PSC)614A或PART 615A。此时，将下一多路复用包的多路复用头中的PTR 622A与前一多路复用包的多路复用头中的PTR(如PTR 612A)相比。若它们不一致，则判断多路复用包601A中有图象边界。此时，能从在多路复用包602A中有再同步标志的第一切片(图25中RM 624A的“切片2”)开始正确的编码。
当采用了图象编码方式频繁改变的编码方法时(如使用B图象的编码方法)，多路复用头中可包括图象编码方式信息。
图26是多路复用码流的第三示例。此多路复用码流中，每一多路复用包701A，702A及703A设有一图象或一切片，为多路复用头751A及752A中的图象头(PH1)712A及切片头(SH2)722A，多路复用码(MC1及MC2)711A及721A提供了差错保护。若成对地准备作为视频码及多路复用包的图象或切片，由于每一多路复用包总是位于一图象或一切片的开始位置，不需从解多路复用图象码流中检测一图象开始码及一再同步标志。结果减少了处理数量。此外，使用对传输路径差错有高的抵抗性的码可减少不能正确区分图象或切片开始位置及不能解码图象或切片的可能性。
实施方式3中，编解码一图象/切片信号。然而本发明可同样适用于使用多个图象/语音信号编码装置编码/多路复用多个图象/语音信号，及多个图象/语音信号解码器解码/解多路复用多个图象/语音信号的情形。此时，多路复用头信息中的视频头信息可包括表示多个信号的信息。
若适当综合实施方式1，2，3来产生传输码流，能使编码信息的传输更可靠。实施方式3中，象实施方式2一样，可将表示时间PTR(图象时间参考)作为模时间基及VOP时间增量。通过使用这些信息，可象实施方式2一样用模时间基及VOP时间增量的规则性来进行检验。
下面详细描述存贮本发明产生信息的媒体。
图29显示了使用其中保存了从本发明的编码装置输出的图象码流的记录媒体810来重构图象信号的系统。包括由本发明图象编码装置编码的图象码流的码流被存于记录媒体810。解码器装置820从记录媒体810中保存的码流重构图象信号。图象信息输出装置830输出一重构图象。如个人计算机等重构保存在能被计算机读出信息的记录媒体中的图象信息时，图象信息的比特流被从记录媒体读出，并用图象重构软件处理该比特流。此时，如图象信息输出装置830是一显示器或类似。重构的图象信号要被记录于存贮媒体(未示出)或经一传输路径被传送至另一装置或系统(未示)。
在如上结构的系统中，有上述每一实施方式的格式的码流被存于记录媒体810。该码流的特征在于部分VOP(-图象或帧)头信息被作为关于部分视频包(或一切片，GOB等)头的双多路复用信息而记录。解码器装置820从存于记录媒体810中的码流重构一图象信号。即解码器装置820经一信号线801读取码流，并用图30所示过程产生一重构图象。
下面将参考图30描述解码器装置820的处理内容。
解码器装置820逐次从记录媒体810读出图象码流，并首先检测同步码(步S11)。若检测到同步码是VOP开始码(步S12中的是)，将前一解码VOP(帧)输出至图象信息输出装置830(步S13)。解码装置820解码图象码中VOP开始码后的VOP头(图29的“VOP头”)(步S14)。若已正确解码VOP头(步S15中的是)，用解码VOP头信息(时间信息，VOP预测方式信息等)。(步S16)代替存于解码装置820的缓冲存贮器中的信息。解码装置820然后解码VOP头之后的宏块数据(图29中的“MB数据”)，并解码视频包(步S17)。
若检测到的同步信号是再同步标志(步S18中是)，解码器装置820解码再同步标志(RM)之后的视频包头(宏块号(MBA)，视频包量化参数(SQ)，及头扩展码(HEC))(步S19)。若视频包头中头扩展码HEC＝“0”(步S20中否)，解码装置820解码视频包(步S17)。若头扩展码HEC＝“1”(步S20中是)，解码装置820解码随后的双多路复用信息(图29中“DUPH”)(步S21)。若能正确解码多路复用信息(步S22中是)，将双多路复用信息与缓冲存贮器中的信息相比(步S23)。若它们一致(步S23中否)，解码装置820解码视频包头之后的宏块数据(图29中“MB数据”)并解码视频包(步S17)。若它们不一致(步S23中是)，解码装置820判定该视频包属于与前一解码VOP不同的VOP，并将前一解码VOP输出至图象信息输出装置830(步S24)。解码器装置820则用解码的双多路复用信息代表缓冲存贮器中的信息(步S25)，并解码下一视频包(步S17)。
当从记录介质810依次读出图象码流时，重复图30中从同步码检测开始的上述工作系列，由此重构视频信号。
注意可将多路复用语音及音频信号，数据，控制信息等的编码码流得到的码流记于记录介质而不是在记录介质中不修改地记录图象码流。此时，在解码器装置820解码记于记录介质中的信息之前，解多路复用器解多路复用图象码流，语音/音频码流，数据及控制信息，然后解码器装置820解码解多路复用的图象码流。
如图29所示，记于记录介质810中的信息经信号线801被送至解码器装置820。然而，该信息可经一传路径如一线/射频红外传输路径而不是信号线被传输。
如上述，根据本发明，由于已双多路复用并记录了每一记于记录介质的码流中的重要信息，即使记于记录介质中的信息有错误，或记于记录介质上的信息经其被送至重构装置的信号线或传输路径有错误，能重建质量稍有下降的图象。
下面描述本发明的实施方式4。
根据此实施方式的视频/语音编码装置及视频/语音解码装置的整体结构如图19，20所示相同。然而相应部分的工作却不同于实施方式3。下面主要描述不同点。
图34A至34C为视频码流121A的三个示例。视频编码器111A以VOP(图象，帧及场)为单元编码以产生视频码流121A。图象又被分成称作宏块的待编码小区。
-VOP的视频码流从一能被独立解码的同步码-VOP开始码(图34A至34C中“VSC”)开始。VOP开始码之后是VOP头(图34A至34C中“VH”)(也可为图象头)。VOP头包括表示VOP时间的信息，VOP编码方式信息，VOP量化步长信息等。VOP头之后是每一宏块的编码数据。
图34A是VOP被分成称为视频包(也可为切片及GOB)的待编码的编码单元的情形。每一视频包由一或多个宏块(图34A中“MB数据”)组成。用跨多个宏块的预测进行视频编码时，如从邻近宏块的运动矢量来预测所分析宏块的运动矢量，应仅从同一视频包内的宏块来预测，以阻止任一传输路径差错影响其它视频包。
除第一视频包外，VOP中每一视频包的码流从可被独立解码的同步码-再同步标志(RM)(也可为一切片开始码及一GOB开始码)及一视频包头(VPH)(也可为一切片头及一GOB头)开始。这些码之后为每一宏块的数据(MB数据)。视频包头包括表示视频包中每一宏块位置的宏块号(或一切片号或一GOB号)，视频包量化步长等。该头也可象实施方式2一样包括重要信息如VOP头信息。
图34B是一视频编码的码流的示例，其中视频被分成2个信息，即关于预测方式及运动矢量的信息及关于运动补偿自适应预测中的残差信号或关于对残差信号作正交变换所得的正交变换(DCT等)系数。每一视频包码流中，关于预测方式及运动矢量的信息(图34B中“运动”)被设在靠近读出端(图34中视频包头或VOP头之后)，关于预测残差DCT系数的信息(图34B中“细节”)被设在尾端。两类信息由运动标志(图34B中“MM”)分开。
图34C例示用一将关于待编码图象形状的信息与图象一起编码的编码方法得到的视频编码码流。参考图34C，“形状”是形状信息，它被设置在每一视频包中关于预测方式及运动矢量的信息(运动)之前(图34C中，形状信息位于视频包头或VOP头之后)。形状信息(形状)及关于预测方式及运动矢量的信息(运动)由一形状标志(图34C中“SM”)分开。
图34A至34C的码流中，优选将同步码如开始码及再同步标志设置在给定比特数的整数倍处的比特位置。图35A，35B所示情形中，相应视频包的头中的VOP开始码(VSCs)及再同步标志(RMs)被设置在N比特的整数倍处。用此法，与同步码随意放置相比，解码装置检测同步码时检测的比特数降至1/N。用此法，简化了解码装置的同步检测。此外，因传输路径差错产生的与同步码一致的比特模式(伪同步码)被错误地作为同步码检测的，叫伪同步现象的几率可减小至1/N。即使传路径有错误也能改善解码图象的质量。
为以此方式将同步码设置在预定位置，在每一同步码与每一同步码之前一信息之间插入填充比特(图35A中“填充比特”)。图35B是N＝8的填充比特的码表。这些填充比特的特征在于能反着码流的方向被独立解码，解码装置可规定填充比特的长度，不象以前技术广泛使用的全由“0”组成的填充比特等。图35B所示例中，填充比特的第一位是“0”，余下的全为“1”。因此，填充比特的最后一位，即以相反的顺序逐个读出同步码之前的比特时首先出现的第一比特“0”可被认为是填充比特的第一比特。
因能以此方式说明填充比特中第一比特的位置，解码装置能轻易地检测出码流中的传输差错。正确解码了码流时，填充比特前一数据的解码尾位置应与填充比特的开始位置一致。若解码尾位置与填充比特的开始位置不一致，判断码流中已有传输路径差错，此码流不能被解码。
当用可逆向解码的变长码逆向解码码流时，解码装置须说明逆向解码的开始位置。填充比特的解码开始位置对应于填充比特的前一比特。以前技术中，不能说明仅由相同值的比特组成的填充比特的长度，因此解码装置不能检测逆向解码的开始位置。与此相反，图35A，35B允许确定第一比特的位置，由此确定逆向解码的开始位置。
考虑一包括许多“0”的码字如一同步码“00 00 00 00 00 00 00 001”。如以前技术填充比特仅由“0”组成，在有错误时产生一与同步码一致的比特模式的几率大，因此极有可能出现伪同步。与此相反，用图35A，35B中的填充比特，因除第一比特是“0”外，所有填充比特为“1”，其与同步码的汉明距大，产生伪同步的几率小。
如上述，根据预定规则产生填充比特，故在解码/解多路复用装置中，将多路复用码流中的填充比特与规则对比，若判断填充比特不合规则，可判断多路复用码流中有差错。用此法，即使多路复用码流中有错误，解码/解多路复用装置能执行处理以避免解多路复用/解码信号质量的严重下降从而改善解码信号的质量。
除VOP开始码及再同步标志外，可将运动标志(MM)及形状标志(SM)设在给定比特数的整数倍位置处，并象图35B一样在这些标志之前设置填充比特。用此，可对形状信息，预测方式信息，运动矢量信息等执行检错及逆向编码。
图36例示了多路复用器130A。图36例中，在称调节层1031A及多路复用层1032A两层上执行多路复用处理。视频码流121A，语音码流122A及数据码流103A被输入至调节层1031A。被调节层1031A处理的输出1041A，1042A，1043A被输入至多路复用层1032A。多路复用层1032A输出多路复用码流135A。
图37例示了调节层1031A处理视频码流121A得到的输出码流1041A。调节层1031A上的处理以将视频码流121A分成特定单元的AL-SDUs(也可为访问单元)为单元进行。调节层处理一AL-SDU得到的输出称为-AL-PDU。图37示出了一AL-PDU的格式。每一AL-PDU中加入了一AL头。AL头可包括表示AL-PUD的号及性质，视频编码/多路复用方式等的信息。AL头之后是作为AL有效负荷的AL-SDU。AL-SDU之后可设一用于检测AL-PDU是否有传输路径错误的校验比特，如CRC校验比特。
调节层1031A上，以上述方式处理语音码流122A有数据码流103A以输出对应于语音码流及数据码流的AL-PDUs 1042A及1043A。然而注意，每一AL头中设置的信息，CRC校验比特的长度及有/无等可不同于相应于视频码流的AL-PDU 1041A。
在多路复用层1032A上多路复用调节层1031A上产生的ALPDUs 1041A，1042A，1043A。以MUX-PDUs为单元进行多路复用。图38A至38C例示了多路复用得到的MUX-PDU。MUXPDU中加入了多路复用同步码(多路复用标志)及一多路复用头(MUX头)。多路复用头可包括与MUX-PDU一起被多路复用的，表示调节层输出类型的信息，多路复用方式，及MUX-PDU长度等。
图38A是一MUX-PDU中设置了一AL-PDU的情形。
图38B例示了一AL-PDU被分成多个MUX-PDUs(此时为2)。此时，每一多路复用头包括表示被划分AL-PDU部分在MUX-ODU中，在整个AL-PDU中的序号的信息，或表示被划分的AL-PDU部分是一AL-PDU中第一还是最后一部分的信息。
图38C例示了一MUX-PDU有多个AL-PDUs。图38C例中，相应于视频码流的AL-PDU(视频AL-PDU)及相应于语音码流的一AL-PDU(音频AL-PDU)被多路复用。此时，多路复用头可包括表示MUX-PDU中多个AL-PDUs间边界的信息。替代的，可在AL-PDUs间边界处设一表示边界的标志。
如上述，调节层上以AL-SDUs或访问单元为单元处理码流。图39A至39C例示一视频码流如何在调节层上被划分。
图39A至39C每一个示出了一个VOP被设为一访问单元的情形。图39A至39C分别相应于图34A至34C中的视频码流。
图40A至40C每一个示出了一视频包被设为一访问单元的情形。图40A至40C分别相应于图34A至34C中的视频码流。
如图34B，34C所示，将视频包分成形状信息，运动矢量信息，及DCT系数信息来编码它时，访问单元也可相应地被分段。图41A，41B分别相应于图34B及34C中的视频码流。表示边界的形状标志(SM)及运动标志(MM)被设在形状信息(形状)，关于预测方式及运动矢量的信息(运动)，与关于误差信号及一DCT系数的信息(细节)之间以产生访问单元。
多路复用同步码时，如上述在多路复用层的码流中加入表示MUX-PDUs或AL-PDUs间边界的AL边界标志等，可从这些码及标志区分相应访问单元的开始位置。此时，可将访问单元头中的同步码从视频码流中移去。图42A至42C每一是一VOP作为一访问单元被设置的情形。此时，可移去VOP头中的VOP开始码，图43A至43C每一是一视频包作为一访问单元被设置的情形。此时可移去每一视频包中的VOP开始码及再同步标志。图44A至44B每一例示了形状信息(形状)，关于预测方式及运动矢量的信息(运动)及关于残差信号及DCT系数的信息(细节)每个形成一访问单元。此时，可去掉每一视频包头中的VOP开始码及再同步标志及表示“形状”，“运动”，“细节”间的边界的运动标志(MM)及形状标志(SM)。
如图45A，45B所示，一访问单元中可有一或多个视频包。此时，如图45B所示，仅可去掉每一访问单元头中的VOP开始码或再同步标志。类似地，图34B，34C的码流中，每一访问单元可由多个视频包组成。
如图34B，34C所示，将视频包分段成“形状”，“运动”及“细节”来编码它时，每一访问单元可由多个视频包的一组形状数据，运动数据或细节数据组成。图46A至46D每一例示了对图34B中码流进行这样的处理，且每一访问单元由一组运动数据或细节数据组成。在每一视频包的“运动”之前设一VOP头及视频包头。
访问单元可由多组以VOPs或任意数目视频包为单元的“运动”及“细节”组成。
这种访问单元格式中，可在视频包的“运动”与“细节”的边界处设一同步码。图46B例示了在运动数据间的边界处设一同步码(RM)。图46C及46D每一例示了在运动数据间的边界及细节数据间的边界处设立同步码(RM)。图46D例示了在每一访问单元的头中设一同步码(VSC)。“运动”及“细节”可用不同的码。如运动标志用于“运动”，再同步标志用于“细节”。
图34C所示视频码流中，每一访问单元也可由一组形状数据，运动数据或细节数据构成。
如上述，可从重要程度不同的码流中，如“形状”，“运动”，及“细节”，收集重要程度相同的码流来形成每一访问单元，并为每一访问单元提供不同程度的差错保护(如使用纠错及检错码，并进行再传)。用此方法，可根据相应码流的重要程度来执行差错保护，以在传输路径有错误时改善解码图象的质量。一般，形状信息(形状)，或方式信息或运动矢量信息(运动)中有传输错误时，解码图象质量大大降低。为避免它，可使用适于形状及运动的纠错码以提供强差错保护。与此相反，若残差信号(细节)中有传输路径差错，图象质量下降不大。其差错保护不用太强，因此能减少纠错码，检错码等产生的冗余。
上述从视频码流去掉同步码的情形中，多路复用器130A可去掉视频码流121A中的同步码，或视频编码器111A提前去掉将被送至多路复用器的视频码流中的同步码。
图39A至46D任一例中，每一访问单元的长度可被设为预定长度(如字节)的整数倍。如图35A，35B所示，一视频码流以N比特为单元被分成视频包或VOPs，并在每一再同步标志或每一开始码之前设定填充比特，若每一访问单元包括这些填充比特，可将每一访问单元的长度设成预定长度(如字节)的整数倍。
若未对视频码流执行此处理，可在每一访问单元的尾加入填充比特以将每一访问单元的长度设为预定长度(如字节)的整数倍。可使用图35B中所示作为填充比特。此时，可象在视频码流中插入填充比特一样，使用填充比特检测出码流中的错误。此外，除视频码流外，语音码流及数据码流中也可加入填充比特，以将每一访问单元的长度设为预定长度(如字节)的整数倍。
多路复用层上，多路复用有效负荷包括与多路复用同步信号相同的比特模式时，解码器错误地判定该模式为多路复用同步码。结果错误地检测了MUX-PDUs间的边界。即再现伪同步(也可为伪真)。若视频编码器产生一视频码流，其中在不是每一同步码的地方，不产生与视频码流中同步码(如VOP开始码或再同步标志)一致的比特模式，可使用一视频同步码来检测多路复用层中是否有伪同步。
MUX-PDU的头被调节至一AL-PDU的头处以形成一MUX-PDU。图38A至38C每一示出了一格式。每一AL-SDU(访问单元)的头中加入了一视频同步码。以此，经一多路复用头或一AL头，一多路复用同步码及一视频同步码相互邻接。若解码装置错误地检测一多路复用同步码，此装置接着检测邻近该被检测码的多路复用头，一AL头，及一视频同步码。然而由于被检码是一伪同步码，若被检信息作为一多路复用头，一AL头及一视频同步码被解码，则得到错误的信息。故解多路复用器检验被解码的多路复用头，AL头，及视频同步码是否是正确信息。若判断它们不正确，则被检的多路复用同步码为一伪同步码。
图48是多路复用器的第二示例。此例中，多路复用器被分为两层，即一FlexMux层及一TransMux层。FlexMux层被分为一调节子层(AL)及一多路复用子层。TransMux层分为一保护子层及一TransMux子层。
图49是FlexMux层上产生的码流。标号1061A及1062A分别指调节子层及Mux子层上产生的码流。包括表示待多路复用信息类型的信息，表示时间的信息等的AL头(头)1065A被输入至调节子层。此外，多路复用待多路复用的包括视频，音频及数据码流的有效负荷1066A(有效负荷)以产生一AL-PU。Mux子层上，加入表示AL-PDU类型及信道号的索引1068A及表示AL-PDU长度的信息(长度)1069A以产生一FlexMux-PDU。
FlexMux层上产生的FLexMux-PDU被输入至TransMux层。TransMux层可采用图36中多路复用器的结构，此时，保护子层相应于图36中的调节层1031A，transmax子层相应于图36中的多路复用层1032A。替代的，图36中结构可用于transmax子层，而不用保护子层。
注意实施方式一至三中多路复用码流的结构可采用多路复用其中每个有长度被通过填充比特设成预定长度整数倍的单元码流结构，及收集同样重要的同步码字以形成访问单元的结构。
如图45A，45B一样，多个视频包被设成一访问单元时，可以图50的方式在一帧中安排访问单元与再同步标志间的边界。参考图50，每一空板指有一再同步标志的宏块(即每一视频包的第一宏块)，每一全灰板指每一访问单元中每一宏块的位置。这种图象中，因人体图象重于背景信息，优选人体图象信息有高的抗传输路径差错性。故在人体图象部分放了许多再同步标志以短间隔安排视频包，从而增强抗错性，这样能使图象从传输路径差错中快速恢复出来。与此相反，由于背景部分不太重要，背景部分中可安排较少的再同步标志以增加其视频包的间隔。
从左上端宏块至右下端宏块以光栅扫描顺序编码一帧时，已给定宏块中的错误将传至右下端的宏块。尤其是错误传至一重要区域时，图象质量大大降低，故重要区域开始时的一宏块被设置成一访问单元中的第一宏块，以避免另一宏块中的错误影响重要区域。图50例中，作为重要区域的人体图象左端的宏块是一访问单元中的第一宏块。
若一访问单元的差错保护强度可以改变，可根据帧中区域的重要性来改变强度。参考图51，浅灰(阴影)区指有强差错保护的一区(高QoS)它被分配给作为重要信息的人体部分。图52A至52C每一个例示了对应于这种图象的访问单元的格式。参考图52A至52C，浅灰(阴影)区对应于图51中浅灰宏块，它具有强差错保护。
一视频包被分成“运动”及“细节”而编码时，如图52A至52C所示，“运动”设在一访问单元的前半部分，“细节”设在其后半部分。此外，图51中浅灰所指重要区可分别设在前半部分与后半部分替代的，“运动”及“细节”可设在不同的访问单元。并给相应访问单元的前半部分提供较强的差错保护。用这种结构，可给重要区的码流中比其它部分更重要的“运动”部分提供更强的差错保护。
如上述，根据本发明，通过安排再同步标志及使用访问单元的格式，可以较小的额外头(冗余)实现高的抗差错性。一般，使用了再同步标志及提供强差保护时，额外头增加了。然而，若分配给作为重要信息的人体等许多再同步标志以加强对其的差错保护，而给不太重要的区域如背景部分很少的同步标志以减弱差错保护，与再同步标志被均匀分给整个图象，其差错保护也均匀的情形相比，在同样的平均额外头下，重要信息有高的抗差错性。
给图51中的重要信息如人体部分分配了许多再同步标志时，相应地每一视频包的长度大大减少。因此若每一视频包分配给一访问单元，则基于AL头，多路复用头，多路复用同步码等的额外头大大增加。此时，如图45A，45B所示，一访问单元中优选设有多个视频包以减少额外头。
图51示出了图1中编码装置的编码器103的电路结构。根据该结构，输入至编码器103的图象信息首先被送至运动补偿电路1036。此时，运动补偿电路1036在输入图象信息及存于帧存贮器1035中的前一帧信息之间进行运动补偿，减法器1030计算补偿后当前帧的信息与前一帧信息的差异。反差异信息离散余弦变换电路(DCT)1031进行DCT变换，并被量化器1032量化，结果信息被送至变长编码器1038。
量化器1032出来的信息被解量化器(IQ)1033解量化。结果被逆离散余弦变换电路(IDCT)1034进行IDCT变换。逆离散余弦变换电路1034的输出与运动补偿电路1036出来的运动补偿信息在加法器1037中被加在一起。加法器1037出来的信息成为当前帧的解码图象信息，即本地解码图象。此本地解码图象信息被存于帧存贮器1035以用作编码下一帧的运动补偿数据。
送于变长编码器1038的量化信息被变长编码。结果被送至重要信息指定电路1039。此重要信息指定电路1039仅从变长编码信息中抽取外部指定的重要信息部分，并将它送至重要头信息重构电路104。注意所有信息被送至比特串重构电路107，不管重要信息指定电路1039是否指定了重要信息。
图54是图2所示解码装置中解码器124的电路结构。根据该结构，解多路复用器121送来的信息被暂存于接收缓冲器1241。由此，对同步检测器122送来的解码开始位置信息作出响应，将随后的头信息送往一头解码器1242。解码器1242解码头信息。此时，首先解码最上层的头信息，已解码信息被送至检验信息中是否有错误的检错电路125。根据指定信息判定电路123的指定解码随后层的头信息。即指定有重要头信息时，解码预定位置的信息作为重要头信息。此重要信息被送至重要信息电路126以暂存于其中。重要信息电路126检测出最上层头信息有错误时，由于重要信息电路126来的重要头信息被送回解码器1242，通过使用重要信息电路126来的重要头信息，解码器1242继续随后的解码处理。
解量化器1243解量化头信息之后的信息(实际图象信息)。其结果被送至IDCT电路1244。IDCT电路1244计算已解量化信息的逆离散余弦变换，并解码当前帧与前一帧之间差异信号。加法器1245将此已解码差异信号加至存于帧存贮器1246中的前一帧信息(用运动矢量信息进行运动补偿后的前一帧信息)。此加法结果信号就是当前帧的重构图象信息。此信息被送至D/A电路127，并被存于帧存贮器1246。
上述实施方式中的编码/解码装置结构及流结构可以互相混合，如果需要。此外，相应的编码/解码工作可被基于软件控制的过程代替。相应的软件程序及编码码流可存于存贮介质中。
如上述，根据本发明，由于码流结构本身有抗差错性，即使重要信息如头信息有错误，该信息不能用于解码，通过使用指定信息指定的新信息作为替代可正确地继续解码。此外，由于已用纠错码及检错码为重要信息如视频码流中的图象头及切片头提供了强的差错保护，与未给重要信息提供足够差错保护的传统视频编码装置及传统多路复用装置相比，即使有传输路径错误，也能解码出一高质量视频信号。另外，由于通过加入填充比特产生了长度为预定数目整数倍的多路复用单元码流，能轻易检测出错误。还有，由于通过收集同样重要的码字形成了访问单元，可根据码字的重要程度提供差错保护。结果在传输路径有错时改善了解码图象的质量。
权利要求
1.一种信息传输方法，包括；在发送端，将重构头信息内容和部分头信息内容所需的重构信息加至编码信息，并发送所加结果；在接收端对头信息或部分头信息进行检错，当检错发现错误时，用重构信息作为替代编码信息进行解码。
2.如权利要求1的方法，包括将表示重构信息加入的指令信息加至头信息。
3.权利要求1或2的方法，其中编码信息包括压缩编码图象信号所得的图象码流，重构信息包括表示图象码流中每个图像帧的显示时间的信息。
4.权利要求1或2的方法，其中编码信息包括压缩编码图象信号所得的图象码流，重构信息包括表示图象码流中每个图象帧的预测方式的信息。
5.一种编码装置，包括将编码信息分成不少于二层，并将解码所需的头信息和同步信号加至每层的装置；一装置，在将信息加至编码信息后，传输作为用于重构编码信息的重构信息的已从上一层传来的信息或部分信息，已在同一层传输的信息或部分信息，或传输用于重构已从上一层或在同一层传输的信息的内容或部分信息的内容的信息；和一装置，用于将表示已加入重构信息、并且具有预定比特模式的指定信息插入头信息。
6.一种编码装置，包括一装置，将同步信号加至编码所需的头信息并编码信息；一装置，在将信息加至编码信息后，传输作为用于重构编码信息的重构信息、已被传输的信息或部分信息或表示信息内容或部分信息的内容的信息；及一装置，将表示加入了重构信息、有预定比特模式的指定信息插入头信息；
7.如权利要求5或6的装置，其中将与头信息相关的部分的编码处理从与头信息相关部分之前的编码处理变至另一类编码处理的信息被插入头信息中，并且此信息被发送。
8.如权利要求7的装置，其中重构信息是改变编码处理的信息或重构部分编码处理的信息。
9.如权利要求5或6的装置，其中编码信息包括压缩编码图象信号所得的图象码流，重构信息包括表示图象码流中每个图象帧显示定时的信息。
10.如权利要求5或6的装置，其中编码信息包括压缩编码图象信号所得的图象码流，重构信息包括表示图象码流中每个图象帧的预测方式的信息。
11.一种解码装置，包括一装置，用于将编码信息分成不少于两层，将解码所需的同步信号和头信息加至每一层；一装置，用于从头信息中检测有预定比特模式的指定信息；及一装置，用于使用其传输已被检测的指定信息表示的信息代替已从上一层发送的信息或部分信息，已在同一层传输的信息或部分信息，或用于重构已从上一层传输或在同一层发送的信息的内容或部分信息的内容的信息，来解码编码信息。
12.一种解码装置，包括一装置，用于接收在将解码所需的同步信号和头信息加至编码信息后被发送的编码信息；一装置，用于从头信息中检测有预定比特模式的指定信息；及一装置，用于当检测到此模式时，用其传输已被指定信息表示的信息替代已发送的信息或部分信息或能重构信息内容或部分信息内容的信息，来解码编码信息。
13.如权利要求11或12的装置，还包括有从头信息中检测有预定比特模式的改变指定信息，并根据被检测信息将与头信息有关部分的解码处理从与头信息相关部分前面部分的解码处理变至另一类解码处理的装置。
14.如权利要求11或12的装置，其中编码信息包括压缩编码图象信号所得的图象码流，重构信息包括表示图象码流中每个图象帧显示预测方式的信息。
15.如权利要求13的装置，其中重构信息是改变编码处理的信息或重构部分该信息的信息。
16.如权利要求11或12的装置，其中编码信息包括压缩编码图象信号所得的图象码流，重构信息包括表示图象码流中每个图象帧定时的信息。
17.如权利要求16的装置，还包括一装置，用于解码表示图象帧显示定时并作为重构信息发送的信息；及一装置，用于检测解码显示定时信息是否与预定规则或由独立发送的信息表示的规则一致，由此检测定时信息是否有传输路径错误。
18.一编码装置，包括不少于一个接收及压缩编码图象信号的图象编码装置；多路复用装置，用于多路复用每一所述图象编码装置输出的图象码流和其它数据信息码流，输出一包括多路复用头及多路复用有效负荷的多路复用码流；一装置，用于将图象码流中的头信息或其部分信息插入多路复用头中；及一装置，用于将从多路复用头中信息产生的纠错/检测码加入多路复用头，用纠错/检错码为图象码流中头信息及与多路复用头中多路复用相关的其它信息提供差错保护，并发送头信息及其它信息。
19.如权利要求18的装置，其中多路复用头中的图象码流头信息包括表示图象码流中图象帧显示定时的信息。
20.一种解码装置，包括解多路复用装置，用于接收通过多路复用图象码流和其它码流而产生的、包括多路复用头及多路复用有效负荷的多路复用码流，此多路复用码流为图象码流中头信息或部分信息及与多路复用头相关的其它信息提供了纠错，通过使用一纠错/检错码，将多路复用码流解多路复用为一个或多个图象码流及其它数据信息码流；图象解码装置，用于解码解多路复用的图象码流；及一装置，用于在图象码流中头信息发出错误时，使用包括在多路复用头中图象码流的头信息解码图象码流。
21.如权利要求20的装置，其中多路复用头中图象码流的头信息包括表示图象码流中一图象帧显示定时的信息。
22.一种记录码流的记录介质，此码流中加入了头信息及重构信息，头信息用于解码，重构信息用于重构头信息的内容或部分头信息的内容，头信息或其部分信息中发现错误时，解码装置用重构信息作为替代头信息来解码码流。
23.一种编码/多路复用装置，包括一装置，用于对以编码单元压缩编码输入信号所得的多种类型压缩码串进行分段；一装置，用于通过将填充比特加至分段单元中分段压缩码串来产生长度为预定长度整数倍的多路复用单元码流；及一装置，用于通过多路复用单元码串产生多路复用码流。
24.一种解码/解多路复用装置，包括一装置，用于接收多路复用码流并解多路复用一多路复用单元码流；一装置，用于将多路复用单元码流中的压缩码串与加至其上的填充比特分离；一装置，用于解码分离的压缩码串；及一装置，用于通过比较所述装置解码的压缩码串结束的位置与填充比特的开始位置来检测多路复用码流的错误。
25.如权利要求23的装置，其中填充比特能独立被逆向解码。
26.如权利要求24的装置，其中所述分离装置通过逆向解码填充比特判定压缩码串逆向解码开始位置，所述解码装置从判定的开始位置开始逆向解码。
27.一种编码/多路复用装置，包括压缩编码装置，用于编码输入信号，用来以给定编码单元对信号分段，由此产生压缩码串；一装置，用于通过从分段压缩码串中收集同样重要的同步码字以产生多路复用码流；及一装置，用于将表示编码单元分界符的码插入根据重要程度产生的多路复用码流。
28.一种解码/解多路复用装置，包括一装置，用于解多路复用根据码字重要性收集的压缩码串及多路复用压缩码串得到的多路复用码流；一装置，用于通过检测多路复用码流中表示码分界符的码来指定相应于分段码流的编码单元；一装置，用于通过从根据重要性多路复用的多路复用码流中收集有同样码分界符的码串来产生压缩码流；及一装置，用于解码压缩码流。
29.一种信息传输方法，包括步骤通过编码视频信号产生编码数据流；及将编码数据分成多个层，将解码所需重要头信息加至至少上面和下面几层，并传输数据。
30.如权利要求29的方法，还包括将编码数据分成多个层，并从较上层开始解码；对解码数据进行检错；及从解码数据中抽取重要头信息，根据检错结果使用较低层的重要头信息作为替代继续解码。
全文摘要
信息传输方法中,比特流本身有抗差错性使重要信息如头信息,有错误时也能正确解码。编码装置中比特流重构电路(107)将同步信号加至编码器(103)以某种比特流单元编码所得的编码数据流的头,然后用指定信息插入电路(106)将指定信息插入每一比特流。每一指定信息表示重构重要头信息的信息的加入。通过在所得比特流中插入指定信息,可将重构信息加至比特流。故即使头信息有错误,使信息不能用于解码,也能通过使用指定信息指定的新重构信息作为替代继续进行正确解码。
文档编号H04N7/52GK1200223SQ97191180
公开日1998年11月25日 申请日期1997年9月2日 优先权日1996年9月2日
发明者渡边敏明, 菊池义浩, 中条健, 永井刚 申请人:株式会社东芝