运动图像编码方法及装置和记录介质的制作方法

专利名称：运动图像编码方法及装置和记录介质的制作方法
技术领域：
本发明涉及一种运动图像编码方法及装置和一种记录介质，该方法和装置用于对由诸如离散余弦变换的正交变换编码的数字信号进行处理。
最近，广泛使用了所谓的MPEG(运动图像专家组)或MPEG2，它组合了对图像信号的压缩编码、冗余度缩减处理、和运动补偿MC，冗余度缩减处理是通过诸如离散余弦变换(DCT)的正交变换来完成的。
为了采用运动补偿进行预测编码，MPEG2使用由称为I、P和B图像的三个单元组成的图像组(GOP)的结构。I图像(内编码图像，intra-picture)是通过图像内编码来产生的，而不必依靠从先前图像的预测编码。
应该注意，如果只排列由预测编码生成的图像，则不能根据随机存取的结果立即恢复图像。因此，就要周期地产生存取参考以适应随机存取。即，I图像起保持GOP独立的作用。
I图像出现的频率是由应用所需的随机存取的操作性能来决定的。通常，在每个GOP中使用一个I图像，因此，如果每秒出现两个GOP，则每15个帧图像使用一个I图像。GOP是从一个I图像至另一个I图像的图像组。图像预测是在构成这种组的那些图像之间完成的。
由先前图像直接通过预测编码产生的P图(预测编码图像)，是在I图像的基础上获得的。不同于I图像(帧内编码图像)，P图像被定义成帧间前向预测图像。B图像(双向预测编码图象)是由两个图像，即时间前向图像和时间反向图像，进行预测而产生的。
进一步分析GOP中I图像、P图像以及B图像之间的关系，由位于GOP前端的I图像开始在前向方向中进行第一级预测就生成了P图像。这种P图像被排列成跳跃随后产生的B图像。
由两个图像，即原始的I图像以及在第一级中编码的P图像，进行第二阶段的预测。即，通过双向预测产生一个或多个B图像。另外，B图像同样是在第一和第二P图像之间产生的。在解码的时候，B图像的运动补偿是通过两个运动矢量利用两个参考图像来实现的，两个参考图像即为前向参考图像和反向参考图像。
双向预测是MPEG的特点，在通过采用两个图像，即在时间上的过去图像和在时间上的未来图像，进行预测时得到高预测效率。
同时，在再现过程中会出现由MPEG2规定的运动图像节目的跳跃部分。由于上述的MPEG2编码方法，通常通过预测参考所述图像的时间上在前的以及之后的图像来再现MPEG2图像。
因此，为了进行预测，通常需要参考在跳跃开始点后面的图像和跳跃结束点处前面的图像，这样，很难从跳跃开始点至跳跃结束点无缝地再现图像。
例如，如果入点(in-point)图像是B图像，就需要预先地解码为了解码该B图像所需的I图像或者P图像。在这种情况下，恐怕会中断再现的图像。
本发明的一个目的是提供一种运动图像编码的方法和装置，其中如果规定跳跃一部分运动图像节目以便进行再现，则跳跃起点之前的GOP和跳跃结束点之后的GOP能够被有效地再编码，以便无缝地再现跳跃起点之前的节目和跳跃结束点之后的节目。
本发明的另一个目的是提供一种记录介质，在该记录介质上记录有相应的控制程序。
一个方面，本发明提供一种运动图像编码方法，该运动图像编码方法包括重构步骤，用于通过把包含有该出点图像的一组图像中从该组图像的初始显示图像开始直至该出点图像的那些图像，再编码成能够由正好在包含有该出点图像的该组图像之前显示的另一组图像的图像中预测到的图像间预测编码图像，以把这些图像重构成为不必预测参考该出点图像之后的显示图像就能够被解码的一组图像，从而重构输入视频流。
另一方面，本发明提供一种运动图像编码装置，该运动图像编码装置包括重构装置，用于通过把包含有该出点图像的一组图像中从该组图像的初始显示图像开始直至该出点图像的那些图像，再编码成能够由正好在包含有该出点图像的该组图像之前显示的另一组图像的图像中预测到的图像间预测编码图像，以把这些图像重构成为不必预测参考该出点图像之后的显示图像就能够被解码的一组图像，从而重构输入视频流。
另一方面，本发明提供一种记录有控制程序的记录介质，该控制程序通过把包含有该出点图像的一组图像中从该组图像的初始显示图像开始直至该出点图像的那些图像，再编码成能够由正好在包含有该出点图像的该组图像之前显示的另一组图像的图像中预测到的图像间预测编码图像，以把这些图像重构成为不必预测参考该出点图像之后的显示图像就能够被解码的一组图像，从而重构输入视频流。
另一方面，本发明提供一种运动图像编码方法，该运动图像编码方法包括重构步骤，用于通过把正好在包含有该入点图像的一组图像之后显示的一组图像中的第一内编码图像，再编码成能够由包含有该入点图像的该组图像中的一个图像预测到的图像间编码图像，以将这些图像重构为不必预测参考该入点图像之前的显示图像就能够被解码一组图像，从而重构输入视频流。
另一方面，本发明提供一种运动图像编码装置，该运动图像编码装置包括重构装置，用于通过把正好在包含有该入点图像的一组图像之后显示的一组图像中的第一内编码图像，再编码成能够由包含有该入点图像的该组图像中的一个图像预测到的图像间编码图像，以将这些图像重构为不必预测参考该入点图像之前的显示图像就能够被解码一组图像，从而重构输入视频流。
另一方面，本发明提供一种记录有控制程序的记录介质，该控制程序用于通过把正好在包含有该入点图像的一组图像之后显示的一组图像中的第一内编码图像，再编码成能够由包含有该入点图像的该组图像中的一个图像预测到的图像间编码图像，以将这些图像重构为不必预测参考该入点图像之前的显示图像就能够被解码一组图像，从而重构输入视频流。
另一方面，本发明提供一种运动图像编码方法，该运动图像编码方法包括重构步骤，用于在输入比特流中，将在显示序列中直至该第一点的包含该第一点的一个单位域的一组图像、以及正好在该显示序列中包含有该第一点的该组图像之前显示的一个单位域的一组图像，重构成为第一组图像，该第一组图像不必预测参考位于该第一点之后的图像就能够解码，以及用于把从包含有该第二点的一个单位域的一组图像的显示序列中的该第二点开始的图像、和在该显示序列中正好跟着包含有该第二点的该组图像的单位域的另一组图像，重构成为第二组图像，该第二组图像不必预测参考位于该第二点之前的图像就能够解码。
另一方面，本发明提供一种运动图像编码装置，该运动图像编码装置包括重构装置，用于在输入比特流中，将在显示序列中直至该第一点的包含该第一点的一个单位域的一组图像、以及正好在该显示序列中包含有该第一点的该组图像之前显示的一个单位域的一组图像，重构成为第一组图像，该第一组图像不必预测参考位于该第一点之后的图像就能够解码，以及用于把从包含有该第二点的一个单位域的一组图像的显示序列中的该第二点开始的图像、和在该显示序列中正好跟着包含有该第二点的该组图像的单位域的另一组图像，重构成为第二组图像。
另一方面，本发明提供一种记录有控制程序的记录介质，该控制程序用于在输入比特流中，将在显示序列中直至该第一点的包含该第一点的一个单位域的一组图像、以及正好在该显示序列中包含有该第一点的该组图像之前显示的一个单位域的一组图像，重构成为第一组图像，该第一组图像不必预测参考位于该第一点之后的图像就能够解码，以及该控制程序还用于把从包含有该第二点的一个单位域的一组图像的显示序列中的该第二点开始的图像、和在该显示序列中正好跟着包含有该第二点的该组图像的单位域的另一组图像，重构成为第二组图像。
另一方面，本发明提供一种运动图像编码方法，该运动图像编码方法包括重构步骤，用于当该第一点是双向预测编码图像时，解码包含有该第一点的该单位域的一组图像，以再编码在显示序列中直至该第一点的图像，以及用于当该第二点是前向预测编码图像或者双向预测编码图像时，解码包含有该第二点的单位域的一组图像，以再编码位于显示序列中该第二点之后的图像。
另一方面，本发明提供一种运动图像编码装置，该运动图像编码装置包括重构装置，用于当该第一点是双向预测编码图像时，解码包含有该第一点的该单位域的一组图像，以再编码在显示序列中直至该第一点的图像，以及用于当该第二点是前向预测编码图像或者双向预测编码图像时，解码包含有该第二点的单位域的一组图像，以再编码位于显示序列中该第二点之后的图像。
又一方面，本发明提供一种记录有控制程序的记录介质，该控制程序用于当该第一点是双向预测编码图像时，解码包含有该第一点的该单位域的一组图像，以再编码在显示序列中直至该第一点的图像，该控制步骤还用于当该第二点是前向预测编码图像或者双向预测编码图像时，解码包含有该第二点的单位域的一组图像，以再编码位于显示序列中该第二点之后的图像。
利用根据本发明的运动图像编码方法、运动图像编码装置以及记录介质，通过把包含有该出点图像的一组图像中从该组图像的初始显示图像开始直至该出点图像的那些图像，再编码成能够由正好在包含有该出点图像的该组图像之前显示的另一组图像的图像中预测到的图像间预测编码图像，以把这些图像重构成为不必预测参考该出点图像之后的显示图像就能够被解码的一组图像，从而重构输入视频流。因此可以有效地对跳跃起点之前的输入比特流的部分进行编码，从而能够无缝地再现该跳跃起点之前的节目部分以及该跳跃结束点之后的节目部分。
利用根据本发明的运动图像编码方法、运动图像编码装置以及记录介质，通过把正好在包含有该入点图像的一组图像之后显示的一组图像中的第一内编码图像，再编码成能够由包含有该入点图像的该组图像中的一个图像预测到的图像间编码图像，以将这些图像重构为不必预测参考该入点图像之前的显示图像就能够被解码一组图像，从而重构输入视频流。这样，可有效地对跳跃起点之前的输入比特流的部分进行编码，以便能够无缝地再现跳跃起点之前的节目部分以及跳跃结束点之后的节目部分。另外，可将两组图像合为一组，并且可将例如后侧组图像的I图像改变成P图像，以减少编码比特量。
利用根据本发明的运动图像编码方法、运动图像编码装置以及记录介质，将在显示序列中直至该第一点的包含该第一点的一个单位域的一组图像、以及正好在该显示序列中包含有该第一点的该组图像之前显示的一个单位域的一组图像，重构成为第一组图像，该第一组图像不必预测参考位于该第一点之后的图像就能够解码，并且把从包含有该第二点的一个单位域的一组图像的显示序列中的该第二点开始的一组图像、和在该显示序列中正好跟着包含有该第二点的该组图像的单位域的另一组图像，重构成为第二组图像，该第二组图像不必预测参考位于该第二点之前的图像就能够解码。这样，如果规定在再现运动图像节目时跳跃该运动图像节目的一部分，则可无缝地再现跳跃起点之前的节目部分和跳跃结束点之后的节目部分，以便对跳跃起点之前以及跳跃结束点之后的节目部分进行有效编码。另外，可将两组图像合成一组，并且将例如后侧组图像的I图像改变成P图像，以减少编码比特量。
利用根据本发明的运动图像编码方法、运动图像编码装置以及记录介质，当该第一点是双向预测编码图像时，解码包含有该第一点的该单位域的一组图像，以再编码在显示序列中直至该第一点的图像，并且当该第二点是前向预测编码图像或者双向预测编码图像时，解码包含有该第二点的单位域的一组图像，以再编码位于显示序列中该第二点之后的图像。这样，如果规定在再现运动图像节目时跳跃该运动图像节目的一部分，则可无缝地再现跳跃起点之前的节目部分和跳跃结束点之后的节目部分，以便对跳跃起点之前以及跳跃结束点之后的节目部分进行编码。


图1表示比特流的再编码；图2是表示VBV缓冲器的比特存储量的时序图；图3表示缓和编码条件限制的调节方法；图4表示一种系统(多路复用)流；图5表示运动图像编码方法的一系列处理步骤的流程图；图6示意地表示整个运动图像编码装置的结构；图7表示处在编辑点之前和之后处GOP的再编码的一个例子；图8是表示根据本发明第二方面的运动图像记录/再现装置的结构方框图；图9是表示在图8所示的运动图像记录/再现装置中再编码和再多路复用出点和入点(out-and in-points)的顺序的流程图；图10是表示在出点侧视频再编码顺序的流程图；图11A示出编码比特流的阵列，以及图11B到11D示出在通过再编辑出点过程中编码比特流的阵列；图12示出在通过再编码来编辑的过程中虚缓冲器的比特存储容量；图13示出当假设把GOP-0的图像B11作为I10x完成再编码时虚缓冲器的缓冲器的比特存储容量；图14示出在通过再编码进行编码的过程中虚缓冲器的比特存储量；图15是用来表示在运动图像记录/再现装置中再编码入点的顺序的流程图；图16A表示编码比特流的阵列，和图16B至D表示在再编码入点过程中编码比特流的阵列；图17表示在再编码入点过程中虚缓冲器的比特存储量；图18表示当假设把GOP-m的图像Im2作为Im2x完成再编码时虚缓冲器的缓冲器的比特存储量容量；和图19表示在再编码入点过程中虚缓冲器的比特存储量。
结合附图，将详细地解释依照本发明的运动图像编码方法及装置和记录介质。
首先解释本发明的第一实施例。
如图1A中编码比特流的阵列所示，如此地执行依照本发明的比特流的处理，当在条约运动图像节目的部分的情况下指定再现过程中，使之能够无缝地再现位于出点之前的节目和位于入点之后的节目，其中该出点是对应于时间轴方向的作为显示序列中跳跃起始点的第一点，入点是作为跳跃结束点的第二点。
在本运动图像编码方法中，运动图像节目是作为一种MPEG2标准的编码比特流提供的。
MPEG2标准的编码比特流基于作为一个单位的图像组(GOP),GOP是预定序列中若干编码图像的一组图像。即，在图1A中，出点图像BO4包含在GOP-0中，GOP-0是邻接GOP-(-1)的出点侧GOP。该入点侧GOP邻接GOP-(n+1)。要注意的是，GOP-i意味着沿着与图像显示序列相应的时间轴上的第i个GOP。
每个GOP是由内图像(I图像)、预测编码图像(P图像)以及双向编码图像(B-图像)构成的，其中I图像是通过对一个图像编码而非从其它图像预测编码来得到的参考图像；P图像是一种前向预测编码图像，这些图像是显示序列的前向方向中以预测编码方式编码的；B图像是使用前向预测编码和反向预测编码方式编码图像的图象。
在图像显示序列中，按照预定的顺序，每个GOP是由I图像、随后的多个P图像和B图像组成的。
在编码比特流中，如图1A所示，GOP GOP-0是出点侧GOP，它是由按I02、B00、B01、B05、B03、B04、B08、B06和B07的顺序排列的图像组成的，而GOP GOP-n是入点侧GOP，它是由按In2、Bn0、Bn1、Pn5、Bn3、Bn4、Pn4、Bn6以及Bn7的顺序排列的图像组成的。
要注意的是，Iij表示其显示顺序为j的第i个GOP的1图像，而Pij和Bij分别表示其显示顺序分别等于i和j的第j个GOP的P图像和B图像。
在编码比特流中，如图1A所示，假设需要无缝地再现显示序列中位于出点之前的图像和位于入点之后的图像。
为此，解码GOP GOP-0，它是包含了作为出点图像Pout的B04的出点侧GOP。然后，对该GOP GOP-0再编码，以便能够对作为出点图像Pout的B04解码，而不必预测参考显示序列中位于后面的编码图像。即，在图1B中所示的再编码后的该编码比特流的阵列中，图1A中所示的出点侧GOP，即GOP GOP-0对应于再编码的GOP-new-0。
另一方面，解码GOP GOP-n，它是包含了作为入点图像Pin的Pn5的入点侧GOP。然后，再编码该GOP GOP-n，以便解码作为入点图像Pin的Pn5，而不必预测参考显示序列中位于前面的编码图像。也就是说，在图1B中所示的再编码后的该编码比特流的阵列中，图1A中所示的入点侧GOP，即GOP GOP-n对应于再编码的GOP-new-n。
作为这种对入点侧GOP和出点侧GOP的再编码的结果，就能够无缝地再现位于入点之前的各帧和那些位于出点之后的帧，这些帧由图1C中所示的再现帧F00、F01、F02、F03、F04、Fn5、Fn6、Fn7、Fn8的阵列来表示。
要注意的是，GOP-new-i表示经过对GOP GOP-i的某些图像再编码所生成的新的GOP。
此刻该GOP GOP-new-0是由帧F00、F01、F02、F03、F04所生成的新的GOP，帧F00、F01、F02、F03、F04是通过对GOP-0的图像B00、B01、B02、B03、B04进行解码而获得的。该GOP GOP-new-n是由帧Fn5、Fn6、Fn7、Fn8所生成的新的GOP，帧Fn5、Fn6、Fn7、Fn8是通过对GOP-n的图像Fn5、Bn6、Bn7、Pn8进行解码而获得的。帧Fij对应于具有相应后缀的图像。
涉及MPEG系统的比特流的上述操作过程构成了重构处理。
下面具体说明出点侧GOP的再编码。
例如，如果该出点图像是I或者P图像，则不必对该出点侧GOP解码然后再编码，就足以去除邻接该出点图像的P或者I图像的下游图像。
如果在图1A中所示的编码比特流阵列中，GOP GOP-0的图像P05，即出点侧GOP图像P05是出点图像，就能够移动图像P08的下游图像，以产生如下所示的GOP GOP-new-0:
GOP-0:I02 B00 P05 B03 B04 P08 B06 B07GOP-new-0:I02 B00 B01 P05 B03 B04如果出点图像是B图像，就需要解码然后编码该出点侧GOP。也就是说，再编码该GOP以便能够解码该出点图像，而不必预测参考显示序列中位于出点图像之后的图像。
例如，如果GOP GOP-0的B04，即出点侧GOP的B04是出点图像Pout，如图1A中所示，则如此地进行再编码，以便不必预测参考就能够产生图像B03、B04，图像B03和B04是从图像I02、P05预测编码得到的。
首先，将I02、B00、B01、P05、B03以及B04解码成帧F00、F01、F02、F04、F05，此后对这些帧F00、F01、F02、F03、F04再编码，如下所示GOP-0:I02 B00 B01 P05 B03 B04 P08 B06 B07GOP-0的解码图像F00 F01 F02 F03 F04 F05。
然后，在GOP GOP-new-0(a)中，F03和F04被再编码成P图像P03和P04，它们分别是从I02和P03预测编码得到的，在GOP GOP-new-0(b)中，F04被再编码成P图像P04，而F03被再编码成B图像B03，它们分别从I02和P04预测编码得到的，如下所示GOP-new-0(a):I02 B00 B01 P03 P04，或者GOP-new-0(b):I02 B00 B01 B04 B03，要注意的是，最好不利用编码而是从GOP GOP-0复制在GOP GOP-new-0(a)中的和在GOP-new-0(b)中的I02、B00、以及B02。
要注意的是，后缀标记I、B和P对应于具有相同后缀的图像。
下面具体说明入点侧GOP的再编码。
如果入点图像是I图像，则不需要对入点侧GOP解码然后再编码。
在这种情况下，如果入点图像的下游图像被直接复制并以这样形式被使用的话就足够了。
例如，如果如图1A中所示的GOP GOP-n的图像In2，即入点侧GOP，则图像In2的下游图像能够直接起到GOP GOP-new-n的作用。
如果入点图像是P图像或者B图像，就需要对该入点侧GOP再编码。对该GOP再编码，以便不必预测参考显示序列中位于该入点图像之前的图像就能够对该入点图像解码。
例如，如果Pn5是入点图像Pin，如在图1A中的GOP GOP-n中，则需要如此进行再编码处理，以便不必预测参考In2就能够从In2预测地编码Pn5。首先，把GOP GOP-n的图像In2、Bn0、Bn1、Pn5、Bn3、Bn4、Pn8、Bn6、Bn7解码成帧Fn0、Fn1、Fn2、Fn3、Fn4、Fn5、Fn6、Fn7、Fn4、Fn8，并且然后对帧Fn5、Fn6、Fn7、Fn8再编码。
在GOP GOP-new-n中的后缀I、B和P对应于具有相同后缀的图像F。在GOP GOP-new-n中，Fn5被再编码成I图像，如下所示GOP-n:In2、Bn0、Bn1、Pn5、Bn3、Bn4、Pn8、Bn6、Bn7GOP-n的解码图像Fn0、Fn1、Fn2、Fn3、Fn4、Fn5、Fn6、Fn7、Fn4、Fn8GOP-new-0:In5、Pn8、Bn6、Bn7。
在另外一个例子中，如果GOP GOP-n的Bn3是入点图像，建议如下所示把Fn5再编码成I图像In5。
GOP-n:In2、Bn0、Bn1、Pn5、Bn3、Bn4、Pn8、Bn6、Bn7GOP-n的解码图像Fn0、Fn1、Fn2、Fn3、Fn4、Fn5、Fn6、Fn7、Fn8GOP-new-n:In5、Bn3、Bn4、Pn8、Bn6、Bn7。
也就是说，在GOP GOP-n中，显示序列中的入点图像Bn3的下游的第一P图像被再编码成I图像In5。
如果，在跟着再编码的GOP GOP-new-n之后的GOP GOP-(n+1)中，closed_gop=0,GOP GOP-(n+1)的前端B图像预测参考原来的GOP-n的图像。
要注意的是，该closed_gop是在MPEG GOP头标(header)中1比特标记，并且该closed_gop规定了在紧跟着GOP头标之后的第一I图像的B图像中所用的预测类型。
把该closed_gop设为1，则表示只利用反向预测或者内编码已经对紧跟着GOP头标之后的第一I图像的B图像进行编码。
例如，如果有下面的图像串Ia0 Pa3 Ba1 Ba2|Ix2 Bx0 Bx1 Bx5 Bx3 Bx4，其中|代表GOP边界。如果从Ix2开始的GOP的closed_gop设置为“1”，则表明只使用从Ix2的反向预测或者内编码来对Bx0和Bx1编码，而不采用从Pa3的前向预测或者从Pa3与Ix2的双向预测。
如果closed_gop设为0，则所讨论的GOP参考刚好在GOP之前的图像。
在对GOP GOP-n再编码的过程中得到的GOP GOP-new-n在图像质量方面不同于原始GOP GOP-n，因此，严格说来，在GOP GOP-(n+1)的引导B图像的图像质量中产生不匹配的可能性。不过，可以推测出这种可能性很少会影响GOP GOP-(n+1)的引导B图像的图像质量。如果将保持这种效果，则再编码用来对原始GOP图像进行预测编码的GOP GOP-(n+1)的引导B图像当然是可能的。
下面说明对再编码条件的限制。
如果分别把作为出点侧GOP的GOP GOP-0和作为入点侧GOP的GOPGOP-n编码成GOP GOP-new-0和GOP GOP-new-n，则必须小心在把GOPGOP-n再现成GOP GOP-(n+1)的过程中，不使作为MPEG中定义的解码器的虚缓冲器的VBV缓冲器失效。要注意的是，VBV缓冲器失效意味着它的溢出或下溢。
要注意的是，如果采用再现该编码比特流的方法就能够控制进入VBV缓冲器的输入率从而阻止缓冲器溢出，则这就足以不会引起缓冲器下溢了。在下面例子中，说明在不引起缓冲器下溢的条件下的再编码条件。
在这种情况下，最大制约是用于GOP GOP-new-n的第一I图像的编码比特量。也就是说，在图2的具有1.75Mbits(兆比特)缓冲器尺寸的VBV缓冲器的比特存储量中，用于GOP GOP-new-n的第一I图像的编码比特量(即GOP GOP-n的再编码的版本)不必大于图2中的D，其中GOP GOP-n是包含有入点图像的入点侧GOP。
VBV缓冲器的输入比特率越大，则当对GOP GOP-new-n再编码时其制约就越小。通常，使用时的最大比特率定为VBV缓冲器的输入比特率。
同时，在一种所谓的DVD-Video(DVD-视频)、或符合数字卫星广播的MPEG 2MP@ML(主分布/主级别)中，VBV缓冲器的输入比特率的最大值是5Mbps。如果在通过等时转换在IEEE 1394标准的数字总线上数字输出比特流的情况下能够达到15Mbps，则在再编码的时候，VBV缓冲器的输入比特率能够设为15bps。实际上，需要使用对应于该输入比特率加上音频或多路复用开销比特率的这样一种比特率。
GOP GOP-new-n的第一I图像的比特量的最小值，即最差的模式，是(VBV缓冲器的输入比特率/帧比特率)。在这种情况下，很难把GOP GOP-new-n编码成高的图像质量。如果出点图像是I图像或者如果GOP GOP-new-0的图像数是小致2或3，则可能会出现接近这种最差模式的情况。
下面说明缓和上述再编码限制的方法。
如果在图3A中阴影所示的图像，即如果编辑出点之前的两个GOP(GOP-(-1)与GOP-0)和编辑入点之后的两个GOP(GOP-n与GOP-(n+1))被再编码，从而得到如图3B中所示的GOP GOP-new-A与GOP GOP-new-B，则某种程度上缓和了对于入点图像的下游图像的编码制约。
为了进行高质量图像编码，I图像所需的编码比特量要大大地多于P或者B图像所需的编码比特量。不过，如果相邻I图像之间的间隔是2或3那么少，则为了防止VBV缓冲器的下溢，就需要从实现高图像质量所需的比特量中减少I图像所需的编码比特量。这样，就很难把GOP编码成高图像质量。
如果在图1中所示的出点侧节目中，出点图像是I图像，或者GOPGOP-new-0的图像的数量有2或3个那么少，或者如果在入点侧节目中，GOP GOP-new-n的图像的数量有2或3个那么少，则可能发生接近上述最差模式的条件的危险率是高的。在这种情况下，很难把各GOP GOP-new-0或GOP-new-n编码成高图像质量。
在如此情况下，在出点侧节目方面，通过把图3中阴影所示的图像，即编辑出点图像之前的两个GOP，再编码成单一的GOP GOP-new-A，以及在入点侧节目方面，通过把图3中阴影所示的图像，即编辑入点图像之后的两个GOP，再编码成单一的GOP GOP-new-B，就能够改善图像质量。
下面示出针对出点侧节目的改善图像质量的一个例子。
首先，假设各GOP GOP-(-1)和GOP-0如下所示地构成I2 B0 B1 P5 B3 B4 P8 B6 B7 Pb B9 Ba|I2 B0 B1 P5 B3 B4 P8 B6 B7Pb B9 Ba其中|代表GOP界限，这样GOP GOP-(-1)和GOP GOP-0在符号“|”的左侧和右侧。
如果，采用作为出点图像GOP GOP-0的I2对该GOP GOP-0再编码，就能够如下所示地构造GOP GOP-new-0:
I2 B0 B1 P5 B3 B4 P8 B6 B7 Pb B9 Ba|I2 B0 B1其中GOP GOP-new-0位于符号“|”的右侧。
如果为了改善图像质量，把位于出点侧的两个GOP，即GOP-(-1)和GOP-new-0，再编码成GOP-new-A，就能够获得I2 B0 B1 P5 B3 B4 P8 B6 B7Pb B9 Ba P2 B0 B1，这里包含出点图像(GOP-new-0)的GOP GOP-0的第一I图像I2就被再编码成P图像P2,P图像P2是能够从刚好在GOP-0之前的GOP GOP-(-1)的图像预测到的。
下面说明通过对入点侧节目再编码来改善图像质量的例子。
首先假设如下所示地构造各GOP GOP-n和GOP-(n+1):
I2 B0 B1 P5 B3 B4 P8 B6 B7 Pb B9 Ba|I2 B0 B1 P5 B3 B4 P8 B6 B7Pb B9 Ba其中GOP GOP-n和GOP GOP-(n-1)在符号“|”的左和右侧。
如果采用作为入点图像GOP GOP-n的B9对该GOP GOP-n再编码，就能够构造GOP GOP-new-n如下Ib B9 Ba|I2 B0 B1 P5 B3 B4 P8 B6 B7 Pb B9 Ba其中GOP GOP-new-n位于符号“|”的左侧。
如果为了改善图像质量，把位于入点侧的两个GOP，即GOP-n和GOP-(n+1)，再编码成GOP-new-B，就得到Ib B9 Ba P2 B0 B1 P5 B3 B4 P8 B6B7 Pb B9 Ba，这里，在包含有入点图像B9(GOP-new-n)的GOP-n的紧后面表示的GOP-(n+1)的第一I图像I2被再编码成从图像GOP-n(GOP-new-n)预测到的像P2。
如果通过应用对GOP图像数目施加限制，存在GOP-new-A和GOP-new-B的长度超过该限制的机会。在这样的情况下，如果把各GOP，即GOP-new-A和GOP-new-B分别编码成两个GOP的话就足够了。
例如，出点侧节目在改善之前是I2 B0 B1 P5 B3 B4 P8 B6 B7 Pb B9 Ba|I2 B0 B1，以及在改善之后是I2 B0 B1 P5 B3 B4 P8 B6 B7|Ib B9 Ba P2B0 B1。也就是说，把两个GOP，即各GOP GOP-(-1)和GOP-new-0，分别被再编码成两个GOP，即GOP-new-A1和GOP-new-A2。
同样，入点侧节目在改善之前是I2 B0 B1|I2 B0 B1 P5 B3 B4 P8 B6B7 Pb B9 Ba，而在改善之后是I2 B0 B1|I5 B3 B4 P8 B6 B7 Pb B9 Ba。也就是说，把两个GOP，即GOP-(-1)和GOP-new-0，分别再编码成两个GOP，即GOP-new-B1和GOP-new-B2。
在这些例子中，GOP图像的最大数目限制为I2。
下面说明系统(多路复用)数据流。
在MPEG系统中，将用于多路复用的数据分成适当长度的、称为数据包的数据流，并且在上面增加了诸如头标的辅助信息。得到的数据包被时分多路复用并且按切换方式传送。
在MPEG同步系统中，称为时间戳用来规定何时解码并再现数据的信息被附加到每个解码再现单元的数据上，该单元称为存取单元。由称为系统时间参考(SCR)的信息来提供时间参考给该时间戳。
时间戳可以分成记录输出时间管理信息，称为表明时间戳(PTS)；以及解码管理信息，称为解码时间戳(DTS)。
在用于进行再编码的域中，系统编码也被更新，因此也要新附加时间戳。不过，在这种状态下，在编辑点之前和之后，在系统流上产生时间戳(SCR、PTS和DTS)的不连续性。
为了确保时间戳的连续性，需要再多路复用整个节目以便再附加时间戳。不过，根据做节目的时间，再多路复用时间被延长。因此，在诸如在存储介质上进行编辑的应用中，这种方法是不实际的。
因此，再多路复用域限制为再编码域，而时间戳只附加至new_stc域。应该注意，域stc1和stc2与固有地附加给多路复用的数据流的时间戳相同。
对于new_stc域，利用连续至stc1的系统时间时钟(STC)来进行系统编码。
当对这种系统数据流进行解码时，在系统解码侧使用下面的措施以保证无缝的再现过程。
事先把STC间断的出现点Stc1_PTS_end通知给系统解码器。应该注意的是作为STC间断点的Stc1_PTS_end是在stc上GOP GOP-new-n的最后显示图像的PTS与图像显示时间的总和。
在GOP-new-n的解码结束之后，当少于STC偏置的图像的DTS等于STC值时，视频解码器计算下面的STC偏置，以解码GOP-(n+1)的图像。
STC偏置和GOP GOP-(n+1)的图像解码时间如下设置
STC偏置=(GOP GOP-(n+1)的初始显示图像的PTS)-Stc1_PTS_endGOP GOP-(n+1)的图像的解码时间=GOP GOP-(n+1)的图像的DTS-STC偏置。
当Stc1_PTS_end的值等于STC值的时候，切换至GOP GOP-(n+1)的初始显示图像的PTS。从这个时间开始，当图像的STC和DTS彼此相等时，开始图像解码处理。
图5的流程图显示运动图像编码方法的过程。
步骤S1是重构过程，用于把MPEG2标准的输入比特流中直至包含有出点的GOP的显示序列中出点的部分，重构成能够不必预测参考出点的下游图像就能够解码的第一GOP，并用于把输入比特流中直至包含有入点的GOP的显示序列中入点的另一部分重构成不必预测参考入点的上游图像就能够解码的第二GOP。然后，处理转移至步骤S2。
在步骤S2，把输入比特流至少延迟一段在步骤S1中重构所需的时间。在下一步骤S3处，在GOP基础上在步骤S1的比特流与步骤S2的比特流之间进行切换，以输出选中的比特流。这样就终止操作过程。
下面说明运动图像编码装置。
参照图6，运动图像编码装置包括拾取器12，用于读出在作为记录介质的光盘101上记录的数据；解调电路13，用于把来自拾取器12的信号解调成比特流；以及缓冲器1，用于暂时存储来自解调电路13的比特流。
拾取器12将激光照射到以旋转方式运行的光盘1的信号记录表面的记录轨迹上，以读出记录在光盘101上的运动图像数据。解调电路13把从拾取器12送出的运动图像数据解调成符合MPEG2标准的比特流。该输入比特流被暂时存在缓冲器1中。
运动图像编码装置包括开关SWI，用于把来自缓冲器1的比特流S21切换至固定端子A或者B之一；解码器单元2，用于把来自固定端子A的比特流S21解码成图像信号；以及编码器4，用于对来自解码单元2的图像信号S27编码。
开关SW1响应来自控制电路11的控制信号，以把来自缓冲器1的比特流S21切换至固定端子A或者B之一。解码器单元2把来自开关SW1的比特流S22解码成图像信号S27，这个图像信号S27随后被编码器4编码成比特流。
解码器单元2包括开关9，用于把来自开关SW1的固定端子A的比特流S22切换至固定端子A或者B之一；缓冲器5，用于暂时地存储来自开关9的固定端子A的比特流S23；以及解码器6，用于解码来自缓冲器5的比特流。
解码器单元2包括缓冲器7，用于暂时地存储来自开关9的固定端子B的比特流S24；解码器8，用于对来自缓冲器7的比特流解码；以及开关10，用于选择供有来自解码器6的解码图像输出S25的固定端子A，或者选择供有来自解码器8的解码图像输出的固定端子B。
缓冲器5和7是用来暂时存储输入至解码器单元2的输入数据流的存储器。这些缓冲器5和7用来对下游侧解码器6、8中MPEG2标准的比特流进行解码。MPEG2 MP@ML(主分布/主级别)的标准规定了这些缓冲器5和7的容量，例如大约是1.75Mbits。
送至这些缓冲器5和7的比特流由开关9切换，以便被送入缓冲器5和缓冲器7之一。
解码器6、8对根据MPEG系统压缩的比特流进行解码，以产生数字图像数据。根据附加在编码数据的各个图像上的解码时间控制信息(DTS)，这些解码器6和8对图像解码。
解码器单元2受到控制电路11的控制，控制电路11管理缓冲器7的比特存储量，以控制要读取的比特流的比特率。在跳跃再现期间，在包含有出点图像的流与包含有入点图像的图像流之间的中断定时处，控制电路11变换开关SW1的状态。
解码器单元2包括两个解码器6和8，用于同步对比特流S23和S24解码。这些解码器6和8在GOP基础上对比特流解码，以便互连该比特流中的入点和出点。
开关10定时到控制电路11的控制信号，以便在解码器6和8的信号之间进行切换，以便把选定的信号输出至解码器4。
运动图像编码装置还包括延迟电路3，用于延迟来自开关SW1的固定端子B的比特流S29；编码器4，用于把由解码器单元2的开关10输出的图像信号S27编码成比特流S28；以及开关SW2，用于在供有来自编码器4的比特流S28的固定端子A与供有来自延迟电路3的比特流S30的固定端子B之间切换，以选择这些固定端子A或者B之一。
延迟电路3用一段预置的延迟来把来自开关SW1的固定端子B的比特流S29送到开关SW2的固定端子B。在本实施例中，该延迟时间是4帧时间，这将在随后做说明。
解码器单元2和编码器4构成了用于对输入比特流解码并随后编码的再编码装置。编码器4只对由解码器单元2解码、并且要求它们的入点和出点互连的图像再编码。
运动图像编码装置包括接口电路14，用于转换来自开关SW2的比特流S41；以及控制电路11，用于控制接口电路14、开关SW1、解码器单元2、延迟电路3、编码器4以及开关SW1。
接口电路214把来自开关SW2的比特流转换成IEEE 1394标准的数字总线形式的数据，以输出该转换的数据至外部。
参照图7同时说明运动图像编码装置的各个部分的信号。
进入解码器单元2的缓冲器5的是作为比特流S23的图像I02、B00、B01、P05、B03、B04、B06、B07的阵列。解码器6把该比特流S23解码成图像信号S25。这些图像信号包含有帧F00、F01、F02、F03和F04。与原始的图像的类型相一致，分配给这些帧的图像编码类型是B、B、I、B、P。从比特流S23解码出的图像信号S25的延迟是1帧，起始延迟为0。
在对从解码器6送来的图像信号S25以及图像编码类型进行编码以得到的比特流S28(S25)包含有图像I02、B00、B01、P04及P05的阵列。该比特流S28被延迟4帧。
提供到缓冲器7的是GOP-n，它是由图像In2、Bn0、Bn1、Pn5、Bn3、Bn4、Pn8、Bn6、Bn构成的入点侧GOP。解码器8解码该比特流S24并转换成图像信号。这些图像信号包括Fn0、Fn1、Fn2、Fn3、Fn4、Fn5、Fn6、Fn7、以及Fn8。
与原始图像的类型相一致，分配给上面图像之中的帧Fn5至Fn8的图像编码类型是I、B、B、P。从比特流S26解码出的图像信号S24的延迟为1帧，初始延迟为0。
在对由解码器8送来的图像信号S26以及图像编码类型进行编码得到的比特流S28(S26输入)包含有图像In5、Pn8、Bn6以及Bn8的阵列。该比特流S28被延迟4帧。
延迟电路3把送来的GOP GOP-(n+1)延迟4帧，并输出成为比特流S30。
在控制电路11的控制作用下，开关SW2切换来自编码器4的比特流S28以及来自延迟电路3的比特流S30，因此由对GOP GOP-0进行再编码得到的GOP GOP-new-0以及由对GOP GOP-n进行再编码得到的GOP-new-n所构成的I02、B00、B01、P01、B03、In5、Pn8、Bn6和Bn8之后的GOP GOP-(n+1)是输出比特流S31。
同时，本发明并不局限于上述实施例。例如，用于记录该运动图像记录装置的运动图像数据的记录介质并不局限于光盘，输出信号形式也不局限于IEEE 1394。
下面说明本发明的第二实施例。在该第二实施例中，本发明涉及运动图像记录/再现装置20，例如图8中的示例所示。
当对在记录介质40上记录的比特流进行编辑时，为了能够无缝地再现编辑点(从出点图像至入点图像的点)，运动图像记录/再现装置20再编码视频数据，以在记录介质40上记录该再编码的视频数据。
出点图像(出点)意味着编码成单一数据流的两个故事之一的最后图像。入点图像(入点)意味着两个故事中的另一个的第一图像。即运动图像记录/再现装置20再编码视频数据，以便能够从出点至入点无缝地再现运动图像。
具体地讲，运动图像记录/再现装置20包括读出单元21，用于从记录介质40上读出数据；编辑信息输入单元22，向其输入要编辑的图像的信息；解调电路23；用于纠错的纠错电路24；缓冲器存储器25，用于暂存比特流；多路分解器26，用于把比特流分离成视频流和音频流；以及分析单元27。
当用户希望编辑在记录介质40上记录的视频节目时，编辑信息输入单元22向读出单元21和分析单元27发送有关出点和入点的编辑信息。
读出单元21把从记录介质40读出的数据经解调电路23和纠错电路24送至缓冲器存储器25中。多路分解器读出缓冲器存储器25中存储的比特流，以把它首先送至分析单元27，以将该比特流分离成视频和音频流，其目的是把视频流至视频解码器9和切换电路31的端子b，并且把音频流送至多路复用路32(如后所述)。
分析电路27分析来自多路复用器26的比特流和vbv_delay，以选择用于再编码视频流的方法(在再编码的时候改变图像编码类型或者分配编码比特量)和用于再多路复用的方法，从而根据选择出的内容来控制视频编码器30和多路复用器32，其中，vbv_delay是用MPEG视频的图像头标来定义的参数，并且表示在随时存取之时缓冲器的初始状态。
运动图像记录/再现装置20还包括视频解码器29，用于对视频流解码；视频编码器30，用于对视频数据编码；切换电路31，用于在各源视频流之间切换；多路复用器32，用于多路复用该流；以及纠错电路33，用于附加纠错码。运动图像记录/再现装置20还包括调制电路34，用于调制比特流；以及写入单元35，用于将该比特流写入记录介质40。
视频解码器29对视频流解码，以把视频数据送至视频编码器30，视频编码器以受分析单元27控制的比特率对视频数据编码，以把视频流送至切换电路31的端子A。视频解码器29和视频编码器30用来重构包含有入点和出点的GOP以及位于该前面提及的GOP之前和之后的GOP。
把切换电路31构造成在再编码的情况下切换到端子A否则就切换到端子B。切换电路31输出发送到端子a或者b的视频流之一，从而把选出的视频流送至多路复用路32。
多路复用器32多路复用来自切换电路31的视频流以及来自多路分解器26的音频流，从而产生一比特流，该比特流经纠错电路33和调制电路34送至写入单元35。
写入单元35在记录介质40上记录来自调制电路34的比特流。
当再编码出点侧和入点侧的视频从而连续再现从出点侧视频到入点侧视频的时候，必须当心不要引起VBV缓冲器的失效，该VBV缓冲器是MPEG所定义的一种虚解码器的缓冲器。要注意的是，VBV缓冲器的失效意味着缓冲器的溢出或者下溢。
在上述的运动图像记录/再现装置20中，根据图9中所示的流程图，分析单元27控制视频编码器30和多路复用器32，以实现再编码和多路复用。
当对要再编码的入点侧视频的第一图像进行解码时，分析单元27确定VBV缓冲器的初始比特存储量Bvsd(步骤S11)。可根据应用情况将初始存储比特量Bvsd设置成任何合适的值。例如，初始比特存储量Bvsd可以是VBV缓冲器的最大值，它对MPEG2MP @ML是1.75Mbits。分析单元27控制视频编码器30和多路复用器32，以再编码并再多路复用该出点侧视频(步骤S12)，并随后再编码以及再多路复用入点侧视频(步骤S13)。
在上面的步骤S12处，依照图10中所示的流程图，分析单元27控制出点的再编码和多路复用。
在步骤S21处，在前进至步骤S22之前，分析单元27设置要再编码的视频的各个图像的图像类型。
假设在再编码之前的视频流是例如如图11A中所示地构造的，并且按照GOP-0、GOP-1……的显示顺序记录在记录介质40上。符号I、P和B表示I、P和B图像，而跟着后缀I、P和B的号码表示在GOP中的图像显示序列。在GOP GOP-0中，例如，按112、B10、B11、……的顺序来构造比特流，不过，随着解码处理显示的图像是按照B10、B11、B12、……的顺序来排列的。现在说明当用户确定GOP GOP-1的B11作为出点图像Pout时进行再编码的情况。
如果第一次进行步骤S1的处理。图像B10设为I图像，图像B11设为P图像，而其它图像设为如图11B所示，因此将要只再编码GOP GOP-1。如果接着步骤S26进行步骤S21的步骤，则确定各个GOP的各个图像的图像类型，以便对各GOP GOP-0和GOP-1再编码。
在步骤S22处，在处理转移至步骤S23之前，当解码将要再编码的视频的第一图像时，确定VBV缓冲器的比特存储量Bos。该比特存储量是从原始GOP GOP-1的第一编码图像的vbv_delay的值计算得到的。
在步骤S23处，在前进至步骤S24之前，分析单元27设置将要编码的视频的各个图像的分配比特量。
在步骤S24处，分析单元27假设使用上述分配比特量来进行编码，并且在结束对用于编码的视频的最后图像进行解码之后，计算该虚解码器的比特存储量Bend1。然后，处理转换至步骤S25。
在步骤S25处，分析单元27判断Bend1是否小于初始比特存储量Bvsd。如果发现Bend1不小于该初始比特存储量Bvsd，则处理转至步骤S27，如果否，则就转至步骤S26。
在步骤S26处，分析单元27把应该开始再编码的编码图像改变至出点图像的之前的GOP图像，然后处理返回步骤S21。在步骤S21处，分析单元27确定图像类型，以便执行如上所述的步骤S22的随后处理过程。
在步骤S27处，分析单元27控制视频编码器30和多路复用器32，以再编码和多路复用视频，以结束如上所述的步骤S12的处理过程。分析单元27的控制内容随处理过程是否已经过步骤S26而有所不同。
具体来说，如果处理过程未经过步骤S26而转至步骤S27，则分析单元27只再编码包含出点的GOP，即GOP-1，并且控制视频编码器30产生如图11B中所示的GOP GOP-1-x。即，视频编码器30将GOP GOP-1的B10再编码成I图像的110x，同时将出点图像B1再编码成P图像的P11x，以产生新的GOP GOP-1-x。即，视频编码器30将包含有出点B11的图像的GOP GOP-1再编码成由图像I10x和P11x构成的GOP GOP-1-x，因此在解码过程中就不预测参考位于出点图像之后的图像，例如GOP GOP-1中的I12或者B13。同时GOP GOP-1-x的SQE Sequence_end_cod表示GOP的结束。
虚解码器的缓冲器的比特存储量是如图12中所示地变化的，其中纵坐标表示缓冲器中的比特存储量，Bmax是缓冲器的最大比特量，而横坐标表示经历的时间。时刻t(*)代表编码图像的解码时间。例如，t(P08)代表P08的解码时间。向右上升直线表示输入至缓冲器的输入比特率。例如，从t(P08)直至时刻t(B06)，比特流进入缓冲器，因此缓冲器中的比特存储量上升。在每个编码图像的解码时间，所述编码图像的比特量瞬时从缓冲器出除，从而降低了缓冲器比特存储量。在每个解码时间，该降低的比特存储量随着图像类型的不同而不同，并且在I、P、和B图像的顺序中成为更大。
在这种情况下，发现如果按图12中所示的来确定GOP GOP-1-x的每个图像I10和I11X的分配比特量，则从开头比特存储量Bend1就不大于初始比特存储量Bvsd1，因此如果直接对GOP GOP-1再编码，则比特存储量是足够的。
如果处理过程经过步骤S26后前进至步骤S27，则如现在所说明的一样，分析单元27能够采用两种模式来对出点编码。根据GOP的最大长度是否受到应用的限制来决定选择哪种模式。
作为第一模式，视频编码器30把GOP GOP-0和GOP-1再编码成单一的GOP GOP-A-x，如图11C中所示。在该GOP GOP-A-x中，GOP GOP-0的图像I02至B07直接复制成GOP GOP-A-x。GOP GOP-1的图像B10和B11被再编码成P图像的P10x和P11x。即，视频编码器30把直至出点的GOP GOP-1的各个图像再编码为图像间预测编码图像，它是能够从GOPGOP-0的图像以及GOP GOP-1的部分图像中预测到的，同时产生新的GOPGOP-A-x，它是不需预测参考位于出点图像之后的图像(诸如I13或者P15)就能够被解码。
如果假设GOP GOP-0没有被再编码，则虚解码器的缓冲器的比特存储器就如图13中所示发生变化，因此Bend1就小于初始比特存储量Bvsd。即，如果在步骤S23处，对分配给GOP GOP-1-X的图像I10x、P11x的分配比特量解码，则Bend1＜Bvsd。因此，视频编码器30将用于开始再编码的编码图像变成刚好在包含有出点图像的GOP之前的GOP图像。通过把原始的图像B11再编码成P图像而不是再编码成I图像，能够仅仅更小程度地减少缓冲器中的比特存储量，结果能够使用Bend1大于初始比特存储量Bvsd，如图14中所示。
作为第二个实施例，视频编码器30把两个GOP，即GOP-0和GOP-1再编码成GOP GOP-A-x1和GOP-A-x2，如图11D中所示。在GOP GOP-0中，图像I02至B04被直接复制成GOP GOP-A-x1,P08、B06和B07则被再编码成GOP GOP-A-x2中的I08x、B06x、B07x。在GOP GOP-1中，B10和b11被再编码成GOP GOP-A-x2中的P10X、P11x。即，视频编码器30能够把包含有出点图像的GOP图像编码成从GOP GOP-0的图像预测的图像间编码图像，从而产生新的GOP，即GOP-A-x1和GOP-A-x2，因此不必预测参考位于出点图像之后的图像就可以进行解码。同时，从上述的GOP-A-x中产生两个GOP，即GOP GOP-A-x1和GOP-A-x2。
当对GOP的最大长度有限制时使用第二模式。这里假设最大GOP长度限制为5个图像。即如果GOP的最大长度受限制或者不受限则分别使用第一或者第二模式。
分析单元27进行控制，以使得比特占有量Bend1将不小于初始比特存储量，从而阻止缓冲器失效以及随后的缓冲器的溢出或者下溢。
然后假设将要再编码入点。
作为图9中所示的步骤S13处的特殊处理过程，依照图15中所示的流程来控制入点再编码的处理过程。
在步骤S31处，分析单元27设置要编码的视频图像类型，以前进至步骤S32处。
假设再编码之前的视频流是图16A中所示地构造的，并且按GOP-n、GOP-m、……的显示序列被记录在记录介质40上。对于后缀，诸如I、P或者B，右侧后缀表示所述图像属于的GOP，而左侧后缀表示在进行解码之后显示的所述GOP中的图像序列。例如，Bn3是属于GOP GOP-n的B图像，并在GOP GOP-n中的第三位置显示。下面说明当用户规定GOP GOP-n的图像Pn8作为入点图像Pin时的再编码处理过程。
对于图像类型的确定，如果第一次执行步骤S31的处理，则如此设置图像类型以使例如图像Pn8、Bn6和Bn7设置成I图像、B图像以及B图像，因此仅仅对GOP GOP-n时行再编码，如图16B所示。如果步骤S31处的处理不是第一次处理，则为GOP的各个图像设置图像类型，以便对各GOPGOP-n和GOP-m进行再编码，如图16C中所示。
在步骤S32处，在前进到步骤S33之前，当对诸如Im2的未再编码的视频的第一图像进行解码时，分析单元27计算VBV缓冲器的初始比特存储量Bj。因为图像Pn8是入点图像，因此未再编码的GOP就是GOPGOP-m。因此，在解码的时候计算GOP GOP-m的第一图像Im的初始比特存储量Bj。从例如GOP GOP-m的图像Im2的vbv_delay的值来计算初始比特存储量Bj。
在步骤S33处，在前进到步骤S34之前，分析单元27设置将要再编码的各个视频图像的分配的比特量。
在步骤S34处，在前进到步骤S35之前，分析单元27假设编码过程是利用所设置的分配的比特量来执行的，并计算在对将要再编码的最后视频图像进行解码的过程中的虚解码器的比特存储量Bend2。
在步骤S35处，分析单元27确定在步骤S34处的比特存储量Bend2是否大于比特存储量Bj。如果比特存储量Bend2大于比特存储量Bj，则处理转至步骤S37，否则就转至步骤S36。
在步骤S36处，分析单元27将要最后一次再编码的编码图像改变成入点图像之后的GOP图像，然后返回到步骤S31。分析单元27在步骤S31处设置如图16C中所示的图像类型，然后执行如同从步骤S32开始的处理。
在步骤S37处，分析单元27控制视频编码器30和多路复用器32，以便再编码和多路复用视频，从而结束上述步骤S31的处理。此刻分析单元27的控制内容随着处理过程是否经过步骤S36而有所区别。
具体地说，如果未经过步骤S36就前进到步骤S37，则分析单元27只再对包含有入点的GOP-n进行编码，并控制视频编码器30以产生GOPGOP-n-x，如图16B中所示。此时，视频编码器30进行再编码以产生新的GOP GOP-n-x，因此作为入点图像的各图像Pn8、Bn6和Bn7将分别是I图像的In8x、B图像的Bn6x以及B图像的Bn7x，以产生新的GOPGOP-n-x。即，包含有入点图像Pn8的GOP GOP-n被再编码成包含有图像In8x、Bn6x和Bn7x的GOP-n-x，因此位于入点图像之前的图像，诸如GOP GOP-n中的Bn3或Bn4就能够不必预测参考便被解码。同时，GOPGOP-n-x的sequence_header(SH)表示所述GOP的开始。
此时，虚解码器的缓冲器的比特存储量如图17中所示地变化。
如果从开头比特存储量Bend2就不小于初始比特存储量Bj，并且如果只对GOP GOP-n再编码，则没有VBV缓冲器失效的危险。
如果反过来经过步骤S36后前进到步骤S37，分析单元27就控制视频编码器30，以便按如解释的两种模式来再编码出点。根据最大GOP长度是否受到应用的限制来确定选择哪种模式。
在第一模式中，视频编码器把各GOP GOP-n和GOP-m再编码成单一的GOP GOP-B-x，如图16C中所示。具体地说，视频编码器30把GOP GOP-n的图像Pn8、Bn6、Bn7再编码成In8x、Bn6x和Bn7x，同时也将GOPGOP-m的Im2再编码成Pm2x，以及将GOP GOP-m的Im2之后的图像再编码成与原始图像相同类型。
如果假设没有对GOP GOP-m再编码，则虚解码器的缓冲器的比特存储量如图18中所示变化，因此Bend2小于初始比特存储量Bj。即，如果在步骤S32处为GOP GOP-n-x的图像InBx、Bn6x、Bn7x设置比特分配量，Bend2＜Bj，因此不能进行再编码，以便为各GOP GOP-n-x和GOP-m提供比特存储量的连续曲线。如果视频编码器30把原始图像In2再编码成图像Pn2x而不是再编码成I图像，则能够减少缓冲器所需的比特存储量，以便能够进行再编码，从而提供入点侧视频缓冲器的比特存储量的连续曲线。
在第二模式中，视频编码器30把两个GOP，即GOP-n和GOP-m，再编码成各GOP GOP-B-x1和GOP-B-x2，如图16D中所示。视频编码器30分别把GOP GOP-n的Pn8、Bn6、Bn7再编码成In8x、Bn8x和Bn7x，同时分别把Im2、Bm0和Bml再编码成Pm2x、Bm0x和Bm1x。同样，视频编码器30把GOP GOP-m的Pm5再编码成GOP GOP-B-x2的Im5x，同时还把GOP GOP-m的Pm5之后的图像再编码成与原始图像相同类型。
同时，各GOP GOP-B-x1和GOP-B-x2对应于GOP GOP-B-x的两个GOP。
将要选择第一还是第二模式是通过结合出点编码的讨论来确定的。即，当限制或者不限制GOP的最大长度时，分别使用第一模式或者第二模式就足够了。
这样，通过分析单元27进行控制以使得比特存储量Bend2将不小于初始比特量Bj，就能够防止发生缓冲器失效。
由上面的描述可以明白，如果利用运动图像记录/再现装置20，按上述方式再编码出点侧视频和入点侧视频，则能够实现从再编码的出点侧视频至再编码的入点侧视频的连续再现，而没有虚解码器缓冲器失效的危险。
尽管上面的实施例涉及在规定的出点和入点的跳跃编辑之时的所编辑节目的组成，但本发明也适用于插入编辑，即，在插入编辑过程中，当重新编辑了插入的视频序列之后，就规定了在插入目标侧节目中的插入起点和插入终点。此时，依照本发明的针对出点侧视频的再编码方法可以适用于插入源侧节目的插入起点的视频再编码。同样，依照本发明的针对出点侧视频的再编码方法可以适用于插入源侧节目的插入终点的视频再编码。也可以通过把表示上述处理序列的运动图像编码控制程序从已经记录有该控制程序的记录介质安装在计算机上，来执行结合第一和第二实施例所说明的入点和出点编码处理。
具体来说，安装有上述控制程序的计算机具有图6或8中所示结构的功能，因此，如果在再现运动图像中命令它跳跃一段运动图像节目，则位于跳跃起点之前和之后的节目部分能够被有效地编码，以实现位于跳跃起点之前和之后的节目部分的无缝再现。
权利要求
1．一种运动图像编码方法，用于输出运动图像的编码比特流的显示序列中直至出点图像的运动图像信号，该运动图像的编码比特流包括了由图像内编码图像开始、随后为多个图像间(inter-picture)预测编码图像组成的作为一个单位域的一组图像，该运动图像编码方法包括重构步骤，用于通过把包含有所述出点图像的一组图像中从该组图像的初始显示图像开始直至所述出点图像的那些图像，再编码成能够由正好在包含有所述出点图像的该组图像之前显示的另一组图像的图像中预测到的图像间预测编码图像，以把这些图像重构成为不必预测参考所述出点图像之后的显示图像就能够被解码的一组图像，从而重构输入视频流。
2．根据权利要求1所述的运动图像编码方法，其中所述重构步骤，把在包含有所述出点图像的所述组图像中的第一图像内编码图像，再编码成能够由正好在包含有所述出点图像的该组图像之前显示的另一组图像的一个图像中预测到的前向预测编码图像。
3．根据权利要求1所述的运动图像编码方法，其中所述重构步骤，在对接着所述出点图像显示的编码的运动图像信号的第一编码图像进行解码的时候，计算虚缓冲器所需的初始比特存储量；所述重构步骤解码用于编码的最后图像，从而计算在结束对虚解码器的解码的时候所存储的比特量，假设编码是利用在将包含有所述出点图像的该组图像中从它的第一显示图像至所述出点图像的那些图像再编码成单一组图像的情况下所用的分配的比特量来完成的；以及其中如果在结束解码的时候所存储的所述比特量不小于该初始比特存储量，则所述重构步骤把包含有出点图像的所述组图像中从第一显示图像至所述出点图像的那些图像再编码成单一组图像，所述重构步骤对图像间预测编码图像进行再编码，该图像间预测编码图像能够由正好在包含有所述出点图像的该组图像之前显示的一组图像的图像中预测到。
4．一种运动图像编码装置，用于输出运动图像的编码比特流的显示序列中直至出点图像的运动图像信号，该运动图像的编码比特流包括了由图像内编码图像开始、随后为多个图像间预测编码图像组成的作为一个单位域的一组图像，该运动图像编码装置包括重构装置，用于通过把包含有所述出点图像的一组图像中从该组图像的初始显示图像开始直至所述出点图像的那些图像，再编码成能够由正好在包含有所述出点图像的该组图像之前显示的另一组图像的图像中预测到的图像间预测编码图像，以把这些图像重构成为不必预测参考所述出点图像之后的显示图像就能够被解码的一组图像，从而重构输入视频流。
5．根据权利要求4所述的运动图像编码装置，其中所述重构装置，把在包含有所述出点图像的所述组图像中的第一图像内编码图像，再编码成能够由正好在包含有所述出点图像的该组图像之前显示的另一组图像的一个图像中预测到的前向预测编码图像。
6．根据权利要求4所述的运动图像编码装置，其中所述重构装置，在对接着所述出点图像显示的编码的运动图像信号的第一编码图像进行解码的时候，计算虚缓冲器所需的初始比特存储量；所述重构装置解码用于编码的最后图像，从而计算在结束对虚解码器的解码的时候所存储的比特量，假设编码是利用在将包含有所述出点图像的该组图像中从它的第一显示图像至所述出点图像的那些图像再编码成单一组图像的情况下所用的分配的比特量来完成的；以及其中如果在结束解码的时候所存储的所述比特量不小于该初始比特存储量，则所述重构装置把包含有出点图像的所述组图像中从第一显示图像至所述出点图像的那些图像再编码成单一组图像，所述重构步骤对图像间预测编码图像进行再编码，该图像间预测编码图像能够由正好在包含有所述出点图像的该组图像之前显示的一组图像的图像中预测到。
7．一种记录有控制程序的记录介质，所述控制程序用于输出运动图像的编码比特流的显示序列中直至出点图像的运动图像信号，该运动图像的编码比特流包括了由图像内编码图像开始、随后为多个图像间(inter-picture)预测编码图像组成的作为一个单位域的一组图像，其特征在于所述控制程序，通过把包含有所述出点图像的一组图像中从该组图像的初始显示图像开始直至所述出点图像的那些图像，再编码成能够由正好在包含有所述出点图像的该组图像之前显示的另一组图像的图像中预测到的图像间预测编码图像，以把这些图像重构成为不必预测参考所述出点图像之后的显示图像就能够被解码的一组图像，从而重构输入视频流。
8．根据权利要求7所述的记录介质，其中记录在所述记录介质上的控制程序，把在包含有所述出点图像的所述组图像中的第一图像内编码图像，再编码成能够由正好在包含有所述出点图像的该组图像之前显示的另一组图像的一个图像中预测到的前向预测编码图像。
9．根据权利要求7所述的记录介质，其中记录在所述记录介质上的控制程序，在对接着所述出点图像显示的编码的运动图像信号的第一编码图像进行解码的时候，计算虚缓冲器所需的初始比特存储量；所述控制程序解码用于编码的最后图像，从而计算在结束对虚解码器的解码的时候所存储的比特量，假设编码是利用在将包含有所述出点图像的该组图像中从它的第一显示图像至所述出点图像的那些图像再编码成单一组图像的情况下所用的分配的比特量来完成的；以及其中如果在结束解码的时候所存储的所述比特量不小于该初始比特存储量，则所述控制程序把包含有出点图像的所述组图像中从第一显示图像至所述出点图像的那些图像再编码成单一组图像，如果在结束解码的时候所存储的所述比特量不小于该初始比特存储量，所述控制程序对图像间预测编码图像进行再编码，该图像间预测编码图像能够由正好在包含有所述出点图像的该组图像之前显示的一组图像的图像中预测到。
10．一种运动图像编码方法，用于输出编码比特流的显示序列中的运动图像信号，该编码比特流包括从图像内编码图像开始随后跟着多个图像间预测编码图像作为一个单位域的一组图像，该运动图像编码方法包括重构步骤，用于通过把正好在包含有所述入点图像的一组图像之后显示的一组图像中的第一内编码图像，再编码成能够由包含有所述入点图像的所述组图像中的一个图像预测到的图像间编码图像，以将这些图像重构为不必预测参考所述入点图像之前的显示图像就能够被解码一组图像，从而重构输入视频流。
11．根据权利要求10所述的运动图像编码方法，其中所述重构步骤，把正好在包含有所述入点图像的该组图像之后显示的一组图像中的第一图像内编码图像，再编码成由包含有所述入点图像的该组图像的一个图像预测出的前向预测编码图像。
12．根据权利要求10所述的运动图像编码方法，其中所述重构步骤，把位于显示序列中入点图像之后的第一前向预测编码图像再编码成图像内编码图像。
13．根据权利要求10所述的运动图像编码方法，其中所述重构步骤，在对显示序列中接着包含有所述入点图像的所述组图像的下一组图像的第一编码图像进行解码的时候，计算解码器缓冲器所需的初始比特存储量；所述重构步骤，解码用于编码的最后图像，从而计算在结束对虚解码器的解码的时候所存储的比特量，假设编码是利用在将包含有所述入点图像的该组图像中从入点图像至最后显示图像的那些图像再编码成单一组图像的情况下所用的分配的比特量来完成的；以及其中如果在结束解码的时候所述存储的比特量不小于初始比特存储量，则所述重构步骤把包含有该入点图像的所述组图像中从该入点图像至最后显示图像的那些图像再编码成单一组图像，所述重构步骤把正好在包含有该入点图像的所述组图像之后显示的该组图像中的第一图像内编码图像再编码成由包含有入点图像的该组图像中的一个图像预测到的图像间预测编码图像。
14．一种运动图像编码装置，用于输出编码比特流的显示序列中的运动图像信号，该编码比特流包括从图像内编码图像开始随后跟着多个图像间预测编码图像作为一个单位域的一组图像，该运动图像编码装置包括重构装置，用于通过把正好在包含有所述入点图像的一组图像之后显示的一组图像中的第一内编码图像，再编码成能够由包含有所述入点图像的所述组图像中的一个图像预测到的图像间编码图像，以将这些图像重构为不必预测参考所述入点图像之前的显示图像就能够被解码一组图像，从而重构输入视频流。
15．根据权利要求14所述的运动图像编码装置，其中所述重构装置，把正好在包含有所述入点图像的该组图像之后显示的一组图像中的第一图像内编码图像，再编码成由包含有所述入点图像的该组图像的一个图像预测出的前向预测编码图像。
16．根据权利要求14所述的运动图像编码装置，其中所述重构装置，把位于显示序列中入点图像之后的第一前向预测编码图像再编码成图像内编码图像。
17．根据权利要求14所述的运动图像编码装置，其中所述重构装置，在对显示序列中接着包含有所述入点图像的所述组图像的下一组图像的第一编码图像进行解码的时候，计算解码器缓冲器所需的初始比特存储量；所述重构装置，解码用于编码的最后图像，从而计算在结束对虚解码器的解码的时候所存储的比特量，假设编码是利用在将包含有所述入点图像的该组图像中从入点图像至最后显示图像的那些图像再编码成单一组图像的情况下所用的分配的比特量来完成的；以及其中如果在结束解码的时候所述存储的比特量不小于初始比特存储量，则所述重构装置把包含有该入点图像的所述组图像的从该入点图像至最后显示图像的那些图像再编码成单一组图像，如果在结束解码的时候所述存储的比特量不小于初始比特存储量，则所述重构装置把正好在包含有该入点图像的所述组图像之后显示的该组图像中的第一图像内编码图像再编码成由包含有入点图像的该组图像中的一个图像预测到的图像间预测编码图像。
18．一种记录有控制程序的记录介质，所述控制程序被格式化成用于输出运动图像编码比特流的显示序列中直至入点图像的运动图像信号，该运动图像编码比特流包括从图像内编码图像开始随后跟着多个图像间预测编码图像作为一个单位域的一组图像，其特征在于所述控制程序，用于通过把正好在包含有所述入点图像的一组图像之后显示的一组图像中的第一内编码图像，再编码成能够由包含有所述入点图像的所述组图像中的一个图像预测到的图像间编码图像，以将这些图像重构为不必预测参考所述入点图像之前的显示图像就能够被解码一组图像，从而重构输入视频流。
19．根据权利要求18所述的记录介质，其中所述控制程序，把正好在包含有所述入点图像的该组图像之后显示的一组图像中的第一图像内编码图像，再编码成由包含有所述入点图像的该组图像的一个图像预测出的前向预测编码图像。
20．根据权利要求18所述的记录介质，其中所述控制程序，把位于显示序列中入点图像之后的第一前向预测编码图像再编码成图像内编码图像。
21．根据权利要求18所述的记录介质，其中所述控制程序，在对显示序列中接着包含有所述入点图像的所述组图像的下一组图像的第一编码图像进行解码的时候，计算解码器缓冲器所需的初始比特存储量；所述控制程序，还解码用于编码的最后图像，从而计算在结束对虚解码器的解码的时候所存储的比特量，假设编码是利用在将包含有所述入点图像的该组图像中从入点图像至最后显示图像的那些图像再编码成单一组图像的情况下所用的分配的比特量来完成的；以及其中如果在结束解码的时候所述存储的比特量不小于初始比特存储量，则所述控制程序把包含有该入点图像的所述组图像的从该入点图像至最后显示图像的那些图像再编码成单一组图像，如果在结束解码的时候所述存储的比特量不小于初始比特存储量，则所述控制程序把正好在包含有该入点图像的所述组图像之后显示的该组图像中的第一图像内编码图像再编码成由包含有入点图像的该组图像中的一个图像预测到的图像间预测编码图像。
22．一种运动图像编码方法，用于输出由各个编码图像信号组成的输入比特流的信号，该各个编码图像信号是由作为分量元素的图像内编码图像以及根据所述图像内编码图像预测的多个预测编码图像构成的，多个所述编码图像构成一组图像作为一个单位域，所述信号是显示序列中从第一点跳跃至第二点的所述输入比特流；该运动图像编码方法包括重构步骤，用于在输入比特流中，将在显示序列中直至所述第一点的包含所述第一点的一个单位域的一组图像、以及正好在该显示序列中包含有所述第一点的所述组图像之前显示的一个单位域的一组图像，重构成为第一组图像，所述第一组图像不必预测参考位于所述第一点之后的图像就能够解码，以及用于把从包含有所述第二点的一个单位域的一组图像的显示序列中的所述第二点开始的图像、和在该显示序列中正好跟着包含有所述第二点的所述组图像的单位域的另一组图像，重构成为第二组图像，所述第二组图像不必预测参考位于所述第二点之前的图像就能够解码。
23．根据权利要求22所述的编码方法，其中所述预测编码图像由图像显示序列中的前向预测编码图像以及该显示序列中的双向预测编码图像构成。
24．根据权利要求22所述的编码方法，还包括延迟步骤，用于将输入比特流延迟至少一段所述重构步骤所需的时间。
25．一种运动图像编码装置，用于输出由各个编码图像信号组成的输入比特流的信号，该各个编码图像信号是由作为分量元素的图像内编码图像以及根据所述图像内编码图像预测的多个预测编码图像构成的，多个所述编码图像构成一组图像作为一个单位域，所述信号是其显示序列中从第一点跳跃至第二点的所述输入比特流；该运动图像编码装置包括重构装置，用于在输入比特流中，将在显示序列中直至所述第一点的包含所述第一点的一个单位域的一组图像、以及正好在该显示序列中包含有所述第一点的所述组图像之前显示的一个单位域的一组图像，重构成为第一组图像，所述第一组图像不必预测参考位于所述第一点之后的图像就能够解码，以及用于把从包含有所述第二点的一个单位域的一组图像的显示序列中的所述第二点开始的图像、和在该显示序列中正好跟着包含有所述第二点的所述组图像的单位域的另一组图像，重构成为第二组图像。
26．一种记录有控制程序的记录介质，该控制程序用于输出由各个编码图像信号组成的输入比特流的信号，该各个编码图像信号是由作为分量元素的图像内编码图像以及根据所述图像内编码图像预测的多个预测编码图像构成的，多个所述编码图像构成一组图像作为一个单位域，所述信号是其显示序列中从第一点跳跃至第二点的所述输入比特流；其特征在于所述控制程序，用于在输入比特流中，将在显示序列中直至所述第一点的包含所述第一点的一个单位域的一组图像、以及正好在该显示序列中包含有所述第一点的所述组图像之前显示的一个单位域的一组图像，重构成为第一组图像，所述第一组图像不必预测参考位于所述第一点之后的图像就能够解码，以及所述控制程序还用于把从包含有所述第二点的一个单位域的一组图像的显示序列中的所述第二点开始的图像、和在该显示序列中正好跟着包含有所述第二点的所述组图像的单位域的另一组图像，重构成为第二组图像。
27．一种运动图像编码方法，用于输出输入比特流的信号，所述输入比特流由编码图像信号组成，该编码图像信号由图像内编码图像、根据在显示序列中前向预测编码所得到的前向预测编码图像、以及根据在该显示序列中双向预测编码所得到的多个双向预测编码图像来构成的，多个所述编码图像构造一组图像作为一个单位域，所述信号是在其显示序列中从第一点跳至第二点的所述输入比特流，该运动图像编码方法包括重构步骤，用于当所述第一点是双向预测编码图像时，解码包含有所述第一点的该单位域的一组图像，以再编码在显示序列中直至所述第一点的图像，以及用于当所述第二点是前向预测编码图像或者双向预测编码图像时，解码包含有所述第二点的单位域的一组图像，以再编码位于显示序列中所述第二点之后的图像。
28．根据权利要求27所述的运动图像编码方法，该方法还包括延迟步骤，用于将输入比特流延迟至少一段所述重构步骤所需的时间。
29．一种运动图像编码装置，用于输出输入比特流的信号，所述输入比特流由编码图像信号组成，该编码图像信号由图像内编码图像、根据在显示序列中前向预测编码所得到的前向预测编码图像、以及根据在该显示序列中双向预测编码所得到的多个双向预测编码图像来构成的，多个所述编码图像构造一组图像作为一个单位域，所述信号是在其显示序列中从第一点跳至第二点的所述输入比特流，该运动图像编码装置包括重构装置，用于当所述第一点是双向预测编码图像时，解码包含有所述第一点的该单位域的一组图像，以再编码在显示序列中直至所述第一点的图像，以及用于当所述第二点是前向预测编码图像或者双向预测编码图像时，解码包含有所述第二点的单位域的一组图像，以再编码位于显示序列中所述第二点之后的图像。
30．一种记录有控制程序的记录介质，该控制程序被格式化成用于输出输入比特流的信号，所述输入比特流由编码图像信号组成，该编码图像信号由图像内编码图像、根据在显示序列中前向预测编码所得到的前向预测编码图像、以及根据在该显示序列中双向预测编码所得到的多个双向预测编码图像来构成的，多个所述编码图像构造一组图像作为一个单位域，所述信号是在其显示序列中从第一点跳至第二点的所述输入比特流，其特征在于所述控制步骤用于当所述第一点是双向预测编码图像时，解码包含有所述第一点的该单位域的一组图像，以再编码在显示序列中直至所述第一点的图像，所述控制步骤还用于当所述第二点是前向预测编码图像或者双向预测编码图像时，解码包含有所述第二点的单位域的一组图像，以再编码位于显示序列中所述第二点之后的图像。
全文摘要
运动图像编码方法和装置及记录介质,当规定跳跃要再现的部分运动图像节目时,能无缝再现跳跃起点前及跳跃结束点后的节目部分。分析单元假设GOP GOP－new－0用预定分配比特量编码,计算结束对GOP GOP－new－0的最后图像解码后虚解码器的比特存储量boe。分析单元比较boe与各比特。若boe超过各比特大小,GOP GOP－0的图像BO被再编码成I图像I0x,出点图像B1再编码成P图像P1x,以产生新的GOP GOP－new－0。
文档编号H04N7/24GK1237066SQ9910775
公开日1999年12月1日 申请日期1999年2月6日 优先权日1998年2月6日
发明者加藤元树 申请人:索尼公司