图象编码装置及图象译码装置的制作方法

专利名称：图象编码装置及图象译码装置的制作方法
技术领域：
本发明涉及进行图象处理的图象编码装置及图象译码装置。
背景技术：
以往，在译码侧，由于在分析VOP标题信息之前对不需要分析的VOP(图象信号慢速摄制时，进行帧抽选的信息)和必需分析的VOP(图象信号慢速摄制时，不进行帧抽选的信息)不能加以区分，所以总是必须对各VOP标题中所包含的VOP起始码、求模运算时基及VOP时间增量进行分析，因而存在着因处理繁琐而有可能导致处理精度降低的问题。
另外，当以构成图象的被摄体、背景、时程记录等对象为单位对编码后的信号进行译码和合成时，必须对各对象附加在译码、合成时所需的合成时刻信号(表示绝对时刻的信息)。图象译码装置，如得不到表示绝对时刻的信息，则不能进行各对象的合成，因此就不可能进行图象的再现生成。总之，当想要从包含着没有表示该绝对时间的信息的对象的多个对象生成一个图象时，存在着不能与没有表示绝对时间的信息的对象合成的问题。
进一步，由于求模运算时基的位长在下一个GOV标题被复用之前一直在增加，所以，如果作为对象的GOV没有被复用，则存在着求模运算时基的位长将持续增加的问题。

发明内容
本发明，是为解决如上所述的问题而开发的，其目的是提供一种通过简单的处理提高处理精度的图象编码装置及图象译码装置。
本发明的另一目的在于，提供一种可以根据时间代码生成由多个对象构成的图象的图象编码装置及图象译码装置。
本发明的又一目的是，防止产生不必要的信息量。
本发明，在以对象为单位对图象进行编码的图象编码装置中，备有编码装置，根据规定的显示速度信息对图象进行编码；及复用装置，对由该编码装置编码后的图象编码信号复用上述规定的显示速度信号后输出。由此，可以通过复用显示速度信息进行传送。
另外，本发明，可以对每个对象复用上述显示速度信息。按照这种方式，可以使每个对象复用显示速度信息。
另外，本发明，对每个对象复用指示对象显示速度是固定速度或可变速度的信息及指示显示速度值的信息。按照这种方式，可以复用指示显示速度的信息及指示显示速度值的信息。
另外，在本发明中，显示速度信息，包含指示固有的固定显示速度的值及指示任意的固定显示速度的值。由此，可以在该显示速度信息的译码侧瞬时特定对应的VOP。
另外，本发明，在对以对象为单位将图象编码后的编码位流进行译码的图象译码装置中，备有显示速度信息译码装置，从上述编码位流中将显示速度信息译码；及控制装置，根据由该显示速度信息译码装置译码后的显示速度信息对以对象为单位处理的图象的再生处理进行控制。按照这种方式，能以简单的结构进行平滑且高精度的图象复原处理。
另外，本发明，按每个对象对上述显示速度信息进行译码。按照这种方式，能以简单的结构进行更平滑且精度更高的图象复原处理。
另外，本发明的显示速度信息译码装置，按每个对象从编码位流中将显示速度信息译码，控制装置，根据该译码后的显示速度信息所指示的对象显示速度是固定速度或可变速度对图象的再生处理进行控制。按照这种方式，能以简单的结构进行更平滑且精度更高的图象复原处理。
另外，本发明的显示速度信息译码装置，按每个对象从编码位流中将显示速度信息译码，控制装置，当由该显示速度信息译码装置译码后的显示速度信息指示固定速度时根据指示对象的显示速度的信息、当指示可变速度时根据由各时刻的各个图象复用的显示时刻信息，特定各时刻的图象显示时刻从而对再生进行控制。按照这种方式，能以简单的结构进行更平滑且精度更高的图象复原处理。
另外，本发明的显示速度信息译码装置，按每个对象从编码位流中将显示速度信息译码，控制装置，当由该显示速度信息译码装置译码后的显示速度信息指示固定速度且该固定速度是以上述显示速度信息表示的值时根据显示速度信息、当显示速度信息指示固定速度且该固定速度的值不是表示为特定值时根据由各时刻的各个图象复用的显示时刻信息、当显示速度识别信息指示可变速度时根据由各时刻的各个图象复用的显示时刻信息，特定各时刻的图象显示时刻从而对再生进行控制。按照这种方式，能以简单的结构进行更平滑且精度更高的图象复原处理。
另外，本发明的上述控制装置，备有译码时刻特定装置，根据由上述显示速度信息译码装置译码后的对象显示速度信息及在译码装置内预先设定的对象显示速度信息，特定该对象作为译码对象的时刻；及译码装置，根据由该译码时刻特定装置得到的译码对象时刻，进行对象的译码。按照这种方式，能以简单的结构进行平滑且高精度的图象复原处理。
另外，本发明，在以对象为单位对图象进行编码的图象编码装置中，备有绝对时刻复用装置，按每个对象对该编码后的图象信号复用与该对象对应的表示绝对时刻的信息。由此，可以通过复用表示绝对时刻的信息进行传送。
另外，本发明，在对以对象为单位将图象编码后的编码位流进行译码的图象译码装置中，备有对每个对象分析与该对象对应的表示绝对时刻的信息的绝对时刻分析装置，及根据由该绝对时刻分析装置分析后的表示绝对时刻的信息对以对象为单位处理的图象进行再生处理的装置。因此能简单且高精度地进行图象的合成处理。
另外，本发明，在以对象为单位对图象进行编码的图象编码装置中，备有时间信息编码装置，作为对每个对象规定各时刻的图象显示时刻的信息，对规定从基准时刻到显示时刻的时间的第1时间信息、从由该第1时间信息规定的时刻起以更精细的精度规定显示时刻的第2时间信息及与各时刻对应的图象进行编码，该时间信息编码装置，当通过将该第1时间信息换算为位长来表示而该第1时间信息的位长比规定的设定值长时，反复进行与该设定值对应的移位，直到使其位长比该设定值短为止，同时对移位的实施次数进行计数，并对该移位实施次数及从反复移位的结果得到的位串进行编码。按照这种方式，可以减少编码传送量。
另外，本发明，在以对象为单位对图象进行编码的图象编码装置中，备有时间信息编码装置，作为对每个对象规定各时刻的图象显示时刻的信息，对规定从基准时刻到显示时刻的时间的第1时间信息、从由该第1时间信息规定的时刻起以更精细的精度规定显示时刻的第2时间信息及与各时刻对应的图象进行编码，该时间信息编码装置，具有用于保持前一时刻的图象中的编码后的第1时间信息的第1时间信息保持装置，及求取被编码图象的第1时间信息与从上述第1时间信息保持装置得到的前一时刻的图象的第1时间信息之间的差分位串并将该差分位串作为被编码图象的第1时间信息进行编码的装置。按照这种方式，可以减少编码传送量。
另外，本发明，在对以对象为单位将图象编码后的编码位流进行译码的图象译码装置中，备有时间信息译码装置，作为规定每个对象的各时刻的图象显示时刻的信息，对规定从基准时刻到显示时刻的时间的第1时间信息、从由该第1时间信息规定的时刻起以更精细的精度规定显示时刻的第2时间信息及与各时刻对应的图象进行译码；及译码合成装置，以对象为单位对输入编码图象信号进行译码，并将这些译码图象信号合成；该时间信息译码装置，对作为上述第1时间信息的编码数据的移位实施次数及从反复移位的结果得到的位串进行译码，并仅按移位实施次数对该位串附加长度为规定设定值的代码，从而对上述第1时间信息进行译码，该译码合成装置，根据由该时间信息译码装置译码后的第1时间信息及第2时间信息，将译码图象信号合成。按照这种方式，能以较少的编码传送量进行图象的接收。
进一步，本发明，在对以对象为单位将图象编码后的编码位流进行译码的图象译码装置中，备有时间信息译码装置，作为规定图象序列中的各时刻的图象显示时刻的信息，对规定从基准时刻到显示时刻的时间的第1时间信息、从由该第1时间信息规定的时刻起以更精细的精度规定显示时刻的第2时间信息及与各时刻对应的图象进行译码；及译码合成装置，以对象为单位对输入编码图象信号进行译码，并将这些译码图象信号合成；该时间信息译码装置，保持先前刚进行了译码的图象的第1时间信息，并将从上述第1时间信息保持装置得到的先前刚进行了译码的图象的第1时间信息与作为被译码图象的第1时间信息译码后的位串相加，从而对被译码图象的第1时间信息进行译码，该译码合成装置，根据由该时间信息译码装置译码后的第1时间信息及第2时间信息，将译码图象信号合成。按照这种方式，能以较少的编码传送量进行图象的接收。
另外，本发明，通过以对象为单位根据规定的显示速度信息对图象进行编码而生成图象编码信号，并将该图象编码信号和上述显示速度信息复用后输出。按照这种方式，可以减少编码传送量。
另外，本发明，从以对象为单位编码后的编码位流中将显示速度信息译码，并根据该显示速度信息对以对象为单位编码后的图象的再生处理进行控制，从而对图象进行译码。按照这种方式，能以较少的编码传送量进行图象的接收。
根据本发明，还提供了一种图象译码装置，对以对象为单位将图象编码后的编码位流进行译码，该图象译码装置的特征在于，上述编码位流在比多个VOP构成的VOP层上位的层的标题信息部分中，包括表示每单位时间内的VOP的显示数量的显示速度信息的编码语，图像译码装置具有从包括于上述编码位流的标题信息部分的上述编码语中将上述显示速度信息译码的显示速度信息译码装置。
根据本发明，还提供了一种图象译码方法，对以对象为单位将图象编码后的编码位流进行译码，该图象译码方法的特征在于，上述编码位流在比多个VOP构成的VOP层上位的层的标题信息部分中，包括表示每单位时间内的VOP的显示数量的显示速度信息的编码语，从包括于上述编码位流的标题信息部分的上述编码语中将上述显示速度信息译码。
根据本发明，还提供了一种一种图象译码装置，对以对象为单位将图象编码后的编码位流进行译码，该图象译码装置的特征在于，上述编码位流在比多个VOP构成的VOP层上位的层的标题信息部分中，包括表示在固定速率的情况下每单位时间内的VOP的显示数量的VOP速率信息的编码语，图像译码装置具有从包括于上述编码位流的标题信息部分的上述编码语中将上述VOP速率信息译码的译码装置。
根据本发明，还提供了一种图象译码方法，对以对象为单位将图象编码后的编码位流进行译码，该图象译码方法的特征在于，上述编码位流在比多个VOP构成的VOP层上位的层的标题信息部分中，包括表示在固定速率的情况下每单位时间内的VOP的显示数量的VOP速率信息的编码语，从包括于上述编码位流的标题信息部分的上述编码语中将上述VOP速率信息译码。
根据本发明，还提供了一种图象译码装置，对以对象为单位将图象编码后的编码位流进行译码，该图象译码装置的特征在于，VOP速率信息在比多个VOP构成的VOP层上位的层的标题信息部分中，包括指示VOP速率固定或可变的编码语，图像译码装置具有从包括于上述编码位流的标题信息部分的上述编码语中将上述VOP速率信息译码的显示速度信息译码装置。
根据本发明，还提供了一种图象译码方法，对以对象为单位将图象编码后的编码位流进行译码，该图象译码方法的特征在于，VOP速率信息在比多个VOP构成的VOP层上位的层的标题信息部分中，包括指示VOP速率固定或可变的编码语，从包括于上述编码位流的标题信息部分的上述编码语中将上述VOP速率信息译码。


图1是表示MPEG-4的视频数据结构的图。
图2是表示VOP的具体例的图。
图3是表示本发明实施形态1的VOP编码部的框图。
图4是表示本发明实施形态1的VOP编码部的标题复用部的结构一例的框图。
图5是说明求模运算时基和VOP时间增量的图。
图6是表示本发明实施形态1的VOP编码部的标题复用部的结构一例的框图。
图7是表示本发明实施形态2的VOP编码部的框图。
图8是表示本发明实施形态2的VOP编码部的标题复用部的结构一例的框图。
图9是表示位流的一例的图。
图10是表示本发明实施形态2的标题复用部的VOP标题复用部的结构一例的框图。
图11是表示本发明实施形态3的VOP译码部的内部结构的框图。
图12是表示本发明实施形态3的VOP译码部的标题分析部的结构一例的框图。
图13是表示本发明实施形态3的合成多个对象的系统的框图。
图14是表示本发明实施形态4的VOP译码部的标题分析部的结构一例的框图。
图15是表示本发明实施形态4的VOP译码部的标题分析部的结构一例的框图。
图16是表示本发明实施形态5的VOP译码部的内部结构的框图。
图17是表示本发明实施形态5的VOP译码部的标题分析部的结构一例的框图。
图18是表示本发明实施形态5的VOP译码部的VOP标题分析部的结构一例的框图。
图19是表示本发明实施形态6的VOP译码部的标题分析部的结构一例的框图。
图20是表示本发明实施形态6的VOP译码部的VOP标题分析部的结构一例的框图。
图21是表示本发明实施形态7的VOP编码部的标题复用部的结构一例的框图。
图22是表示本发明实施形态7的VOP编码部的标题复用部的结构一例的框图。
图23是表示本发明实施形态8的VOP译码部的内部结构一例的框图。
图24是表示本发明实施形态8的VOP译码部的标题分析部的结构一例的框图。
图25是表示本发明实施形态8的合成多个对象的系统的框图。
图26是表示本发明实施形态8的VOP译码部的标题分析部的结构一例的框图。
图27是表示本发明实施形态8的VOP译码部的内部结构一例的框图。
图28是表示本发明实施形态9的VOP编码部的标题复用部的结构一例的框图。
图29是表示本发明实施形态10的VOP译码部的标题分析部的结构一例的框图。
图30是表示本发明实施形态11的VOP编码部的标题复用部的结构一例的框图。
图31是表示本发明实施形态12的VOP译码部的标题分析部的结构一例的框图。
具体实施例方式
以下，为了更详细地对本发明进行说明，参照

用于实施本发明的最佳形态。
实施形态1在本实施形态1中，对备有按照ISO/IEC JTC11 SC29/WG11/N1796中公开的MPEG-4视频编码方式根据作为本实施形态的要素的对象的显示速度信息进行编码的装置、及通过对每个对象附加所采用的显示速度信息而对编码位流复用该信息的装置的VOP编码器进行说明。
MPEG-4，是将动图象序列看作在时空上具有任意形状的动图象对象的集合体并以各动图象对象为单位进行编码和译码的方式。MPEG-4的视频数据结构，示于图1。在MPEG-4中，将包含时间轴的动图象对象称作视频对象[Video Object(VO)]，将VO的构成要素称作视频对象层[Video Object Layer(VOL)]，将VOL的构成要素称作视频对象平面群[Group of Video Object Plane(GOP)]，将表示GOV的各时刻的状态并用作编码单位的图象数据称作视频对象平面[Video ObjectPlane(VOP)]。例如，VO相当于电视会议的场景中的各发言者或背景等，VOL是具有上述发言者或背景等的固有时空析像度的单位，VOP是上述VOL的各时刻(＝相当于帧)的图象数据。GOV是用作将多个VOP集中编辑或随机存取等的单位的数据结构，也不一定总是用于编码。
VOP的具体例示于图2。在图中，示出2个VOP(VOP1是人物，VOP2是挂在墙壁上的绘画)。各VOP由表示色彩浓淡等级的纹理数据及表示VOP的形状的形状数据构成。纹理数据，由每个象素8位的亮度信号、色差信号(其大小等于在水平和垂直方向按1/2对亮度信号进行的二次抽样)构成，形状数据是与将亮度信号在VOP内部设定为1、在VOP外部设定为0的图象尺寸相同的二进制矩阵数据。
在基于VOP的动图象表示中，现有的帧图象，通过将多个VOP配置在画面中获得。但是，当动图象序列中只有一个VO时，各VOP与帧同义。
在这种情况下，不存在形状数据，因而只对纹理数据进行编码。
以下，说明本实施形态1的图象编码装置。该形态以MPEG-4视频编码器为基础，MPEG-4视频编码器，由于以上述VOP为单位实施编码，所以，以下称为VOP编码器。现有的VOP编码器的动作，已由ISO/IEC JTC1/SC29/WG11/N1796等公开，所以，这里将避开对现有的VOP编码器本身的说明，而只说明包含本实施形态1的要素的VOP编码器。
图3示出本发明实施形态1的VOP编码部的结构例，110是编码VOP决定部，111是形状编码部，113是动作估计部，115是动作补偿部，118是纹理编码部，122是存储器，124是标题复用部，126是视频信号复用部，128是减法器，129是加法器。
以下，对其动作进行说明。编码VOP决定部110，根据外部设定或按照编码状态设定的VOP速率信息7，在输入对象图象中决定作为编码对象的VOP，并将作为编码对象的VOP输出到形状编码部111、动作估计部113、减法器128。这里，所谓VOP速率信息7，相当于本发明中所提到的显示速度信息，指的是表示VOL、GOV等单位中所包含的VOP每秒显示几个(固定速率)或可变速率的信息。
对编码VOP决定部110的动作，给出一个具体例。当输入对象图象为30个/秒、VOP速率信息7为15个/秒时，编码VOP决定部110，判定在输入对象图象中每隔一个就是作为编码对象的VOP，因而每隔一个输出一个作为编码对象的VOP。
由编码VOP决定部110特定为编码对象的VOP，在每个被称作α块的16象素×16象素的区域上对其形状数据进行编码，并在每个被称作宏块的16象素×16象素的区域上对其纹理数据进行编码。
形状编码部111，对所输入的α块进行编码，并输出形状编码信息112及局部译码形状信息109。形状编码信息112，传送到视频信号复用部126，局部译码形状信息109，输入到动作估计部113、纹理编码部115及纹理编码部118。在动作估计部113中，输入存储器122中的参照数据123a，并以宏块为单位进行块匹配，从而得到动作信息114。这时，通过根据局部译码形状信息109仅将宏块中所包含的对象作为对象进行块匹配而得到动作信息。
在动作补偿部115中，输入存储器122中的由动作信息114指示的位置上的参照数据123b，并根据局部译码形状信息109生成预测图象。由动作补偿部115生成的预测图象116，输入到减法器128及加法器129。
在减法器128中，计算预测图象116与输入宏块之差，并生成预测误差图象117。
在纹理编码部118中，利用MPEG-4中规定的预定方法对所输入的预测误差图象117进行编码，并得到纹理编码信息119及局部译码预测误差图象120。这时，仅对块中所包含的对象根据局部译码形状信息109进行编码。将纹理编码信息119传送到视频信号复用部126，并将局部译码预测误差图象120输出到加法器129。
加法器129，将预测图象116与局部译码预测误差图象120相加，生成译码图象121，并写入存储器122。
在标题复用部124中，复用各标题信息，并将复用了各标题信息后的位流125输入到视频信号复用部126。
视频信号复用部126，对复用了各标题信息后的位流125进行形状编码信息112、动作信息114、纹理编码信息119的复用，并输出编码VOP位流。
图4是表示图3的标题复用部的结构的框图。在图中，1是VO标题复用部，2是VOL标题复用部，3是GOV标题复用选择部，4是GOV标题复用部，5是VOP标题复用部，6是GOV复用信息，7是VOP速率信息。
以下，对其动作进行说明。在VO标题复用部1中，生成复用了VO标题信息的位流，并将所生成的位流输出到VOL标题复用部2。
VOL标题复用部2，对所输入的位流进行VOL标题信息的复用，并将复用后的位流输出到GOV标题复用选择部3。
在GOV标题复用选择部3中，根据指示是否进行GOV标题的复用的GOV复用信息6判断由VOL标题复用部2输出的位流的输出目标。当GOV复用信息6指示不进行GOV标题的复用时，将该位流输出到VOP标题复用部5，而当GOV复用信息6指示进行GOV标题的复用时，将该位流输出到GOV标题复用部4。
GOV标题复用部4，对所输入的位流复用VOL速率信息7，并将位流输出到VOP标题复用部5。
表1示出上述VOL速率信息7的一例，给出表示4种VOP速率的例。当VOP速率为30个/秒时，复用「01」。如果先前刚进行了编码的VOP与编码对象的VOP相同，则复用VOP速率信息「00」，但不进行接在其后的VOP标题信息及VOP数据信息的复用。而当VOP速率可变时，复用VOP速率信息「11」。即，VOP速率信息7，指示VOP速率是固定的还是可变的，并指示固定时的速率值。
VOP标题复用部5内的VOP起始码复用部8，将对所输入的位流进行了VOP起始码的复用后得到的位流输出到求模运算时基(modulo_time_base)复用部9及VOP时间增量(VOP_time_increment)复用部10。
这里，所谓求模运算时基13，如图5所示，是指示该VOP从某个基准时刻起经过几秒后是否进行显示的信息，所谓VOP时间增量14，如该图5所示，是从由求模运算时基规定的时刻起以千分之一秒的精度对显示时刻进行微调的信息。即，在MPEG-4中能以千分之一秒的精度规定VOP的显示时刻。
在VOP标题复用部5内的管理时间生成部12，根据VOP速率信息7生成求模运算时基13及VOP时间增量14，并将求模运算时基13输出到求模运算时基复用部9，将VOP时间增量14输出到VOP时间增量复用部10。但是，当VOP速率信息7指示可变速率时，求模运算时基13及VOP时间增量14，以与VOP速率信息7无关的方式进行设定。
上述求模运算时基复用部9，对由VOP起始码复用部8输出的位流进行求模运算时基13的复用，并将复用后的位流输出到VOP时间增量复用部10。该VOP时间增量复用部10，对由求模运算时基复用部9输出的位流进行从管理时间生成部12输出的VOP时间增量14的复用，并将复用后的位流输出到图象信息标题复用部11。该图象信息标题复用部11，对由VOP时间增量复用部10输出的位流进行图象信息标题的复用，并将复用后的位流输出到视频信号复用部126。
如上所述，按照该实施形态1，由于在结构上对GOV标题复用VOP速率信息，所以，具有能够生成在译码器侧只需对各VOP标题的VOP起始码进行分析，即可判断是否需要对译码对象VOP进行译码或能以简单方式合成多个对象的位流的效果。
另外，如图6所示，也能以VOL为单位规定VOP速率信息，并进行编码和VOP速率信息的复用。在这种情况下，VOP速率信息7，以VOL单位决定，并由VOL标题复用部2进行复用。以此为依据，即可决定求模运算时基13及VOP时间增量14。
如上所述，在本实施形态1中，公开了一个实施例，在以对象为单位对图象进行编码的图象编码装置中，备有根据规定的显示速度信息对图象进行编码的编码装置、及对由该编码装置编码后的图象编码信号复用上述规定的显示速度信息后输出的复用装置。
另外，在本实施形态1中，还公开了对每个对象复用上述显示速度信息的复用装置的一个实施例。
实施形态2在实施形态2中，说明实施形态1所述VOP编码器的另一实施形态。本实施形态2的VOP编码器，备有对作为显示速度信息的指示对象的显示速度是固定速度或是可变速度的1位的VOP速率标志及指示对象显示速度值的VOP速率信息进行编码并对位流进行复用的装置。
当上述VOP速率标志指示可变速度时，在实施形态1所述的表1中相当于VOP速率可变，当上述VOP速率标志指示固定速度时，在实施形态1所述的表1中相当于VOP速率为30个/秒、或15个/秒。
图7示出本发明实施形态2的VOP编码器的结构例，1000是标题复用部，1001是VOP速率标志，1026是VOP速率。本实施形态2的VOP编码器，只是在与实施形态1所述VOP编码器的标题复用部124相当的标题复用部1000的结构动作上不同，所以只对该部分进行说明。
图8是表示本发明实施形态2的VOP编码部的标题复用部1000的结构的框图。在图中，1002是VOL标题复用部，1003是VOP标题复用部。
以下，对其动作进行说明。
在VO标题复用部1中，生成复用VO标题信息后的位流，并将所生成的位流输出到VOL标题复用部1002。VOL标题复用部1002，对所输入的位流进行VOL标题信息的复用，并将复用后的位流输出到GOV标题复用选择部3。这时，也进行VOP速率信息及VOP速率标志的复用。
表3示出VOP速率1026的复用例。在这种情况下，当VOP速率1026为2个/秒时复用「000」，当VOP速率为5个/秒时复用「001」，当VOP速率为25个/秒时复用「010」，当VOP速率为30个/秒时复用「011」，而在上述以外的VOP速率(例如，VOP速率为10个/秒)的情况下，复用「100」作为VOP速率信息。对是否复用VOP速率信息的判断，以与后文所述的VOP速率标志的值无关的方式独立进行。此外，作为VOP速率的复用例的另一例，也可以如表4所示。在这种情况下，如果VOL内所有VOP都是完全相同的图象，则将其看作静止图象并将「101」作为VOP速率信息复用。
对于VOP速率标志，当VOP速率标志指示固定速度时复用「1」，当VOP速率标志指示可变速度时复用「0」。图9示出由VOL标题复用部1002输出的位流的一例。
在GOV标题复用选择部3中，根据指示是否进行GOV标题的复用的GOV复用信息6判断由VOL标题复用部1002输出的位流的输出目标。当GOV复用信息6指示不进行GOV标题的复用时，将该位流输出到VOP标题复用部1003，而当GOV复用信息6指示进行GOV标题的复用时，将该位流输出到GOV标题复用部4。
GOV标题复用部4，对所输入的位流进行GOV标题信息的复用，并将复用后的位流输出到VOP标题复用部1003。图10中详细地示出VOP标题复用部1003。在图10中，1004是管理时间生成部。
以下，对其动作进行说明。管理时间生成部1004，当所输入的VOP速率标志1001指示固定速度时根据VOP速率1026、当所输入的VOP速率标志1001指示可变速度时根据VOP编码器内部所具有的计时器，生成求模运算时基及VOP时间增量。将所生成的求模运算时基输出到求模运算时基复用部9，将所生成的VOP时间增量输出到VOP时间增量复用部10。
VOP起始码复用部8，对所输入的位流进行VOP起始码的复用，并将复用后的位流输出到求模运算时基复用部9。求模运算时基复用部9，对所输入的位流进行求模运算时基的复用，并将复用后的位流输出到VOP时间增量复用部10。
VOP时间增量复用部10，对所输入的位流进行VOP时间增量的复用，并将复用后的位流输出到图象信息标题复用部11。该图象信息标题复用部11，对由VOP时间增量复用部10输出的位流进行图象信息标题的复用，并将复用后的位流输出到视频信号复用部126。
如上所述，按照该实施形态2，由于在结构上对VOL层复用VOP速率标志及VOP速率信息，所以，具有能够生成在译码器侧只需使用VOP速率标志及VOP速率即可瞬时特定出用户所需的VOP，因而只需分析各VOP标题的VOP起始码就可以判断是否需要对译码对象VOP进行译码或能以简单方式合成多个对象的位流的效果。
另外，即使只复用VOP速率标志，也能对可变速度或固定速度进行识别，所以，可以对译码对象VOP进行译码处理。
如上所述，在本实施形态2中，公开了一个实施例，在以对象为单位对图象进行编码的图象编码装置中，备有对指示对象的显示速度是固定速度或可变速度的标志进行编码的编码装置、对由该编码装置编码后的图象编码信号复用上述标志后输出的复用装置、根据规定的显示速度信息对图象进行编码的编码装置、及对由该编码装置编码后的图象编码信号复用上述规定的显示速度信息后输出的复用装置。
实施形态3在本实施形态3中，说明备有与各对象对应的多个用于从编码位流中对实施形态1所述的VOP速率信息进行译码和输出的图象译码装置、即MPEG-4视频译码器(以下，称作VOP译码器)并通过将多个译码后的对象合成而对图象进行再生的系统。
首先，说明本实施形态3的图象译码装置(VOP译码器)的结构和动作。现有的VOP译码器的动作，已由ISO/IEC JTC1/SC29/WG11/N1796等公开，所以，这里将避开对现有的VOP译码器本身的说明，而只说明包含本实施形态3的要素的VOP译码器。本实施形态3的VOP译码器，是可以对由实施形态1的编码器生成的编码位流进行译码的译码器。
图11示出本发明实施形态3的VOP译码部的内部结构例。VOP的译码器，如实施形态1和图2所示，由纹理数据和形状数据构成，本译码器，具有将这些数据压缩编码后的数据作为输入并将各数据复原的功能。在图中，150是编码VOP位流，151是标题分析部，152是对标题信息进行分析后的位流，153是视频信号分析部，154是形状编码数据，155是形状译码部，156是译码形状数据，157是纹理编码数据，158是动作信息，159是动作补偿部，160是预测纹理数据、161是纹理译码部，162是译码纹理数据，164是存储器，165是参照数据。
以下，根据该图详细说明其动作。编码VOP位流150，输入到标题分析部151，根据规定的语法分析标题信息。由标题分析部151对标题信息进行分析后的位流152，输入到视频信号分析部153，对形状编码数据154、纹理编码数据157，动作信息158进行分析。形状译码部155对所输入的形状编码数据154进行译码，并输出译码形状数据156。
动作补偿部159，根据存储器164中的参照数据165及从视频信号分析部153输入的动作信息158输出预测纹理数据160。纹理译码部161，根据纹理编码数据157及预测纹理数据160并利用由MPEG-4规定的方法对图象数据进行复原，并生成译码纹理数据162。该译码纹理数据162，在随后的VOP的译码中使用，因此将其写入存储器164。
图12示出作为本发明实施形态3的特征的标题分析部151的内部结构。在图中，51是起始码分析部，52是VO标题分析部，53是VOL标题分析部，54是GOV标题分析部，58是VOP速率信息，55是VOP标题分析部。本实施形态3的标题分析部151的特征在于，由GOP标题分析部54从位流中将该GOV所包含的VOP的VOP速率信息58译码并向外部输出。该VOP速率信息58的使用方法，将在后文中说明。
起始码分析部51，对所输入的编码VOP位流150中含有的起始码进行分析。如所分析的起始码指示VO，则将位流输出到VO标题分析部52，如所分析的起始码指示VOL，则将位流输出到VOL标题分析部53，如所分析的起始码指示GOV，则将位流输出到GOV标题分析部54，如所分析的起始码指示VOP，则将位流输出到VOP标题分析部55。在VOP标题分析部55的分析处理结束后，将位流输出到视频信号分析部153。
VO标题分析部52，对所输入的位流中的VO标题信息进行分析，并将完成分析后的位流输出到起始码分析部51。VOL标题分析部53，对所输入的位流中的VOL标题信息进行分析，并将完成分析后的位流输出到起始码分析部51。GOV标题分析部54，对所输入的位流中的GOV标题信息进行分析，并将完成分析后的位流输出到起始码分析部51。这时，对GOV标题信息中所含有的VOP速率信息58进行译码后输出。VOP标题分析部55，对所输入的位流中的VOP标题信息进行分析，并将完成分析后的位流通过起始码分析部51输出到视频信号分析部153。
按照结构和动作如上所述的VOP译码器，能以GOV为单位输出各GOV中所含有的VOP的VOP速率信息。在图13中，示出利用该信息合成多个对象的系统。在图中，200是编码VOP位流a，201是编码VOP位流b，202是编码VOP位流c，203a是对编码VOP位流a200进行译码的VOP译码部，203b是对编码VOP位流b201进行译码的VOP译码部，203c是对编码VOP位流c202进行译码的VOP译码部，204是译码对象图象a，205是译码对象图象b，206是译码对象图象c，207是VOP速率信息a，208是VOP速率信息b，209是VOP速率信息c，210是合成部，211是译码图象。所谓译码对象图象，指的是将各VOP的译码形状数据156与对应的译码纹理数据162组合并以VOP的集合单位(例如GOV、VOL等)将各组合数据汇集在一起后的图象。
编码VOP位流a200～c202，分别由对应的VOP译码部203a～203c进行译码，并生成译码VOP图象a204～c206。这时，各VOP译码部将对应的VOP速率信息a207～c209译码后，输出到合成部210。合成部210，根据该VOP速率信息a207～c209，决定是否将各译码VOP图象合成为译码图象211的哪个时刻的图象帧，从而映射到对应时刻的图象帧。例如，假定译码图象211以每秒30个(这相当于通常的电视信号的显示速度)进行显示。进一步，假定以下的情况。
○译码VOP图象a204以每秒5个显示(即，VOP速率信息a207指示5个/秒)。
○译码VOP图象b205以每秒10个显示(即，VOP速率信息b208指示10个/秒)。
○译码VOP图象c206以每秒15个显示(即，VOP速率信息c209指示15个/秒)。
在这种情况下，可以进行如下的动作，即，译码VOP图象a204～c206全部映入译码图象211的各秒的开头的图象帧。译码VOP图象a204映入从各秒的开头起的每5个图象帧，译码VOP图象b205映入从各秒的开头起的每10个图象帧，译码VOP图象c206映入从各秒的开头起的每15个图象帧，由此，即可显示将多个图象对象根据其各自的显示速度合成为图象帧后的图象。
如上所述，通过采用在GOV层对将VOP速率信息编码后得到的编码位流进行译码的VOP译码器，可以用简易的结构实现通过合成多个对象而获得再生图象的系统。
VOP速率信息，也可以在图象编码装置侧以VOL为单位进行编码。在这种情况下，在图象译码装置侧，能以VOL为单位对编码后的VOP速率信息进行译码，并以VOL为单位进行如上所述的简易的多个对象的合成。
另外，在本实施形态3中，将VOP译码器用作合成多个对象的系统，但在结构上也可以在只对一个对象进行译码和再生的系统中仅使用一个VOP译码器。
如上所述，在本实施形态3中，公开了一个实施例，在对以对象为单位将图象编码后得到的编码位流进行译码的图象译码装置中，备有从上述编码位流中将显示速度信息译码的显示速度信息译码装置、及根据由该显示速度信息译码装置译码后的显示速度信息对以对象为单位进行处理的图象的再生处理进行控制的控制装置。
另外，在本实施形态3中，还公开了按每个对象对上述显示速度信息进行译码的显示速度信息译码装置的一个实施例。
实施形态4
在实施形态4中，说明实施形态3所述VOP译码器的另一实施形态。本实施形态4的VOP译码器，具有根据译码器中假定的VOP速率值特定作为译码对象的VOP并进行译码的功能。
本实施形态4的VOP译码器，只是与实施形态2所述VOP译码器的标题分析部151在结构动作上不同，所以只对该构件进行说明。
图14是表示本发明实施形态4的VOP译码部的标题分析部的结构的框图，示出编码器侧的VOP速率与译码侧的VOP速率不一致的情况。在图中，59是译码VOP选择部，用于将从GOV标题分析部54输出的VOP速率58与在译码侧假定的VOP速率61进行比较，并输出VOP选择信息。此外，VOP标题分析部55，除时间管理信息标题分析部56、图象信息标题分析部57以外，还具有计数部60。
以下，对其动作进行说明。译码VOP选择部59，根据由GOV标题分析部54分析后的VOP速率58与译码侧假定的VOP速率61的比较，将指示进行译码的VOP信息的VOP选择信息62输出到VOP标题分析部55的计数部60。该计数部60，根据VOP选择信息62判断是否对接在输入位流中所包含的VOP起始码后边的VOP标题信息进行译码。
具体地说，当由GOV标题分析部54分析后的VOP速率58为30个/秒、在译码侧假定的VOP速率为15个/秒时，将指示每隔1个VOP就有进行分析的VOP的VOP选择信息62输出到位于VOP标题分析部55的计数部60。在计数部60中，首先，每当输入VOP标题时由计数器60a进行计数。
然后，判定器60b，根据从计数器60a输入的计数值及从译码VOP选择部59输入的VOP速率选择信息62，判断是否需要对所输入的VOP进行分析。当判定需要对所输入的VOP进行分析时，将输入的位流输出到时间管理信息标题分析部56。而当判定不需要对所输入的VOP进行分析时，将输入的位流输出到起始码分析部51。
以下，示出具体例。当VOP速率选择信息62是每3个VOP必需分析1个VOP的信息时，在判定器60b中，当由计数器60a输入的计数值除以3后余数为0时，判断为必需分析的VOP，当由计数器60a输入的计数值除以3后余数为1或2时，判断为不需要分析的VOP。
在本实施形态4中，对与GOV标题中含有VOP速率信息的情况对应的VOP译码器进行了说明，但如实施形态2所述，VOP速率信息也可以包含在VOL标题中。在这种情况下，如图15所示，只需使VOL标题分析部300具有对VOP速率信息58的译码功能即可。
另外，本实施形态4的VOP译码器，无论在合成多个对象的系统中或在仅对1个对象进行译码和再生的系统中都能够使用。
如上所述，在本实施形态4中，公开了一个实施例，其控制装置，备有根据由上述显示速度信息译码装置译码后的对象的显示速度信息及在译码装置中预先设定好的对象显示速度信息特定该对象作为译码对象的时刻的译码时刻特定装置、及根据由该译码时刻特定装置得到的译码对象时刻进行对象的译码的译码装置。
实施形态5在实施形态5中，说明实施形态3或实施形态4所述VOP译码器的另一实施形态。本实施形态5的VOP译码器，具有根据指示对象显示速度是固定速度或是可变速度的VOP速率标志、指示对象显示速度的VOP速率信息、指示用户从外部设定的时刻信息的外部设定显示控制信息及时间代码特定作为译码对象的VOP并进行译码的功能。
本实施形态5的VOP译码器，如图16所示，只是在与实施形态3所述VOP译码器的VOP标题分析部151相当的标题分析部1005的结构动作上不同，所以只对该部分进行说明。
图17是表示本实施形态的VOP译码部的标题分析部1005的结构的框图。在图中，1006是VOL标题分析部，1007是GOV标题分析部，1008是VOP标题分析部，1009是外部设定显示控制信息，1010是VOP速率标志，1011是时间代码。另外，外部设定显示控制信息1009，可以是表示绝对时刻的信息，也可以是指示必需对几个VOP将1个VOP译码的VOP选择信息。
以下，对其动作进行说明。起始码分析部51，对所输入的编码VOP位流中包含的起始码进行分析。如所分析的起始码指示VO，则将位流输出到VO标题分析部52，如所分析的起始码指示VOL，则将位流输出到VOL标题分析部1006，如所分析的起始码指示GOV，则将位流输出到GOV标题分析部1007，如所分析的起始码指示VOP，则将位流输出到VOP标题分析部1008。在VOP标题分析部1008的分析处理结束后，将位流输出到视频信号分析部153。
接着，上述VO标题分析部52，对所输入的位流中的VO标题进行分析，并将完成分析后的位流输出到起始码分析部51。
另外，VOL标题分析部1006，对所输入的位流中的VOL标题、VOP速率信息58、VOP速率标志1010进行分析，并将完成分析后的位流输出到起始码分析部51，同时将VOP速率信息58输出到合成部210和VOP标题分析部1008，将VOP速率标志1010输出到VOP标题分析部1008。
GOV标题分析部1007，对所输入的位流中的GOV标题进行分析，并将完成分析后的位流输出到起始码分析部51，同时将分析后的GOV标题中所包含的时间代码1011输出到VOP标题分析部1008。
图18是详细表示VOP标题分析部1008的结构的图。1012是译码VOP决定部(1)，具有计数部1012a、判定器1012b。1013是求模运算时基分析部，1014是VOP时间增量分析部，1015是译码VOP决定部(2)，1016是译码VOP决定方法选择部。
以下，对其动作进行说明。在译码VOP决定方法选择部1016中，根据VOP速率标志1010，选择输入位流的输出目标。当VOP速率标志1010指示固定速度时，将译码VOP决定部(1)1012作为输出目标，当VOP速率标志1010指示可变速度时，将求模运算时基分析部1013为输出目标。
首先，说明VOP速率标志1010指示固定速度的情况。译码VOP决定部(1)1012内的计数部1012a，每当由起始码分析部51检测VOP起始码并将位流输入到VOP标题分析部1006时，将计数值增1，并将计数值及位流输出到判定器1012b。
然后，在判定器1012b中，进行是否需要对译码对象VOP进行译码的判断。对判定器1012b的动作，分以下两种情况进行说明，即，将以绝对时刻提供外部设定显示控制信息1009的情况作为第一情况，将由VOP选择信息提供外部设定显示控制信息1009的情况作为第二情况。
(第一情况)根据从计数部1012a输入的计数值、VOP速率信息58及时间代码1011，计算译码对象VOP具有的绝对时刻。例如，当计数值为4、VOP速率信息指示2个/秒、绝对时刻为0时10分0秒0毫秒时，可以计算出译码对象VOP具有的绝对时刻为0时10分02秒0毫秒。如计算出的译码对象VOP具有的绝对时刻与外部设定显示控制信息1009相等，则判断为需要进行译码。
另一方面，如不相等时，计算下一个作为译码对象的VOP的绝对时刻。这是为了将下一个作为译码对象的VOP的绝对时刻与作为当前译码对象的VOP的绝对时刻进行比较，以便能对具有与外部设定显示控制信息1009更为接近的绝对时刻的VOP进行译码。下一个作为译码对象的VOP的绝对时刻，根据已经计算出的作为当前译码对象的VOP的绝对时刻及VOP速率信息58进行计算。当该计算值小于或等于外部设定显示控制信息1009时，判断为对下一个作为译码对象的VOP进行译码，而不进行作为当前译码对象的VOP的译码。当计算值超过外部设定显示控制信息1009时，可以选择以下任何一种方式。
○对作为当前译码对象的VOP进行译码○对下一个作为译码对象的VOP进行译码(＝作为当前译码对象的VOP不进行译码)○对具有与外部设定显示控制信息1009的差值小、即接近于外部设定显示控制信息1009的绝对时刻的VOP进行译码。
(第二情况)这是在VOP译码器侧控制显示速度的情况，例如，可由用户决定显示速度，或可以根据CPU资源指定最佳显示速度。
以下对其动作进行说明。假定VOP选择信息是每3个VOP必需对1个VOP进行译码的信息。在这种情况下，判定器1012b，当由计数器1012a输入的计数值除以3后余数为0时，判断为必需译码的VOP，当由计数器1012a输入的计数值除以3后余数为1或2时，判断为不需要译码的VOP。
当第一情况、第二情况都判定为必需对译码对象VOP进行译码时，将位流输出到求模运算时基分析部1013，当判定为不需要进行译码时，将所输入的位流输出到起始码分析部51。在求模运算时基分析部1013中，对求模运算时基进行分析，并将位流输出到VOP时间增量分析部1014。
在VOP时间增量分析部1014中，对VOP时间增量进行分析，并将位流输出到图象信息标题分析部57。在图象信息标题分析部57中，对图象信息标题进行分析，并将位流输出到起始码分析部51。
接着，说明VOP速率标志1010指示可变速度的情况。在求模运算时基分析部1013中，对求模运算时基进行分析，并将位流输出到VOP时间增量分析部1014。在VOP时间增量分析部1014中，对VOP时间增量进行分析，并将位流输出到译码VOP决定部(2)1015。
译码VOP决定部(2)1015，根据由求模运算时基分析部1013中分析后的求模运算时基、由VOP时间增量分析部1014分析后的VOP时间增量、及时间代码1011，生成译码对象VOP具有的绝对时刻，并根据所生成的绝对时刻及外部设定显示控制信息1009判断是否需要对译码对象VOP进行译码。当判定必需进行译码时，将位流输出到图象信息标题分析部57，当判定不需要进行译码时，将位流输出到起始码分析部51。在图象信息标题分析部57中，对图象信息标题进行分析，并将位流输出到起始码分析部51。
如上所述，按照该实施形态5，由于在结构上可以在VOL层对将VOP速率标志及VOP速率信息编码后的位流进行分析，所以，具有只需使用VOP速率标志及VOP速率即可瞬时特定出用户所需的VOP并只需分析各VOP标题信息所包含的VOP起始码就可以判断是否需要对译码对象VOP进行译码或能以简单方式合成多个对象的效果。
另外，当输入到VOP译码器的编码VOP位流所包含的VOP全部进行帧内编码时，还具有可以瞬时特定出用户所需的VOP并进行显示的效果。
如上所述，在本实施形态5中公开了一个实施例，其特征在于，控制装置，当由该显示速度信息译码装置译码后的显示速度识别信息指示固定速度时根据显示速度信息、当指示可变时根据由各时刻的各个图象复用的显示时刻信息，特定各时刻的图象显示时刻并进行再生。
实施形态6在实施形态6中，说明实施形态5所述VOP译码器的另一实施形态。本实施形态6的VOP译码器，具有根据指示对象显示速度是固定速度或是可变速度的VOP速率标志、指示对象显示速度的VOP速率、指示用户从外部设定的时刻信息的外部设定显示控制信息及时间代码特定作为译码对象的VOP并进行译码的功能。
图19是表示本实施形态6的标题分析部的图。本实施形态6的VOP译码器，只是与实施形态5所述的标题分析部内的VOL标题分析部1006及VOP标题分析部1008在结构动作上不同，所以只对该构件进行说明。
VOL标题分析部1017，对所输入的位流中的VOL标题、VOP速率信息、VOP速率标志进行分析，并将完成分析后的位流输出到起始码分析部51，将VOP速率标志1010输出到VOP标题分析部1018，并当分析后的VOP速率信息指示任何固定速率值时(例如，在表3中由VOP速率信息「100」指示的VOP速率)，将VOP速率信息58输出到VOP标题分析部1018，当分析后的VOP速率信息指示某个具体固定值时(例如，在表3中由VOP速率信息「000」、「001」、「010」指示的VOP速率)，将VOP速率信息58输出到VOP标题分析部1018及合成部210。
图20是详细表示VOP标题分析部1018的图。1025是译码VOP决定方法选择部，1019是译码VOP决定部(3)，具有计数部1019a、计数值判定部1019b、判定器1019c。1020是时间信息保持部，1021是VOP速率信息计算部，1022是VOP速率信息保持部，1023是求模运算时基分析部，1024是VOP时间增量分析部。
在译码VOP决定方法选择部1025中，根据所输入的VOP速率标志1010及VOP速率信息58，选择输入位流的输出目标。具体地说，当VOP速率标志1010指示固定速度而VOP速率信息58指示任何固定速率值时，将译码VOP决定部(3)1019作为输出目标。当VOP速率标志1010指示可变速度时，按实施形态5所述进行动作，所以将其说明省略。此外，当VOP速率标志1010指示固定速度而VOP速率信息58指示某个具体固定值时，将位流输出到译码VOP决定部(1)1012。在这种情况下，译码VOP决定部(1)1012之后的动作，按实施形态5所述进行，所以将其说明省略。
因此，在下文中说明VOP速率标志1010指示固定速度而VOP速率信息58指示任何固定速率值的情况。
译码VOP决定部(3)1019内的计数部1019a，每当由起始码分析部51检测VOP起始码并将位流输入VOP标题分析部1018时，将计数值增1，并将计数值及位流输出到计数值判定部1012b。在计数值判定部1012b中，当计数值指示第1个VOP或第2个VOP时，将位流和计数值输出到求模运算时基分析部1023，在除上述以外的情况下，将位流和计数值输出到判定器1019c。
在求模运算时基分析部1023中，对求模运算时基进行分析，并当输入的计数值指示第1个VOP时，将求模运算时基输出到时间信息保持部1020，当输入的计数值指示第2个VOP时，将求模运算时基输出到VOP速率信息计算部1021，同时，将位流和计数值输出到VOP时间增量分析部1024。
在VOP时间增量分析部1024中，对VOP时间增量进行分析，并当输入的计数值指示第1个VOP时，将VOP时间增量输出到时间信息保持部1020，当输入的计数值指示第2个VOP时，将VOP时间增量输出到VOP速率信息计算部1021，同时，将位流输出到图象信息标题分析部57。在图象信息标题分析部57中，对图象信息标题进行分析，并将位流输出到起始码分析部51。
在时间信息保持部1020中，保持所输入的求模运算时基和VOP时间增量。VOP速率信息计算部1021，如输入与第2个VOP有关的求模运算时基和VOP时间增量，则从时间信息保持部1020输入与第1个VOP有关的求模运算时基及与该第1个VOP有关的VOP时间增量，根据输入的数据计算VOP速率信息，并将VOP速率信息输出到VOP速率信息保持部1022。在以6位精度表示VOP时间增量的情况下，VOP速率信息计算部1021中的与VOP速率信息的计算有关的具体例，如下所述。
当与第1个VOP有关的求模运算时基为「10」、与第1个VOP有关的VOP时间增量为「000000」(即，与第1个VOP有关的时刻信息为1.0秒)、与第2个VOP有关的求模运算时基为「10」、与第2个VOP有关的VOP时间增量为「100000」(即，与第2个VOP有关的时刻信息为1.5秒)时，两者的时间信息相差0.5秒。这将意味着译码对象VOP以每0.5秒1个的比率存在，即VOP速率为2个/秒(如利用表3，则VOP速率信息为「1111」)。
即使VOP速率信息58没有被复用，但只要VOP速率标志1010被复用，就可以根据该标志判断为固定速率，因此能够进行如上所述的动作。
VOP速率信息保持部1022，保持所输入的VOP速率信息，同时将VOP速率信息输出到合成部210。对判定器1019c的动作，分以下两种情况进行说明，即，将以绝对时刻提供外部设定显示控制信息1009的情况作为第一情况，将由VOP速率提供外部设定显示控制信息1009的情况作为第二情况。
(第一情况)判定器1019c，根据从计数值判定部1012b输入的计数值及从VOP速率信息保持部1022输出的VOP速率信息，计算译码对象VOP具有的绝对时刻。如计算出的译码对象VOP具有的绝对时刻与外部设定显示控制信息1009相等，则判断为需要进行译码。
另一方面，如不相等时，计算下一个作为译码对象的VOP的绝对时刻。这是为了将下一个作为译码对象的VOP的绝对时刻与当前作为译码对象的VOP的绝对时刻进行比较，以便能对具有与外部设定显示控制信息1009更为接近的绝对时刻的VOP进行译码。下一个作为译码对象的VOP的绝对时刻，根据已经计算出的作为当前译码对象的VOP的绝对时刻及VOP速率信息58进行计算。当该计算值小于或等于外部设定显示控制信息1009时，判断为对下一个作为译码对象的VOP进行译码，而不进行作为当前译码对象的VOP的译码。当计算值超过外部设定显示控制信息1009时，可以选择以下任何一种方式。
○对作为当前译码对象的VOP进行译码○对下一个作为译码对象的VOP进行译码(＝作为当前译码对象的VOP不进行译码)○对具有与外部设定显示控制信息1009的差值小、即接近于外部设定显示控制信息1009的绝对时刻的VOP进行译码。
(第二情况)在判定器1019c中，当由外部设定显示控制信息1009提供的VOP速率为2个/秒、从VOP速率信息保持部1022输出的VOP速率信息指示的VOP速率为4个/秒时，指示必需从几个VOP选择1个VOP进行译码的VOP选择信息，为必需从每2个VOP选择1个VOP进行译码的信息。在这种情况下，判定器1019c，当由计数值判定部1019b输入的计数值除以2后余数为0时，判断为必需译码的VOP，当由计数值判定部1019b输入的计数值除以2后余数为1时，判断为不需要译码的VOP。
当第一情况、第二情况都判定为必需对译码对象VOP进行译码时，将位流输出到求模运算时基分析部1013，当判定为不需要进行译码时，将所输入的位流输出到起始码分析部51。在求模运算时基分析部1013中，对求模运算时基进行分析，并将位流输出到VOP时间增量分析部1014，在VOP时间增量分析部1014中，对VOP时间增量进行分析，并将位流输出到图象信息标题分析部57。在图象信息标题分析部57中，对图象信息标题进行分析，并将位流输出到起始码分析部51。
如上所述，按照该实施形态6，由于在结构上可以在VOL层对将VOP速率标志及VOP速率信息编码后的位流进行分析，并当VOP速率标志指示固定速度时可以根据第1个VOP及第2个VOP具有的绝对时刻计算VOP速率信息，所以，具有只需使用VOP速率标志及VOP速率即可瞬时特定出用户所需的VOP并在任意的固定VOP速率下对各VOP标题信息所包含的VOP起始码进行分析从而可以判断是否需要对译码对象VOP进行译码或能以简单方式合成多个对象的效果。
另外，当输入到VOP译码器的编码VOP位流所包含的VOP全部进行帧内编码时，还具有可以瞬时特定出用户所需的VOP并进行显示的效果。
如上所述，在本实施形态6中公开了一个实施例，其特征在于，控制装置，当由该显示速度信息译码装置译码后的显示速度信息指示固定速度、且该固定速度不是用上述显示速度信息表示的值时，根据由各时刻的各个图象复用的显示时刻信息，特定各时刻的图象显示时刻并控制再生。
实施形态7在实施形态7中，说明实施形态1所述VOP编码器的另一实施形态。本实施形态7的VOP编码器，具有以VOL为单位附加规定该VOL所包含的各VOP的绝对显示时刻的时间代码的功能。
这里，所谓时间代码，是在IEC stndard publication 461 for“timeand control codes for video tape recorders”(IEC标准出版物“用于磁带录像机的时间及控制代码”)中公开的时间信息，是一种以时、分，秒的精度规定构成动图象的各时刻的图象(在MPEG-2中为帧，在MPEG-4中为VOP等)的显示时刻的信息。例如，当利用业务用图象编辑设备等以帧为单位进行编辑时，通过对各帧附加该信息，具有只须指定时间代码的值即可访问所需要的帧等的效果。
本实施形态7的VOP编码器，只是与实施形态1所述的VOP编码器的标题复用部124在结构动作上不同，所以只对该构件进行说明。
图21是表示本发明实施形态7的VOP编码部的标题复用部的结构的框图，对与上述图4所示的实施形态1相同的部分标以同一符号而将重复的说明省略。
以下，对其动作进行说明。在VO标题复用部1中复用了VO标题信息的位流，输入到VOL标题复用部2。该VOL标题复用部2，将对输入位流复用了VOL标题信息及作为时间管理的基础的时间代码18后得到的位流输出到GOV标题复用选择部3。
在GOV标题复用选择部3中，根据指示是否进行GOV标题的复用的GOV复用信息6判断由VOL标题复用部2输出的位流的输出目标。当GOV复用信息6指示不进行GOV标题的复用时，将该位流输出到VOP标题复用部5，而当GOV复用信息6指示进行GOV标题的复用时，将该位流输出到GOV标题复用部4。在这种情况下，GOV标题复用部4，对由GOV标题复用选择部3输出的位流进行GOV标题信息的复用，并输出到VOP标题复用部5。
VOP标题复用部5，将对所输入的位流复用了VOP起始码、时间管理信息标题、图象信息标题后得到的位流输出到视频信号复用部126(参照图3)。
视频信号复用部126之后的动作，与以上说明过的内容相同。
如上所述，按照该实施形态7，由于对始终按MPEG-4编码的VOL标题复用时间代码，所以，可以构成能以时间代码为基准生成由多个对象形成的画面的位流。此外，当由业务用图象对象单位的编辑设备等一边对本实施形态7的编码位流进行译码一边进行编辑操作时，具有总是能够自由地随机访问对象的任意时刻的VOP的效果。借助于上述效果，可以提高图象合成的自由度。
在本实施形态7中，说明了以VOL为单位附加时间代码的编码器，但在结构上也能以VOP为单位附加时间代码信息。在这种情况下，如图22所示，只需将规定各VOP的绝对显示时刻的时间代码18输入到VOP标题复用部301并复用该时间代码18即可。
另外，在本实施形态7中，示出了还同时进行着VOP速率信息编码的例，但时间代码的复用当然也可以与VOP速率信息分开进行，即使不进行VOP速率信息的编码，也可以取得同样的效果。
如上所述，在本实施形态7中，公开了一个实施例，在以对象为单位对图象进行编码的图象编码装置中，备有绝对时刻复用装置，按每个对象将表示与该对象对应的绝对时刻的信息复用于该编码后的图象信号。
实施形态8在本实施形态8中，说明备有多个从编码位流中的VOL标题将时间代码译码和输出的VOP译码器并通过将多个译码后的对象合成而将图象再生的系统。
首先，对本实施形态8的VOP译码器的结构和动作进行说明。在图23中示出本实施形态8的VOP译码器的内部结构。本译码器，与实施形态2所述VOP译码器的结构动作相比，只是标题分析部302不同，所以只对该构件进行说明。标题分析部302，具有对VOL标题中的时间代码进行译码和输出的功能。
图24示出标题分析部302的内部结构。在图中，303是VOL标题分析部。起始码分析部51，对所输入的编码VOP位流150中含有的起始码进行分析。如所分析的起始码指示VO，则将位流输出到VO标题分析部52，如所分析的起始码指示VOL，则将位流输出到VOL标题分析部303，如所分析的起始码指示GOV，则将位流输出到GOV标题分析部54，如所分析的起始码指示VOP，则将位流输出到VOP标题分析部55。在VOP标题分析部55的分析处理结束后，将位流输出到视频信号分析部153。
VO标题分析部52，对所输入的位流中的VO标题信息进行分析，并将完成分析后的位流输出到起始码分析部51。VOL标题分析部303，对所输入的位流中的VOL标题信息进行分析，并将完成分析后的位流输出到起始码分析部51。这时，对VOL标题信息中所包含的时间代码64进行译码并输出。GOV标题分析部54，对所输入的位流中的GOV标题信息进行分析，并将完成分析后的位流输出到起始码分析部51。VOP标题分析部55，对所输入的位流中的VOP标题信息进行分析，并将完成分析后的位流通过起始码分析部51输出到视频信号分析部153。
按照结构和动作如上所述的VOP译码器，能以VOL为单位输出各VOL中所含有的VOP的VOP绝对显示时刻。在图25中，示出利用该信息合成多个对象的系统。
在图中，400是编码VOP位流a，401是编码VOP位流b，402是编码VOP位流c，403a是对编码VOP位流a400进行译码的VOP译码部，403b是对编码VOP位流b401进行译码的VOP译码部，403c是对编码VOP位流c402进行译码的VOP译码部，404是译码对象图象a，405是译码对象图象b，406是译码对象图象c，407是时间代码a，408是时间代码b，409是时间代码c，410是合成部，411是译码图象。所谓译码对象图象，指的是将各VOP的译码形状数据156与对应的译码纹理数据162组合并以集合VOP的单位(例如GOV、VOL等)将各组合数据汇集在一起后的图象。
编码VOP位流a400～编码VOP位流c402，分别由对应的VOP译码部403a～403c进行译码，并生成译码VOP图象a404～c406。这时，各VOP译码部将对应的VOP速率信息a407～c409译码并将其输出到合成部410。合成部410，根据该时间代码a407～c409，决定将各译码对象图象的各时刻的VOP合成为译码图象411的哪个时刻的图象帧，从而映射到对应时刻的图象帧。例如，假定以下的情况。
·合成部，具有时间代码产生功能，并决定所合成的各图象帧的绝对显示时刻。
·作为译码对象图象a404的第1个VOP的时间代码假定对01:00:00进行了译码。其中，01:00:00，表示(时):(分):(秒)。
·作为译码对象图象b405的第1个VOP的时间代码假定对01:00:10进行了译码。
·作为译码对象图象c406的第1个VOP的时间代码假定对01:01:00进行了译码。
这里，如假定由合成部410规定的译码图象411的第1个图象帧的时间代码为01:00:00，则译码对象图象a404从译码图象411的第1个图象帧起映射，译码对象图象b405从译码图象411的第1个图象帧起10秒后映射，译码对象图象c406从译码图象411的第1个图象帧起1分钟后映射，能进行画面中显示的这样的动作。按照这种方式，即可根据作为基准的绝对时刻显示将多个图象对象按图象帧合成后的图象。
如上所述，通过采用在VOL层对将时间代码编码后的编码位流进行译码的VOP译码器，能以简易的结构实现将多个对象合成而获得再生图象的系统。
如图26所示，时间代码，也可以在图象编码装置侧以VOP为单位进行编码。在这种情况下，在图象编码装置侧，以VOL为单位对编码后的时间代码进行译码，并可以按每个VOP进行如上所述的简易的多个对象的合成。
另外，如图27所示，也可以考虑输入对VOL标题不仅复用了时间代码而且还复用了VOP速率信息后的编码位流的VOP译码器。在这种情况下，可以由时间代码决定VOL的第1个VOP的绝对显示时刻，接着可以根据VOP速率信息简单地得知各VOP的绝对显示时刻，所以能以更简易的方式构成多个对象的合成系统。
另外，在本实施形态8中，采用了VOP译码器作为合成多个对象的系统，但在结构上也可以在只对一个对象进行译码和再生的系统中仅使用一个VOP译码器。
如上所述，在本实施形态8中，公开了一个实施例，在对以对象为单位将图象编码后得到的编码位流进行译码的图象译码装置中，备有按每个对象对表示与该对象对应的绝对时刻的信息进行分析的绝对时刻分析装置，根据由该绝对时刻分析装置分析后的表示绝对时刻的信息，对以对象为单位处理的图象进行再生处理。
实施形态9在实施形态9中，说明目前在MPEG-4中采用着的求模运算时基(相当于第1时间信息)及VOP时间增量(相当于第2时间信息)的表示中，对求模运算时基编码方法进行了改进的表示方法及实现该方法的VOP编码器。
在进行上述说明之前，首先说明MPEG-4中的求模运算时基20的表示方法。
如实施形态1所述，求模运算时基的值，如图5所示，是指示该VOP从成为某个基准的时刻起经过几秒后进行显示的信息，用值“1”的位的个数表示其秒数。用附加值“0”的方法清晰地指示数据的末尾。即，如在5秒后显示，则为“111110”。在该表示方法中，当基准时刻始终不变时，求模运算时基的信息量将无限增大。目前在MPEG-4中，由在GOV标题中复用的时间代码规定着该基准时刻，但由于GOV是任选的，所以不一定总是按MPEG-4的规定对VOP标题进行编码。就是说，除非出现GOV标题，否则求模运算时基的值就有无限增大的危险性。在本实施形态9中，实现一种编码器，当对求模运算时基进行编码时可以避免发生上述问题。
在本实施形态9中，仅对到此为止说明过的VOP编码器的标题复用部124的结构动作进行了变更，所以只对该构件进行说明。
图28示出本发明实施形态9的标题复用部124的内部结构。500是VOP标题复用部，19是位长计算部，20是求模运算时基，21是移位后求模运算时基，22是指示反复次数的信息位，501是求模运算时基复用部。
以下对其动作进行说明。在VO标题复用部1中复用了VO标题信息后的位流，输入到VOL标题复用部2。该VOL标题复用部2，对所输入的位流进行VOL标题信息的复用，并将复用后的位流输出到GOV标题复用选择部3。
在GOV标题复用选择部3中，根据指示是否进行GOV标题的复用的GOV复用信息6判断由VOL标题复用部2输出的位流的输出目标。当GOV复用信息6指示不进行GOV标题的复用时，将位流输出到VOP标题复用部5，而当GOV复用信息6指示进行GOV标题的复用时，将该位流输出到GOV标题复用部4。在这种情况下，GOV标题复用部4，对由GOV标题复用选择部3输出的位流进行GOV标题信息的复用，并输出到VOP标题复用部5。
VOP标题复用部500内的VOP起始码复用部8，对所输入的位流进行VOP起始码的复用，并将复用后的位流输出到求模运算时基复用部501。VOP标题复用部500内的位长计算部19，将求模运算时基20的位长与预先设定的取正值的阈值进行比较，当求模运算时基20的位长比阈值长时，将求模运算时基20的位长按阈值长度反复进行左移，直到其小于上述的阈值为止，并输出从反复移位的结果得到的位串即移位后求模运算时基21及指示反复移位次数的信息位22。指示反复移位次数的信息位22，可以是以规定的固定位数表示反复移位次数的二进制数，也可以是以可变长度码表示反复移位次数的可变位长。
以下，示出位长计算部19的动作的具体例。当上述阈值设定为4时，如求模运算时基20为“1111111110”，则反复移位次数为2次，移位后求模运算时基21为“10”。指示反复移位次数的信息位22，如果以固定长度的两位表示则为“10”。
VOP标题复用部500内的求模运算时基复用部501，将对由VOP起始码复用部8输出的位流复用了移位后求模运算时基21及指示反复移位次数的信息位22后得到的位流输出到VOP时间增量复用部10。
VOP时间增量复用部10，将对由求模运算时基复用部501输出的位流复用了VOP时间增量后得到的位流输出到图象信息标题复用部11。该图象信息标题复用部11，将对由VOP时间增量复用部10输出的位流复用图象信息标题后得到的位流输出到视频信号复用部26。
如上所述，按照该实施形态9，在结构上，用两种信息位(移位后求模运算时基及指示反复移位次数的信息位)表示求模运算时基，并复用上述两种信息位，而不是用目前在MPEG-4中规定的表示形式直接对求模运算时基进行编码，因此，具有与MPEG-4的表示方法相比可以抑制信息产生量的效果。
如上所述，在本实施形态9中，公开了一个实施例，在以对象为单位对图象进行编码的该图象编码装置中，备有时间信息编码装置，作为对每个对象规定各时刻的图象显示时刻的信息，对规定从基准时刻到显示时刻的时间的第1时间信息、从由该第1时间信息决定的时刻起以更精细的精度规定显示时刻的第2时间信息及与各时刻对应的图象进行编码，该时间信息编码装置，当通过将该第1时间信息换算为位长表示而该第1时间信息的位长比规定的设定值长时，反复进行与该设定值对应的移位，直到使其位长比该设定值短为止，同时对移位的实施次数进行计数，并对该移位实施次数及从反复移位的结果得到的位串进行编码。
实施形态10在本实施形态10中，说明将由求模运算时基复用部501对编码位流复用了求模运算时基后的信息复原并根据复原后的信息及VOP时间增量规定各VOP的显示时刻的VOP译码器。
在本实施形态10中，由于只是到此为止说明过的VOP译码器的标题分析部151的结构动作进行变更，所以只对该构件进行说明。
图29示出本发明实施形态10的标题分析部151的内部结构。502是VOP标题分析部，65是求模运算时基分析部，66是VOP时间增量分析部，67是求模运算时基计算部，69是移位后求模运算时基，70是指示反复移位次数的信息位。
以下，对其动作进行说明。起始码分析部51对所输入的复用了移位后求模运算时基69及指示反复移位次数的信息位70的编码VOP位流中的起始码进行分析，如所分析的起始码包含在VO标题内，则将位流152输出到VO标题分析部52，如所分析的起始码包含在VOL标题内，则将位流152输出到VOL标题分析部53，如所分析的起始码包含在GOV标题内，则将位流152输出到GOV标题分析部54，如所分析的起始码包含在VOP标题内，则将位流152输出到VOP标题分析部55，如所分析的起始码包含在VOP数据信息内，则将位流152输出到视频信号分析部153(参照图11)。视频信号分析部153之后的动作与以上说明过的内容相同。
VOP标题分析部502内的求模运算时基分析部65，对由起始码分析部51输出的位流中的移位后求模运算时基69及指示反复移位次数的信息位70进行分析，并将移位后求模运算时基69及指示反复移位次数的信息位70输出到求模运算时基计算部67，将位流输出到VOP时间增量分析部66。
求模运算时基计算部67，根据所输入的移位后求模运算时基69及指示反复移位次数的信息位70计算求模运算时基，并输出到合成部210。具体地说，通过与实施形态9所示的步骤相反的操作将求模运算时基的值复原。当预先设定的取正值的阈值(在译码器侧也必须将其设定为与实施形态9的编码器的例中所示的同一阈值完全相同的值)为4、移位后求模运算时基69为“10”、指示反复移位次数的信息位70为“10”时，在“10”的上位附加“11111111”后的“1111111110”，成为求模运算时基的复原值。所得到的求模运算时基的复原值，与VOP时间增量信息一起用于规定该VOP的显示时刻。
VOP时间增量分析部66，对由求模运算时基分析部65输出的位流中的VOP时间增量进行分析，并将分析后的VOP时间增量输出到图象信息标题分析部57。图象信息标题分析部57，对由VOP时间增量分析部66输出的位流中的图象信息标题进行分析，并将分析后的位流输出到视频信号分析部153。
如上所述，按照该实施形态10，在结构上，可以用两种信息位(移位后求模运算时基及指示反复次数的信息位)计算求模运算时基，因此，具有可以对与MPEG-4所规定的编码表示相比抑制了信息产生量的实施形态12中所述的位流进行分析的效果。
如上所述，在本实施形态10中，公开了一个实施例，在对以对象为单位将图象编码后的位流进行译码的图象显示装置中，备有时间信息译码装置，作为规定每个对象的各时刻的图象显示时刻的信息，对规定从基准时刻到显示时刻的时间的第1时间信息、从由该第1时间信息规定的时刻起以更精细的精度规定显示时刻的第2时间信息及与各时刻对应的图象进行译码；及译码合成装置，以对象为单位对输入编码图象信号进行译码，并将这些译码图象信号合成；该时间信息译码装置，对作为上述第1时间信息的编码数据的移位实施次数及从反复移位的结果得到的位串进行译码，并仅按移位实施次数对该位串附加长度为规定设定值的代码，从而对上述第1时间信息进行译码，该译码合成装置，根据由该时间信息译码装置译码后的第1时间信息及第2时间信息，将译码图象信号合成。
实施形态11在实施形态11中，说明目前在MPEG-4中采用着的求模运算时基及VOP时间增量的表示中对求模运算时基编码方法进行了改进的表示方法及实现该方法的VOP编码器。
在本实施形态11中，仅对到此为止说明过的VOP编码器的标题复用部124的结构动作进行了变更，所以只对该构件进行说明。
图30示出本发明实施形态11的标题复用部124的内部结构。503是VOP标题复用部，23是求模运算时基保持部，24是差分求模运算时基生成部，25是差分求模运算时基复用部，26是差分求模运算时基。
VOP标题复用部503内的VOP起始码复用部8，对所输入的位流进行VOP起始码的复用，并将复用后的位流输出到差分求模运算时基复用部25。
VOP标题复用部503内的求模运算时基保持部23，保持着先前刚进行了编码的VOP的求模运算时基的值，在将先前刚进行了编码的VOP的求模运算时基输出后，写入编码对象VOP的求模运算时基。
VOP标题复用部503内的差分求模运算时基生成部24，计算由求模运算时基保持部23输入的先前刚进行了编码的VOP的求模运算时基与编码对象VOP的求模运算时基之间的差分位串，根据计算出的差分位串中所包含的“1”位的个数求取差分求模运算时基26，并输出到差分求模运算时基复用部25。
这里，示出差分求模运算时基生成的具体例。
如假定先前刚进行了编码的VOP的求模运算时基为“11110”(十进制表示30)、编码对象VOP的求模运算时基为“111110”(十进制表示62)时，则差分位串为“100000”(十进制表示32)。然后，检查通过上述计算求得的差分位串“100000”中所包含的“1”位的个数，可以看到其中只有1个。在利用如表2所示的变换表求取差分求模运算时基的情况下，因与“1”位的个数为1个时对应的差分求模运算时基为“10”，所以将“10”作为差分求模运算时基并输出。表2的变换表只是一例，也可以定义并使用其他变换表。
另外，作为其他差分求模运算时基的表示，可以考虑只进行位长比较的简单方法。例如，在上述例中，先前刚进行了编码的VOP的求模运算时基的位长为5，编码对象VOP的求模运算时基的位长为6，所以，作为其差分可以求得等于1的值。通过使用该值代替表2的变换表的「差分位串中所包含的“1”位的个数」，也可以表示差分求模运算时基。
VOP标题复用部503内的差分求模运算时基复用部25，对所输入的位流进行差分求模运算时基的复用，并将复用后的位流输出到VOP时间增量复用部10。
VOP标题复用部503内的VOP时间增量复用部10，对由差分求模运算时基复用部25输出的位流进行VOP时间增量的复用，并将复用后的位流输出到图象信息标题复用部11。
如上所述，按照该实施形态11，在结构上，用差分求模运算时基表示求模运算时基，并复用该差分求模运算时基，而不是用目前在MPEG-4中规定的表示形式直接对求模运算时基进行编码，因此，具有与MPEG-4的表示方法相比可以抑制信息产生量的效果。
如上所述，在本实施形态11中，公开了一个实施例，在以对象为单位对图象进行编码的图象编码装置中，备有时间信息编码装置，作为对每个对象规定各时刻的图象显示时刻的信息，对规定从基准时刻到显示时刻的时间的第1时间信息、从由该第1时间信息规定的时刻起以更精细的精度规定显示时刻的第2时间信息及与各时刻对应的图象进行编码，该时间信息编码装置，具有用于保持前一时刻的图象中的编码后的第1时间信息的第1时间信息保持装置，及求取被编码图象的第1时间信息与从上述第1时间信息保持装置得到的前一时刻的图象的第1时间信息之间的差分位串并将该差分位串作为被编码图象的第1时间信息进行编码的装置。
实施形态12在本实施形态12中，说明从由实施形态11所述的差分求模运算时基复用部25对编码位流复用了差分求模运算时基的信息中将该VOP的求模运算时基的值复原并根据该复原后的求模运算时基的值规定各VOP的显示时刻的VOP译码器。
在本实施形态12中，只对到此为止说明过的VOP译码器的标题分析部151的结构动作进行变更，所以只对该构件进行说明。
图31示出本发明实施形态12的标题分析部151的内部结构。504是VOP标题分析部，71是差分求模运算时基分析部，72是差分求模运算时基生成部，74是求模运算时基保持部，75是差分求模运算时基。
VOP标题分析部504内的差分求模运算时基分析部71，对由起始码分析部51输出的位流中的差分求模运算时基75进行分析，并将所分析的差分求模运算时基75输出到差分求模运算时基生成部72，将分析后的位流输出到VOP时间增量分析部73。
在VOP标题分析部504内的求模运算时基生成部72中，首先，根据表2的变换表，从所分析的差分求模运算时基75求取先前刚分析过的VOP的求模运算时基与分析对象VOP的求模运算时基之间的差分位串中所包含的“1”位的个数，然后根据所求得的“1”位的个数及从求模运算时基保持部74得到的先前刚分析过的VOP的求模运算时基生成一个求模运算时基，并将生成的求模运算时基输出到求模运算时基保持部74。
以下，示出与求模运算时基的生成有关的具体例。假定所分析的差分求模运算时基为“10”、先前刚分析过并保持在求模运算时基保持部内的求模运算时基为“11110”。当利用如表2所示的变换表求取在先前刚分析过的VOP的求模运算时基与分析对象VOP的求模运算时基之间的差分位串中所包含的“1”位的个数时，可以看出与差分求模运算时基“10”对应的差分位串中所包含的“1”位的个数只有1个。然后，在先前刚分析过的VOP的求模运算时基“11110”的最上位附加1个“1”位，从而求得求模运算时基“111110”。表2的变换表只是一例，也可以定义并使用其他变换表。所得到的求模运算时基的复原值，与VOP时间增量信息一起用于规定该VOP的显示时刻。
另外，即使是将「在先前刚分析过的VOP的求模运算时基与分析对象VOP的求模运算时基之间的差分位串中所包含的“1”位的个数」如实施形态8所述按「在先前刚分析过的VOP的求模运算时基的位长与分析对象VOP的求模运算时基的位长之间的差分值」进行编码的位流，也可以通过变更如表2所示的变换表的解释进行处理。
VOP标题分析部504内的求模运算时基保持部74，保持着先前刚分析过的VOP的求模运算时基，在将先前刚分析过的VOP的求模运算时基输出后，输入分析对象VOP的求模运算时基。
VOP标题分析部504内的VOP时间增量分析部73，对由差分求模运算时基分析部71输出的位流中的VOP时间增量进行分析，并将分析后的位流输出到图象信息标题分析部57。
如上所述，按照该实施形态12，在结构上可以利用以很少信息量表示的差分求模运算时基去计算求模运算时基，因此，具有可以对与MPEG-4所规定的编码表示相比抑制了信息产生量的实施形态8中所述的位流进行分析的效果。
如上所述，在本实施形态12中，公开了一个实施例，在对以对象为单位将图象编码后的位流进行译码的图象译码装置中，备有时间信息译码装置，作为规定图象序列中的各时刻的图象显示时刻的信息，对规定从基准时刻到显示时刻的时间的第1时间信息、从由该第1时间信息规定的时刻起以更精细的精度规定显示时刻的第2时间信息及与各时刻对应的图象进行译码；及译码合成装置，以对象为单位对输入编码图象信号进行译码，并将这些译码图象信号合成；该时间信息译码装置，保持先前刚进行了译码的图象的第1时间信息，并将从上述第1时间信息译码装置得到的先前刚进行了译码的图象第1时间信息与作为被译码图象的第1时间信息译码后的位串相加，从而对被译码图象的第1时间信息进行译码，该译码合成装置，根据由该时间信息译码装置译码后的第1时间信息及第2时间信息，将译码图象信号合成。
实施形态13在上述实施形态1～12中，公开了图象编码装置将显示速度信息复用于图象编码信号的方式、及图象编码装置将表示绝对时刻的信息复用于图象编码信号的方式，但也可以由一台图象编码装置将显示速度信息及表示绝对时刻的信息复用于图象编码信号。
另外，在结构和动作上，也可以将上述实施形态1～12中说明过的各图象编码装置以并行或串行方式配置。
另一方面，在图象译码装置侧也相同。简单地说，在上述实施形态1～12中，公开了图象译码装置对显示速度信息进行译码并根据该译码后的显示速度信息对以对象为单位处理的图象进行再生处理的方式、及图象译码装置对表示绝对时刻的信息进行译码并根据该译码后的表示绝对时刻的信息对以对象为单位处理的图象进行再生处理的方式，但也可以由一台图象译码装置根据显示速度信息及表示绝对时刻的信息对以对象为单位处理的图象进行再生处理。
另外，在结构和动作上，也可以将上述实施形态1～12中说明过的各图象译码装置的显示速度信息译码部和表示绝对时刻的信息译码部以并行或串行方式配置，并由各译码部根据译码后的信息对以对象为单位处理的图象进行再生处理。
按照以上结构，能以更平滑且精度更高的方式进行图象复原处理及合成处理。
实施形态14在上述实施形态1～13中，公开了图象编码装置将显示速度信息复用于图象编码信号的方式、及图象编码装置对第1时间信息、第2时间信息和图象进行编码和复用的方式，但也可以由一台图象编码装置对显示速度信息、及第1时间信息、第2时间信息和图象进行编码复用。
另外，在结构和动作上，也可以将上述实施形态1～13中说明过的各图象编码装置以并行或串行方式配置。
另一方面，在图象译码装置侧也相同。简单地说，在上述实施形态1～13中，公开了图象译码装置对显示速度信息进行译码并根据该译码后的显示速度信息对以对象为单位处理的图象进行再生处理的方式、及图象译码装置对第1时间信息、第2时间信息和图象进行译码并根据该译码后的第1时间信息、第2时间信息和图象进行图象的再生处理的方式，但也可以由一台图象译码装置根据显示速度信息、及译码后的第1时间信息、第2时间信息进行图象的再生处理。
另外，在结构和动作上，也可以将上述实施形态1～13中说明过的各图象译码装置的显示速度信息译码部和时间信息译码装置以并行或串行方式配置，并由各译码部(装置)根据译码后的信息对以对象为单位处理的图象进行再生处理。
按照以上结构，能以较少的编码传送量进行更平滑且精度更高的图象复原处理。
实施形态15
在上述实施形态1～14中，公开了图象编码装置将表示绝对时刻的信息复用于图象编码信号方式、及图象编码装置对第1时间信息、第2时间信息和图象进行编码和复用的方式，但也可以由一台图象编码装置对表示绝对时刻的信息、及第1时间信息、第2时间信息和图象进行编码复用。
另外，在结构和动作上，也可以将上述实施形态1～14中说明过的各图象编码装置以并行或串行方式配置。
另一方面，在图象译码装置侧也相同。简单地说，在上述实施形态1～14中，公开了图象译码装置对表示绝对时刻的信息进行译码并根据该译码后的表示绝对时刻的信息对以对象为单位处理的图象进行再生处理的方式、及图象译码装置对第1时间信息、第2时间信息和图象进行译码并根据该译码后的第1时间信息、第2时间信息和图象进行图象的再生处理的方式，但也可以由一台图象译码装置根据表示绝对时刻的信息、及译码后的第1时间信息、第2时间信息和图象进行图象的再生处理。
另外，在结构和动作上，也可以将上述实施形态1～14中说明过的各图象译码装置的表示绝对时刻的信息译码部和时间信息译码装置以并行或串行方式配置，并由各译码部(装置)根据译码后的信息对以对象为单位处理的图象进行再生处理。
按照以上结构，能以较少的编码传送量进行更平滑且精度更高的图象合成处理。
产业上的可应用性如上所述，本发明的图象编码装置及图象译码装置，通过由图象译码装置对在图象编码装置中被复用的显示速度信息进行分析并根据该分析后的显示速度信息进行译码处理，可以用简单的结构平滑地进行图象再生。另外，通过由图象译码装置对在图象编码装置中被复用的表示绝对时刻的信息进行分析并根据该分析后的表示绝对时刻的信息进行译码处理，可以简单且高精度地进行图象的再生处理。此外，通过由图象译码装置对由图象编码装置编码后的第1时间信息及第2时间信息进行译码并根据该译码后的第1时间信息及第2时间信息对输入图象信号进行译码，能以较少的传送信息进行图象信号的接收。
表1

表2

“1”延续到n位表3

表4

权利要求
1.一种图象译码装置，对以对象为单位将图象编码后的编码位流进行译码，该图象译码装置的特征在于，设有在VOP速率为固定的场合对VOP速率信息进行译码的VOP速率信息译码装置，其中VOP速率信息由多个VOP构成，被编码后包含在比VOP层上位的层的标题信息部分中，表示每单位时间内的VOP的显示数量。
2.一种图象译码方法，对以对象为单位将图象编码后的编码位流进行译码，该图象译码方法的特征在于，包括在VOP速率为固定的场合对VOP速率信息进行译码的VOP速率信息译码步骤，其中VOP速率信息由多个VOP构成，被编码后包含在比VOP层上位的层的标题信息部分中，表示每单位时间内的VOP的显示数量。
全文摘要
一种图象译码装置，对以对象为单位将图象编码后的编码位流进行译码，该图象译码装置的特征在于，设有在VOP速率为固定的场合对VOP速率信息进行译码的VOP速率信息译码装置，其中VOP速率信息由多个VOP构成，被编码后包含在比VOP层上位的层的标题信息部分中，表示每单位时间内的VOP的显示数量。
文档编号H04N7/12GK1652607SQ20051000784
公开日2005年8月10日 申请日期1998年3月6日 优先权日1997年10月20日
发明者黑田慎一, 关口俊一, 浅井光太郎, 西川博文, 井须芳美, 长谷川由里 申请人:三菱电机株式会社