专利名称：运动图像数据的记录再生方法和装置的制作方法
技术领域：
本发明涉及运动图像数据的记录再生方法和装置，更详细而言，就是涉及适用于帧内编码的适用频度少的数字运动图像编码数据串的部分的记录的运动图像数据的记录再生方法和装置。
像数字广播那样，在同时向不特定的多个用户实时分发数字运动图像的1对多的应用程序中，采用在各终端可以瞬时开始接收的运动图像数据的译码处理的数据结构，即采用可以从任意的时刻进行译码的编码数据(比特流)形式。
作为数字广播中的运动图像比特流的1例，图2表示MPEG方式的数据结构。在MPEG方式中，定义了称为帧内编码、帧间编码、双向编码的3种编码。
「帧内编码」是对当前帧的图像直接进行DCT(离散余弦变换)的数据压缩方法，应用帧内编码的帧，在MPEG-4中叫作I-VOP(Intra-coded Video Object Plane)，在MPEG-2中叫作I-Picture。VOP在矩形图像中和帧是同义语。I-VOP在编码、译码时不需要过去的帧的译码信息，所以，可以作为编码运动图像的随机访问时的译码开始帧使用。
「帧间编码」是在时间上利用过去的帧的编码信息对1个帧进行数据压缩的编码方法，应用帧间编码的帧在MPEG-4中称为P-VOP(Predictive-coded VOP)，在MPEG-2中称为P-Picture。另外，「双向编码」是在时间上利用已编码的过去的和未来的2个帧具有的编码信息对1个帧进行数据压缩的方法，应用双向编码的帧在MPEG-4中称为B-VOP(Bidirectionally Predicted-codedVOP)，在MPEG-2中称为B-Picture。
在以下的说明中，以MPEG-4比特流的数据结构为前提，图中所示的符号I表示I-VOP，符号P表示P-VOP，符号B表示B-VOP。
图2所示的MPEG比特流是定期地插入表示比特流尺寸等、序列全体的特征的标题信息201和I-VOP202的数据结构。该数据结构从例如由虚线所示的P-VOP和B-VOP构成的数据部分203开始比特流的接收动作时，通过在终端侧等待下次出现的标题信息201和I-VOP202，便可开始进行接收数据的译码处理。因此，按照上述数据结构，通过将数据部分203的尺寸限制到视听者意识不到等待时间的大小，便可向各视听者提供瞬时开始的运动图像分发服务。
在最近开始服务的数字广播中，上述MPEG-4的标题信息201由例如图3所示的VOS标题201-1、VO标题201-2、VOL标题201-3、GOV标题201-4构成。
VOS标题201-1包含决定MPEG-4产品的应用范围的简档和级别信息，VO标题201-2包含MPEG-4的版本信息。VOL标题201-3包含接收数据的译码所需要的图像尺寸、编码位速率、帧存储器尺寸、应用工具等信息。另外，GOV标题201-4包含在预约再生等中灵活运用的时刻信息。
上述定期地插入标题信息201和I-VOP202的数据结构对于视频录像及录像数据的随机访问是有效的。例如，在视频录像中，用户在按下录像开始按钮后，通过分析开始出现的标题信息201，便可记录其以后的数据。MPEG译码器是即使跳过B-VOP或B-Picture的译码处理也不会破坏序列全体的译码图像串的品质的结构，所以，通过频繁地将B-VOP夹到上述数据部分203中，便可很容易地进行记录数据的快送或高速再生等。
在利用无线线路的实时通信中，由于传输延迟、通信容量、数据的传输错误、电力消耗等的限制，难于向比特流中频繁地插入I-VOP。因此，在以使用无线线路为前提的请求式的流运动图像分发服务中，就不得不例如像图4所示的那样采用竭力避免使用I-VOP的编码数据。
图4所示的编码数据和图2不同，是在标题信息311和I-VOP312之后配置由连续的多个P-VOP构成的长的数据串313的数据结构。这时，为了修正传输错误，通常在P-VOP串中适当地配置内部编码块。上述内部编码块的作用是更新由于传输错误而劣化的块的图像品质，在MPEG的情况时，将1个VOP分割为16×16像素尺寸的多个块，周期地变更编码对象块的位置，以便可以用数个VOP更新所有的编码块。在流运动图像分发服务中，如图5所示的那样，例如标题信息311由VOS标题311-1、VO标题311-2、VOL标题311-3构成，有时不包含GOV标题。
然而，减少比特流中的I-VOP的插入频度时，I-VOP之后的数据部分313的尺寸将增长，所以，即使在终端侧仅想记录接收流(编码数据串)中的特定部分时，实际上也必须记录在从I-VOP到目的图像帧之间所接收的多个不需要的帧群。
例如，假定图4所示的比特流是3分钟的运动图像数据，即使用户仅想记录位于比特流中的最终部分的仅仅15秒钟的运动图像时，也必须记录从译码所不可缺少的标题311、I-VOP312到目的图像帧的全部比特流。因此，例如在手机那样的内装小容量存储器的终端装置中，即使用户想有选择将在接收运动图像中将选择的特定流部分进行录像，在到达目的流部分之前，也有可能内装存储器已没有了存储空间，从而造成录像失败，为了可靠地将包含所希望的画面的部分的流进行录像，必须预先将具有足够的存储容量的外部存储装置与终端装置连接。
本发明的目的旨在提供适用于内装容量比较小的存储器的终端装置的运动图像数据的记录再生方法。
本发明的其他目的在于提供可以将从帧内编码的适用频度少的运动图像编码数据串中抽出的任意部分的图像流记录到容量比较小的存储器中的运动图像数据的记录再生方法。
本发明的另一目的在于提供可以记录再生帧内编码的适用频度少的运动图像编码数据串中的任意部分的图像流的终端装置。
为了达到上述目的，本发明的特征在于在将接收的运动图像编码数据串(接收比特流)译码并显示再生图像的期间，预先将任意选择的译码图像作为假想的帧内编码图像进行保存，将产生作为上述假想的帧内编码图像被处理的译码图像之后的特定期间的再生图像的部分接收比特流作为录像数据进行记录。
按照本发明，将上述假想的帧内编码图像作为初始数据，并陆续将作为录像数据而记录的后续帧的比特流译码，便可作为再生图像进行显示。上述假想的帧内编码图像也可以用再次将译码图像编码而得到的编码数据的形式进行保存。上述假想的帧内编码图像的选择，基本上在用户录像指定的时刻进行，这样，便可在显示的运动图像中将用户所希望的场面进行录像。
在本发明的优选实施例中，为了避免用户操作的延迟和对用户指令的响应动作的延迟所引起的录像开始时刻的延迟，再生接收运动图像的再生中的终端装置以按照指定的周期定期地更新上述假想的帧内编码图像，每次更新假想的帧内编码图像时重新记录部分的接收比特流的预备录像模式而动作。在预备录像模式中，用户在动作中指定了录像时，就抑制上述假想的帧内编码图像的更新，而转移到继续接收比特流的记录动作的录像保存模式。录像保存模式在用户指定了录像结束或录像用存储器已用完了存储空间时结束。通过适当地设定假想的帧内编码图像的更新周期，便可可靠地从用户所希望的场面开始进行录像。
在仅利用I-VOP和P-VOP的一般的MPEG-4译码器中，准备2面的帧存储器，将一方作为运动预测处理的参照VOP图像用的帧存储器，将另一方作为当前VOP图像用的帧存储器，进行帧单位的译码处理，在各译码循环中交替地切换存储器用途。这时，参照VOP用的帧存储器存储的译码图像在下一个译码循环中，由于新的译码图像的写入而消失。
在本发明的实施例1中，出于瞬时地并且在任意的期间将上述参照VOP用的帧存储器存储的译码图像作为假想的帧内编码图像(以下，称为假想I-VOP图像)保存的目的，在MPEG译码器中追加第3帧存储器。常时，通过交替地切换分配给参照VOP图像用和当前VOP图像用的2个帧存储器，按帧单位将接收比特流进行译码。在假想I-VOP图像的更新时刻，将参照VOP图像用的帧存储器切换给假想I-VOP图像用，而将假想I-VOP图像用的帧存储器切换给当前VOP图像用。按照上述结构，不进行帧存储器间的图像数据传输，不仅可以瞬时保存译码图像，而且可以将后续帧进行译码。
产生假想I-VOP图像之后的特定期间的再生图像的部分接收比特流存储到成为录像存储器的比特流存储器中。在本实施例中，录像的播放通过将假想I-VOP图像用的帧存储器切换给参照VOP图像用从而将从比特流存储器读出的编码数据供给MPEG译码器而实现。
在本发明的实施例2中，使用MPEG编码器，取代上述第3帧存储器，在成为假想I-VOP图像的更新时刻的时刻将参照VOP图像用的帧存储器存储的参照VOP图像供给MPEG编码器。由MPEG编码器所编码的图像数据存储到比特流存储器中。因此，在实施例2中，假想I-VOP图像和后续图像全部作为编码数据存储到比特流存储器中，在录像播放时从比特流存储器中读出的编码数据陆续地供给MPEG译码器。
图1是表示本发明的运动图像数据处理系统的1个实施例的图。
图2是表示作为运动图像比特流的MPEG-4的数据结构的1例的图。
图3是表示MPEG-4比特流的序列标题部的结构的图。
图4是表示适用于无线线路的MPEG-4比特流的数据结构的1例的图。
图5是表示适用于无线线路的MPEG-4比特流的序列标题部的结构的图。
图6是表示本发明的运动图像数据处理系统的其他实施例的图。
图7是表示由上述运动图像数据处理系统处理的接收比特流300的1例的图。
图8是表示接收比特流300的P5帧的译码循环中上述运动图像数据处理系统的存储器的状态的图。
图9是表示在接收比特流300的P5帧的译码循环中有假想I-VOP更新指令时的存储器的状态的图。
图10是表示在接收比特流300的P5帧的译码循环中没有假想I-VOP更新指令时的存储器的状态的图。
图11是表示包含由上述运动图像数据处理系统处理的多个I-VOP的接收比特流300-2的1例的图。
图12是表示在接收比特流300-2的P5帧的译码循环中上述运动图像数据处理系统的存储器的状态的图。
图13是表示在接收比特流300-2的P5帧的译码循环中有假想I-VOP更新指令时的存储器的状态的图。
图14是用于说明接收比特流300-2的P5帧的译码循环中的假想I-VOP更新指令的变形例的图。
图15是表示再次编码的假想I-VOP向比特流存储器505中的保存形式的1例的图。
图16是表示再次编码的假想I-VOP向比特流存储器505中的保存形式的其他例的图。
图17是表示本发明的运动图像数据处理系统的实施例3的图。
图18是表示本发明的运动图像数据处理系统的实施例4的图。
图19是表示本发明的便携式终端具有的用户接口的1例的图。
图20是表示本发明的便携式终端具有的用户接口的其他例的图。
下面，参照
本发明的实施例。
图6表示搭载在例如手机等无线通信终端上的本发明的运动图像数据处理系统的实施例1。
本实施例的特征在于除了参照VOP用帧存储器和当前VOP用帧存储器外，MPEG-4译码器503还具有假想I-VOP图像保存用的第3帧存储器。在具有执行各种应用软件(程序)的微处理器和处理运动图像数据的DSP(数字信号处理器)的无线通信终端中，通过DSP的数据处理可以实现上述MPEG-4译码器503的功能。这里，虽然说明利用DSP构成MPEG-4译码器503的功能的运动图像数据处理系统，但是，也可以由专用LSI实现MPEG-4译码器503的功能，另外，由可以通过利用微处理器的数据处理功能的软件来实现。
图中，501是应用程序控制部(微处理器)、502是暂时存储所接收的编码数据(比特流)的输入缓冲器、503是MPEG-4译码器、504是由液晶显示装置等构成的译码VOP图像输出部、505是用于保存分发的运动图像的一部分的比特流存储器、506是保存数据控制用的开关、507是输入数据选择用的切换门、508是用户操作的具有各种按钮的输入装置。
MPEG-4译码器503、输出部504、比特流存储器505、开关506和门507分别由从应用程序控制部501输出的控制信号521、522、520、523、524控制。另外，输入缓冲器502由从应用程序控制部501输出的控制信号525清零。
在将分发运动图像译码并向显示画面输出的接收运动图像输出模式中，切换门507选择从图中省略的无线接收电路输出的运动图像编码数据(比特流)，通过总线511供给输入缓冲存储器502。输入缓冲存储器502暂时存储的运动图像编码数据顺序读出，通过总线512、514供给译码器503和开关506。开关506由控制信号523控制通/断，接通期间中的编码数据通过总线515输入比特流存储器505。数据向比特流存储器505的写入和读出由控制信号520控制。
MPEG-4译码器503由第1、第2、第3帧存储器101、102和103、帧存储器控制部100、分析从总线512输入的编码数据的分离部104、误差译码部105、运动补偿部106、将上述误差译码部105和运动补偿部106的输出相加的加法器107、用于将上述加法器的输出有选择地供给第1、第2、第3帧存储器101～103的第1切换门108和用于将第1、第2、第3帧存储器101～103的输出有选择地供给输出部504和运动补偿部106的第2切换门109构成。上述帧存储器控制部100响应应用程序控制部501的控制信号521，向第1、第2切换门108、109供给控制信号111、112，切换帧存储器101～103的输入输出。
上述分离部104分析从总线512输入的编码数据，检测标题信息。废弃在开始进行分析动作后到检测到最初的标题信息为止所输入的编码数据。分离部104从检测的各标题信息中抽出图像尺寸和时刻精度信息，并将这些信息供给应用程序控制部501。分离部104按照根据VOL标题中包含的适用工具信息唯一决定的数据结构分析在上述标题信息之后后续输入的一连串的VOP数据，将从各VOP数据中抽出的时刻关联信息、误差关联信息和运动关联信息分别分配给应用程序控制部501、误差译码部105和运动补偿部106。
在上述MPEG-4译码器503中，编码数据输入分离部104，从各VOP抽出的误差信息和运动信息分别分配给误差译码部105和运动补偿部106。现在，设想第1帧存储器101分配给当前VOP图像用、第2帧存储器102分配给参照VOP图像用、第3帧存储器103分配给假想I-VOP图像用的VOP译码循环。在成为参照VOP图像用的第2帧存储器102中，保存着在前一循环中所译码的VOP图像数据。
帧存储器控制部100切换切换门109用以将第2帧存储器102存储的参照VOP图像供给运动补偿部106和输出部504，控制切换门108用以将从加法器107输出的译码VOP图像信号输入第1帧存储器101。运动补偿部106使用从分离部104输入的新VOP的运动信息和参照VOP图像进行运动补偿处理，从而生成预测VOP图像。加法器107将上述预测VOP图像和从误差译码部105输出的误差图像合成，生成译码VOP图像。该译码VOP图像通过切换门108输入第1帧存储器101。帧存储器控制部100在每次对1个VOP完成译码处理时，就利用控制信号526将VOP处理的结束和完成译码的VOP的种类和输出时刻通知应用程序控制部501。
帧存储器控制部100在下一个VOP的译码处理之前，根据从应用程序控制部501供给的控制信号521变更上述第1～第3帧存储器的作用。例如，在由上述控制信号521指示了参照VOP图像的保存时，就将本次作为参照VOP图像用所使用的第2帧存储器102切换给假想I-VOP图像用，将作为译码VOP图像用所使用的第1帧存储器101切换给参照VOP图像用，而将存储假想I-VOP图像的第3帧存储器103切换给当前VOP图像用。如果未指示参照VOP图像的保存，就将本次作为参照VOP图像用所使用的第2帧存储器102切换给当前VOP图像用，将作为译码VOP图像用所使用的第1帧存储器101切换给参照VOP图像用，而将第3帧存储器103存储的假想I-VOP图像仍然保持。输出部504将从第2切换门109向总线513输出的图像按照作为控制信号522而供给的输出图像尺寸、显示时刻和时刻信息向显示画面输出。
在本实施例中，如上所述，将第1～第3帧存储器中的任何一个作为假想I-VOP图像用使用，将假想I-VOP图像以后的比特流存储到存储器505中。假想I-VOP图像的变更由应用程序控制部501按照参照VOP保存指令的形式指定。
应用程序控制部501在例如通过输入装置508接收到用户的录像开始指示的时刻，通过将控制信号523、521供给开关506和帧存储器控制部100，可以开始进行假想I-VOP图像的变更(参照VOP图像的保存)和向存储器505的比特流的存储动作。但是，在等待用户的指示开始录像动作时，有可能由于例如应用程序的高速缓冲控制的延迟等而录像开始位置比用户所希望的画面滞后了。
因此，在本发明的极佳的实施例中，应用程序控制部501在运动图像的显示中使开关506总是处于接通状态，进行利用控制信号520和521定期更新保存比特流和假想I-VOP图像的预备录像模式动作。在该模式中，按照根据比特流存储器505的存储容量和控制延迟时间设定的指定的周期定期更新假想I-VOP图像。另外，每次更新假想I-VOP图像时，使比特流存储器505已存储的不需要的VOP串(编码数据)无效，按照新接收的VOP串顺序改写。在接收到用户的录像开始指示时，就抑制假想I-VOP图像的周期的更新动作，在比特流存储器505的存储容量的范围内转移到存储接收比特流的录像保存模式。
按照上述方法，由于在用户的录像开始指示之前先行进行录像动作，所以，在有用户的录像播放指示时，就可以从用户所希望的录像开始画面播放输出指定时间的运动图像。例如，在预备录像模式中，利用比特流存储器容量的一部分周期地存储充分弥补了对用户的录像开始指示的响应延迟的数个VOP～数十个VOP期间的编码数据。如果响应用户的录像开始指示，转移到录像保存模式，停止假想I-VOP的更新，并将比特流存储器505的其余的全部容量用于存储后续编码数据，便可有效地利用存储器容量，从而对用户所希望的运动图像场景进行录像。
在录像保存模式中，为录像数据的再生作准备预先存储与用户的录像开始指示和录像结束指示对应的时刻信息。作为这些时刻信息，可以利用在MPEG-4中称为「modulo-time-base」、「vop-time-increment」的信息。这些信息包含在各VOP中，modulo-time-base表示秒单位，vop-time-increment表示秒以下的时间。上述vop-time-increment的精度，在各VOL标题中作为「vop-time-increment-resolution 」设定。
上述modulo-time-base表示与前一VOP所示的秒时刻的相对值，成为与秒单位的时间差相当的个数的包含位“1”的位图形。例如，在该VOP的时刻与前一VOP按秒单位一致时，成为“0”，有1秒的不同时，成为“10”，有2秒的不同时，成为“110”。各VOP的秒以下的时刻，根据vop-time-increment，用vop-time-increment-resolution的精度表示。因此，作为时刻信息，对于vop-time-increment，可以记录其译码值，对于modulo-time-base，可以记录以录像开始VOP为基准的位“1”的个数。此外，对于modulo-time-base，也可以采用以更新开始VOP为基准的位“1”值的个数。
下面，参照图7～图10说明P-VOP成为假想I-VOP时的预备录像模式的MPEG-4译码器503的动作。
图7表示通过切换门507供给输入缓冲器502的接收比特流300的1例。接收比特流300由位于标题信息311之后的I帧(I-VOP)311和其后的多个P帧(P-VOP)331、332、…构成。图中，附加在符号I、P之后的数字表示帧号码。现在，假定上述比特流中的P2帧332处于录像开始VOP的状态、P4帧334处于显示中的状态、P5帧335处于译码中的状态。
在该状态中，如图8所示，在输入缓冲存储器502中存储此后译码的P5帧以后的编码数据。这里，在第3帧存储器103成为假想I-VOP用而存储录像开始VOP(P2帧)时，其余的第1帧存储器101和第2帧存储器102就交替地分开作为当前VOP图像用和参照VOP图像用来使用。例如，在P4帧的译码循环中第2帧存储器102成为当前VOP图像用时，在P5帧的译码循环中，第2帧存储器102就成为参照VOP图像用，P5帧的译码块图像陆续地存储到当前VOP图像用的第1帧存储器101中。在比特流存储器505中，顺序保存编码数据的分析所需要的标题信息311和成为现在录像开始VOP的P2帧后续的P3帧333以后的编码数据。
在P5帧的译码完成的时刻，假定从应用程序控制部501通过控制信号521指令了假想I-VOP图像的更新。这时，如图9所示，在此之前成为参照VOP图像用的第2帧存储器102切换为假想I-VOP图像用、成为当前VOP图像用的第1帧存储器101切换为参照VOP图像用、成为假想I-VOP图像用的第3帧存储器103切换为当前VOP图像用，从而进行下一个P6帧的译码循环。这时，由比特流存储器505已存储的P3、P4帧的编码数据构成的部分比特流无效，从而存储新的假想I-VOP图像(P4帧)后续的P5帧以后的编码数据。
在P5帧的译码完成的时刻，如果应用程序控制部501没有输出假想I-VOP图像的更新指令时，如图10所示，就向比特流存储器505中追加已译码的P5帧的编码数据，将第1帧存储器101作为参照VOP图像用来使用，将第2帧存储器102作为当前VOP图像用来使用，进行P6帧的译码循环。
如上所述，在预备录像模式中，通过用应用程序控制部501的控制信号521按指定的帧间隔周期地指令假想I-VOP图像的更新，反复向比特流存储器505中存储指定时间的运动图像编码数据(部分的比特流)，在有用户的录像开始的指示时，就转移到录像保存模式，在抑制了假想I-VOP图像的自动更新的状态，继续进行图像数据的存储。
在录像保存模式中，通过反复进行用图10说明的动作，在比特流存储器505允许的范围内存储接收运动图像的后续位序列。在录像保存模式中，在反复存储编码数据的期间，在有用户的录像结束的指示时，就保存已存储的运动图像编码数据。这时，当比特流存储器505的其余容量的范围内，可以再次开始进行预备录像模式的数据存储动作，但是，也可以是只要没有用户的特别的指示，就抑制预备录像模式的再次开始。
在预备录像模式和其后的录像保存模式中，比特流存储器505存储的编码数据在有用户的再生指示时在标题信息311之后顺序读出到总线516中，并通过切换门507和输入缓冲器502输入MPEG-4译码器503。这些编码数据在MPEG-4译码器503中将假想I-VOP图像作为初始图像进行译码处理，然后，再生图像向显示画面输出。在对全部录像数据的再生动作结束时，可以解除录像保存，从而可以自动地再次开始预备录像模式动作。
在图9中，为了明确比特流存储器505的存储内容，成为消去无效数据(P3、P4帧)的形式，但是，在实际的应用中，可以将标题311的存储区域以外的存储区域作为环形存储器使用，如图10所示的那样，将P5帧的编码数据写入到P4帧之后，将P5帧写入区域的开头地址作为有效数据区域的开始地址进行存储。这时，在编码数据写入到比特流存储器505的最后的区域中的时刻，写入地址返回到标题311之后的位置，新的编码数据重写到无效数据(P3、P4帧)区域，在录像播放时，从有效数据区域的开始地址读出编码数据串(比特流)。
下面，参照图11～图14说明在接收比特流的P-VOP串中包含I-VOP时的预备录像模式动作。
图11表示I-VOP可以成为假想I-VOP的接收比特流300-2的1例。接收比特流300-2与图7所示的比特流300不同，第4VOP334-2成为I-VOP(I4)。现在，假定P2帧332处于录像开始VOP的状态、I4帧334-2处于参照VOP显示中的状态、P5帧335处于现在译码中的状态。
在该状态，如图12所示，在输入缓冲存储器502中存储此后译码的P5帧以后的编码数据，在成为假想I-VOP图像用的第3帧存储器103中存储P2帧，在例如成为参照VOP图像用的第2帧存储器102中存储I4帧，参照该I4帧进行P5帧的译码处理，译码图像顺序存储到当前VOP图像用的第1帧存储器101中。另外，在比特流存储器505中，保存着标题信息311和作为录像开始VOP的P2帧后续的P3、P4帧的编码数据333、334-2。
如上述I4帧那样将I-VOP作为参照VOP进行译码时，从应用程序控制部501指令了假想I-VOP的更新时，如图13所示的那样，存储I4帧的第2帧存储器102就成为假想I-VOP图像用，第1帧存储器101就从当前VOP图像用切换为参照VOP图像用，第3帧存储器103从假想I-VOP图像用切换为当前VOP图像用。另外，在比特流存储器505中，此前存储的P3、P4帧的编码数据无效，顺序存储假想I-VOP图像(I4帧)后续的帧(P5、P6、…)的编码数据。
如上所述，也可以是在I-VOP成为假想I-VOP时，从检测到该状态的应用程序控制部501向比特流存储器505进行指令，进行控制例如像图14所示的那样使I4帧之前的图像数据无效，而保留I4帧以后的帧的编码数据334-2、335、336、…。这时，在有用户的录像播放的指示时，就利用从比特流存储器505中读出的I4帧的编码数据，将P5帧以后的编码数据译码。
下面，说明图6所示的运动图像数据处理系统的录像数据的再生处理。
应用程序控制部501通过输入装置508接收到用户的录像数据的再生指示时，就通过控制信号521指令帧存储器控制部100进行录像的播放。响应该指令，帧存储器控制部100向切换门109供给切换控制信号112，用以将在当前时刻成为假想I-VOP图像用的帧存储器的内容作为参照VOP输入运动补偿部106，向切换门108供给切换控制信号11，用以使其余的帧存储器成为当前VOP图像用。应用程序控制部501在上述录像再生指令(控制信号521)之后，发生控制信号523、524、525，利用这些控制信号将输入缓冲存储器502清零，在切断从输入缓冲存储器502向比特流存储器505的数据输入的状态下，从比特流存储器505读出到总线516上的数据通过切换门507供给输入缓冲器502。
如用图8～图13说明的那样，在假想I-VOP图像用帧存储器中保持P-VOP(或I-VOP)的译码数据、在比特流存储器505中存储后续帧的编码数据时，将从输入缓冲器502读出的编码数据顺序供给MPEG-4译码器503，将从假想I-VOP图像用帧存储器得到的P-VOP(或I-VOP)的图像帧作为参照VOP开始进行后续帧的译码。之后，对各帧通过切换当前VOP图像用帧存储器和参照VOP图像用存储器，陆续地再生录像数据。
由参照VOP图像用帧存储器得到的再生图像顺序向输出部504输出。这时，从比特流存储器505读出的各帧的同步时刻可以由应用程序控制部501预先进行检查，利用控制信号522控制输出部504，用以从用户指定了录像的时刻的帧开始进行显示。
如用图14说明的那样，在从I-VOP开始的编码数据存储到比特流存储器505中时，可以省略用于将假想I-VOP图像用帧存储器与运动补偿部106连接的切换门109的控制动作，而将从比特流存储器505读出的图像编码数据顺序供给MPEG-4译码器。
图1表示从MPEG-4编码译码器中省略了保存VOP图像用的帧存储器的本发明的运动图像数据处理系统的实施例2。本实施例的特征在于使用MPEG-4编码器601取代假想I-VOP图像用的帧存储器，设置了用于将参照VOP图像用的帧存储器的输出有选择地输入上述MPEG-4编码器601的切换门110。
在本实施例中，将第1、第2帧存储器101、102中的一方作为当前VOP图像用，将另一方作为参照VOP图像用，对各帧交替地切换其作用，通过在各编码循环中将参照VOP图像用帧存储器的输出供给运动补偿部106，将接收比特流进行译码。另外，通过将参照VOP图像用帧存储器的内容向输出部504输出来显示接收运动图像。
正在执行预备录像模式中的应用程序控制部501和用图6说明的实施例1一样，利用控制信号521指令帧存储器控制部100周期地更新假想VOP图像。帧存储器控制部100接收到上述假想I-VOP图像的更新指令时，在下一帧的译码循环中，切换切换门110，用以将参照VOP图像用帧存储器的输出输入到运动补偿部106和MPEG-4编码器601二者中。
MPEG-4编码器601将从切换门110通过总线611输入的参照VOP图像进行内部编码。由MPEG-4编码器601进行了内部编码的参照VOP图像作为包含标题信息的编码数据向总线612输出，并作为假想I-VOP存储到比特流存储器505中。但是，上述MPEG-4编码器按照和比特流存储器505已保存的标题信息相同的信息进行上述参照VOP图像的编码处理时，不一定必须保存新生成的标题信息。这时，MPEG-4编码器601仅具有帧内编码功能即可。
例如，在P4帧的译码处理结束的时刻，从应用程序控制部501发布了假想I-VOP的更新指令时，帧存储器控制部100在将上述P4帧作为参照VOP的P5帧的译码循环中将P4帧供给MPEG-4编码器601。
由MPEG-4编码器601再次进行了编码的P4帧的再编码数据(比特流)411例如像图15所示的那样在比特流存储器505内紧跟信息311之后写入。本次编码的P5帧的编码数据(比特流)335和其后编码的后续帧的编码数据336、…写入到上述再编码数据411之后。但是，再编码数据(比特流)411例如像图16所示的那样也可以位于标题信息311之前。
比特流411的位置由应用程序控制部501进行识别，所以，在录像数据的再生时，开始时可以读出成为假想I-VOP的比特流411，将其译码VOP图像作为参照VOP，顺序将下一帧以后的比特流进行译码。在MPEG-4中，认可标题信息的再次发送，所以，如图16所示，在P4帧再编码数据411之后存在接收编码数据的标题信息311时也可以进行译码处理。
另外，如图11所示的I4帧334-1那样，在接收比特流包含开头I-VOP以外的I-VOP帧时，除了定期的更新外，如果想在各I-VOP的译码时刻更新假想I-VOP，在应用程序控制部501中就判断成为保存对象的VOP的种类，在将I-VOP帧作为参照VOP的译码循环中省略向MPEG-4编码器的数据供给。这时，比特流存储器505的内容例如按用图14说明的形式进行更新。
图17表示本发明的运动图像数据处理系统的实施例3。
在本实施例中，MPEG-4译码器具有当前VOP图像用、参照VOP图像用、假想I-VOP图像用的3个帧存储器101～103，此外，还附加了MPEG-4编码器601。按照本实施例，也可以采用将参照VOP保存到假想I-VOP图像用的帧存储器中后，在任意的时刻进行再编码并作为假想I-VOP存储到比特流存储器505中的控制程序。
在上述实施例1和实施例2中，成为假想I-VOP图像用的帧存储器也可以作为用于暂时停止在输出部504显示的运动图像的运动的帧存储器利用。例如，在有用户的显示画面暂时停止的要求时，就利用切换门111将现在向显示画面输出的参照VOP图像用帧存储器切换为假想I-VOP图像用帧存储器，同时切换切换门109用以将该假想I-VOP图像用帧存储器的内容向输出部504输出。通过开关操作，可以暂时停止向显示部的运动图像输出，从而使显示画面成为静止图像状态。
在显示画面的停止期间中，可以中断接收比特流的译码处理，也可以利用其他2个帧存储器继续进行接收比特流的译码处理。在后者的情况时，参照VOP图像用的帧存储器的内容供给运动补偿部106，仅用于下一帧的译码处理，而不反映在输出部504。也可以是，在显示画面停止期间中，将接收比特流存储到保存用比特流存储器505中，在比特流存储器没有了存储空间的时刻，停止译码处理。
另外，在输入缓冲器502的容量比较大时，可以在显示画面停止期间中将接收的比特流存储到输入缓冲器中，而在输入缓冲器用完了存储空间的时刻，解除暂时停止。在图像分发服务器具有根据终端的暂时停止要求而暂时停止数据的分发的功能时，也可以是用户指示了显示画面的暂时停止时，就从应用程序控制部501向图像分发服务器要求暂时停止数据分发，而在用户解除了显示画面的暂时停止时，再次开始图像的分发的动作。
上述显示画面的暂时停止功能也可以在录像数据的再生时利用。例如，在再生显示录像数据的过程中，根据用户的显示画面暂时停止要求而将画面固定，根据停止解除要求再次开始后续帧的再生显示，由此可以向用户提供慢慢地研究所录像的特定的场景的机会。
为了从录像数据中检索特定的场景，录像再生图像的按帧传送功能是有效的。例如，在用户向录像数据指示了按帧传送再生时，帧存储器控制部100在译码循环期间就自动地设定休止期间，按对各帧可以识别的周期切换显示画面。这时，可以根据用户的指示改变画面的切换周期。另外，也可以根据用户的指示1帧1帧地传送。此外，如果捕捉到了所检索的图像，就可以作为壁纸进行利用。
图18表示本发明的运动图像数据处理系统的实施例4。
在上述实施例2和实施例3中，由MPEG-4编码器601对作为假想I-VOP应保存的参照VOP进行再编码，并存储到比特流存储器505中。这是为了通过使假想I-VOP的编码方式与比特流存储器505存储的后续帧的编码方式统一而可以用同一MPEG-4译码器503来处理从比特流存储器505读出的所有的录像数据。但是，也可以将假想I-VOP用与接收比特流不同的编码方式进行编码，而在进行录像数据的再生处理时仅将假想I-VOP用与后续帧不同的译码方式进行译码，并将其作为参照VOP来再生后续帧。
图18所示的实施例4使用作为静止图像编码方式的JPEG的编码器701，取代图1所示的运动图像编码方式的MPEG-4编码器601，利用该编码器701生成假想I-VOP。即，将参照VOP图像用的帧存储器101或102的图像数据用JPEG方式进行再编码，并作为假想I-VOP存储到比特流存储器505中。假想I-VOP之后的后续帧的编码数据仍然以MPEG-4方式存储到比特流存储器505中。
在进行录像播放时，将上述假想I-VOP从比特流存储器505中读出到总线713上，并将用JPEG译码器702译码的假想I-VOP图像通过切换门108设定到参照VOP图像用的帧存储器101或102中。从比特流存储器505中读出的后续帧的编码数据由MPEG-4译码器将上述假想I-VOP作为初始画面而陆续地进行译码。这样，通过由静止图像编码方式的编码器将假想I-VOP进行再编码，可以进一步压缩假想I-VOP图像的编码数据尺寸。
上述实施例4的方式，同样可以应用于图17所示的具有3各帧存储器的运动图像处理系统。另外，作为假想I-VOP图像的编码/译码方式，除了JPEG外，也可以应用例如MPEG-4静止图像编码方式或ZIP那样的其他编码/译码方式及压缩工具。
在上述实施例中，接收比特流是用MPEG-4进行编码的，但是，在本发明的运动图像数据处理系统中，通过使译码器503适合于接收比特流的编码方式，也可以处理例如用MPEG-1、MPEG-2、H.261、H.263等其他编码方式压缩的运动图像数据。取决于编码方式，虽然不存在图3所示的标题信息，但是，这时，可以省略标题信息的译码和向比特流存储器中的存储。
另外，在上述实施例中，将参照VOP图像用的帧存储器的内容供给运动补偿部106和输出部504，在有用户的录像开始的指示时，就将与显示画面相当的参照VOP图像用的帧存储器的内容视为录像开始画面，并存储上述参照VOP附带的时刻信息，控制录像数据的再生。但是，若考虑用户操作对显示画面的延迟时，在有用户的录像开始的指示时，可以将参照VOP之前的帧作为录像开始画面进行处理。
另外，也可以是除了当前VOP画面用和参照VOP画面用的帧存储器外，还准备了保持显示画面的输出图像的显示VOP画面用的帧存储器，通常，按照当前VOP画面用、参照VOP画面用、显示VOP画面用、当前VOP画面用的顺序切换帧存储器的用途，在进行假想I-VOP的更新时，将显示VOP画面用切换为假想I-VOP画面用，而将假想I-VOP画面用作为当前VOP画面用。
这样，在使显示VOP图像用的帧存储器和涉及译码处理的参照VOP图像用及当前VOP图像用的帧存储器为不同的存储器时，由于将图像的译码处理与显示处理完全分离，所以，例如即使根据输出部的情况而必须变更显示VOP图像用的存储器的内容时，也可以避免对译码处理产生不良影响。另外，在上述帧存储器结构中，如果例如将参照VOP画面用的帧存储器的内容向显示画面输出而将显示VOP画面用的帧存储器作为前一显示VOP画面用的来使用，在用户指定了录像时，就可以将现在的显示画面之前的1个帧作为录像开始VOP或假想I-VOP进行存储。
下面，说明用于指示分发运动图像数据的录像、录像数据的再生、再生画面的暂时停止的用户界面。
图19表示作为视频处理专用的操作按钮而具有再生按钮821、录像按钮822、停止按钮823和暂时停止按钮824的手机终端800的操作面的1例。
再生按钮821在例如接收用户通过Web检索等发现的视频数据并在显示画面811上进行再生或再生已录像的编码数据时使用。在按下了上述再生按钮821时，应用程序控制部50就起动运动图像再生控制用的程序或DSP600，并将译码的图像向成为输出部504的一部分的显示画面811输出。在时刻显示区域812内，显示从再生开始时刻到现在的经过时间(「2秒25」)。
录像按钮822是用于指示MPEG-4译码器进行录像开始而使用的。在MPEG-4译码器周期性地更新保存VOP图像(假想I-VOP)并按预备录像模式记录接收图像时，用户操作(录像指示)了录像按钮822时，应用程序控制部501就中止保存VOP图像的周期性的更新，存储录像开始帧(现在显示中的图像帧)的编码数据附带的同步时刻，同时将其以后的接收图像按录像保存模式存储到比特流存储器505中。存储的同步时刻作为录像开始时刻显示在时刻显示区域812中。在图示的例子中，表示在从接收图像的再生开始经过了2秒05的时刻开始进行录像。
作为录像数据的再生方法，有例如从比特流存储器505存储的录像数据的开头VOP进行再生显示的方法和从用户指示了录像的时刻(录像开始同步时刻)的VOP进行再生显示的方法。通常，可以从录像开始同步时刻的VOP进行再生，在用户进行了特别指定时，可以从录像开头VOP进行再生。
停止按钮823在使接收图像的再生动作、录像动作、录像再生动作停止时使用。在录像动作中操作了停止按钮823时，就在该时刻存储译码处理中的编码数据附带的同步时刻，同时将其作为录像结束时刻显示在时刻显示区域812中，并在录像的最后帧(编码数据)之后将结束代码记录到比特流存储器中。在录像保存模式中，在动作中比特流存储器505将要发生溢出时，不等待用户的录像停止指示就自动地结束录像，并显示录像结束时刻。
在时刻显示区域812窄小时，可以采用上述录像结束时刻就取代例如录像开始时刻而进行显示，或者停止表示经过时间的现在VOP的同步时刻的显示，而在该处暂时显示录像结束时刻的等方式。
暂时停止按钮824用于暂时停止接收图像或录像的再生动作，使显示画面静止。在接收图像的再生动作停止期间中，MPEG-4译码器503可以如上述那样继续进行译码处理。如果再次按下了暂时停止按钮824，就脱离暂时停止状态，而再次开始进行再生动作。上述显示画面的按帧前进，可以通过例如在暂时停止的状态按下再生按钮821而进行指示。另外，从按帧前进的状态向通常的再生模式的恢复，可以通过例如按下暂时停止按钮后再按下再生按钮的操作而进行指示。
图20表示将图18所示的视频关联专用按钮821～824的功能置换为数字按钮的手机终端801的操作面的1例。
831是视频按钮，通过按下该按钮，终端就进入视频模式(接收运动图像输出代码)，并在时刻显示部812上显示表示视频模式的符号“V”。在终端进入视频模式时，数字1的输入按钮834具有再生按钮的功能、数字2的输入按钮835具有记录/停止按钮的功能、数字3的输入按钮836具有暂时停止按钮的功能。832和833是音量按钮，在暂时停止中按钮832具有按帧前进按钮的功能。
上述图19、图20所示的用户界面只不过是简单的实施例，在本发明的运动图像的记录/再生控制中，显然，用户的控制指令可以采用图标选择方式或其他的按钮操作方式等其他的任意的输入方式。
以上，说明了本发明的实施例，但是，本发明也包含以下的变形。
(1)如图2所示，接收比特流可以是在途中包含B-VOP的编码数据。但是，在比特流存储器中应保存的编码数据的开头是B-VOP时，可以将开头VOP和其后的多个B-VOP的编码数据从保存对象中除外。如果想将B-VOP译码并进行显示时，必须增加设置参照VOP图像用的帧存储器。
(2)接收比特流可以是矩形图像以外的任意形状的图像。但是，在MPEG-4中，由于必须采用参照VOP图像的各编码块的形状类型，所以，在将矩形图像以外的比特流进行译码时，在假想I-VOP更新时和录像开始时预先记录编码数据的同步时刻信息和各编码块的形状类型。
(3)在将新的假想I-VOP保存到比特流存储器中时，在实施例中，是使不需要的以前的比特流无效，但是，也可以将1个假想I-VOP和其后的多个VOP的比特流作为1组，将连续的多组的比特流存储到比特流存储器中，而从旧的组顺序使其无效。
(4)预备录像模式中的假想I-VOP的更新，可以按照比特流存储器存储的录像数据尺寸决定，而取代由VOP数决定的固定周期。即，对在预备录像模式中使用的存储器容量预先设定上限值，在存储数据量超过上限值时，就在下一个译码循环中更新假想I-VOP，从而置换为新的比特流。
(5)在录像保存模式中比特流存储器已用完了存储空间时，就预先存储不能存储的后续比特流的开头VOP附带的同步时刻(时刻1)，在有用户的录像结束的指示的时刻，存储上述后续比特流的最后VOP附带的同步时刻(时刻2)，在进行录像播放时，可以将由这些时刻信息(时刻1～时刻2)特定的不足比特流从图像服务器以文件传输协议的形式再次进行传送。另外，也可以预先存储假想I-VOP的下一个VOP附带的同步时刻(时刻0)，在接收到用户的录像结束指示之前比特流存储器已用完了存储空间时，就从图像服务器再次传送由时刻0和时刻2特定的录像范围的比特流，从而将这些比特流作为在终端侧保持的假想I-VOP的起点进行译码处理。这样，通过利用图像服务器的再传送功能，便可进行超过比特流存储器的存储容量的录像播放。
(6)在实施例中，作为用于识别用户指定的录像开始帧和录像结束帧的信息，是利用在接收比特序列中各图像帧(VOP)附带的同步时刻(modulo-time-base和vop-time-increment)，但是，也可以应用例如帧号码等其他信息来取代这些同步时刻。另外，也可以预先登录应录像的场景的特征信息，取代用户指示录像的开始，在将具有这些特征的的图像译码或再生的时刻自动地开始录像保存模式，从而自动地记录指定时间的运动图像。
根据以上的说明可知，按照本发明，将在接收比特流的任意位置选择的译码图像作为假想的帧内编码图像(假想I-VOP)预先保存，通过将其作为初始图像而将后续帧的图像编码数据进行译码处理，便可在途中从不具有随机访问用帧内编码图像或其插入频度少的运动图像编码数据串中有效地将用户所希望的场景进行录像和再生。
权利要求
1.运动图像数据的记录再生方法，其特征在于在将由运动图像编码数据串构成的接收比特流译码并显示再生图像的期间，预先将任意选择的译码图像作为假想的帧内编码图像保存，将生成作为上述假想的帧内编码图像被处理的译码图像之后的特定期间的再生图像的部分的比特流作为录像数据进行记录。
2.按权利要求1所述的运动图像数据的记录再生方法，其特征在于将响应用户的录像指示而选择的译码图像作为上述假想的帧内编码图像进行保存。
3.按权利要求1所述的运动图像数据的记录再生方法，其特征在于执行按指定的周期定期地更新上述假想的帧内编码图像，每次更新假想的帧内编码图像时，重新记录成为上述录像数据的部分的接收比特流的预备录像模式和响应用户的录像指示抑制上述假想的帧内编码图像的更新动作从而继续进行上述部分的接收比特流的记录动作的录像保存模式。
4.按权利要求1～权利要求3的任一项所述的运动图像数据的记录再生方法，其特征在于作为上述假想的帧内编码图像，保存将上述译码图像进行再编码而得到的编码数据。
5.按权利要求4所述的运动图像数据的记录再生方法，其特征在于上述译码图像用与上述接收比特流不同的编码方式进行再编码。
6.按权利要求1～权利要求5的任一项所述的运动图像数据的记录再生方法，其特征在于将包含在上述接收比特流中的标题信息作为记录数据的一部分进行记录，每次接收新的标题信息时，更新此记录标题信息。
7.按权利要求1～权利要求6的任一项所述的运动图像数据的记录再生方法，其特征在于响应用户的录像再生指示，将上述假想的帧内编码图像作为初始图像开始进行上述录像数据的译码处理。
8.一种接收由运动图像编码数据串构成的比特流并作为运动图像进行显示的终端装置，其特征在于由用于将上述接收比特流译码的译码器、用于将上述接收比特流的一部分作为录像数据有选择地进行存储的存储装置和控制录像数据向上述存储装置的写入和读出的控制装置构成，上述控制装置从由上述译码器生成的译码图像群中选择任意的译码图像，作为假想的帧内编码图像进行保存，同时，将从上述接收比特流中抽出的标题信息和生成上述假想的帧内编码图像之后的特定期间的再生图像的部分的比特流作为录像数据写入到上述存储装置中。
9.按权利要求8所述的终端装置，其特征在于具有用于输入用户的指令的输入装置，上述控制装置响应用户的指令控制上述译码图像的选择和向上述存储装置的上述比特流的写入。
10.按权利要求8所述的终端装置，其特征在于具有用于输入用户的指令的输入装置，在显示运动图像的的过程中，执行上述控制装置按指定的周期定期地更新上述假想的帧内编码图像，每次更新假想的帧内编码图像时，有选择地将部分的比特流重新记录到上述存储装置中的预备录像模式和响应用户的录像指示而抑制上述假想的帧内编码图像的更新动作从而继续进行上述部分的接收比特流的记录动作的录像保存模式。
11.按权利要求8～权利要求10的任一项所述的终端装置，其特征在于上述控制装置响应用户的录像再生指令，将上述假想的帧内编码图像作为初始图像设定到上述译码器中，将从上述存储装置中读出的比特流开始向上述译码器的供给。
12.按权利要求8～权利要求11的任一项所述的终端装置，其特征在于上述译码器具有第1、第2、第3帧存储器，常时，通过交替地切换分配给参照图像用和当前图像用的2个帧存储器，按帧单位将上述接收比特流译码，响应上述控制装置的指令，通过将参照图像用的帧存储器切换给假想的帧内编码图像用、而将此前的假想的帧内编码图像用的帧存储器切换给当前图像用，来保存假想的帧内编码图像。
13.按权利要求8～权利要求11的任一项所述的终端装置，其特征在于具有用于将图像编码的编码器，上述控制装置通过用上述编码器将上述选择的译码图像进行再编码，将上述假想的帧内编码图像以编码数据的形式保存到上述存储装置中。
14.一种接收由运动图像编码数据串构成的比特流并作为运动图像进行显示的终端装置，其特征在于由用于将上述接收比特流译码的译码器；用于存储上述接收比特流的一部分的存储装置；用于将从上述接收比特流中的任意的帧位置开始的部分的比特流作为录像数据写入上述存储装置的控制装置；和在上述控制装置发布更新指示之前用于保持紧接由上述译码器译码的上述部分的比特流之前的帧的译码图像的保持装置构成。
全文摘要
一种记录再生装置,接收运动图像的译码所需要的帧内编码图像(I－VOP)的插入频度少的运动图像编码数据,将任意的场景有效地录像到小容量的存储器中。在将由运动图像编码数据串构成的接收比特流进行译码并显示再生图像的期间,预先将任意选择的译码图像作为假想的帧内编码图像(假想I－VOP)进行保存,将生成作为假想I－VOP被处理的译码图像之后的特定期间的再生图像的部分的比特流作为录像数据进行记录。录像数据将假想I－VOP作为初始画面进行译码。
文档编号H04N5/92GK1368816SQ01108919
公开日2002年9月11日 申请日期2001年2月28日 优先权日2001年2月5日
发明者铃木芳典 申请人:株式会社日立制作所