专利名称：图像编码装置和方法、图像解码装置和方法、记录载体的制作方法
技术领域：
本发明涉及一种图像编码装置和方法，一种图像解码装置和方法，以及一种记录载体。具体来讲，本发明涉及一种适用于对视频数据流进行再编码、并记录和重现该再编码视频数据流的装置中的图像编码装置和方法、图像解码装置和方法、记录载体。
数字电视广播，如欧洲DVB(数字视频广播)、美国DTV(数字电视)广播和日本BS(广播卫星)数字广播，使用的是MPEG-2(运动图像专家组)传输流。传输流中包括连续的传输分组，每一分组中携带视频数据或音频数据。一个传输分组的数据长度为118比特。
与模拟电视广播不同，数字电视广播可以提供添加多媒体编码数据的业务。在这些业务中，视频、音频、字符图形数据和静止图像数据等在传送时都通过该多媒体编码数据彼此联系在一起。举例来说，日本BS数字广播使用基于XML(扩展置标语言)的编码方法得到多媒体编码数据。该方法的细节内容在ARIB用于数字广播的数据编码和传输标准STD-B24中已经被公开了。
诸如视频、音频、字符图形数据和静止图像数据等一类的数据，被分别打包成一种用于传输的分组。
下文将参考
图1A和图1B介绍一个多媒体屏幕以及在发送端、接收端间传送的合成数据的例子。如图1A所示，发送端向接收端发送视频数据、用于显示按钮A-C的字符图形数据、用于显示“XYZABC…”的文本数据以及将这些数据彼此联系的多媒体编码数据。发送端通常为一电视台。但这里提到的电视台包括一记录装置(记录端)，这一记录装置接收并记录从电视台发送来的数据。图1A中示出的例子中包括从该记录装置输出的数据。
该多媒体编码数据包括用于在接收端合成视频数据、字符图像数据和文本数据的数据，并显示合成后的数据。具体来讲，多媒体编码数据中包括与视频、字符图形和文本显示位置有关的数据，然后视频、字符图形和文本可以通过根据与尺寸(例如，多媒体平面(例如电视机上的图像显示区域)的尺寸(平面长度和平面宽度)，视频显示尺寸(视频长度和视频宽度))相关的数据显示，如图1B中所示。
在多媒体编码数据的基础上，接收端对视频、字符图形和文本数据进行处理，以显示图1B中所示的结果图像。
通过显示有上述图像的屏幕，用户可以接收一些业务，例如通过点击与所需信息相关的按钮A来显示所需信息，然后通过在屏幕底部显示的文本数据，获得与视频部分显示事物相关的信息。
如果数字电视广播传输来的传输流中携带的电视节目，不经变化就记录在接收端的记录载体中，该节目可以被记录而根本不会发生任何图像或声音质量的恶化。但为了将一个尽可能长的节目在一预定的图像质量恶化程度的条件下，记录到一个只有有限存储容量的记录载体中，接收到的视频流必须被解码然后被编码成具有较低传输速率的传输流。
例如，将一个附加有多媒体编码数据的电视节目视频流重新编码为记录所需的较低比特率的数据流，这种重新编码可以通过对该图像进行亚采样来改变记录块。但这种方法会产生一个问题在再编码后的视频流和多媒体编码之间联系会发生匹配错误。下面将参照图2A和图2B来描述匹配错误的例子。
在图2A中的例子中，发送端(记录端)在再编码时将原始视频写入块转换到一个更小的图像帧。因此，如图2B中所示，在接收端(重现端)视频显示尺寸和位置发生了变化，结果显示了一个与发送端所要显示的显示屏幕(基于再编码之前的数据显示的显示屏幕)不同的显示屏幕。
本发明的目的之一是提供一种图像编码装置和方法，一种图像解码装置和方法，以及一种记录载体。发明中产生再编码后的视频数据流和其他数据之间联系发生匹配错误的信息，并将该信息记录在记录端；根据记录端产生的信息避免在重现端产生缩小的图像帧。
本发明第一方面提供了一种第一图像编码装置，该装置包括输入装置，用于输入一包含多媒体编码数据的复用流；分离装置，用于从输入装置输入的复用流中分离出视频流；转换装置，用于对分离装置分离出的视频流执行预定的转换处理；产生装置，用于产生附加信息来指出当该转换后的视频流基于多媒体编码数据显示时，匹配错误将会发生；以及输出装置，用于输出该转换后的视频流，多媒体编码数据和附加信息。
第一图像编码装置可进一步包括编码装置，用于对产生装置产生的附加信息进行编码，作为同包含转换后的视频流的复用流分开的数据。
第一图像编码装置可进一步包括编码装置，用于对产生装置产生的附加信息和包含转换后的视频流的复用流进行复用，然后对复用结果进行编码。
转换装置可转换视频数据流图像帧参数。
转换装置执行的转换处理可至少包括一个对分离装置分离出的视频流的解码处理，和一个对解码后的视频流的编码处理。
产生装置产生的附加信息可以至少包括与原始图像帧有关信息和原始屏幕纵横比中的一个信息。
产生装置产生的附加信息可以包括一个原始视频格式和一个转换后的视频格式。
产生装置产生的附加信息可以包括一个原始屏幕纵横比和一个转换后的屏幕的纵横比。
产生装置产生的附加信息可以至少包括指出该视频流的一个图像帧是否已被转换装置转换的信息、关于分离装置分离出的视频流的原始图像帧的信息、和原始屏幕纵横比中的一个信息。
本发明的第二方面提供了一种第一图像编码方法，该方法包括以下步骤输入一包含多媒体编码数据的复用流；从输入步骤中输入的复用流中分出视频流；对分离步骤中分离出的视频流执行预定的转换处理；产生附加信息来指出当该转换后的视频流基于多媒体编码数据显示时，匹配错误将会发生；以及输出该转换后的视频流，多媒体编码数据和附加信息。
第一图像编码方法可进一步包括对产生步骤产生的附加信息进行编码，作为同包含转换后的视频流的复用流分开的数据。
第一图像编码方法可进一步包括对产生步骤产生的附加信息和包含转换后的视频流的复用流进行复用，然后对复用结果进行编码。
可在转换步骤转换视频数据流图像帧参数。
转换步骤中执行的转换处理可至少包括一个对分离步骤分离出的视频流的解码处理，和一个对解码后的视频流的编码处理。
产生步骤中产生的附加信息可以至少包括与原始图像帧有关信息和原始屏幕纵横比中的一个信息。
产生步骤中产生的附加信息可以包括一个原始视频格式和一个转换后的视频格式。
产生步骤中产生的附加信息可以包括一个原始屏幕纵横比和一个转换后的屏幕的纵横比。
产生步骤中产生的附加信息可以至少包括指出该视频流的一个图像帧是否已被转换步骤转换的信息、关于分离步骤分离出的视频流的原始图像帧的信息和原始屏幕纵横比中的一个信息。
本发明的第三方面提供了一种记录计算机可读程序的第一记录载体，该程序包括以下步骤输入一包含多媒体编码数据的复用流；从输入步骤中输入的复用流中分出视频流；对分离步骤中分离出的视频流执行预定的转换处理；产生附加信息来指出当该转换后的视频流基于多媒体编码数据显示时，匹配错误将会发生；以及输出该转换后的视频流，多媒体编码数据和附加信息。
本发明的第四方面提供了一种第二记录载体，该载体上记录有由预定转换处理转换过的数据、多媒体编码数据，以及指出在基于该多媒体编码数据显示转换后的视频流时匹配错误发生情况的附加信息。
该附加信息可以被编码和记录成与包含转换后视频流的复用流不同的数据。
该附加信息可以被编码和记录成复用在包含转换后视频流的复用流中的数据。
视频流可以根据其图像帧参数被转换。
视频流可以解码后再被编码。
附加信息可以至少包含与原始图像帧相关信息和一个原始屏幕纵横比中的一个信息。
附加信息可以包含一个原始视频格式和一个转换后的视频格式。
附加信息可以包括一个原始屏幕纵横比和一个转换后的屏幕的纵横比。
附加信息可以至少包括指出该视频流的一个图像帧是否已被转换的信息、关于视频流的原始图像帧的信息和原始屏幕纵横比中的一个信息。
本发明的第五方面提供了一种第一图像解码装置，该装置包括输入装置，用于输入包含多媒体编码数据的复用流；分离装置，用于从输入装置输入的复用流中分离出视频流；解码装置，用于对分离装置分离出的视频流进行解码；以及处理装置，用于根据指出显示基于多媒体解码数据与解码后的视频流时匹配错误出现情况的附加信息，对解码后的视频流执行预定转换处理。
第一图像解码装置可进一步包括获取装置，用于从与复用流不同的数据中获取附加信息。
第一图像解码装置可进一步包括获取装置，用于从复用有附加信息的复用流中获取附加信息。
处理装置可以转换视频流的图像帧参数。
处理装置执行的转换处理可以至少包括一个对分离装置分离出的视频流的解码处理和对该解码后视频流的编码处理。
附加信息可以至少包含与原始图像帧相关信息和原始屏幕纵横比中的一个信息。
附加信息可以包含一个原始视频格式和一个转换后的视频格式。
附加信息可以包括一个原始屏幕纵横比和一个转换后的屏幕的纵横比。
附加信息可以至少包括指出该视频流的一个图像帧是否被转换装置转换的信息、关于分离装置分离出的视频流的原始图像帧的信息和原始屏幕纵横比中的一个信息。
本发明的第六方面提供了一种第一解码方法，该方法包括以下步骤输入包含多媒体编码数据的复用流；从输入步骤中输入的复用流中分离出视频流；对分离步骤中分离出的视频流进行解码；根据指出显示基于多媒体解码数据解码后的视频流时匹配错误出现情况的附加信息，对解码后的视频流执行预定转换处理。
第一图像解码方法可进一步包括以下步骤从与复用流不同的数据中获取附加信息。
第一图像解码方法可进一步包括以下步骤从复用有附加信息的复用流中获取附加信息。
处理步骤中可以转换视频流的图像帧参数。
处理步骤中执行的转换处理可以至少包括一个对分离步骤中分离出的视频流的解码处理和对该解码后视频流的编码处理。
附加信息可以至少包含与原始图像帧相关信息和原始屏幕纵横比中的一个信息。
附加信息可以包含一个原始视频格式和一个转换后的视频格式。
附加信息可以包括一个原始屏幕纵横比和一个转换后的屏幕的纵横比。
附加信息可以至少包括指出该视频流的一个图像帧是否已被转换的信息、关于视频流的原始图像帧的信息和原始屏幕纵横比中的一个信息。
本发明的第七方面提供了一种第三记录载体，该载体上记录有一计算机可读程序，该程序包括以下步骤输入包含多媒体编码数据的复用流；从输入步骤中输入的复用流中分离出视频流；对分离步骤中分离出的视频流进行解码；根据指出显示基于多媒体解码数据解码后的视频流时匹配错误出现情况的附加信息，对解码后的视频流执行预定转换处理。
在本发明的第八方面提供了一种第二图像编码装置，该装置包括输入装置，用于输入复用流；分离装置，用于从输入装置输入的复用流中分离出一视频流；确定装置，用于确定输入装置输入的复用流中是否包含多媒体编码数据；产生装置，用于在确定装置确定复用流中包含多媒体编码数据的情况下产生编码控制信息，该信息用于指出不改变分离装置分离出的视频流的显示格式；转换装置，用于在产生装置产生的编码控制信息的基础上，对分离装置分离出的视频流执行预定转换处理；以及复用装置，用于产生包含转换装置转换后得到的视频流的复用流。
产生装置可以指出不改变图像帧、视频格式和纵横比中的任何一个。
在本发明的第九方面提供了一种第二图像编码方法，该方法包括以下步骤输入一复用流；从输入步骤输入的复用流中分离出一视频流；确定输入步骤中输入的复用流中是否包含多媒体编码数据；如果确定步骤中确定复用流中包含多媒体编码数据，产生编码控制信息，该信息用于指出不改变分离装置分离出的视频流的显示格式；在产生步骤产生的编码控制信息的基础上，对分离步骤分离出的视频流执行预定转换处理；以及产生一个包含转换步骤转换后得到的视频流的复用流。
编码控制信息可以指出不改变图像帧、视频格式和纵横比中的任何一个。
在本发明的第十方面提供了一种记录有计算机可读程序的第四记录载体，该程序包括以下步骤输入一复用流；从输入步骤输入的复用流中分离出一视频流；确定输入步骤中输入的复用流中是否包含多媒体编码数据；如果确定步骤中确定复用流中包含多媒体编码数据，产生编码控制信息，该信息用于指出不改变分离装置分离出的视频流的显示格式；在产生步骤产生的编码控制信息的基础上，对分离步骤分离出的视频流执行预定转换处理；以及产生一个包含转换步骤转换后得到的视频流的复用流。
本发明的第十一方面提供一种第五记录载体，记录有指出不改变视频流显示格式的编码控制信息；该载体还记录了包含有进行了基于该编码控制信息的预定转换处理后得到的视频流的复用流。
如上所述，根据第一图像编码装置、方法和存储在第一记录载体上的程序，视频流被从包含多媒体编码数据的复用流中分离出来，然后对分离出来的视频流执行了一种预定的转换处理，并获得了指出在基于多媒体编码数据显示转换后的视频流时匹配错误将发生的附加信息。
第二记录载体存储了经预定转换处理转换后的视频流、多媒体编码数据和指出在基于上述多媒体编码数据显示转换后的视频流时匹配错误将发生的附加信息。
如上所述，根据图像解码装置、方法和存储在第三记录载体上的程序，当一视频流被从输入的复用流中分离出来后再进行解码，然后基于多媒体编码数据显示该解码后的视频流，这时匹配错误将发生。基于与匹配错误发生情况相关的附加信息，对解码后的视频流执行预定转换处理。这种新颖的规定防止了在多媒体编码数据和视频流之间发生匹配错误。
如上所述，根据第二图像编码装置、方法和记录在第四记录载体上的程序，视频流被从输入的复用流中分离出来，输入的复用流被检测是否包含多媒体编码数据，如果包含多媒体编码数据，将产生编码值信息以指出不改变分离出来的数据流的显示格式，然后基于产生的编码控制信息对分离出来的视频流执行预定转换处理。
第五记录载体中存储了上述指出不改变分离出来的数据流的显示格式的编码控制信息、包含基于该编码控制信息执行了预定转换处理的视频流的复用流。
本发明的这些和其他目的将在下文中参考附图进行说明。其中图1A和1B示出基于多媒体编码信息显示一个显示屏幕的示意性框图；图2A和2B示出当视频流被再编码后发生的匹配错误的示意图；图3示出作为本发明中一个实施例的记录装置的框图4A和图4B示出土3中复用器的操作；图5A、5B和5C示出到达时间戳添加模块的处理；图6示出多媒体显示子信息；图7示出ProgramInfo( )语法的例子；图8示出StreamCodingInfo( )语法的例子；图9示出stream_coding类型的含义；图10示出video_format的含义；图11示出frame_rate的含义；图12示出display_aspect_ratio的含义；图13示出描述对AV流和媒体显示子信息编码处理的流程图；图14示出描述为限制对包括多媒体编码信息的复用流视频再编码而执行的编码处理；图15示出输入传输流的例子；图16示出对图1 5中视频流再编码后得到的传输流的例子；图17示出由图3中记录装置执行的记录速率控制处理的流程图；图18示出由图3中记录装置执行的另一种记录速率控制处理的流程图；图19示出视频流再编码后获得的传输流的另一个例子；图20示出输入数据流的另一个例子；图21示出本发明中一个实施例中重现装置的配置的方框图；图22A和22B示出当添加了多媒体显示子信息后的显示屏幕；图23示出本发明实施例中重现装置的另一配置的方框图；图24示出描述使用多媒体显示子信息重现AV流的处理的流程图；图25示出本发明实施例中重现装置的另一配置的方框图；图26示出记录载体；下文将参照附图通过例子进一步纤细说明本发明。现在参照图3，图中示出作为本发明实施例的记录装置1的示例性配置的方框图。通过天线(没有时处)接收到的传输流被输入到一个选择器10。由用户指定的节目编号(频道编号)也同时有终端11输出到选择器10。参照该节目编号，选择器从接收到的传输流中抽取出指定的节目，并输出部分传输流。该部分传输流被输入到一个去复用器12和一个分析块13。
输入到去复用器12的部分传输信号被分离成视频流和其他流(例如音频，静止图像，字符图形，和多媒体编码数据))获得的视频流被输出到解码器14。其他流被输出到复用器16。除了非视频的传输分组之外，去复用器12还输出同步信息加到输入到复用器16的传输分组中。
解码器14对输入的视频流使用一种预定解码结构，例如MPEG-2。然后将解码后的视频数据输出到编码器15。解码器14还将解码时获得与视频流有关的流信息输出到编码控制器18中。
另一方面，分析块13分析输入的传输流，以获得非视频流的流信息(例如比特率)，并输出到编码控制器18中。分析块13输出的有关非视频流的流信息、解码器14输出的视频流信息和终端19输出的流记录比特率都输入到编码控制器18。编码控制器18根据这些数据设置将由编码器15执行的视频编码的条件(编码控制信息)，并将这些编码条件输出到编码器15和编码块20。
编码控制器使用一个值作为指定的视频数据编码的比特率，该值是通过从终端19(出自一个没有示出的控制器，该控制器用于控制该记录装置1的操作)输入的流记录比特率中减去非视频流比特率的总值(分析块13输出的数据)获得的。编码控制器18设置如比特率和根据该比特率可获得的最佳图像的图像帧这样的编码控制信息，并将该编码控制信息输出到编码器15和编码块20。该编码控制信息将在后面参照图15-20详细说明。
当数据流以一固定速率记录到一记录载体上时，该数据流的记录比特率就是该固定的速率；当一数据流以可变的速率记录时，该数据流的记录比特率是该速率在一预定时间内的平均值。然而，这种情况中的可变速率的最大值应当低于记录载体所允许的最大记录速率。
编码器15根据编码控制器18输出的编码控制信息，对从解码器14输出的视频数据进行编码(例如基于MPEG-2)，然后将编码视频信息输出到复用器16。将编码器15输出的视频流、去复用器12输出的非视频的传输流分组和非视频传输流分组的同步信息都输入到复用器16中。在输入的同步信息基础上，复用器16将视频流和非视频传输流分组复用，并将结果作为传输流输出到到达时间戳添加块17。
图4A和43示意性的示出复用器16执行的上述处理。图4A示出输入的传输流分组的同步。图中斜十字阴影部分表示视频分组，而白色部分表示非视频流分组。如图4A所示，输入的传输流分组是连续的；但视频流的数据量经编码器15的再编码处理后减少了，结果视频分组的个数减少了。
如图4B所示，复用器16并没有改变非视频流分组的同步，当使得视频流的同步与原始状态不同(见图4A)。
如图5A、5B和5C所示，到达时间戳添加块17给每一个输入传输流的分组(图5A中所时)添加了一个包括到达时间戳的首部(TP_exba_header)，从而产生一个源分组(图5B中所示)，连续的排列产生的源分组(图5C)并输出到写入块21。到达时间戳是传输流中传输流分组同步的信息。写入块21存放输入的由连续源分组组成的源分组流，并将该文件记录到记录载体22中。需注意的是记录载体22可以为任意一种类型的记录载体。
编码块20输出的信息同时也输入到写入块21。在编码控制器18输出的视频编码信息的基础上，编码块20产生多媒体显示子信息，并将该信息输入到写入块21。输入到写入块21的多媒体显示子信息是用于这样一种目的的信息在多媒体平面上保持视频位置和显示尺寸与发送端预定的图像(不经再编码显示的图像)相比不发生变化，即使该图像帧尺寸已经对视频流进行代码转换(由解码器14解码，再由编码器15编码)时被改变。该信息也与多媒体编码数据一起用于图像重现。
下面将更具体的描述多媒体显示子信息。如图6所示，该多媒体显示子信息由下列部分组成三种标志，匹配错误标志(mismatch_Mminfo_flag)、再编码标志(Re_encoded_flag)和帧尺寸变化标志(changed_frame_size_flag)；与两个尺寸相关的数据指出原始水平尺寸的数据(original_horizontal_size)、指出原始垂直尺寸的数据(original_vertical_size)；和原始屏幕纵横比(original_display_aspect_ratio)。
匹配错误标志指出在视频和多媒体编码数据之间的关系是否存在匹配错误。再编码标志指出记录使该视频是否已被再编码。帧尺寸变化标志指出再编码后视频的图像帧是否发生变化。原始水平尺寸指出再编码之前图像帧的水平尺寸。原始垂直尺寸指出再编码之前图像帧的垂直尺寸。原始屏幕纵横比指出编码前屏幕纵横比。
应注意的是，上述多媒体显示子信息只是示例。因此图6中没有示出的其他信息也可以包括进去，而图6中示出的部分信息也可以从该多媒体显示子信息中去除。
下面将描述多媒体显示子信息的另一个例子。在下面的例子中，多媒体显示子信息被存储在图7中所示ProgramInfo()的语法中。下面将描述ProgramInfo()语法中与本发明相关的字段。
“length”指出该length字段后面的那一比特与ProgmInfo()所包括的最后一位比特之间的比特个数；“num_of_program_sequences”指出在一AV流文件中节目序列的个数。一个源分组序列被参考为节目序列，该源分组序列中携带的、根据AV流文件中格式指定的节目内容是连续的。
“SPM_program_sequence_start”指出AV流文件中该节目序列开始的地址。“SPM_program_sequence_start”以源分组数量为单位，以0为初始值，从AV流文件的第一个分组开始计数。
“program_map_PID”是在节目序列中使用了PMT(节目映射表)的传输分组的PID值。
“num_of_streams_in_ps”使节目序列中定义的基本流的数量。
“stream_PID”是参考节目序列的节目映射PID得到的、PMT中的基本流的PID值。
“StreamCodingINfo()”是有关上述流PID指出的基本流的信息图8示出StreamCodingInfo()的语法。“length”是指该length字段后面的那一比特与SteamCodingInfo()所包括的最后一位比特之间的比特个数；“stream_coding_type”是指StreamCodingInfo()中流PID指出的基本流的编码类型。图9中示出每一类型的含义。
如果该流编码类型值为0x02，表示由流PID指出的基本流为视频流。
如果该流编码类型值为0x0A、0x0B或0x0D，表示由流PID指出的基本流为多媒体编码数据。
如果该流编码类型值为0x06，表示由流PID指出的基本流为副标题或图文电视。
“video_format”表示StreamCodingInfo()中流PID指出的视频流的视频格式。图10示出每一视频格式的含义。
图10中，480i表示NTSC标准电视(隔行扫描，720像素×480线)。480i表示PAL标准电视(隔行扫描，720像素×576线)。480p表示逐行扫描、720像素×480线的视频显示。1080i表示隔行扫描、1920像素×1080线的视频显示。720p表示逐行扫描、1230像素×720线的视频显示。
“frame_rate”是指StreamCodingInfo()中流PID指出的视频流的帧率。图11示出每一帧率的含义。
“display_aspct_ratio”是指StreamCodingInfo()中流PID指出的视频流的显示纵横比。图12示出每一纵横比的含义。
“orginal_video_format_flag”是指StreamCodingInfo()中是否存在原始视频格式和原始显示纵横比。
“orginal_video_format”是指StrearnCodingInfo()中流PID指出的视频流编码前的视频格式。每一原始视频格式的含义与图10中所示一样。
“orginal_display_aspect_ratio”是指StreamCodingInfo()中流PID指出的视频流编码前的纵横比。每一原始纵横比的含义与图10中所示一样。
假设在传输一传输流(其中视频流和多媒体数据流复用在一起)时，对视频流再编码改变其视频格式，而多媒体数据流保留其原始数据流内容。这时，新的视频流与该多媒体数据流之间发生信息匹配错误。例如，尽管与该多媒体数据流显示相关的参数是由假定的原始视频流的视频格式所确定的，视频格式在对视频流再编码后改变了。
原始视频流的视频格式是由视频格式和显示纵横比指出的。再编码后的视频流的视频格式是由原始视频格式和原始视频纵横比指出的。
如果在原始视频格式和视频格式之间存在匹配错误，和/或在显示纵横比和原始显示纵横比之间存在匹配错误，就表示记录时发生了由视频再编码引起的视频格式变化。
如果ProgramInfo()中包括流PID(其中的流编码类型表示多媒体编码数据)和副标题，则表示AV流文件(传输流)中复用了多媒体数据。
如果ProgramImfo()指出在记录时发生了由视频再编码引起的视频格式改变以及AV流文件中复用了多媒体数据，就可以确定在AV流文件中的视频流(已被再编码)和多媒体数据(原始多媒体数据)之间发生的匹配错误。
在这种情况中，与原始视频流有关的信息，也就是原始视频格式和原始显示纵横比，变为有效。如下面所述，重现装置基于上述新的视频流和多媒体数据产生显示屏幕。-视频流被上行采样成一种由原始视频格式和原始显示纵横比指出视频格式；-上行采样后的图像和多媒体数据流被合成，以产生一正确的显示屏幕。
编码块20产生的多媒体显示子信息由写入块21记录到记录载体22中，但被存为一个与到达时间戳添加块17输出的源分组流文件不同的文件。如果多媒体显示子信息由写入块21记录到记录载体22时被存为一个与源分组流文件不同的文件，文件形式的多媒体显示子信息就被从编码块20输出。
图13描述的是对AV流和多媒体显示子信息编码处理的流程图。
步骤50中，将包括多媒体编码数据的复用流输入到记录装置1。
步骤51中，去复用器12从复用流中分离出视频流。
步骤52中，编码器15对解码器14解码后的视频流再编码。
步骤53中，复用器16对上述视频流和多媒体编码数据进行复用，以产生一复用流。
步骤54中，编码块20产生多媒体显示子信息。
上述描述中，编码控制器18在输入数据的基础上，产生包括比特率和图像帧的编码控制信号。编码控制器18还可以产生下列信息作为另一种编码控制信息。也就是说，如果发现输入的传输流包括分析块13输出的多媒体编码数据，编码控制器18可以产生编码控制信息，该信息用于在编码器15执行编码时指示编码器15对与原始图像帧尺寸相同的图像帧(再编码之前的图像帧)进行再编码。然后编码控制器18将产生的编码控制信息输出给编码器15。
当使用上述方法时，编码器15在输入的编码控制信息的基础上对解码器14提供的视频数据进行再编码，再编码后的图像帧的值与原始视频流的图像帧相同。如果产生了这一编码控制信息并在该信息的基础上执行再编码处理，再编码时不会导致任何一个图像帧发生变化，从而避免在多媒体编码数据和再编码后的视频流之间发生关系匹配错误问题。
此外，编码控制器18还可以产生下列信息作为产生的编码控制信息。也就是说，如果发现输入的传输流包括分析块13输出的多媒体编码数据，编码控制器18可以产生编码控制信息，该信息用于在编码器15执行编码时指示编码器15在与原始视频的图像格式(图10中所示)和屏幕纵横比(图12中所示)相同的条件下进行再编码。然后编码控制器18将产生的编码控制信息输出给编码器15。
当使用上述方法时，编码器15在输入的编码控制信息的基础上对解码器14提供的视频数据进行再编码，其条件与原始视频的图像格式(图10中所示)和屏幕纵横比(图12中所示)条件相同。如果产生了这一编码控制信息并在该信息的基础上执行再编码处理，再编码时不会导致任何视频格式和屏幕纵横比的变化，从而避免在多媒体编码数据和再编码后的视频流之间发生关系匹配错误问题。
图14示出描述为限制对包括多媒体编码信息的复用流视频再编码而执行的编码处理；步骤70中，将复用流输入到记录装置1中。
步骤71中，去复用器12从复用流中分离出视频流。
步骤72中，分析块13检测视频流中是否包括多媒体编码数据。如果包括多媒体编码数据，分析块13性编码器15输出编码控制信息，在不改变显示格式的前提下对视频再编码。基于提供的控制信息，编码器15对视频流再编码。
步骤73中，复用器16产生一包括上述视频流的复用流。
下面将参照图15-20描述一个在该编码控制信息的基础上执行控制的例子。
假定输入到选择器10中的传输流具有一个恒定的比特率RI，如图15所示。视频流和非视频流是以可变比特率编码的。如图15所示，在单位时间(例如，GOP)A内，视频流的比特率为RVA，而非视频流的比特率为ROA。在单位时间B内，视频流的比特率为RVB，而非视频流的比特率为ROB。在单位时间C，视频流的比特率为RVC，而非视频流的比特率为ROC。
如果对图15中所示的传输流进行再编码，从复用器16中输出一具有固定的比特率S(S＜RI)的传输流(见图16)，编码控制器18执行图17中流程图描述的处理。
首先，步骤S1中，编码控制器18在控制器(没有示出)通过终端19输入的控制信号的基础上，把将从复用器16输出的传输流的比特率(记录速率)设为S。然后在步骤S2中，编码控制器18确定将记录的非视频流，并计算所确定的视频流的比特率的最大总值D。
最大值D示由输入的传输流的数据流规定所确定的。例如，如果除了视频流还要记录两个音频流，因为根据日本数字BS广播的数据数据流规定，一个音频流的比特率的最大值为384kbps，则最大值D为384×2kbps。
在步骤S3中，编码控制器18使用从步骤S1中设定的记录比特率中减去步骤S2中计算得到最大值后获得的差值(＝S-D)，作为对视频数据再编码的比特率。在步骤S4中，编码控制器18分析解码器14输出的视频流信息的诸如视频流比特率和图像帧等编码信息。
在步骤S5中，编码控制器18在步骤S3中计算得到的值C和步骤S4中分析得出的视频流编码信息的基础上，确定视频编码参数(视频编码控制信息)，如获得的最佳帧质量。
例如，如图16所示，S值是RI值的1/2。在本例中，非视频流的比特率为最大值D，对于再编码后的复用流中非视频流的比特率该值仍不变化。
然后所确定的视频编码参数(如最佳帧质量)可以在(S-D)的范围内获得。如果对图像帧进行控制，例如将一720×480的图像帧进行水平方向的1/2采样，变为360×480。所确定的编码参数(比特率和图像角度)提供给编码器15作为编码控制信息。
在步骤S6中，在编码控制器18提供的视频编码控制信息的基础上，编码器15对需编码的单位时间(例如，单位时间A)内的视频数据进行再编码。如图16所示，单位时间A内的实际比特率比最大值D略小；但由于最大值D是固定的，视频指定的比特率为(S-D)。由于最大值D是固定的，就存在一个浪费的部分RSA不能用于视频编码，该浪费部分由一些填充的比特组成。
在步骤S7中，编码控制器18确定是否还存在需再编码的数据流。如果存在，该过程回到步骤S4重复上述处理。
如果在步骤S7中，不再有需再编码的数据流，该处理将结束。
于是，在图16中所示的例子中，非视频流在单位时间B内的比特率也为D，视频流指定的比特率为(S-D)，是固定的。在值Rsb中插入填充比特(＝S-(S-D)-ROB＝D-ROB)。
在在单位时间C内，非视频流的比特率也为D，而视频流指定的比特率为(S-D)。需指出的是，单位时间C内D＝ROC，因此不存在填充比特。
因此，在图16中所示例子中，视频流以固定的比特率被编码。
图18示出描述视频再编码指定比特率可变的一个处理示例的流程图。首先，在步骤S21中，编码控制器18在终端19提供信息基础上设置记录速率为S。然后在步骤S22中，编码控制器在解码器14提供的视频流信息的基础上分析视频流的编码信息。处理的S21和S22与图17中的步骤S1和S4相同。
在步骤S23中，编码控制器18根据分析块13的输出计算非视频流单位时间内的总的比特率B。
在步骤S24中，编码控制器18使用步骤S1中获得的值S减去步骤S23中获得值B得到值C(＝S-B)，作为视频再编码指定比特率。
在步骤S25中，编码控制器18在步骤S24中获得的值C以及对步骤S22中获得的视频流编码信息分析的结果的基础上，确定诸如最佳图像帧的视频编码参数。确定后的编码参数输出到编码器15。
在步骤S26中，编码器15在步骤S25中获得的编码参数的基础上对当前单位时间内的视频数据进行再编码。结果如图19所示，将Roa(＝ROA)指定为单位时间内非视频流的比特率后，视频流的比特率设定为由(S-Roa)规定的Rva。
在步骤S27中，编码控制器18确定是否还存在需再编码的数据流。如果存在，该过程回到步骤S22重复上述处理。如果不再有需再编码的数据流，该处理将结束。
因此，在单位时间B内，将Rob(＝S-ROB)指定为单位时间内非视频流的比特率后，视频流的比特率为余值Rvb(＝S-Rob)。在单位时间C内，视频流的比特率为余值Rvc(＝S-Roe)，而非视频流的比特率为Roe。
于是在当前处理的举例中，视频流的比特率是变化的从而不需要填充比特，或是可以减少填充比特，这样视频流的编码更加有效率。
上文中，输入传输流有固定的比特率。本发明也可应用到图20中所使得输入传输例的比特率变化的情况。
这样更长内容的传输流可以以所需的低速率记录到记录载体22中。
此外，上述新颖的构造防止音频数据、静止图像、字符图形、多媒体编码数据和其他非视频流数据质量显著恶化。非视频流基本上数据量小于视频数据，因此如果将它们的比特率相对于视频数据也以相应的比例减少，对非视频流的影响将大于对视频数据的影响。这一新颖构造可以防止上述影响的发生。
下面描述对记录在记录载体22上的源分组流文件的重现。参见图21，图中示出了描述本发明中一个重现装置实施例构造的方框图。记录在记录载体22上的源分组流文件被一读取块31读出。该读取块31还从记录载体22中与源分组流文件不同的文件中读出了多媒体显示子信息。
将由读取块31读出的源分组流输出到一个到达时间戳分离块32，而将多媒体显示子信息输出到合成块36。到达时间戳分离块32中包括一参考块。该到达时间戳分离块将添加到输入的源分组流中的源分组中的到达时间戳与参考块相比较，当相匹配时，将该到达时间戳从具有匹配到达时间戳的源分组中取出，并将获得的分组作为传输流分组输出到去复用器33。
去复用器33将输入的传输流分离成为视频音频流和数据流(如多媒体编码数据、字符图形、文本和静止图像)。在被分离的数据中，视频/音频流被输出到AV解码器34，多媒体编码数据被输出到合成块36，而字符图形、文本和静止图像数据被输出到字符图形/经值图像解码器35。
AV解码器34将输入的音频/视频流分离成音频流和视频流，将每一种数据解码，并将解码后的音频数据输出到一音频重现设备(没有示初)，而将解码后的视频数据输出到合成块36。字符图形/经值图像解码器35对输入的数据流(字符图形，文本，和静止图像)进行解码，并将解码后的字符图形数据、文本数据和静止图像数据输出到合成块。
AV解码器34输出的视频数据、去复用器33输出的多媒体编码数据、字符图形/静止图像解码器35输出的数据和读取块3 1输出的多媒体显示子信息都输入到合成块36中。通过检测输入的多媒体显示子信息中的匹配错误标志(图6)，合成块36确定是否在输入的视频数据和多媒体编码数据之间存在着关系匹配错误。
如果图8中所示的视频格式值和原始视频格式值之间存在着匹配错误，和/或在显示纵横比和原始显示纵横比的值之间存在着匹配错误，该合成块36确定记录时由视频再编码引起的视频格式变化，检测出输入视频信号和多媒体编码数据之间发生的匹配错误。如果在视频格式值和原始视频格式值之间不存在匹配错误，和/或在显示纵横比和原始显示纵横比的值之间不存在匹配错误，该合成块36确定输入视频信号和多媒体编码数据之间没有发生匹配错误。
如果发现输入的视频数据和多媒体编码数据之间存在着关系匹配错误。合成块36将进一步参考多媒体显示子信息中的原始水平尺寸和垂直尺寸，或参考原始视频格式和原始显示纵横比。然后，合成块36按比例转换输入视频信号，示之可以在参考尺寸的帧内显示。在多媒体编码数据的基础上，合成块36输出合成在电视机(没有示出，作为显示装置)上多媒体平面上的包括按比例转换后的视频信号的视频信号以及字符图形一类的数据。
另一方面，如果没有发现输入视频信号和多媒体编码数据之间的关系匹配错误，合成块36将输入的视频信号和其他数据合成到多媒体平面上而不许经过比例转换处理。然后输出合成后的信号。
于是，记录多媒体显示子信息、并在重现时使用该信息使得接收端可以显示发送端预定的屏幕。参见图22，如果发送端(接收端)的再编码导致视频图像帧率小于原始帧，这种尺寸上的减少被记录为多媒体显示子信息，并在重现是作为参考。结果，由于视频数据和其他数据之间不存在匹配错误，接收端(重现段)可以显示与原始屏幕相同的屏幕。
图24示出一个使用多媒体显示子信息的AV流重现处理的流程图。
在步骤60中，从一记录载体中读取包括多媒体编码数据的复用流，并将其输出到重现设备。
在步骤61中，输入多媒体显示子信息。在图21中所示的重现装置的情况下，该信息是从一记录载体中的读出；在图25中所示重现装置的情况下，该信息是从复用流中分离出来。
在步骤62中，从复用流中分离出视频流。
在步骤63中，对视频流解码。
在步骤64中，如果在视频数据和多媒体编码数据之间存在匹配错误，合成块36在多媒体显示子信息的基础上按比例转换视频数据。
在步骤65中，合成块合成处理后的图像和多媒体数据，以产生一显示图像。
如上所述，多媒体显示子信息可以作为一文件记录在记录载体2上，该文件与包含字符图形数据和视频信号的源分组流文件不同。此外，该多媒体显示子信息还可以包含到源分组流文件中，然后再记录到记录载体22中。图23示出多媒体显示子信息被包含到源分组流文件中的记录装置1的构造。
比较图23中和图3中的记录装置的构造，前者将编码块20输出的多媒体显示子信息提供给复用器16。然后该复用器16产生一个将输入的多媒体显示子信息包含到源分组流文件中去的传输流分组，并将其输出到到达时间戳添加块17。在MPEG视频流中，没有将该多媒体显示子信息作为一传输分组包含到源分组流文件中，而是将其记录到一用产数据区域。
在本发明的实施例中，视频数据也可以是以上述方法之外的方法进行再编码，例如输入的视频数据流可以被转换到DCT域来改变图像帧之类的编码参数。
图25示出重现装置30的构造，其中多媒体显示子信息被包含在一个源分组流文件中后记录在记录载体22中。比较图25和图1中的重现装置构造，前者通过读取块31制读取源分组流。由读取块31读出的源分组流经到达时间戳分离块32被输出到去复用器33。
去复用器33从输入的源分组流文件中抽取出多媒体显示子信息，并将其输出到合成块36。进一步的处理与图5中的构造的处理相同。
于是，如果多媒体显示子信息以包含到源分组流文件中的方式被记录下来，接收端还可以同时获得发送端预定的视频图像尺寸和显示位置。
在本发明的实施例中，使用的传输流只是一个例子。本发明也可以应用到程序流这样的复用流。
上述处理操作序列可以由硬件执行也可以由软件执行。软件方式时，记录装置1(和重现装置30)由图26中所示个人计算机构成。
参见图26，CPU(中央处理单元)101执行存储在ROM(只读存储器)102中或通过一存储块108载入到RAM(随即存储器)103中的程序所指示的处理操作。如果需要，RAM103还存储CPU101执行各种处理操作所需的数据。
CPU101、ROM102和RAM103通过总线104相互连接。总线104还连接到一输入/输出接口105。
输入输出接口105连接到一输入块106(如键盘和鼠标)，一显示装置(如CRT或LCD)，一输出块107(如扬声器)，一存储块108(如硬盘)和一通信讯块109(如调制解调器或终端适配器)。通信块109通过网络执行通信处理。
如果需要，输入/输出接口105还可连接到一驱动110，该驱动中可载入磁盘121，光盘122，磁光盘，或半导体存储器124。如果需要，可以安装从这些存储载体中读出的计算机程序。
由软件执行处理操作序列需要使用具有专门硬件设备的计算机，所述硬件设备中事先存储有构成该软件的程序；也可以使用通用目的计算机，而在需要是将这些程序通过一记录载体安装到计算机中。
存储计算机可读和可执行程序的程序记录载体可以是一分组载体，将该载体分配给用户来提供程序；也可以如图26所示，由预先安装在个人计算机上的磁盘121(包括软盘)、光盘122(包括CD-ROM(只读光盘存储器)和DVD(数字通用盘))、磁光盘123(包括MD(MINI盘))、半导体124、ROM102或硬盘构成，以向用户提供上面暂时或永久存储的程序。
需注意的是，描述存储在程序存储载体中的程序的步骤不一定按上述顺序以基于时间的方式执行，也可以并行或分别执行。
如上所述的第一图像编码装置、方法和存储在第一记录载体中的程序，将视频流从包含多媒体编码数据的复用流中分离出来，对分离出的视频流执行预定转换处理，然后得到附加信息，以指出在基于多媒体编码数据显示转换后的视频流匹配错误将发生。
第一记录载体存储了转换后的视频流、多媒体编码数据和指出在基于多媒体编码数据显示转换后的视频流的匹配错误将发生的附加信息。
于是这种情况下，恢复端可以避免发生多媒体编码数据和视频流之间的匹配错误。
如上所述的图像解码装置、方法和存储在第二记录载体中的程序，当从输入的复用流中分离出视频流后，对分离出的视频流进行解码，在多媒体编码数据基础上显示解码后的数据时，将发生匹配错误。在指出匹配错误发生情况的附加信息的基础上，对该解码后视频流执行预定转换处理。这一新颖的装置可以避免发生多媒体编码数据和视频流之间的匹配错误。
如上所述的第二图像编码装置、方法和存储在第记录载体中的程序，从一输入的复用流中分离出视频流，检测输入的复用流中的多媒体编码数据，如果发现了多媒体编码数据，将产生编码控制信息以指出不改变分离出的视频数据的显示格式，然后基于产生的编码控制信息对分离出的视频数据执行预定的转换处理。
第二存储载体还存储了上述指出不改变视频流显示格式的编码控制信息，以及一个包含基于该编码控制信息进行了预定转换处理后的视频流的复用流。
于是在这种情况下恢复端可以避免发生多媒体编码数据和视频流之间的匹配错误。
尽管本发明的最佳实施例使用了专门的技术术语，这只是为了示例性说明而已。应当可以认为，在不脱离权利要求的精神或范围的改变和变化都是可以的。
权利要求
1.一种图像编码装置，该装置包括输入装置，用于输入一包含多媒体编码数据的复用流；分离装置，用于从所述输入装置输入的所述复用流中分出视频流；转换装置，用于对所述分离装置分离出的所述视频流执行预定的转换处理；产生装置，用于产生附加信息，来指出当基于所述多媒体编码数据显示该转换后的视频流时，匹配错误将会发生；以及输出装置，用于输出所述转换后的视频流，所述多媒体编码数据和所述附加信息。
2.如权利要求1所述的图像编码装置，其特征在于该装置进一步包括编码装置，用于当从包含所述转换后的视频流的所述复用流中分离数据时对所述产生装置产生的所述附加信息进行编码。
3.如权利要求1所述的图像编码装置，其特征在于该装置进一步包括编码装置，用于在将所述产生装置产生的所述附加信息与包含所述转换后的视频流的所述复用流进行复用，然后对复用结果进行编码。
4.如权利要求1所述的图像编码装置，其特征在于所述转换装置转换视频数据流图像帧参数。
5.如权利要求1所述的图像编码装置，其特征在于所述转换装置执行的转换处理至少包括一个对所述分离装置分离出的视频流的解码处理，和一个对解码后的视频流的编码处理。
6.如权利要求1所述的图像编码装置，其特征在于所述产生装置产生的所述附加信息至少包括与原始图像帧相关信息和原始屏幕纵横比中的一个信息。
7.如权利要求1所述的图像编码装置，其特征在于所述产生装置产生的所述附加信息包括一个原始视频格式和一个转换后的视频格式。
8.如权利要求1所述的图像编码装置，其特征在于所述产生装置产生的所述附加信息包括一个原始屏幕纵横比和一个转换后的屏幕的纵横比。
9.如权利要求1所述的图像编码装置，其特征在于所述产生装置产生的所述附加信息至少包括指出该视频流的一个图像帧是否已被所述转换装置转换的信息、一个关于所述分离装置分离出的视频流中原始图像帧的信息、和一个原始屏幕纵横比中的一个信息。
10.一种图像编码方法，该方法包括以下步骤输入一包含多媒体编码数据的复用流；从所述输入步骤中输入的所述复用流中分出视频流；对所述分离步骤中分离出的所述视频流执行预定的转换处理；产生附加信息来指出当该转换后的视频流基于所述多媒体编码数据显示时匹配错误将会发生；输出所述转换后的视频流，所述多媒体编码数据和所述附加信息。
11.如权利要求10所述的图像编码方法，其特征在于该方法进一步包括一个编码步骤，该编码步骤在从包含所述转换后的视频流的所述复用流中分离数据时，对所述产生步骤产生的所述附加附加信息进行编码。
12.如权利要求10所述的图像编码方法，其特征在于该方法进一步包括一个编码步骤，该编码步骤在将所述产生步骤产生的所述附加信息与包含所述转换后的视频流的所述复用流进行复用后，对复用结果进行编码。
13.如权利要求10所述的图像编码方法，其特征在于在所述转换步骤转换视频数据流图像帧参数。
14.如权利要求10所述的图像编码方法，其特征在于所述转换步骤中执行的转换处理至少包括一个对所述分离步骤分离出的视频流的解码处理，和一个对解码后的视频流的编码处理。
15.如权利要求10所述的图像编码方法，其特征在于所述产生步骤中产生的所述附加信息至少包括与原始图像帧相关信息和原始屏幕纵横比中的一个信息。
16.如权利要求10所述的图像编码方法，其特征在于所述产生步骤中产生的所述附加信息包括一个原始视频格式和一个转换后的视频格式。
17.如权利要求10所述的图像编码方法，其特征在于所述产生步骤中产生的所述附加信息包括一个原始屏幕纵横比和一个转换后的屏幕的纵横比。
18.如权利要求10所述的图像编码方法，其特征在于所述产生步骤中产生的所述附加信息至少包括指出该视频流的一个图像帧是否已被转换装置转换的信息、关于分离装置分离出的视频流中原始图像帧的信息和一个原始屏幕纵横比中的一个信息。
19.一种记录计算机可读程序的记录载体，所述程序包括以下步骤输入一包含多媒体编码数据的复用流；从所述输入步骤中输入的所述复散流中分出视频流；对所述分离步骤中分离出的所述视频流执行预定的转换处理；产生附加信息，来指出当该转换后的视频流基于所述多媒体编码数据显示时，匹配错误将会发生；以及输出所述转换后的视频流，所述多媒体编码数据和所述附加信息。
20.一种记录载体，该载体上记录有由预定转换处理转换过的数据，多媒体编码数据，以及指出在基于所述多媒体编码数据显示所述转换后的视频流时匹配错误发生情况的附加信息。
21.如权利要求20所述的记录载体，其中所述附加信息被编码和记录成与包含所述转换后视频流的所述复用流不同的数据。
22.如权利要求20所述的记录载体，其中所述附加信息被编码和记录成复用在包含所述转换后视频流的所述复用流中的数据。
23.如权利要求20所述的记录载体，其中所述视频流根据其图像帧参数被转换。
24.如权利要求20所述的记录载体，其中所述视频流解码后再被编码。
25.如权利要求20所述的记录载体，其中所述附加信息至少包含与原始图像帧相关信息和原始屏幕纵横比中的一个信息。
26.如权利要求20所述的记录载体，其中所述附加信息包含一个原始视频格式和一个转换后的视频格式。
27.如权利要求20所述的记录载体，其中所述附加信息包括一个原始屏幕纵横比和一个转换后的屏幕的纵横比。
28.如权利要求20所述的记录载体，其中所述附加信息至少包括指出所述视频流的一个图像帧是否已被转换的信息、关于所述视频流中原始图像帧的信息和一个原始屏幕纵横比中的一个信息。
29.一种图像解码装置，该装置包括输入装置，用于输入包含多媒体编码数据的复用流；分离装置，用于从所述输入装置输入的所述复用流中分离出视频流；解码装置，用于对所述分离装置分离出的所述视频流进行解码；以及处理装置，用于根据所述指出显示基于所述多媒体解码数据与解码后的视频流时匹配错误出现情况的附加信息，对所述解码后的视频流执行预定转换处理。
30.如权利要求29所述的图像解码装置，其特征在于该装置进一步包括获取装置，用于从与所述复用流不同的数据中获取所述附加信息。
31.如权利要求29所述的图像解码装置，其特征在于该装置进一步包括获取装置，用于从复用有所述附加信息的所述复用流中获取所述附加信息。
32.如权利要求29所述的图像解码装置，其特征在于所述处理装置转换所述视频流的图像帧参数。
33.如权利要求29所述的图像解码装置，其特征在于所述处理装置执行的所述转换处理至少包括一个对所述分离装置分离出的所述视频流的解码处理和对该解码后视频流的编码处理。
34.如权利要求29所述的图像解码装置，其特征在于所述附加信息至少包含与原始图像帧相关信息和原始屏幕纵横比中的一个信息。
35.如权利要求29所述的图像解码装置，其特征在于所述附加信息包含一个原始视频格式和一个转换后的视频格式。
36.如权利要求29所述的图像解码装置，其特征在于所述附加信息包括一个原始屏幕纵横比和一个转换后的屏幕的纵横比。
37.如权利要求29所述的图像解码装置，其特征在于所述附加信息至少包括指出所述视频流的一个图像帧是否已被所述转换装置转换的信息、关于所述分离装置分离出的所述视频流中原始图像帧的信息和一个原始屏幕纵横比中的一个信息。
38.一种图像解码方法，该方法包括以下步骤输入包含多媒体编码数据的复用流；从所述输入步骤中输入的所述复用流中分离出视频流；对所述分离步骤中分离出的所述视频流进行解码；根据指出显示基于所述多媒体解码数据解码后的所述视频流时匹配错误出现情况的所述附加信息，对解码后的视频流执行预定转换处理。
39.如权利要求38所述的图像解码方法，其特征在于该方法进一步包括以下步骤从与所述复用流不同的数据中获取所述附加信息。
40.如权利要求38所述的图像解码方法，其特征在于该方法进一步包括以下步骤从复用有所述附加信息的所述复用流中获取所述附加信息。
41.如权利要求38所述的图像解码方法，其特征在于所述处理步骤中转换所述视频流的图像帧参数。
42.如权利要求38所述的图像解码方法，其特征在于所述处理步骤中执行的转换处理至少包括一个对所述分离步骤中分离出的所述视频流的解码处理和对该解码后视频流的编码处理。
43.如权利要求38所述的图像解码方法，其特征在于所述附加信息至少包含与原始图像帧相关信息和原始屏幕纵横比中的一个信息。
44.如权利要求38所述的图像解码方法，其特征在于所述附加信息包含一个原始视频格式和一个转换后的视频格式。
45.如权利要求38所述的图像解码方法，其特征在于所述附加信息包括一个原始屏幕纵横比和一个转换后的屏幕的纵横比。
46.如权利要求38所述的图像解码方法，其特征在于所述附加信息至少包括指出该视频流的一个图像帧是否已被转换的信息、关于视频流中原始图像帧的信息和原始屏幕纵横比中的一个信息。
47.一种记录载体，该载体上记录有一计算机可读程序，该程序包括以下步骤输入包含多媒体编码数据的复用流；从所述输入步骤中输入的所述复用流中分离出视频流；对所述分离步骤中分离出的所述视频流进行解码；根据指出显示基于所述多媒体解码数据解码后的所述视频流时匹配错误出现情况的附加信息，对解码后的视频流执行预定转换处理。
48.一种图像编码装置，该装置包括输入装置，用于输入复用流；分离装置，用于从所述输入装置输入的所述复用流中分离出一视频流；确定装置，用于确定所述输入装置输入的所述复用流中是否包含多媒体编码数据；产生装置，用于在所述确定装置确定复用流中包含所述多媒体编码数据的情况下产生编码控制信息，该信息用于指出不改变所述分离装置分离出的所述视频流的显示格式；转换装置，用于在所述产生装置产生的所述编码控制信息的基础上，对所述分离装置分离出的所述视频流执行预定转换处理；以及复用装置，用于产生包含所述转换装置转换后得到的所述视频流的复用流。
49.如权利要求48所述的图像编码装置，其中所述产生装置指出不改变图像帧、视频格式和纵横比中的任何一个。
50.一种图像编码方法，该方法包括以下步骤输入一复用流；从所述输入步骤输入的所述复用流中分离出一视频流；确定所述输入步骤中输入的所述复用流中是否包含多媒体编码数据；如果所述确定步骤确定所述复用流中包含所述多媒体编码数据，产生编码控制信息，该信息用于指出不改变所述分离装置分离出的所述视频流的显示格式；在所述产生步骤产生的所述编码控制信息的基础上，对所述分离步骤分离出的所述视频流执行预定转换处理；以及产生一个包含所述转换步骤转换后得到的所述视频流的复用流。
51.如权利要求50所述的图像编码方法，其中所述编码控制信息指出不改变图像帧、视频格式和纵横比中的任何一个。
52.一种记录有计算机可读程序的记录载体，所述程序包括以下步骤输入一复用流；从所述输入步骤输入的所述复用流中分离出一视频流；确定所述输入步骤中输入的所述复用流中是否包含多媒体编码数据；如果所述确定步骤中确定所述复用流中包含所述多媒体编码数据，产生编码控制信息，该信息用于指出不改变所述分离装置分离出的所述视频流的显示格式；在所述产生步骤产生的所述编码控制信息的基础上，对所述分离步骤分离出的所述视频流执行预定转换处理；以及产生一个包含所述转换步骤转换后得到的所述视频流的复用流。
53.一种记录载体，记录有指出不改变视频流显示格式的编码控制信息，以及包含有进行了基于所述编码控制信息的预定转换处理后得到的视频流的复用流。
全文摘要
本发明目的在于避免发生在一再编码和记录后的数据与其他数据之间匹配错误。输入到记录装置中的传输流被提供给去复用器和分析块。分析块向一编码控制器输出非视频流信息。编码控制器在输入信息的基础上控制一编码器的编码操作,并向一编码块输出视频编码控制信息。在视频编码控制信息的基础上,编码块产生多媒体显示子信息(例如包括图像帧信息)以防止在重现端发生视频信息和其他信息的匹配错误现象,然后将该信息输入到写入块。写入块将视频流和其他数据与编码块输出的多媒体显示子信息一起记录到一记录载体中。
文档编号H04N7/24GK1336764SQ0112180
公开日2002年2月20日 申请日期2001年6月2日 优先权日2000年6月2日
发明者加藤元树 申请人:索尼公司