专利名称：产生要记录的信息信号的方法和设备的制作方法
技术领域：
本发明涉及一种产生要记录的信息信号的方法、一种再现信息信号的方法、一种传输信息信号的方法、一种产生要记录的信息信号的设备、一种再现信息信号的设备、一种传输信息信号的设备、一种信息信号记录媒体以及一种传输信息信号的计算机程序。
背景技术：
在某些情况下，模拟声频信号和伴有模拟声频信号的模拟视频信号转换为在记录媒体上传输和记录的数字声频信号和数字视频信号。例如，数字声频信号转换为数字视频信号基于压缩编码过程。在数字声频信号和数字视频信号之间易于产生时间误差。
根据用于补偿在声频和视频之间的这种时间误差而设计的公知系统，将与所需的声频重播阶段相关的第一时序信息加入到数字声频信号中，同时将与所需的视频重播阶段相关的第二时序信息加入到数字视频信号中。选择所需的声频重播阶段和所需的视频重播阶段以在声音和图像之间提供同步。在重播的过程中，通过数字声频信号所表示的信息转换为在通过第一时序信息所决定的时刻时的声音，而同时在通过第二时序信息所决定的时刻显示通过数字视频信号所表示的信息。结果，声频的重播和视频的重播彼此同步。
在公知的多路传输或记录系统中，通过多路传输将与相同所需的重播阶段相关的一部分数字声频信号和一部分数字视频信号放置在相同的组中的同时传输或记录它们。这种设计使得声音和图像的同步重播成为可能。
最近，包含压缩编码视频数据和声音数据的多路传输数据有时处理为位流(称为传输流或节目流)的形式，并且这种形式可以使声音和图像的同步重播成为可能。一般地，在这种多路传输数据中并不容易仅仅编辑声音数据。
这种编辑的实例是后期录音，后期录音仅编辑在多路传输数据(位流)中的声音数据并将声音数据以新的数据替换。后期录音比较复杂。
日本专利申请公开6-275018/1994公开了记录和再现设备，该设备运行在记录模式或再现模式中。在日本申请6-275018中的设备的运行的记录模式中，通过压缩编码过程将来自N个源的信息信号转换为第一数字信号，并对第一数字信号进行调制并转换为第二数字信号。分时地将第二数字信号写入到记录媒体中。在运行在再现模式的过程中，分时地从记录媒体中读出第二数字信号，对所读出的第二数字信号进行解调并转换回再现的第一数字信号。再现的第一数字信号转换回再现的信息信号。同时输出再现的信息信号。
日本专利申请公开11-144378/1999公开了后期录音的方法，在这种方法中从数字记录媒体中读出包括视频位流的原始数据。对所读出的原始数据进行解码。与原始数据的解码过程同步地将声音数据编码成新的声频位流。新的声频位流被写入到在时间位置上大致对应于原始数据记录区的数字记录媒体的区域中。
日本专利申请公开P2000-197005A公开了具有区域“A”和区域“B”的信息记录媒体。区域“A”存储包括视频压缩包和声频压缩包的压缩包流。区域“B”存储具有第一、第二和第三信息片段的表。通过参考在表中的第一信息片段，确定在区域“A”中的声频压缩包中有无声频数据对应于无声。在声频压缩包中的声频数据对应于无声的情况下，可以如下地实施后期录音。通过参考在表中的第二和第三信息片段，将新的声频信号编码成新的声频数据，并且将新的声频数据格式化成新的声频压缩包。新的声频压缩包被写在区域“A”中的旧的声频压缩包上。
已有技术中的后期录音将新的声频数据写入到原始多路传输主数据流中，因此原始多路传输主数据流改变为新的数据流。一般地，很难将新的多路传输主数据流再转换回原始数据流。
在已有技术中很难后期录音大量的新的声频信号并在重播的过程中从新的声频信号中选择声频信号。
发明内容
本发明的一个目的是提供一种产生要记录的信息信号的方法，这种方法使得大量的新的声频信号的后期录音、在重播的过程中从新的声频信号中选择一个新的声频信号以及声音和图像的同步重播成为可能。
本发明的第二个目的是提供一种再现信息信号的改善的方法。
本发明的第三个目的是提供一种传输信息信号的改善的方法。
本发明的第四个目的是提供一种产生要记录的信息信号的改善的设备。
本发明的第五个目的是提供一种再现信息信号的改善的设备。
本发明的第六个目的是提供一种传输信息信号的改善的设备。
本发明的第七个目的是提供一种改善的信息信号记录媒体。
本发明的第八个目的是提供一种用于计算机传输信息信号的改善的计算机程序。
本发明的第一方面是提供一种产生要记录的信息信号的方法。该方法包括如下步骤多路传输如下信号1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)基于参考时钟信息信号并指定获得AV多路传输结果信号的视频信号的指示时序的指示时序信息信号；在重播的过程中在与视频信号同步的同时产生第二声频信号作为可以再现的替代第一声频信号的替换重播声频信号；对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号；以及将声音产生时序信息信号加入到第二压缩编码结果声频信号中以获得替换重播声频信号，该声音产生时序信息信号基于参考时钟信息信号并与视频信号的同步化相关。
本发明的第二方面基于本发明的第一方面，提供进一步包括如下的步骤的方法将该替换重播声频信号划分为每个都具有预定的数据大小的包，并将参考时钟信息信号和声音产生时序信息信号与每个包一起多路传输。
本发明的第三方面基于本发明的第一方面，提供一种方法，其中该替换重播声频信号包括分别从压缩编码声频信号中得到的许多辅助替换重播声频信号，并且将不同的标识信号分别加入到辅助替换重播声频信号中。
本发明的第四方面提供一种再现信息信号的方法。该方法包括如下的步骤再现通过多路传输如下的信号产生的AV多路传输结果信号1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)基于参考时钟信息信号并指定视频信号的指示时序的指示时序信息信号；从所再现的AV多路传输结果信号中再现视频信号；再现替换重播声频信号以再现第二声频信号，并通过如下的方式产生该替换重播声频信号1)对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号，以及2)将声音产生时序信息信号加入到第二压缩编码结果声频信号中，该声音产生时序信息信号指定第二压缩编码结果声频信号的声音产生时序；从再现的AV多路传输结果信号中导出参考时钟信息信号和指示时序信息信号；从再现的AV多路传输结果信号中导出压缩编码结果视频信号；对所导出的压缩编码结果视频信号进行解码以得到解码结果视频信号；响应所导出的参考时钟信息信号和所导出的指示时序信息信号将解码结果视频信号作为输出视频信号提供；从所再现的替换重播声频信号中导出声音产生时序信息信号和第二声频信号；响应所导出的参考时钟信息信号和所导出的声音产生时序信息信号将所导出的第二声频信号作为输出声频信号提供；比较参考时钟信息信号和指示时序信息信号以得到第一比较结果；根据第一比较结果将视频信号作为指示目的信号提供；比较参考时钟信息信号和声音产生时序信息信号以得到第二比较结果；根据第二比较结果将第二声频信号作为声音产生目的信号提供。
本发明的第五方面基于本发明的第四方面，提供一种方法，其中该替换重播声频信号包括分别从压缩编码源声频信号中得到的许多辅助替换重播声频信号，并且将不同的标识信号分别加入到辅助替换重播声频信号中，以及其中通过参考标识信号选择源声频信号中的一个源声频信号，以及将所选择的源声频信号和视频信号作为彼此同步的再现信号输出。
本发明的第六方面提供一种传输信息信号的方法。该方法包括如下的步骤通过多路传输如下的信号产生主AV多路传输结果信号1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)基于参考时钟信息信号并指定视频信号的指示时序的指示时序信息信号；并通过如下的方式产生替换重播声频信号1)对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号，以及2)将声音产生时序信息信号加入到第二压缩编码结果声频信号中，该声音产生时序信息信号基于参考时钟信息信号指定第二压缩编码结果声频信号的声音产生时序，其中可以再现第二声频信号替代第一声频信号；产生替换AV多路传输结果信号作为用于将压缩编码结果视频信号连同第二压缩编码结果声频信号一起再现的信号；将替换AV多路传输结果信号反馈到传输线；从替换重播声频信号中导出第二压缩编码结果声频信号；以及将在主AV多路传输结果信号中的第一压缩编码结果声频信号替换为所导出的第二压缩编码结果声频信号以在将替换AV多路传输结果信号反馈到传输线中之前将主AV多路传输结果信号改变为替换AV多路传输结果信号。
本发明的第七方面提供一种产生要记录的信息信号的设备。该设备包括如下装置多路传输如下信号的装置1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)基于参考时钟信息信号并指定获得AV多路传输结果信号的视频信号的指示时序的指示时序信息信号；在重播的过程中在与视频信号同步的同时产生第二声频信号作为可以再现的替代第一声频信号的替换重播声频信号的装置；对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号的装置；以及将声音产生时序信息信号加入到第二压缩编码结果声频信号中以获得替换重播声频信号的装置，该声音产生时序信息信号基于参考时钟信息信号并与视频信号的同步化相关。
本发明的第八方面提供一种再现信息信号的设备。该设备包括如下的装置再现通过多路传输如下的信号产生的AV多路传输结果信号的装置1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)指定视频信号的指示时序的指示时序信息信号；从所再现的AV多路传输结果信号中再现视频信号的装置；再现替换重播声频信号以再现第二声频信号的装置，并通过如下的方式产生该替换重播声频信号1)对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号，以及2)将声音产生时序信息信号加入到第二压缩编码结果声频信号中，该声音产生时序信息信号指定第二压缩编码结果声频信号的声音产生时序；其中可以再现第二声频信号替代第一声频信号；从再现的AV多路传输结果信号中导出参考时钟信息信号和指示时序信息信号的装置；从再现的AV多路传输结果信号中导出压缩编码结果视频信号的装置；对所导出的压缩编码结果视频信号进行解码以得到解码结果视频信号的装置；响应所导出的参考时钟信息信号和所导出的指示时序信息信号将解码结果视频信号作为输出视频信号提供的装置；从所再现的替换重播声频信号中导出声音产生时序信息信号和第二声频信号的装置；响应所导出的参考时钟信息信号和所导出的声音产生时序信息信号将所导出的第二声频信号作为输出声频信号提供的装置。
本发明的第九方面基于本发明的第八方面，提供一种设备，其中该替换重播声频信号包括分别从压缩编码源声频信号中得到的许多辅助替换重播声频信号，并且将不同的标识信号分别加入到辅助替换重播声频信号中，以及其中通过参考标识信号选择源声频信号中的一个源声频信号，以及将所选择的源声频信号和视频信号作为彼此同步的再现信号输出。
本发明的第十方面提供一种传输信息信号的设备。该设备包括如下的装置通过多路传输如下的信号产生主AV多路传输结果信号的装置1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)基于参考时钟信息信号并指定视频信号的指示时序的指示时序信息信号；并通过如下的方式产生替换重播声频信号的装置1)对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号，以及2)将声音产生时序信息信号加入到第二压缩编码结果声频信号中，该声音产生时序信息信号基于参考时钟信息信号指定第二压缩编码结果声频信号的声音产生时序，其中可以再现第二声频信号替代第一声频信号；产生替换AV多路传输结果信号作为用于将压缩编码结果视频信号连同第二压缩编码结果声频信号一起再现的信号的装置；将替换AV多路传输结果信号反馈到传输线的装置；从替换重播声频信号中导出第二压缩编码结果声频信号的装置；以及将在主AV多路传输结果信号中的第一压缩编码结果声频信号替换为所导出的第二压缩编码结果声频信号以在将替换AV多路传输结果信号反馈到传输线中之前将主AV多路传输结果信号改变为替换AV多路传输结果信号的装置。
本发明的第十一方面提供一种信息信号记录媒体，该记录媒体具有存储AV多路传输结果信号和替换重播声频信号两种信号的公共表面；通过多路传输如下的信号产生该AV多路传输结果信号1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)指定视频信号的指示时序的指示时序信息信号；通过如下的方式产生替换重播声频信号1)对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号，以及2)将第二参考时钟信息信号加入到第二压缩编码结果声频信号中，其中可以再现第二声频信号替代第一声频信号；其中加入到第二压缩编码结果声频信号中的第二参考时钟信息信号等于在AV多路传输结果信号中的第一参考时钟信息信号，以及第二压缩编码结果声频信号包含多路传输的分量，该分量是基于第一和第二参考时钟信息信号中的一个信号并与视频信号同步化相关的声音产生时序信息信号；以及其中响应在AV多路传输结果信号中的第一参考时钟信息信号再现该视频信号，以及响应与用于视频信号的再现的信号相同的参考时钟信息信号使第二声频信号的再现与视频信号的再现同步。
本发明的第十二方面提供一种传输信息信号的计算机程序。该计算机程序包括如下的步骤通过多路传输如下的信号产生主AV多路传输结果信号1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)基于参考时钟信息信号并指定视频信号的指示时序的指示时序信息信号；并通过如下的方式产生替换重播声频信号1)对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号，以及2)将声音产生时序信息信号加入到第二压缩编码结果声频信号中，该声音产生时序信息信号基于参考时钟信息信号指定第二压缩编码结果声频信号的声音产生时序，其中可以再现第二声频信号替代第一声频信号；产生替换AV多路传输结果信号作为用于将压缩编码结果视频信号连同第二压缩编码结果声频信号一起再现的信号；将替换AV多路传输结果信号反馈到传输线；从替换重播声频信号中导出第二压缩编码结果声频信号；以及将在主AV多路传输结果信号中的第一压缩编码结果声频信号替换为所导出的第二压缩编码结果声频信号以在将替换AV多路传输结果信号反馈到传输线中之前将主AV多路传输结果信号改变为替换AV多路传输结果信号。
附图1所示为根据本发明的第一实施例的信息信号记录和再现系统的方块图。
附图2所示为MPEG编码器的方块图。
附图3所示为MPEG解码器的方块图。
附图4所示为MPEG系统解码设备的方块图。
附图5所示为在MPEG传输流(TS)、MPEG节目流(PS)和分包的单元流(PES)中的关系附图。
附图6所示为TS包的格式的附图。
附图7所示为响应包ID(PID)接收TS包的流程图。
附图8所示为在本发明的第一实施例中的信息信号记录设备的方块图。
附图9所示为在本发明的第一实施例中的信息信号再现设备的方块图。
附图10所示为记录在信息信号记录媒体中的信息的文件结构的附图。
附图11所示为在附图10中文件“SIDE.ifo”的结构的附图。
附图12所示为在附图11中第二级程序段“GENERAL_IFO”的语法结构的附图。
附图13所示为在附图11中的第三级程序段“PR_IFO_0”的结构的附图。
附图14所示为在附图13中的第四级程序段“PROG_IFO”的语法结构的附图。
附图15所示为在附图11中播放列表信息“PLAYL_IFO”的语法结构的附图。
附图16所示为在附图13中的索引信息“INDEX_IFO”的语法结构的附图。
附图17所示为记录在硬盘上的传输流(TS)的格式的附图。
附图18所示为在本发明的第一实施例中的信息信号传输设备的方块图。
附图19所示为在附图18中的CPU的控制程序段的流程图。
具体实施例方式
第一实施例附图1所示为根据本发明的第一实施例的信息信号记录和再现系统。附图1的系统包括信息信号产生设备10、记录媒体驱动器20、信息信号记录媒体25和信息信号再现设备30。信息信号产生设备10具有视频编码器11、声频编码器11a和多路复用器15。记录媒体驱动器20与信息信号产生设备10和信息信号再现设备30连接。记录媒体驱动器20可以将信息信号写在记录媒体25中并从记录媒体25中读信息信号。硬盘记录器/读取器或光盘记录器/读取器可以用作记录媒体驱动器20。包含了信息信号的文件可以记录在记录媒体25上。具体地说，AV(声频-视频)多路传输的结果文件25a和后期录音声频文件25b可以存储在记录媒体25中。可取的是，记录媒体25具有在其上记录了AV多路传输结果文件25a和后期录音声频文件25b的记录表面。信息信号再现设备30具有多路信号分解器36、信号选择器37、视频解码器45和声频解码器45a。可取的是，信息信号再现设备30连接到监视器TV设备。
附图1的系统运行在可以从包括记录模式、第一重播模式和第二重播模式中选择的不同的模式中。在运行在记录模式的过程中，视频编码器11接收伴有第一声频信号的视频信号。视频编码器11根据视频编码的MPEG(运动图象专家组)标准将所接收的视频信号压缩编码成压缩编码结果视频信号。因此，视频编码器11包括MPEG编码器(MPEG视频编码器)。视频编码器11将压缩编码结果视频信号反馈到多路复用器15的第一输入端中。
声频编码器11a接收伴有视频信号的第一声频信号。声频编码器11a根据声频编码的MPEG标准将该第一声频信号压缩编码成第一压缩编码结果声频信号。声频编码器11a将第一压缩编码结果声频信号反馈给多路复用器15的第二输入端。
装置15根据MPEG系统标准将压缩编码结果视频信号和第一压缩编码结果声频信号多路复用成AV多路传输结果信号。多路复用器15将该AV多路传输结果信号输出到记录媒体驱动器20。记录媒体驱动器20将该AV多路传输结果信号记录在记录媒体25作为AV多路传输结果文件25a。
在AV多路传输结果文件25a的记录完成之后，将第二声频信号开始记录在记录媒体25上作为不同于AV多路传输结果文件25a的后期录音声频文件25b。具体地说，声频编码器11a接收第二声频信号(后期录音目的声频信号)。声频编码器11a根据声频编码的MPEG标准将第二声频信号压缩编码成第二压缩编码结果声频信号。声频编码器11a将该第二压缩编码结果声频信号反馈到多路复用器15。多路复用器15将第二压缩编码结果声频信号传输到记录媒体驱动器20。记录媒体驱动器20将第二压缩编码结果声频信号记录在记录媒体25作为后期录音声频文件25b。
第二声频信号不同于第一声频信号的内容。第二声频信号与先前所提到的视频信号同步地产生。例如，在再现视频信号的同时产生第二声频信号。在拍摄要产生的视频信号的景物的同时通过采集拍摄的景物的现场的声音产生第一声频信号。在另一方面，产生第二声频信号作为在拍摄景物之后播放的叙述或背景音乐的表示。第二声频信号也称为后期录音目的声频信号。
具有完美的声频和视频信息的AV信号被称为完整包信号(完整电视节目信号)。在用户或第三人从与在完整包信号中的视频信号相同的视频信号和与在完整包中的声频信号不同的声频信号中制作从由完整包信号所代表的节目修改的AV节目的情况下，该声频信号定义为后期录音目的声频信号。
附图1的系统还设计成同步地再现在完整包信号中的视频信号和第二声频信号(后期录音声频信号)，并且还能够再现完整包信号。此外，附图1的系统还设计成降低了记录在记录媒体25上的信息量。
如前文所述，AV多路传输结果信号记录在记录媒体25上作为AV多路传输结果文件25a。一般地，AV多路传输结果信号与完整包信号相关。在AV多路传输结果文件25a中的声频信息和视频信息可以同步地重播。第二声频信号记录在记录媒体25作为不同于AV多路传输结果文件25a的后期录音声频文件25b。正如下文将会解释到，将同步信号加入到AV多路传输结果文件25a和后期录音声频文件25b中以使在后期录音声频文件25b中的声频信息和在AV多路传输结果文件25a中的视频信息的同步播放成为可能。
在附图1中的系统的操作模式包括第一重播模式和第二重播模式。操作的第一重播模式设计成再现完整包信号。在操作的第一重播模式中，记录媒体驱动器20访问在信息信号记录媒体25上的AV多路传输结果文件25a并从其中读出AV多路传输结果信号。记录媒体驱动器20将所读出的AV多路传输结果信号反馈到多路信号分解器36中。
多路信号分解器36根据MPEG系统标准将AV多路传输结果信号分解为压缩编码结果视频信号和第一压缩编码结果声频信号。多路信号分解器36将压缩编码结果视频信号反馈到视频解码器45。多路信号分解器36将第一压缩编码结果声频信号反馈到信号选择器37。
视频解码器45根据视频解码的MPEG标准将压缩编码结果视频信号扩展地解码成原始视频信号。因此，视频解码器45包括MPEG解码器(MPEG视频解码器)。视频解码器45将再现的视频信号反馈到监视器TV设备。监视器TV设备的显示器指示所再现的视频信号。
信号选择器37将第一压缩编码结果声频信号传输到声频解码器45a。声频解码器45a根据声频解码的MPEG标准将第一压缩编码结果声频信号扩展地解码成第一原始声频信号(第一再现的声频信号)。声频解码器45a将第一再现的声频信号反馈到监视器TV设备。监视器TV设备的扬声器将第一再现的声频信号转换为对应的声音。第一再现的声频信号的重播与再现的视频信号的重播同步。
操作的第二重播模式设计成同步地再现在完整包信号中的视频信号和第二声频信号(后期录音声频信号)。在操作的第二重播模式的过程中，记录媒体驱动器20分时地交替地访问在信息信号记录媒体25上的AV多路传输结果文件25a和后期录音声频文件25b。记录媒体驱动器20从AV多路传输结果文件25a中读出AV多路传输结果信号。记录媒体驱动器20将所读出的AV多路传输结果信号反馈到多路信号分解器36中。记录媒体驱动器20从后期录音声频文件25b中读出第二压缩编码结果声频信号。记录媒体驱动器20将该第二压缩编码结果声频信号反馈到信号选择器37中。
多路信号分解器36根据MPEG系统标准将AV多路传输结果信号分解成压缩编码结果视频信号和第一压缩编码结果声频信号。多路信号分解器36将压缩编码结果视频信号反馈到视频解码器45。多路信号分解器36将第一压缩编码结果声频信号反馈到信号选择器37。
视频解码器45根据视频解码的MPEG标准将压缩编码结果视频信号扩展地解码成原始视频信号(再现的视频信号)。视频解码器45将再现的视频信号反馈到监视器TV设备。监视器TV设备的显示器指示所再现的视频信号。
信号选择器37选择第二压缩编码结果声频信号并将所选则的信号传输到声频解码器45a。因此，信号选择器37拒绝来自多路信号分解器36的第一压缩编码结果声频信号。声频解码器45a根据声频解码的MPEG标准将第二压缩编码结果声频信号扩展地解码成第二原始声频信号(第二再现的声频信号)。第二再现的声频信号是再现的后期录音目的声频信号。声频解码器45a将第二再现的声频信号反馈到监视器TV设备。监视器TV设备的扬声器将第二再现的声频信号(再现的后期录音目的声频信号)转换成相应的声音。第二再现的声频信号的重播与再现的视频信号的重播同步。如下文所描述，通过给在AV多路传输结果文件25a中的视频信息和在后期录音声频文件25b中的声频信息中增加同步信号提供了在第二再现的声频信号的重播和在再现的视频信号的重播之间的同步化。
附图1的系统包括用户接口。用户可以通过启动用户接口指定在附图1中的系统的操作的模式。信号选择器37响应来自用户接口的信号，该信号表示操作的指定模式是第一重播模式还是第二重播模式。在所指定的操作模式是第一重播模式时，信号选择器37将来自多路信号分解器36的第一压缩编码结果声频信号传输到声频解码器45a。在另一方面，在所指定的操作模式是第二重播模式时，信号选择器37选择第二压缩编码结果声频信号并将所选择的信号传输给声频解码器45a。
附图2所示为可以用作在视频编码器11(参见附图1)中的解码器的MPEG解码器50。MPEG解码器50包括作为减法器运行的减法器52。减法器52通过输入端51接收输入的视频信号Vin。减法器52计算帧间预测误差，即在由输入的视频信号Vin所代表的图像和通过来自运动补偿预测器65的输出数据所代表的最终参考图像(最终预测图像)之间的残差(误差)。减法器52输出指示所计算的残差的数据(所计算的帧间预测误差)。
通过运动补偿预测器65所实施的预测设计如下。预测方向具有三种模式，即，自过去起的方向(“前向”)、自将来起的方向(“后向”)和自过去和将来两者的方向(“内插”)。因此，存在自过去的预测(“前向”)、自将来的预测(“后向”)和自过去和将来两者的预测(“内插”)。实际使用的预测方向可以一个MB一个MB地改变，这里MB表示16×16像素的微块。每个图像划分为预定数量的MB。通过由输入的视频信号Vin所表示的每个图像的类型基本决定了实际使用的预测方向。图像被分为P图像(预测性编码图像)、B图像(双向预测性编码图像)和I图像(内编码图像)。代表P图像的MB是第一和第二模式。根据自过去的预测对第一模式的P-图像MB进行编码。对第二模式的P图像MB独立地进行编码而不进行预测。代表B图像的MB是第一、第二、第三和第四模式。根据自将来的预测对第一模式的B图像MB进行编码。根据自过去的预测对第二模式的B图像MB进行编码。根据自过去和将来两者的预测对第三模式的B图像MB进行编码。对第四模式的B图像MB独立地进行编码而不进行预测。对代表I图像的MB独立地进行编码而不进行预测。
通过运动补偿预测器65所实施的运动补偿设计如下。根据运动补偿，对每个MB执行在两个图像之间匹配的模式以便以对应于半像素的精度检测一个或多个运动矢量。两个图像中的一个图像由输入的视频信号Vin给定，而另一图像称为运动补偿预测的源图像或基本参考图像。基本参考图像根据所检测的运动矢量平移。基于基本参考图像的平移产生最终的参考图像(最终预测图像)。在不存在运动补偿的情况下，基本参考图像直接用作最终参考图像。一般地，运动矢量具有水平方向分量和垂直方向分量。代表所检测的运动矢量或所检测的运动矢量的信息和代表预测方向或指示从其中实施预测的源图像的MC-模式(运动补偿模式)信息作为与每个MB相关的相加的信息传输。GOP(图像组)定义为从I图像开始并在下一个I图像直接之前的图像上结束的图像序列。一般地，一个GOP具有大约15个连续的图像。
通过DCT装置53对从减法器52中输出的剩余指示数据进行离散余弦变换(DCT)。具体地说，DCT装置53将由剩余指示数据所表示的每个MB划分为4个DCT块，每个DCT块具有8×8个像素。DCT装置53对每个DCT块进行二维DCT以产生表示DCT系数的数据。DCT装置53输出所产生的DCT系数数据。一般地，由于在低频分量中视频信号富裕，因此产生了对应于低频的许多有效的DCT系数。
通过量化器54响应量化值对通过DCT装置53的输出数据所表示的DCT系数进行量化。该量化值等于量化矩阵乘以标量的量化比。量化矩阵具有从根据视觉对二维频率分量进行加权的过程中得到的8×8个元素。量化包括将DCT系数除以量化值的步骤。
从量化器54中输出的量化结果数据通过VLC装置55编码成可变长度代码(VLC)数据。具体地说，通过DPCM(差分脉码调制技术)对量化结果数据的直流(DC)分量进行编码。沿着从高频朝低频的方向以Z字形扫描量化结果数据的交流(AC)分量，并进行赫夫曼(Huffman)编码，在这种编码中将具有较高的发生概率的数据段分配给较短的代码字。VLC装置55从运动补偿预测器65中接收运动矢量信息和MC-模式信息。VLC装置65将运动矢量信息和MC模式信息加入到VLC数据中。所得的VLC数据临时存储在缓冲器56中。以预定的传输率将VLC数据从缓冲器56中输出作为位流形式的编码结果MPEG数据。
缓冲器56通知代码量控制器57每个MB的编码结果数据的实际量，即构成每个MB的编码结果数据的总位数。代码量控制器57计算在编码结果数据的实际量和它的目标量之间的误差。代码量控制器57响应所计算的数据量的误差调整由量化器54所使用的量化比，由此控制量编码结果数据的实际量。
通过反向量化器61对从量化器54所输出的量化结果数据进行反向量化，即转换回DCT系数数据。反向量化器61输出DCT系数数据。通过反向DCT装置62对从反向量化器61中输出的DCT系数数据进行反向DCT，即转换回剩余指示数据。反向DCT装置62输出剩余指示数据。由从反向DCT装置62中输出的数据所表示的剩余图像和从运动补偿预测器65中输出的数据所表示的最终参考图像(最终预测图像)通过加法器63相加。加法器63输出相加的结果视频数据。相加的结果视频数据临时存储在存储器64中。视频数据从存储器64中反馈到运动补偿预测器65中。运动补偿预测器65使用来自存储器64的输出视频数据作为运动补偿预测的源图像或者基本参考图像的指示。
附图3所示为能够用作在视频解码器45(参见附图1)中的解码器的MPEG解码器70。MPEG解码器70包括缓冲器72。缓冲器72通过输入端71接收位流形式的编码结果MPEG数据。编码结果MPEG数据在输出到VLD(可变长度解码)装置73中之前临时地存储在缓冲器72中。VLC装置73对从缓冲器72中输出的数据相对于VLD进行VLD反向，由此接收DC分量数据和AC分量数据。沿着从高频到低频的方向以Z字形扫描AC分量数据。DC分量数据和所得的AC分量数据以8×8个元素的矩阵设置。VLD装置73将矩阵设置的数据输出到反向量化器74中。VLD装置73从缓冲器72输出的数据中抽取运动矢量信息和MC模式信息。VLD装置73将运动矢量信息和MC模式信息输出到运动补偿预测器78中。
反向量化器74响应量化值对从VLD装置73中输出的数据进行反向量化，由此恢复了DCT系数数据。反向量化包括将所处理的数据值乘以量化值的步骤。应该指出的是，量化值等于量化矩阵乘以标量量化比。DCT系数数据从反向量化器74中输出到反向DCT装置75中，进行反向DCT，并由此转换回剩余指示数据。反向DCT装置75输出剩余指示数据。由从反向DCT装置75中输出的数据所表示的剩余图像和由从运动补偿预测器78中输出的数据所表示的最终参考图像(最终预测图像)通过加法器76相加。加法器76输出相加的结果视频数据作为解码结果视频数据(原始视频数据)。解码剩余视频数据朝外部发送。从加法器76中输出的相加的结果视频数据临时存储在存储器77中。视频数据从存储器77中反馈到运动补偿预测器78中。运动补偿预测器78使用从存储器77中输出的视频数据作为运动补偿预测的基本参考图像或源图像的指示。运动补偿预测器78响应基本参考图像、运动矢量信息和MC-模式信息产生最终参考图像(最终预测图像)。运动补偿预测器78输出表示最终参考图像的数据。
MPEG系统标准规定了如下的五项。
1)许多编码结果位流的同步再现；2)许多编码结果位流多路复用成单个位流；3)在再现开始时对在缓冲器(在附图3中的缓冲器72)的编码结果数据的初始化；4)对在缓冲器中的数据的管理以获得连续的解码结果视频信号和连续的解码结果声频信号；以及5)与时序(比如解码开始时序和重播指示时序)的设置相关的管理。
因此根据MPEG系统的标准，实施与编码结果数据相关的管理。将编码结果数据格式化或处理成包结构的数据并且进行多路复用。在上述的项目中实施操作步骤的管理数据加入到多路复用结果数据中。
符合MPEG系统标准的信息的多路复用包括对该信息分包的步骤。例如，在要求对视频信息和声频信息进行多路复用的情况下，将视频信息和声频信息中的每种信息分为具有适合长度的包。附加的信息比如标题信息加入到每个包中。在包序列发送之前视频信息包和声频信息包混合到包序列中。因此，视频信息包和声频信息包分时地发送。标题信息包括了识别相关的包是视频包、声频包或其它的包的信息以及用于同步的时序信息。一般来说，包的长度取决于传输介质和应用。例如，在ATM(异步传输模式)的情况下包的长度等于53个字节。在光盘的情况下包的长度等于4千个字节。根据MPEG系统的标准，包的长度可变，并且可以设定为任意的值。
要传输的数据划分为压缩包(pack)，并且进行分包。一个压缩包由几个包(packet)构成。每个压缩包的标题部分带有包开始代码和SCR(系统时钟基准)。每个包的标题带有流ID和时间标记。时间标记包含在声频和视频之间同步化的时序信息。时间标记是分别称为DTS(解码时间标记)和PTS(表示时间标记)的两种类型中的一种。传输的数据包含了指示27MHz的频率的周期性产生的PCR(节目时钟参考)。与解码器公共的参考时钟锁定到由PCR所指示的频率中。DTS指示了在相关的包中的第一访问单元的所需的解码开始时间，而PTS指示所需的指示开始时间(所需的重播开始时间)。一个访问单元对应于在视频情况中的一个图像。在声频情况下一个访问单元对应于1152个采样。基于通过PCR所指示的频率以一定的时间精度给定DTS和PTS。
PCR用作基准时钟信息信号。在视频包的情况下，PTS用作指定相关的视频信息的指示的时序的指示时序信息信号。在声频包的情况下，PTS用作指定将相关的声频信息转换为对应的声音的时序的声音产生时序信息信号。
附图4所示为MPEG系统解码设备，该设备包括系统解码器81，该系统解码器81接收包含有视频信息和声频信息的多路复用结果数据(系统位流)。系统解码器81对所接收的数据进行多路分解为视频数据和声频数据。系统解码器81将声频数据输出到声频解码器(MPEG声频解码器)82中。系统解码器81将视频数据输出到视频解码器(MPEG视频解码器)83中。此外，系统解码器81从所接收的数据中抽取每个PCR、每个视频DTS、每个声频DTS、每个视频PTS和每个声频PTS。系统解码器81还可以从所接收的数据中抽取每个SCR。系统解码器81将PCR(或者SCR)输出到时钟控制电路84。系统解码器81将视频DTS、声频DTS、视频PTS和声频PTS输出到比较电路85中。
时钟控制电路84包括产生表示参考时钟时间的参考时钟信号的振荡器。时钟控制电路84将振荡器的振荡频率锁定到由PCR所表示的频率。因此，基于PCR确定了参考时钟时间。时钟控制电路84通知比较电路85参考时钟时间，即由参考时钟信号所表示的时间。
比较电路85将由声频DTS所表示的时间与参考时钟时间进行比较以决定声频DTS时间是否符合参考时钟时间。在声频DTS时间符合参考时钟时间时，比较电路85命令声频解码器82开始声频数据的解码。声频解码器82实施声频数据的解码。声频解码器82将解码结果声频数据存储在存储器86中。比较电路85将由视频DTS所表示的时间与参考时钟时间进行比较以确定视频DTS时间是否符合参考时钟时间。在视频DTS时间符合参考时钟时间时，比较电路85命令视频解码器83开始视频数据的解码。视频解码器83实施视频数据的解码。视频解码器83将解码结果视频数据存储在存储器87中。
比较电路85将由声频PTS所指示的时间与参考时钟时间进行比较以确定声频PTS时间是否符合参考时钟时间。在声频PTS时间符合参考时钟时间时，比较电路85启动存储器86以输出解码结果声频数据用于重播的目的或者声音产生的目的。比较电路85将由视频PTS所表示的时间与参考时钟时间进行比较以确定视频PTS时间是否符合参考时钟时间。在视频PTS时间符合参考时钟时间时，比较电路85启动存储器87以输出解码结果视频数据用于表示目的。预先设定视频PTS和声频PTS以使解码结果视频数据和解码结果声频数据从存储器86和87中可以同步地输出。因此，视频信息和声频信息可以同步地重播。
考虑到附图4的MPEG系统解码设备的一部分对应于临时存储许多类型的解码结果数据和实施许多类型的数据的同步再现的虚拟解码器。虚拟解码器称为STD(系统目标解码器)。指定多路复用结果位流以使在STD中的存储既不上溢也不下溢。
MPEG系统标准规定了传输流(TS)和节目流(PS)。通过分包的单元流(PES)和带有其它的信息的包形成TS或PS。PES定义为用于在TS和PS之间转换或变换的中间流。例如通过对编码结果MPEG视频数据、编码结果MPEG声频数据或者专用流进行分包产生PES。
具有公共参考时间的内容节目的视频和声频数据可以多路复用在PS中。PS包括包序列。PS的包层称为“PES”。参考附图5，PS的包层与TS的包层公共以在PS和TS之间提供兼容性。根据PS的STD模型，通过在PES包中的流ID将要解码的位流的解码模式切换到PS侧。
具有公共参考时间的内容节目的视频和声频数据还可以多路复用到TS中。此外，将在参考时间中不同的内容节目的视频和声频数据多路复用成TS。通过固定长度的包序列(即，188字节的包(TS包))形成TS。TS被设计用于由传输线所引起的数据误差的系统中。从上文的解释中可以理解的是，TS是表示多重内容节目的数据流。虽然TS包排在PES包之前，但是TS包通常短于PES包。一般地，将一个PES包划分为几段，而PES包段分别放置在多个TS包中。根据TS的STD模型，通过在TS包中的包ID(PID)将要解码的位流的解码模型切换到PS侧。
参考附图6，TS包具有以此顺序设置的标题、自适应域(AF)和有效负载。标题包括以此顺序设置的同步字节、误差指示器、单元开始指示器和传输包优先标志。在该标题中，传输包优先标志后跟着指示在相关的包中的有效负载的类型的PID(在相关的包中的有效负载中的数据类型)。在该标题中，PID后连续跟着扰频控制信息片段、AF控制信息片段和循环计数器。标题的尾部是循环计数器。AF控制信息片段表示在相关的包中是否存在自适应域。在AF控制信息片段表示不存在自适应域时，标题后紧跟着有效负载。在另一方面，在AF控制信息片段表示存在自适应域时，标题后连续跟着自适应域(AF)和有效负载。循环计数器指示关于相关的包的连续性。一般地，自适应信息放置在自适应域(AF)中，同时内容数据比如视频数据或声频数据放置在有效负载中。无效的数据(比如哑数据)可以放置在有效负载中。
如附图6所示，自适应域包括可选择的域。可选择的域的48位前端带有PCR。
处理TS的MPEG系统解码设备被设计成在接收和解码过程中提供检测在TS包中的PID并根据所检测的PID对TS包进行分类的机构。具体地说，参考附图7，TS包搜索在阶段S1具有PID＝0的一个包。换句话说，接收PID＝0的TS包。PID＝0的TS包称为PAT(节目关联表)包。PAT包带有表示在节目号(内容节目ID号)FR和基于链接的专用PID之间的关系(即，在内容节目和专用PID之间的关系)的PAT信息。在阶段S1之后的阶段S2中，检测在PAT包中的PAT信息。每个专用PID对应于PMT(节目映射表)包。PMT包带有表示在相关的内容节目、在表示相关的内容节目的视频包中的PID和在表示相关的内容节目的声频包中的PID之间的关系的PMT信息。从内容节目中事先选择一个节目作为所需的内容节目。在阶段S2中，参考在PAT包中的PAT信息检测对应于所需的内容节目的专用PID。在阶段S2之后的阶段S3中，接收或搜索具有与所检测的专用PID相同的PID的PMT包。在阶段S3之后的阶段S4中，访问所接收的PMT包以获得PMT信息。根据在所访问的PMT包中的PMT信息，检测在表示所需的内容节目的视频包和声频包中的PID。此外，检测与所需的内容节目相关的同步时钟包中的PID。在阶段S4之后的阶段S5a中，接收对应于所检测的视频包PID的TS包。在阶段S4之后的阶段S5b中，接收对应于所检测的声频包PID的TS包。从所接收的TS包中抽取声频信息。在阶段S4之后的阶段S5c中，接收对应于所检测的同步时钟包PID的TS包。从所接收的TS包中抽取同步时钟信息。这样，响应所检测的PID访问表示所需的内容节目的视频包和声频包。通过参考PAT和PMT实施到所需的内容节目的输入。PAT和PMT称为PSI(节目专用信息)。
附图8所示为可用作在附图1中的信息信号产生设备10的信息信号产生设备10a。如附图8所示，信息信号产生设备10a包括与CPU17连接的用户接口17a。用户接口17a可以由用户支配。CPU17具有输入/输出端口、处理部分、ROM和RAM的结合。CPU17根据存储在ROM和RAM中的控制程序运行。控制程序被设计成启动CPU17以实施后面所提到的运行步骤。通过处理用户接口17a，信息信号产生设备10a的操作可以在不同的模式中改变，包括第一模式和第二模式。第一运行模式设计成记录完整包信号，即主数据包含声频信息和视频信息。第二运行模式设计成记录后期录音目的声频数据。在处理用户接口17a时，从其中将运行模式指定信号输入到CPU17中。运行模式指定信号指示第一运行模式和第二运行模式中的哪种模式是所需的。CPU17将运行模式指定信号传输给信号选择器16。
在运行模式指定信号指示第一运行模式是所需的时，即在需要记录主数据时，信息信号产生设备10a运行如下。输入视频数据(视频信号)反馈到视频编码器11，而伴有输入视频数据的输入声频数据(第一声频信号)反馈到声频编码器11a。视频编码器11和声频编码器11a类似于在附图1中的视频编码器11和声频编码器11a。一般地，输入视频数据和输入声频数据都表示内容节目(公共声频视频节目)，并且彼此同步。视频编码器11实施输入视频数据的MPEG编码以产生编码结果视频数据。编码结果视频数据从视频编码器11发送到PES分包装置12。声频编码器11a实施输入声频数据的MPEG编码以产生编码结果声频数据。该编码结果声频数据从声频编码器11a发送到PES分包装置12a。PES分包装置12将编码结果视频数据转换为一系列的PES包。将PES包序列从PES分包装置12发送到时间标记记录器13。PES分包装置12a将编码结果声频数据转换为一系列的PES包。将PES包序列从PES分包装置12a发送到时间标记记录器13a。
信号发生器14给时间标记记录器13和13a输出27MHz的时钟信号。时间标记记录器13响应27MHz的时钟信号产生时序信息片段，即，PCR和周期更新的时间标记(视频PTS和视频DTS)。时间标记记录器13在每个PES包中记录PCR、PTS和DTS。增加了时序信息的PES包从时间标记记录器13中顺序地发送给多路复用器15。时间标记记录器13a响应27MHz的时钟信号产生PCR和周期性更新的时间标记(声频PTS和声频DTS)。时间标记记录器13a在每个PES包中记录PCR、PTS和DTS。增加了时序信息的PES包从时间标记记录器13a中顺序地发送给多路复用器15。多路复用器15对来自时间标记记录器13的PES包和来自时间标记记录器13a的PES包进行多路复用以产生PS格式或TS格式的多路复用结果数据(主数据)。将多路复用结果数据从多路复用器15发送到信号选择器16中。
信号选择器16响应操作模式指定信号，选择多路复用结果数据(主数据)并将多路复用结果数据传递给缓冲器18。在将多路复用结果数据从缓冲器中输出到记录控制器19之前将多路复用结果数据存储在其中。记录控制器19将主数据(多路复用结果数据)记录在信息信号记录媒体25作为具有名称为“PR….dat”的AV多路传输结果文件25a(参见附图10)。
通过时间标记记录器13所记录的视频PTS和视频DTS和通过时间标记记录器13a所记录的声频PTS和声频DTS成这样关系使从所记录的主数据中可以同步地再现视频信息和声频信息。
在操作模式指定信号指示需要第二操作模式时，即在需要记录后期录音目的声频数据时，如下操作信息信号产生设备10a。CPU17将后期录音目的声频数据的标识信息(ID信息)发送给PES分包装置12a。将后期录音目的声频数据(第二声频信号)反馈给声频编码器11a。声频编码器11a对后期录音目的声频数据实施MPEG编码以产生编码结果声频数据。将编码结果声频数据从声频编码器11a发送给PES分包装置12a。
PES分包装置12a将后期录音ID信息加入到编码结果声频数据中，并将加入了ID的编码结果视频数据转换为PES包序列。将PES包序列从PES分包装置12a发送给时间标记记录器13a。
信息信号再现设备访问在记录媒体25上的AV多路传输结果文件25a，并从其中读出多路复用结果数据(主数据)。该信息信号再现设备从所读出的多路复用结果数据中分离并再现视频信号。具体地说，由信息信号产生设备10a和信息信号再现设备共同拥有的读控制器19a访问记录媒体25并再现该视频信号。此外，读控制器19a从所再现的视频信号中抽取每个PCR、每个视频PTS和每个视频DTS。可替换的是，通过在信息信号再现设备中的标识信息检测器可以获得与所再现的视频信号相关的PCR、视频PTS和视频DTS。读控制器19a将所抽取的PCR发送到信号发生器14。读控制器19a通知CPU17所抽取的视频PTS和所抽取的视频DTS。信号发生器14将27兆赫兹的时钟信号锁定到由所抽取的PCR指示的频率。
信号发生器14给时间标记记录器13a输出27-兆赫兹的时钟信号。时间标记记录器13a在受CPU17控制的同时，响应27-兆赫兹的时钟信号产生时序信息片段，即PCR和周期性更新的时间标记(声频PTS和声频DTS)。响应所抽取的视频PTS和所抽取的视频DTS，通过CPU17对时间标记记录器13a的控制实施了声频PTS和声频DTS的管理，由此在后期录音目的声频信号的声频信息和在所记录的主数据(AV多路传输结果文件25a)中的视频信息之间提供同步关系。时间标记记录器13a记录在每个PES包中的PCR、声频PTS和声频DTS。可取的是，将PCR、声频PTS和声频DTS设置成等于在记录主数据的过程中已经加入到每个声频PES包中的PCR、声频PTS和声频DTS。在这种情况下，在后期录音声频数据与在所记录的主数据中的视频信息之间的计时关系与在所记录的主数据中的声频信息与在其中的视频信息之间的计时关系相同。时序信息相加的PES包顺序地从时间标记记录器13a发送到信号选择器16而不通过多路复用器15传输。信号选择器16响应操作模式指定信号选择通过时间标记记录器13a所输出的数据(PES包序列)，并将所选择的数据传输到缓冲器18a。在将所选择的数据从缓冲器18a输出到记录控制器19之前将其存储在该缓冲器中。记录控制器19记录从在记录媒体25中的缓冲器18a中输出的数据作为后期录音声频数据。在记录媒体25中的后期录音声频数据放在名称为“AF….dat”的后期录音声频文件25b中(参见附图10)。可取的是，记录控制器19和信息信号再现设备(读控制器19a)可以分时地交替地周期性地访问记录媒体25。
类似地，第三和在后的声频信号(第二和在后的后期录音目的声频信号)可以记录在记录媒体25分别作为第二和在后的后期录音声频文件。例如，包含第M次后期录音声频信号的后期录音声频文件的名称为“AF….dat”。
根据后面提到的信息，将后期录音目的声频数据记录在信息信号记录媒体25作为播放清单信息。具体地说，在PL文件夹中将第一后期录音目的声频数据记录成名称为“AF-1.dat”的文件(参见附图10)。此外，记录第二和在后的后期录音目的声频数据。此外，在PL文件夹中将第m后期录音目的声频数据记录成名称为“AF-m.dat”的文件(参见附图10)。因此，记录了“m”种不同类型的后期录音目的声频数据。信息片段“AF_number”(参见附图15)识别后期录音目的声频数据。由于信息片段“AF_number”具有8位(“0”无用)，因此可以处理高达254种不同类型的后期录音目的声频数据。
附图9所示为可以用作在附图1中的信息信号再现设备30的信息信号再现设备30a。如附图9所示，信息信号再现设备30a包括与CPU33连接的用户接口32。用户可以处理用户接口32。CPU33具有输入/输出端口的结合、处理部分、ROM和RAM。CPU33根据存储在ROM和RAM中的控制程序运行。控制程序被设计成启动CPU33以实施后面所提到的运行步骤。通过处理用户接口32，信息信号产生设备30a的操作可以在不同的模式中改变，包括第一模式和第二模式。第一运行模式设计成再现主数据(AV多路传输结果文件25a)。第二运行模式设计成产生后期录音声频数据(后期录音声频文件25b)而不是在主数据中的声频信息，同时同步地再现在主数据中的视频信息。在处理用户接口32时，从其中将运行模式指定信号输入到CPU33中。运行模式指定信号指示第一运行模式和第二运行模式中哪种模式是所需的。CPU33将运行模式指定信号传递给信号选择器37。此外，通过处理用户接口32可以将标识(ID)信息输入到CPU33。CPU33将该标识信息传递给标识信息检测器34。
在运行模式指定信号指示需要第一运行模式时，即，在需要再现主数据(AV多路传输结果文件25a)时，信息信号再现设备30a如下运行。通过处理用户接口32将标识所需的主数据的信号输入到CPU33。标识信号标识分配给所需的主数据的指定号(标识号)。CPU33将标识信号传递给标识信息检测器34。标识信息检测器34从标识信号中得出主数据的标识号。标识信息检测器34通知读控制器31所需的主数据的标识号。标识信息检测器34指令读控制器31从信息信号记录媒体25中读取对应于所需的主数据的标识号的名称为“PR….dat”的主数据文件(AV多路传输结果文件25a)。因此，读控制器31实施了从记录媒体25中读出所需的主数据。这样，读控制器31从记录媒体25中读出了所需的主数据(即所需的多路复用结果数据)。将所读出的主数据从读控制器31发送到缓冲器35中。在将主数据从缓冲器35输出到多路信号分解器36中之前将其存储在缓冲器35中。多路信号分解器36将主数据分解为视频数据和声频数据。将视频数据从多路信号分解器36发送到时间标记检测器43中。声频数据从多路信号分解器36发送到信号选择器37中。信号选择器37响应运行模式指定信号从多路信号分解器36中选择声频数据，并将所选择的声频数据传输到时间标记检测器43a中。
时间标记检测器43检测在视频数据中的时序信息(每个PCR、每个视频PTS和每个视频DTS)。时间标记检测器43将所检测的PCR、所检测的视频PTS和所检测的视频DTS发送给时间标记比较器42中。时间标记检测器43将视频数据传输给PES去包装置44。时间标记检测器43a检测在声频数据中的时序信息(每个PCR、每个声频PTS和每个声频DTS)。时间标记检测器43a将所检测的PCR、所检测的声频PTS和所检测的声频DTS发送给时间标记比较器42中。时间标记检测器43a将声频数据传输给PES去包装置44a。
PES去包装置44对视频数据(PES包序列)进行去包以产生去包结果视频数据。PES去包装置44将去包结果视频数据输出给视频解码器45。PES去包装置44a对声频数据(PES包序列)进行去包以产生去包结果声频数据。PES去包装置44a将去包结果声频数据输出给声频解码器45a。视频解码器45和声频解码器45a类似于在附图1中的视频解码器45和声频解码器45a。视频解码器45实施了视频数据的MPEG解码以产生解码结果视频数据。视频解码器45将解码结果视频数据存储在存储器46中。声频解码器45a实施了声频数据的MPEG解码以产生解码结果声频数据。声频解码器45a将解码结果声频数据存储在存储器46a中。
信号发生器41给时间标记比较器42输出27兆赫兹的时钟信号。基于27兆赫兹的时钟信号，时间标记比较器42产生指示参考时钟时间的参考时钟信号。时间标记比较器42将参考时钟信号的频率锁定在由PCR所指示的频率上。因此，参考时钟时间由PCR决定。时间标记比较器42将由视频DTS所表示的时间与参考时钟时间进行比较以决定视频DTS时间是否与参考时钟时间相符合。在视频DTS时间与参考时钟时间相符合时，时间标记比较器42指令视频解码器45开始来自具有相关的视频DTS的PES包的视频数据的解码。时间标记比较器42将由声频DTS所表示的时间与参考时钟时间进行比较以决定声频DTS时间是否与参考时钟时间相符合。在声频DTS时间与参考时钟时间相符合时，时间标记比较器42指令声频解码器45a开始对来自具有相关的声频DTS的PES包的声频数据进行解码。
时间标记比较器42将由视频PTS所表示的时间与参考时钟时间进行比较以决定视频PTS时间是否与参考时钟时间相符合。在视频PTS时间与参考时钟时间相符合时，时间标记比较器42指令存储器46给显示监视器27输出解码结果视频数据以便用于指示。时间标记比较器42将由声频PTS所表示的时间与参考时钟时间进行比较以决定声频PTS时间是否与参考时钟时间相符合。在声频PTS时间与参考时钟时间相符合时，时间标记比较器42指令存储器46a给扬声器28输出解码结果声频数据以便用于重播或产生声音。预先设定视频PTS和声频PTS以便能够同步地重播解码结果视频信号和解码结果声频数据。
在运行模式指定信号指示需要第二运行模式时，即在需要再现后期录音声频数据和主数据视频信息时，信息信号再现设备30a运行如下。通过处理用户接口32将标识所需的主数据的信号和所需的后期录音声频数据输入到CPU33。标识信号对应于代表分配给所需的主数据和所需的后期录音声频数据的指定号(标识号)的在附图15中的信息片段“AF_number”和“PR_number”。CPU33将标识信号传递给标识信息检测器34。读控制器31从信息信号记录媒体25中读出播放列表信息“PLAY_IFO”(参见附图15)，并将播放列表信息“PLAY_IFO”发送给标识信息检测器34。标识信息检测器34响应该标识信号通过参考播放列表信息“PLAY_IFO”检测所需的主数据和所需的后期录音声频数据的标识号。标识信息检测器34将所需的主数据和所需的后期录音声频数据的标识号通知读控制器31。标识信息检测器34指令读控制器31从记录媒体25中交替地读出具有对应于所需的主数据和所需的后期录音声频数据的标识号的名称的后期录音声频文件25b和主数据文件(AV多路传输结果文件25a)。因此，读控制器31实施了基于交替的时分脉冲信号从记录媒体25中读出所需的主数据和所需的后期录音声频数据。将所读出的主数据从读控制器31发送到缓冲器35。在将主数据从缓冲器输出到多路信号分解器36之前将其存储在缓冲器35中。多路信号分解器36将主数据分解为视频数据和声频数据。视频数据从多路信号分解器36发送到时间标记检测器43。声频数据从多路信号分解器36发送给信号选择器37。所读出的后期录音声频数据从读控制器31发送给缓冲器35a。在后期录音声频数据从缓冲器35a输出到信号选择器37之前将其存储在缓冲器35a中。信号选择器37响应运行模式指定信号从缓冲器35a中选择后期录音声频数据，并将所选择的后期录音声频数据传输给时间标记检测器43a。换句话说，信号选择器37拒绝来自多路信号分解器36的声频数据。
时间标记检测器43检测在视频数据中的时序信息(每个PCR、每个视频PTS和每个视频DTS)。时间标记检测器43将所检测的PCR、所检测的视频PTS和所检测的视频DTS发送给时间标记比较器42中。时间标记检测器43将视频数据传输给PES去包装置44。时间标记检测器43a检测在后期录音声频数据中的时序信息(每个PCR、每个声频PTS和每个声频DTS)。时间标记检测器43a将所检测的PCR、所检测的声频PTS和所检测的声频DTS发送给时间标记比较器42中。时间标记检测器43a将后期录音声频数据传输给PES去包装置44a。
PES去包装置44对视频数据(PES包序列)进行去包以产生去包结果视频数据。PES去包装置44将去包结果视频数据输出给视频解码器45。PES去包装置44a对后期录音声频数据(PES包序列)进行去包以产生去包结果声频数据。PES去包装置44a将去包结果声频数据输出给声频解码器45a。视频解码器45实施了视频数据的MPEG解码以产生解码结果视频数据。视频解码器45将解码结果视频数据存储在存储器46中。声频解码器45a实施了声频数据的MPEG解码以产生解码结果声频数据。声频解码器45a将解码结果声频数据存储在存储器46a中。
信号发生器41给时间标记比较器42输出27兆赫兹的时钟信号。基于27兆赫兹的时钟信号，时间标记比较器42产生指示参考时钟时间的参考时钟信号。时间标记比较器42将参考时钟信号的频率锁定在由PCR所指示的频率上。因此，参考时钟时间由PCR决定。时间标记比较器42将由视频DTS所表示的时间与参考时钟时间进行比较以决定视频DTS时间是否与参考时钟时间相符合。在视频DTS时间与参考时钟时间相符合时，时间标记比较器42指令视频解码器45开始对来自具有相关的视频DTS的PES包的视频数据进行解码。时间标记比较器42将由声频DTS所表示的时间与参考时钟时间进行比较以决定声频DTS时间是否与参考时钟时间相符合。在声频DTS时间与参考时钟时间相符合时，时间标记比较器42指令声频解码器45a开始对来自具有相关的声频DTS的PES包的声频数据进行解码。
时间标记比较器42将由视频PTS所表示的时间与参考时钟时间进行比较以决定视频PTS时间是否与参考时钟时间相符合。在视频PTS时间与参考时钟时间相符合时，时间标记比较器42指令存储器46给显示监视器27输出解码结果视频数据以便用于指示。时间标记比较器42将由声频PTS所表示的时间与参考时钟时间进行比较以决定声频PTS时间是否与参考时钟时间相符合。在声频PTS时间与参考时钟时间相符合时，时间标记比较器42启动存储器46a给扬声器28输出解码结果声频数据以便用于重播或产生声音。预先设定视频PTS和声频PTS以便能够同步地重播解码结果视频数据和解码结果声频数据(后期录音声频数据)。
下面解释记录在信息信号记录媒体25上的信息的格式。如附图10所示，记录媒体25存储根目录，在根目录下放置有名称为“LIB(库)”的文件夹。在文件夹“LIB”之下，有许多命名为“SIDE.ifo”(“SIDE0.ifo”，“SIDE1.ifo”，…“SIDEk.ifo”)的文件。文件“SIDE.ifo”带有与许多内容节目相关的辅助信息，即声频视频(AV)节目。
此外，在文件夹“LIB”之下，还有分别具有信息片段“RP0.dat”，“RP1.dat”…“RPn.dat”的文件夹“PR0”，“PR1”，…“PRn”。信息片段“RP0.dat”，“RP1.dat”和“RPn.dat”用于链接AV多路传输的结果位流。
此外，在文件夹“LIB”之下，还有文件夹“PL0”，“PL1”，…“PLn”以用于放置后期录音声频文件(带有后期录音声频信息的文件)。例如，在制作并记录与文件夹“PRO”相关的“m”个后期录音声频文件的情况下，列表信息片段“AF0-1.dat”，“AF1-2.dat”，…“AF0-n.dat”放置在文件夹“PL0”中作为与后期录音声频文件的链接的信息。
从上文的描述中可以理解的是，与AV多路传输结果文件和后期录音声频文件相关的链接信息记录在记录媒体25中。基于该链接信息可以从记录媒体25中再现所需的内容信息。
参考附图11，每个文件“SIDE.ifo”具有分层结构的格式。具体地说，每个文件“SIDE.ifo”具有第一级段“TOTAL_MANAGER_IFO”，它包含第二级段“GENERAL_IFO”和“CNTNT_IFO”。第二级段“GENERAL_IFO”带有与整个当前的辅助信息相关的参数。
第二级段“GENERAL_IFO”具有如在附图12中所示的语法结构。具体地说，第二级段“GENERAL_IFO”包括具有语法名称分别“System_id”、“TMG_IFO_length”、“Num of PR_IFO”、“Num of PL_IFO”、“Start Address of PR_IFO”和“StartAddress of PL_IFO”的信息片段。信息片段“System_id”是标识当前的信息结构的类型的32位信号。信息片段“TMG_IFO_length”是表示整个管理器长度的32位信号。信息片段“Num of PR_IFO”是表示将在下文解释的节目信息片段“PR_IFO”的数量的8位信号。信息片段“Num of PL_IFO”是表示将在下文解释的后期录音信息片段“PL_IFO”的数量的8位信号。信息片段“Start Address ofPR_IFO”是表示第一节目信息片段“PR_IFO_0”的开始地址的32位信号。信息片段“Start Address of PL_IFO”是表示第一后期录音信息片段“PL_IFO_0”的开始地址的32位信号。
在附图11中的第二级段“CNTNT_IFO”包含具有分别与内容节目(或AV多路传输结果文件)相关的信息片段的第三级段“PR_IFO_0”，“PR_IFO_1”，…，“PR_IFO_m”。此外，第二级段“CNTNT_IFO”还包含具有分别与内容节目(或AV多路传输结果文件)相关的后期录音声频数据的信息片段的第三级段“PL_IFO_0”，“PL_IFO_1”，…，“PL_IFO_m”。例如，在存在对应于第三级段“PR_IFO_0”的后期录音声频数据的情况下，第三级段“PL_IFO_0”包含具有与后期录音声频文件相关的信息(播放清单信息)的第四级段“PLAY_IFO”。
第三级段“PR_IFO_0”，“PR_IFO_1”，…，“PR_IFO_m”在结构上都类似。下文将仅仅更加详细地解释第三级段“PR_IFO_0”。如附图13所示，第三级段“PR_IFO_0”包含第四级段“PROG_IFO”和“IDX_IFO”。第四级段“PROG_IFO”带有与内容节目相关的信息。第四级段“IDX_IFO”包含分别带有与相关的声频视频节目的相应的索引相关的信息片段的第五级段IDX_IFO_0”，“IDX_IFO_1”，…，“IDX_IFO_n”。第五级段IDX_IFO_0”，“IDX_IFO_1”，…，“IDX_IFO_n”在结构上都类似。例如，第五级段IDX_IFO_0”具有在其中可以将一部分相关的声频视频节目寄存为索引信息的第六级段“INDEX_IFO”。
在附图14中示出了第四级段“PROG_IFO”的语法结构。具体地说，每个第四级段“PROG_IFO”包括分别具有语法名称为“Size of PROG_IFO”、“PR number”、“Content type”和“Component type”的信息片段。信息片段“Size of PROG_IFO”是表示当前的第四级段“PROG_IFO”的大小的32位信号。信息片段“PR number”是表示分配给相关的声频视频节目的指定号(标识号)的8位信号。PR number是分别对应于不同的声频视频节目的在“0”-“255”中的变量。信息片段“Content type”是表示相关的声频-视频节目的类型的8位信号。信息片段“Componenttype”是表示相关的数据的类型的8位信号，即表示相关的数据是视频、声频或其它的类型。
如前文所述，在存在后期录音声频文件的情况下，提供播放清单信息“PLAY_IFO”。在存在对应于文件夹“PRO”的“m”个后期录音声频文件的情况下，将清单信息片段“AF0-1.dat”，“AF0-2.dat”，…，“AF0-m.dat”放置在文件夹“PL0”中作为与后期录音声频文件链接的信息。
播放清单信息“PLAY_IFO”的语法结构如附图15所示。具体地说，播放清单信息“PLAY_IFO”包括分别具有语法名称为“PR_number”和“AF_number”的信息片段。信息片段“PR_number”是表示分配给相关的主数据(相关的声频视频节目)的分配号(标识号)的8位信号。信息片段“AF_number”是表示分配给相关的后期录音声频数据的分配号(标识号)的8位信号。
关于在附图10的文件夹“PRj”中的“n+1”个AV多路传输的结果流“PRj.dat(j＝0，1，…，n)”中的每个，根据用户的请求可以寄存“m”个后期录音声频数据。在数字“m”等于“0”时，使用AV多路传输结果文件但不应用后期录音声频数据。在数字“m”等于或大于“1”时，允许记录后期录音声频数据。在这种情况下，至少产生并记录一个后期录音声频文件。此外，再现或传输后期录音声频数据。
在附图13中的索引信息“INDEX_IFO”具有附图16中所示的语法结构。具体地说，索引信息“INDEX_IFO”包括具有语法名称分别为“INDEX number”、“Playback Time”、“StartAddress”和“End Address”的信息片段。信息片段“INDEXnumber”是表示分配给相关的索引的序列号的8位信号。信息片段“Playback Time”是表示相关的索引的重播时间的40位信号。信息片段“Start Address”是表示相关的索引的开始点的地址的64位信号。信息片段“End Address”是表示相关的索引的结束点的地址的64位信号。
这样，设计了在附图10中的辅助信息。基于辅助信息产生文件夹“PR”和“PL”的记录信息和清单信息片段“AF”。通过参考记录信息将规定的AV和声频文件记录在记录媒体25上。通过参考记录信息从记录媒体25中读出指定的AV和声频文件。因此，可以重播伴有所需的声频信号的视频信号同时再现所需的声频信号。
记录媒体25包括例如DVD-RAM、DVD-RW、DVD-R、磁光盘或硬盘。如前文所述，在记录媒体25上记录后期录音目的声频数据的过程中，从记录媒体25中读出主数据。在每个都对应许多包的周期中分时地交替进行后期录音目的声频数据的记录和主数据的读出。可取的是，后期录音目的声频数据记录在也记录主数据的记录媒体25的表面上。
附图17所示为记录在硬盘上的TS的格式，该硬盘构成了记录媒体25。如附图17所示，TS由TS单元序列形成。每个TS单元由包构成。每个包由25位的时间标记和188字节的MPEG的TS包构成。MPEG的TS包与在附图5中的TS包相同。在AV多路传输结果文件25a中的声频数据以在后期录音声频文件25b中的声频数据(后期录音声频数据)替代的情况下，由于给每个TS包中增加了提供同步的时间标记，因此可以保持在后期录音声频数据和在AV多路传输结果文件25a中的视频数据之间的同步关系。
附图18所示为信息信号传输设备30b。如附图18所示，传输设备30b包括与CPU33E连接的用户接口32E。用户可以处理用户接口32E。CPU33E具有输入/输出端口的结合、处理部分、ROM和RAM。CPU33E根据存储在ROM和RAM中的控制程序运行。控制程序被设计成启动CPU33E以实施后面所提到的运行步骤。通过处理用户接口32E，传输设备30b的操作可以在包括第一模式和第二模式的不同模式中改变。第一运行模式设计成传输主数据(AV多路传输结果文件25a)。第二运行模式设计成传输后期录音声频数据(后期录音声频文件25b)而不是在主数据中的声频信息，同时传输在主数据中的视频信息。在处理用户接口32E时，从其中将运行模式指定信号输入到CPU33E中。运行模式指定信号可以从位于距离传输设备30b较远的位置上的信息信号接收设备中传输到CPU33E。运行模式指定信号指示第一运行模式和第二运行模式中哪种模式是所需的。CPU33E将运行模式指定信号传递给也可以作为包选择器运行的信号选择器38。此外，通过处理用户接口32E可以将标识(ID)信息输入到CPU33E。从接收设备可以将该标识信息发送CPU33E。CPU33E将标识信息传递给标识信息检测器34。
在运行模式指定信号指示需要第一运行模式时，即，在需要再现主数据(AV多路传输结果文件25a)时，传输设备30b如下运行。读控制器31从信息信号记录媒体25中读出主数据即AV多路传输的结果数据。将所读出的主数据从读控制器31发送到缓和器35。在将主数据从缓冲器35输出到信号选择器38之前将其存储在缓冲器35中。信号选择器38响应运行模式指定信号从缓冲器35中选择主数据，并将该主数据传输到缓冲器39。在将主数据从缓冲器39输出到传输线之前将其存储在缓冲器39中。主数据(AV多路传输的结果数据)沿着传输线传播到接收设备。接收设备同步地重播在主数据中的声频信息和视频信息。
在运行模式指定信号指示需要第二运行模式时，即在需要传输后期录音声频数据和主数据视频信息时，传输设备30b运行如下。通过处理用户接口32E将标识所需的主数据的信号和所需的后期录音声频数据输入到CPU33。标识信息可以从接收设备发送到CPU33E中。标识信号对应于代表分配给所需的主数据和所需的后期录音声频数据的指定号(标识号)的在附图15中的信息片段“AR_number”和“PF_number”。CPU33E将标识信号传递给标识信息检测器34。读控制器31从信息信号记录媒体25中读出播放列表信息“PLAY_IFO”。读控制器31将播放列表信息“PLAY_IFO”发送给标识信息检测器34。标识信息检测器34通过参考播放列表信息“PLAY_IFO”(参见附图15)响应该标识信号检测所需的主数据和所需的后期录音声频数据的标识号。标识信息检测器34将所需的主数据和所需的后期录音声频数据的标识号通知读控制器31。标识信息检测器34指令读控制器31从记录媒体25中交替地读出具有对应于所需的主数据和所需的后期录音声频数据的标识号的名称的后期录音声频文件25b和主数据文件(AV多路传输结果文件25a)。因此，读控制器31实施了基于交替的时分脉冲信号从记录媒体25中读出所需的主数据和所需的后期录音声频数据。将所读出的主数据从读控制器31发送到缓冲器35。在将主数据从缓冲器35输出到信号选择器38之前将其存储在缓冲器35中。所读出的后期录音声频数据从读控制器31发送到缓冲器35a。在后期录音声频数据从缓冲器35a输出到信号选择器38之前将其存储在缓冲器35a中。信号选择器(包选择器)38响应运行模式指定信号将在主数据中的声频数据替换为来自缓冲器35a的后期录音声频数据，由此将原始主数据转换为新的主数据(新的AV多路传输的结果数据)。信号选择器38一包一包(基于一单元一单元)地实施了声频数据替换。新的主数据从信号选择器38发送到缓冲器39。在将新的主数据输出到传输线之前将其存储在缓冲器39中。新的主数据(新的AV多路传输的结果数据)沿传输线传播到接收设备。接收设备同时重播在主数据中的声频信息和视频信息。在将原始主数据转换为新的主数据的过程中，不需要改变每个PCR、每个DTS和每个PTS。可取的是，信号选择器38包括计算器。计算器可以由CPU33E形成。对于已经进行了声频数据替换的新的主数据包，计算器计算新的CRC(循环冗余校验)码字并将老的CRC码字替换为新的码字。
附图19所示为CPU33E的控制程序段的流程图。如附图19所示，第一步骤S11控制读控制器31从信息信号记录媒体25中读出主数据(AV多路传输结果文件25a)。
在步骤S11之后的步骤S12确定是否要求以后期录音声频信息替换在所读出的主数据中的声频信息。在要求以后期录音声频信息替换在所读出的主数据中的声频信息时，该程序从步骤S12进行到步骤S13。否则，该程序从步骤S12跳转步骤S17。
步骤S13控制标识信息检测器34和读控制器31以从记录媒体25中读出具有对应于指定标识号的名称的后期录音声频文件25b(后期录音声频数据)。
在步骤S13之后的步骤S14将所读出的AV多路传输结果文件25a和所读出的后期录音声频文件25b(即所读出的主数据和所读出的后期录音声频数据)分为包(单元)。
在步骤S14之后的步骤S15一个包一个包地将在所读出的主数据中的声频数据替换为在重播时序中等效于在前面声频数据的所读出的后期录音声频数据。此后，步骤S15将原始主数据转换为新的主数据(新的AV多路传输结果文件)。
在步骤S15之后的步骤S16计算新的CRC(循环冗余校验)码字并将老的CRC码字替换为已经进行声频数据替换的新的主数据包的新包。因此，步骤S16产生CRC-码-校正的主数据(CRC-码-校正的AV多路传输结果文件)。在步骤S16之后，程序进行到步骤S17。
步骤S17将通过步骤S11给定的AV多路传输结果文件或通过步骤S16给定的AV多路传输结果文件传输到传输线。
在步骤S17之后的步骤S18确定AV多路传输结果文件的传输是否已经完成。在AV多路传输结果文件的传输还没有完成时，该程序从步骤S18返回到步骤S11。在这种情况下，重复步骤S11和后面的步骤。在另一方面，在AV多路传输结果文件的传输已经完成时，程序从步骤S18退出，然后当前的程序段的执行结束。步骤S18还可以响应传输停止请求。在这种情况下，一旦接收到传输停止请求，在该程序从步骤S18中退出，然后结束当前程序段的执行而不管AV多路传输结果文件的传输是否完成。
如上文所述，符合MPEG系统标准的AV多路传输的结果数据记录在信息信号记录媒体上或从其中再现。AV多路传输的结果数据包含声频信息和带有该声频信息的视频信息。此外，符合MPEG系统标准的后期录音目的声频数据记录在该记录媒体或从其中再现。后期录音目的声频数据具有与在AV多路传输的结果数据中的视频信息同步的关系。同步重播在AV多路传输的结果数据中的后期录音目的声频数据和视频信息。可以将AV多路传输的结果数据从记录媒体通过传输线朝信息信号接收设备传输。此外，可以将在构成新的AV多路传输的结果数据的AV多路传输的结果数据中的后期录音目的声频数据和视频信息从记录媒体通过传输线朝接收设备传输。
如前文所述，对声频信号和视频信号进行压缩编码。将编码结果数据分为单元块(包)。给每个单元块中加入声频视频同步播放的时间标记。所加入的时间标记数据记录在信息信号记录媒体中。
对视频信号和第一声频信号进行压缩编码并将其多路复用在主数据中，并将该主数据记录在信息信号记录媒体中。将第二声频信号(即后期录音目的声频信号)压缩编码成后期录音目的声频数据。后期录音目的声频数据记录在记录媒体上但不与在主数据中的视频数据进行多路复用。
因此，简单的信号处理能够使后期录音目的声频数据记录在信息信号记录媒体上。此外，可以将带有系统的视频信息的多个后期录音目的声频信号记录在记录媒体上。与视频信息同步地重播每个后期录音目的声频信号。如前文所述，在将第一声频信号和视频信号作为AV多路传输结果文件记录在信息信号记录媒体上之前对其进行多路复用。在重播的过程中，可以以每个后期录音目的声频信号替换在AV多路传输结果文件中的第一声频信号。
加入到后期录音目的声频数据的时序信息由基于主数据产生的PCR、DTS和PTS构成。应该指出的是，可以独立于主数据产生后期录音目的声频数据的PCR、DTS和PTS。
可以将获得参考时序的信息放置在后期录音目的声频数据中的时序信息的标题中。在这种情况下，根据参考时序信息使后期录音目的声频数据的重播最佳化。
拌有视频信息的声频信息可以由如下的信息替换基于多路复用表示注释的字符信息、数字信息、不同于视频信息的图形信息、与视频信息的指示区相关的辅助信息或与视频信息同步重播的其它信息。
从前述的描述中可以理解的是，关于主数据的产生，假设先前在单元数据中产生与后期录音目的声频数据的类型相关的数据片段，并且后期录音目的声频数据的传输速率等于在主数据中的原始声频数据的传输速率。
如前文所述，将视频信号压缩编码成编码结果视频信号。拌有视频信号的第一声频信号被压缩编码成第一压缩编码结果声频信号。编码结果视频信号和第一压缩编码结果声频信号多路复用成多路复用结果信号，将表示解码时序和重播时序的时序信息加入到该多路复用结果信号中。该多路复用结果信号记录在信息信号记录媒体上。将对与视频信号具有同步关系的第二声频信号(后期录音目的声频信号)压缩编码成第二压缩编码结果声频信号，将与视频信号同步的时序信息加入到该第二压缩编码结果声频信号中。该第二压缩编码结果声频信号记录在记录媒体上。此后，同步地再现在多路复用结果信号中的第二声频信号和视频信号。第二压缩编码结果声频信号在时序上等效于第一压缩编码结果声频信号。因此，在第二声频信号的再现的过程中，防止了第二编码结果声频信号的解码造成麻烦。
将第一多路复用结果信号定义为包含第一声频信号和视频信号的压缩编码型式的数据流。将第二多路复用结果信号定义为包含第二声频信号(后期录音目的声频信号)和视频信号的压缩编码型式的数据流。第二声频信号拌有视频信号。虽然在实际中不产生第二多路复用结果信号，但可以重播由第二声频信号和声频信号构成的AV信号。由于第二多路复用结果信号既不产生也不记录，因此通过记录第二多路复用结果信号可以防止擦除记录在信息信号记录媒体上的第一多路复用结果信号。由于不记录第二多路复用结果信号，因此通过第二多路复用结果信号可以防止记录媒体的可用容量的降低。
多个后期录音目的声频信号可以记录在信息信号记录媒体上。在重播的过程中，用户可以从后期录音目的声频信号中选择一个后期录音目的声频信号。在这种情况下，可以同步重播所选择的后期录音目的声频信号和拌有该声频信号的视频信号。此外，可以有效地使用记录媒体的存储容量。
根据MPEG1标准或MPEG2标准对视频信号和声频信号进行压缩编码。根据MPEG系统标准产生AV多路传输结果信号。AV多路传输结果信号可以包含表示音乐节目的视频信息和表示在音乐节目中的卡拉OK音乐的声频信息。在AV多路传输结果信号中，通过要与主视频信息同步重播的第二视频信息可以替换声频信息。
根据MPEG1标准、MPEG2标准和MPEG4标准进行压缩编码和系统化(多路复用)。可以基于部分编码过程或另一编码过程进行压缩编码和系统化(多路复用)，在该编码过程中实施重播的信号处理，同时将编码结果信号临时存储在预定的记录区中。
信息信号记录媒体25例如包括硬盘或DVD-RAM。记录媒体25可以是另一种类型的记录媒体，该记录媒体具有能够交替地读出两种不同的信息文件的随机存取性能，并且具有足够记录预定量的数字视频数据的存储容量。
通过信息信号产生设备10或10a产生的信号记录在信息信号记录媒体25上。信息信号再现设备30或30a从记录媒体25上再现所记录的信号。通过信息信号传输设备30b可以传输所再现的信号。一般地说，记录媒体25与信息信号产生设备10或10a、信息信号再现设备30或30a和信息信号传输设备30b连接以使信号能够在其中直接传递。可替换的是，通过通信装置比如通信网络记录媒体25可以与信息信号产生设备10或10a、信息信号再现设备30或30a和信息信号传输设备30b连接。
第二实施例除了下文所描述的改变以外本发明的第二实施例类似于本发明的第一实施例。根据本发明的第一实施例，在产生主数据方面，假设事先在单元数据中产生与后期录音目的声频数据的类型相关的数据片段，并且后期录音目的声频数据的传输速率等于在主数据中的原始声频数据的传输速率。根据本发明的第二实施例，在主数据的产生方面，基于多路复用事先将在传输速率方面等于预期的后期录音目的声频数据的单元数据记录为哑数据。
第三实施例除了下文所描述的改变以外本发明的第三实施例类似于本发明的第一实施例。根据本发明的第三实施例，在记录预期的后期录音目的声频数据的情况下，基于多路复用事先将在传输速率方面等于预期的后期录音目的声频数据的单元数据记录为哑数据。在产生实际的后期录音目的声频数据时，以实际的后期录音目的声频数据替换先前记录的哑数据。在以实际的后期录音目的声频数据替换先前记录的哑数据的过程中，不需要改变每个PCR、每个DTS和每个PTS。
在实际的后期录音目的声频数据的传输速率不等于预期的传输速率的情况下，基于多路复用记录视频数据和实际的后期录音目的声频数据。在这种情况下，需要更新每个PCR、每个DTS和每个PTS。
实施例所提供的优点本发明的第一、第二和第三实施例提供了如下的优点。
将视频信号、第一声频信号和用于视频和声频的同步再现的时序信息多路复用为要记录的AV多路传输结果信号。此外，将与视频信号同步的第二声频信号的压缩编码型式作为要记录的信号输送。再现侧可以再现由视频信号和拌有视频信号的第二声频信号构成的AV信号，而不给该AV信号输送包含有视频信号和第二声频信号的压缩编码型式的AV多路传输结果信号。
AV多路传输结果信号是加入了时序信息的包流。此外，第二声频信号的压缩编码型式是加入了时序信息的包流。因此，时序管理很容易。再现侧可以再现由视频信号和拌有视频信号的第二声频信号构成的AV信号。
将加入了标识信号的多个第二声频信号定义为替代信号。在重播的过程中，可以从第二声频信号中选择一个第二声频信号，并再现所选择的第二声频信号。
将视频信号、第一声频信号和用于同步再现视频和声频的时序信息多路复用成AV多路传输结果信号。第二声频信号的压缩编码型式与视频信号具有同步关系。再现AV多路传输结果信号和第二声频信号的压缩编码型式，并从AV多路传输结果信号中再现视频信号。将所再现的视频信号和所再现的第二声频信号的压缩编码型式作为再现的彼此同步的输出信号提供。
从加入了标识信号的第二声频信号的压缩编码型式中选择一个型式。所选择的第二声频信号的压缩编码型式可以作为与视频信号具有同步关系的再现的输出信号提供。
将视频信号、第一声频信号和用于同步再现视频和声频的时序信息多路复用成AV多路传输结果信号。第二声频信号的压缩编码型式与视频信号具有同步关系。再现AV多路传输结果信号和第二声频信号的压缩编码型式，并从AV多路传输结果信号中再现视频信号。将所再现的视频信号和所再现的第二声频信号的压缩编码型式多路复用成新的AV多路传输结果信号。通过传输线将新的AV多路传输结果信号传输到再现侧。
权利要求
1.一种产生要记录的信息信号的方法。该方法包括如下步骤多路传输如下信号1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)基于参考时钟信息信号并指定获得AV多路传输结果信号的视频信号的指示时序的指示时序信息信号；在重播的过程中在与视频信号同步的同时产生第二声频信号作为可以再现的替代第一声频信号的替换重播声频信号；对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号；以及将声音产生时序信息信号加入到第二压缩编码结果声频信号中以获得该替换重播声频信号，该声音产生时序信息信号基于参考时钟信息信号并与视频信号的同步化相关。
2.如权利要求1所述的方法，进一步包括如下的步骤的方法将该替换重播声频信号划分为每个都具有预定的数据大小的包，并将参考时钟信息信号和声音产生时序信息信号与每个包一起多路传输。
3.如权利要求1所述的方法，其中该替换重播声频信号包括分别从压缩编码声频信号中得到的许多辅助替换重播声频信号，并且将不同的标识信号分别加入到辅助替换重播声频信号中。
4.一种再现信息信号的方法，括如下的步骤再现通过多路传输如下的信号产生的AV多路传输结果信号1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)基于参考时钟信息信号并指定视频信号的指示时序的指示时序信息信号；从所再现的AV多路传输结果信号中再现视频信号；再现替换重播声频信号以再现第二声频信号，并通过如下的方式产生该替换重播声频信号1)对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号，以及2)将声音产生时序信息信号加入到第二压缩编码结果声频信号中，该声音产生时序信息信号指定第二压缩编码结果声频信号的声音产生时序；从再现的AV多路传输结果信号中导出参考时钟信息信号和指示时序信息信号；从再现的AV多路传输结果信号中导出压缩编码结果视频信号；对所导出的压缩编码结果视频信号进行解码以得到解码结果视频信号；响应所导出的参考时钟信息信号和所导出的指示时序信息信号将解码结果视频信号作为输出视频信号提供；从所再现的替换重播声频信号中导出声音产生时序信息信号和第二声频信号；响应所导出的参考时钟信息信号和所导出的声音产生时序信息信号将所导出的第二声频信号作为输出声频信号提供；比较参考时钟信息信号和指示时序信息信号以得到第一比较结果；根据第一比较结果将视频信号作为指示目的信号提供；比较参考时钟信息信号和声音产生时序信息信号以得到第二比较结果；和根据第二比较结果将第二声频信号作为声音产生目的信号提供。
5.如权利要求4所述的方法，其中该替换重播声频信号包括分别从压缩编码源声频信号中得到的许多辅助替换重播声频信号，并且将不同的标识信号分别加入到辅助替换重播声频信号中，以及其中通过参考标识信号选择源声频信号中的一个源声频信号，以及将所选择的源声频信号和视频信号作为彼此同步的再现信号输出。
6.一种传输信息信号的方法，包括如下的步骤通过多路传输如下的信号产生主AV多路传输结果信号1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)基于参考时钟信息信号指定视频信号的指示时序的指示时序信息信号；通过如下的方式产生替换重播声频信号1)对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号，以及2)将声音产生时序信息信号加入到第二压缩编码结果声频信号中，该声音产生时序信息信号基于参考时钟信息信号指定第二压缩编码结果声频信号的声音产生时序，其中可以再现第二声频信号替代第一声频信号；产生替换AV多路传输结果信号作为用于将压缩编码结果视频信号连同第二压缩编码结果声频信号一起再现的信号；将替换AV多路传输结果信号反馈到传输线；从替换的重播声频信号中导出第二压缩编码结果声频信号；以及将在主AV多路传输结果信号中的第一压缩编码结果声频信号替换为所导出的第二压缩编码结果声频信号以在将替换AV多路传输结果信号反馈到传输线中之前将主AV多路传输结果信号改变为替换AV多路传输结果信号。
7.一种产生要记录的信息信号的设备，包括如下装置多路传输如下信号的装置1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)基于参考时钟信息信号指定获得AV多路传输结果信号的视频信号的指示时序的指示时序信息信号；在重播的过程中在与视频信号同步的同时产生第二声频信号作为替代第一声频信号的可以再现的替换重播声频信号的装置；对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号的装置；以及将声音产生时序信息信号加入到第二压缩编码结果声频信号中以获得替换重播声频信号的装置，该声音产生时序信息信号基于参考时钟信息信号并与视频信号的同步化相关。
8.一种再现信息信号的设备，包括如下的装置再现通过多路传输如下的信号产生的AV多路传输结果信号的装置1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)指定视频信号的指示时序的指示时序信息信号；从所再现的AV多路传输结果信号中再现视频信号的装置；再现替换重播声频信号以再现第二声频信号的装置，并通过如下的方式产生该替换重播声频信号1)对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号，以及2)将声音产生时序信息信号加入到第二压缩编码结果声频信号中，该声音产生时序信息信号指定第二压缩编码结果声频信号的声音产生时序，其中可以再现第二声频信号替代第一声频信号；从再现的AV多路传输结果信号中导出参考时钟信息信号和指示时序信息信号的装置；从再现的AV多路传输结果信号中导出压缩编码结果视频信号的装置；对所导出的压缩编码结果视频信号进行解码以得到解码结果视频信号的装置；响应所导出的参考时钟信息信号和所导出的指示时序信息信号将解码结果视频信号作为输出视频信号提供的装置；从所再现的替换重播声频信号中导出声音产生时序信息信号和第二声频信号的装置；响应所导出的参考时钟信息信号和所导出的声音产生时序信息信号将所导出的第二声频信号作为输出声频信号提供的装置。
9.如权利要求8所述的种设备，其中该替换重播声频信号包括分别从压缩编码源声频信号中得到的许多辅助替换重播声频信号，并且将不同的标识信号分别加入到辅助替换重播声频信号中，以及其中通过参考标识信号选择源声频信号中的一个源声频信号，以及将所选择的源声频信号和视频信号作为彼此同步的再现信号输出。
10.一种传输信息信号的设备，包括如下的装置通过多路传输如下的信号产生主AV多路传输结果信号的装置1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)基于参考时钟信息信号指定视频信号的指示时序的指示时序信息信号；通过如下的方式产生替换的重播声频信号的装置1)对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号，以及2)将声音产生时序信息信号加入到第二压缩编码结果声频信号中，该声音产生时序信息信号基于参考时钟信息信号指定第二压缩编码结果声频信号的声音产生时序，其中可以再现第二声频信号替代第一声频信号；产生替换AV多路传输结果信号作为用于将压缩编码结果视频信号连同第二压缩编码结果声频信号一起再现的信号的装置；将替换AV多路传输结果信号反馈到传输线的装置；从替换的重播声频信号中导出第二压缩编码结果声频信号的装置；以及将在主AV多路传输结果信号中的第一压缩编码结果声频信号替换为所导出的第二压缩编码结果声频信号以在将替换的AV多路传输结果信号反馈到传输线中之前将主AV多路传输结果信号改变为替换AV多路传输结果信号的装置。
11.一种信息信号记录媒体，该记录媒体具有存储AV多路传输结果信号和替换重播声频信号两种信号的公共表面；通过多路传输如下的信号产生该AV多路传输结果信号1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)指定视频信号的指示时序的指示时序信息信号；通过如下的方式产生替换重播声频信号1)对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号，以及2)将第二参考时钟信息信号加入到第二压缩编码结果声频信号中，其中可以再现第二声频信号替代第一声频信号；其中加入到第二压缩编码结果声频信号中的第二参考时钟信息信号等于在AV多路传输结果信号中的第一参考时钟信息信号，以及第二压缩编码结果声频信号包含多路传输的分量，该分量是基于第一和第二参考时钟信息信号中的一个信号并与视频信号同步化相关的声音产生时序信息信号；以及其中响应在AV多路传输结果信号中的第一参考时钟信息信号再现该视频信号，以及响应与用于视频信号的再现的信号相同的参考时钟信息信号使第二声频信号的再现与视频信号的再现同步。
12.一种传输信息信号的计算机程序，该计算机程序包括如下的步骤通过多路传输如下的信号产生主AV多路传输结果信号1)从对视频信号的压缩编码中得到的压缩编码结果视频信号，2)从对与视频信号具有同步关系的第一声频信号进行压缩编码所得到的第一压缩编码结果声频信号，3)与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步化相关的参考时钟信息信号，以及4)基于参考时钟信息信号指定视频信号的指示时序的指示时序信息信号；通过如下的方式产生替换重播声频信号1)对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号，以及2)将声音产生时序信息信号加入到第二压缩编码结果声频信号中，该声音产生时序信息信号基于参考时钟信息信号指定第二压缩编码结果声频信号的声音产生时序，其中可以再现第二声频信号替代第一声频信号；产生替换AV多路传输结果信号作为用于将压缩编码结果视频信号连同第二压缩编码结果声频信号一起再现的信号；将替换AV多路传输的结果信号反馈到传输线；从替换重播声频信号中导出第二压缩编码结果声频信号；以及将在主AV多路传输结果信号中的第一压缩编码结果声频信号替换为所导出的第二压缩编码结果声频信号以在将替换AV多路传输结果信号反馈到传输线中之前将主AV多路传输结果信号改变为替换AV多路传输结果信号。
全文摘要
本发明涉及产生要记录的信息信号的方法和设备，其中对如下的信号进行多路复用以得到AV多路传输结果信号从视频信号的压缩编码中得到的压缩编码结果视频信号、从对具有与视频信号同步关系的第一声频信号进行压缩编码所得到第一压缩编码结果声频信号、与在压缩编码结果视频信号和第一压缩编码结果声频信号之间的同步相关的参考时钟信息信号和指定视频信号的指示时序的指示时序信息信号。对第二声频信号进行压缩编码以获得第二压缩编码结果声频信号。将声音产生时序信息信号加入到第二压缩编码结果声频信号中以获得替换重播声频信号。在重播的过程中，可以与视频信号同步地再现替换重播声频信号而不是第一声频信号。声音产生时序信息信号对应于参考时钟信息信号并与视频信号的同步相关。
文档编号H04N9/806GK1428781SQ02155918
公开日2003年7月9日 申请日期2002年12月11日 优先权日2001年12月26日
发明者菅原隆幸 申请人:日本胜利株式会社