专利名称：在多角度观看多媒体流中多路复用的随机存取单元之间的无缝切换的制作方法
技术领域：
本发明涉及一种用于多路复用包括编码画面与其它信息的一个或多个编码流，以 产生多路复用数据的多路复用装置，和对多路复用数据解复用的解复用装置。本发明特别 涉及能够执行诸如多角度播放等之类的特技播放的多路复用装置和解复用装置。
背景技术：
最近，将声音、画面以及其它像素值集成到一种媒体中的多媒体时代已经到来，并 且将报纸、杂志、TV、无线电和电话之类的通信工具的现有信息媒体也看成是多媒体的目 标。 一般地讲，多媒体是一种不仅将字符，而且也将图像、声音、特别是画面同时显现的形 式。为了将上述现有信息媒体作为多媒体来处理，需要数字地显现信息。
但是，利用上述现有信息媒体直接地数字处理巨量信息时不现实的，因为在把上 述每种信息媒体的数据量计算为数字数据量时，每个字符的数据量是1至2字节，而每秒声 音的数据量不小于64千字节(电话语音质量)，每秒运动画面的数据量则不小于100兆字 节(当前TV接收质量)。例如，由于具有64kbps至1. 5mbps的传输速度的综合服务数字网 (ISDN)的出现，TV电话已经投入商业使用，但是，TV摄像机的运动画面使用ISDN时，则不 能传输它们。 这是为什么需要信息压縮技术的原因。例如，将国际电信同盟-电信标准化部 (ITU-T)推荐的H. 261或H. 263的运动画面压縮技术标准用于TV电话。此外，利用MPEG-1 标准的信息压縮技术，也使得能够将图像信息与声音信息一同存储在一张普通音乐CD(光 盘)中。 在这里，运动画面专家组(MPEG)是数字压縮运动画面信号的，并且已经被ISO/ IEC(国际标准化组织/国际工程协会(InternationalStMKkrdization Organization/ Internation Engineering Consortium))标准化的国际标准。MPEG—l是一禾中将运动画面 信号压縮到1.5Mbps，S卩，压縮到大约百分之一的标准。此外，满足MPEG-1标准的质量是能 够在大约1. 5Mbps的传输率实现的中等水平。因此，将MPEG-2标准化以便满足更高画面质 量的需要，并且它将运动画面信号压縮到2至15Mbps。当前，标准化MPEG-1和MPEG-2的工 作组(IS0/IEC JTC1/SC29/WG11)已经将具有更高压縮率的MPEG-4标准化。MPEG-4标准 (i)取得了比MPEG-1和MPEG-2更高的压縮率，(ii)允许在一个对象接一个对象的基础上 编码，解码和执行操作，和(iii)实现了多媒体时代中的新的功能要求。MPEG-4的最初目的 是要标准化具有低比特率的画面的编码方法，但是，目标扩展到了具有高比特率的隔行扫 描画面的通用目的的编码方法。此后，IS0/IEC和ITU-T共同标准化了作为具有高压縮率 的画面的下一代画面编码方法的MPEG-4AVC(高级视频编码)。预期用于下一代光盘装置或在对移动终端的广播中使用。 —般地讲，在对运动画面编码中，通过减少时间和空间冗余来压縮信息量。在针对 减少时间冗余的画面间预测编码中，通过参考在前画面或随后画面，在一块接一块的基础 上执行运动评估和预测画面产生，并且对得到的预测画面和要编码的画面之间的差值进行 编码。这里使用的"画面(Picture)"是代表一个画面的术语。在逐行画面中，它代表一帧； 在隔行画面中，它代表一帧或一场。这里所述的"隔行扫描画面"表示由具有轻微时间滞后 的两个场构成的帧。在隔行画面的编码和解码中，可以将一帧作为一帧来处理，将一帧作为 两个场来处理，或在帧中在逐块的基础上将帧结构来处理或作为场结构来处理。
用于执行不参考任何参考画面的内部预测编码的画面叫做内编码画面(Intra Coded Picture) (I画面)。此外，用于执行仅参考一个画面的相互间预测编码的画面叫做 预测编码画面(Predictive Coded Picture) (P画面)。用于执行参考两个参考画面的相互 间预测编石马的画面叫f故Bi-预测编石马画面(Bi-predictive Coded Picture) (B画面)。B画 面可以参考选择为在显示时间上在前和在后画面的任意组合的两个画面。这两个参考画面 可以在一块接一块基础上规定，块是编码和解码的基础单元。这些参考画面如下相互区分 将编码比特流中较早说明的参考画面称为第一参考画面，而把以后说明的其它参考画面称 为第二参考画面。应当注意，为了编码或解码I画面、P画面和B画面，这些参考画面必须 是已经编码或解码的。 运动补偿内部预测编码用于P画面和B画面的编码。运动补偿内部预测编码是一 种应用运动补偿的内部预测编码方法。运动补偿是一种通过估算画面的每个块的运动量 (以下称为运动向量)和通过执行考虑到运动向量的预测编码而提高预测精度和减小数据 量的方法。例如，通过估算要编码的画面的运动向量和通过给位移了每个运动向量的量的 每个预测值与要编码的每个当前画面之间的每个预测余量编码，而减小数据量。在使用这 种方法的情况下，由于在解码中需要运动向量信息，所以也要编码、记录或发送运动向量。 运动向量是在一个宏块接一个宏块的基础上估算的。更具体地讲，运动向量是通过固定要 编码的宏块、在搜索范围内移动参考画面的宏块、和发现最靠近标准块的参考宏块的位置 而估算的。 图1A和IB分别是现有MPEG-2流的结构图。 如图IB中所示，MPEG-2流具有下面要说明的层级结构。流是由画面组(Group of Pictures)(以下称为GOP)构成的。将GOP用作编码处理过程中的基础单元能够编辑运动 画面或执行随机存取。GOP是由I画面、P画面、和B画面构成的。流、G0P、和画面进一步包 括指示单元的边界的同步信号(sync)，和指示各单元中共同数据的首部，在这里各单元分 别是流、G0P和画面。 图2A和2B分别示出了如何执行MPEG-2中使用的画面间预测编码的例子。
图中带有斜线的画面是被其它画面参考的画面。如图2A中所示，在MPEG-2中的 预测编码中，P画面(P0， P6， P9， P12和P15)可以仅参考选择为在显示时间上紧挨靠前的 I画面或P画面的单一画面。B画面(Bl， B2， B4， B5， B7， B8， B10， Bll， B13， B14， B16， B17， B19和B20)可以参考选择作为紧挨靠前的I画面或P画面和紧挨靠后的I画面或P画面的 组合的两个画面。此外，要确定画面在流中放置的顺序。多个I画面和一个P画面按照显 示时间的顺序放置，而每个B紧挨着要紧接着B画面之后显示的I画面之后放置，或紧接着
6一个P画面之后放置。作为GOP的结构的例子，如图2B中所示，从13到B14的画面被组成 一个单一的GOP。 图3A至3B分别示出了解码顺序，显示顺序，和在MPEG-2流中使用的GOP结构的 解码时间和显示时间之间的发生的延迟量。 在此，MPEG-2流具有固定的帧频，并同时解码和显示P画面。在MPEG-2流中，如 图3A和3B所示，作为从GOP顶部画面的解码时间到顶部画面的延迟时间的时间滞后的延 迟量最大等于一个帧或两个场。在下文中将该延迟量称为帧延迟，并在逐帧的基础上计算 帧延迟的长度(一帧对应于两场)。诸如数字多用盘(DVD)之类的光盘装置采用MPEG-2标 准，其中定义帧延迟被固定为1。应该指出，在例如以60Hz显示已经以24Hz编码的流的下 拉(pulling down)时，延迟量是可变的。由于能够根据按照帧频显示编码流的情况来确定 延迟量，下面描述按照帧频显示编码流的情况。 图4是MPEG-4AVC流的结构图。在MPEG-4AVC中，不存在与GOP等价的概念。但 是，由于可以通过在能够不依赖其它画面解码的特定画面的单元中将数据分段来构造等价 于GOP的随机存取单元，以下将这种单元称为RUA(随机存取单元(Random Access Unit))。
MPEG-4AVC中有两种类型的I画面。它们是瞬时解码器刷新(IDR)画面和另一种 类型。IDR画面是可以不用参考按解码顺序放置在IDR画面之前的画面，能够对按解码顺 序放置在IDR之后的所有画面解码的I画面。IDR画面对应于MPEG-2闭合GOP的最前端I 画面。在I画面不是IDR画面的情况下，按解码顺序位于该I画面的之后的画面可以参考 按解码顺序位于该I画面前面的画面。另外，通过把不是IDR画面的I画面放置在随机存 取单元RAU顶部和限制随机存取单元RAU中的画面的预测结构，能够形成象MPEG-2中开放 GOP的结构。 图5是MPEG-4AVC流中画面的预测结构的一个实例。由于MPEG-4AVC允许灵活的 预测结构，例如，画面P2可以参考画面P8。在图5的例子中，由于在画面18之后开始显示 并且首先对画面P2解码，帧延迟变成2。由于预测结构在这种方式中是灵活的，不象MPEG-2 的情况那样，帧延迟最大不限于l。这意味着帧延迟可以依据预测结构而改变。因此，不能 以帧延迟固定为1为条件进行播放。 诸如DVD之类的数据包媒体具有特技播放功能，例如(i)播放，即有选择地播放相 同流的特定部分或能够连续播放不同的流，和(ii)多角度播放，即以不同角度执行改变流 的播放。使用该功能的基本单元是MPEG-2中的G0P，和MPEG-4AVC中的随机存取单元RAU。
图6A至6C示出了 MPEG-2中要播放的改变流的实例。图6A至6C分别示出了流 1， 2，和3中包括的G0P。在此，通过在GOP 1-1后对G0P2-1解码使要播放的流从流1改变 到流2。由于帧延迟量在GOP l-l和G0P2-l二者中都是l，这样能够使其以固定的速率进 行播放，而不允许在显示时出现间隙。同样，通过在GOP 1-1后对GOP 3-l解码，能够从流 改变到流3。 按常规，已经提出了象上述那样涉及运动画面编码，多路复用，解码，和解复用的 各种技术。(例如，参考日本专利申请公开No. 2003-18549)。 图7是表示用于对运动画面数据编码和多路复用的传统多路复用装置的操作的 流程图。 首先，在步骤101和102，多路复用装置对一个或多个流编码。接下来，在步骤103，产生管理信息，然后进行到步骤104。管理信息包括用于存取在步骤101产生的流的信息， 和指示在诸如多角度播放等之类的特技播放时要播放的数据的信息。此后，在步骤104，将 管理信息与流数据多路复用，以输出复用的数据。
图8是表示传统的多路复用装置的结构的方框图。 多路复用装置800包括编码单元ll，存储器12，管理信息产生单元13和多路复用 单元14。 编码单元11对输入的运动画面数据Vin编码，并将编码的数据strln存储到存储 器12中。 管理信息产生单元13从存储器12读出编码数据，作为读出数据strOutl，产生管 理信息库，和向多路复用单元14输出该管理信息库。应该指出，该管理信息库不包括与帧 延迟有关的信息。 多路复用单元14多路复用下列数据(i)管理信息库，(ii)已经从存储器12读出 的读出数据strOut2，和(iii)附加信息adlnf，例如，由用户设置的、并与流分开获得的设 置信息，然后输出复用的数据MuxDat。在此，如果不需要，可以不使用附加信息adlnf。另 外，可以采用诸如MPEG-2传送流(TS)或程序流(PS)之类的方案，或由应用预定的其它方 案对读出数据strOut2打包，然后对其多路复用。例如，在蓝光盘(BD)标准中，采用把4字 节首部加到被称为源数据包(Source Packet)的MPEG-2TS数据包的方案多路复用读出数 据strOut2，然后存储。 图9A示出了从多路复用装置800输出的复用数据的结构实例。 如图9A所示，管理信息和一个或多个编码流被存储在复用数据中。另外，处理每
个流作为一个或多个码片使其能够实现各种播放方法，例如摘要播放和多角度播放。在此，
一个码片示出一个画面或一个随机存取单元RAU中的画面序列，或相同流的随机存取单元
RAU的序列。图9B和9C示出了播放实例。特别是，图9B示出了多角度播放的实例。在流
1和流N分别以不同的角度存储视频的情况下，能够通过在流1的码片l-l之后通过改变角
度来播放流N的码片N-2，并在码片N-2播放完后返回流1的播放。图9C示出了摘要播放
的实例。例如，通过有选择地播放流1中的码片1-1和码片l-M来播放典型场景。 图10是表示对复用数据进行解复用，以获得编码数据并播放编码数据的传统解
复用装置的操作流程图。 首先，在步骤S201中，解复用装置对复用数据解复用以获得管理信息，获得与要 播放的一个或多个码片有关的信息，然后进展到步骤204。与码片有关的信息包括码片的开 始时间，结束时间，用于在码片中存取编码数据的存取信息等。在步骤204和205，解复用装 置解码并显示该码片中的画面，直到该码片中的最后画面。在此，在用户操作发出指示结束 播放的指令等的情况下，在该指令变为有效时结束播放。
图11是表示传统解复用装置的结构的方框图。 解复用装置900包括管理信息解复用单元21，码片信息分析单元22，解码单元24 和显示26。 管理信息解复用单元21从诸如光盘之类的复用数据记录介质读出复用数据 MuxDat，分析管理信息，和根据用户之类或预定方法确定要播放的码片。此后，管理信息解 复用单元21向码片信息分析单元22输出码片信息Clip，作为与确定的码片有关的信息。
码片信息分析单元22向解码单元24输出用于存取构成码片的画面的存取信息 acs。另一方面，解码单元24根据存取信息acs，从复用数据记录介质读出视频数据Vdat， 对读出的数据解码，和把解码结果dec0ut输出到显示单元26。显示单元26按显示顺序显 示解码结果。 MPEG-4AVC允许灵活的预测结构，码片的帧延迟因此是可变的。由于传统的解复用 装置改变码片而没有考虑码片的帧延迟，在改变具有不同帧延迟的码片时在画面的显示间 隔中出现间隙。 图12A至12C示出了从具有一个帧延迟的码片改变到具有两个帧延迟的帧的实 例。 图12A示出了具有一个帧延迟的流1的随机存取单元RAU1-1，图12B示出了具有 两个帧延迟的流2的随机存取单元RAU2-1 。在此，图12C示出了在RAU1-1之后播放RAU2-1 时的解码和显示时序。 由于RAU1-1的帧延迟是1，当显示在RAU1-1的解码顺序中在最后的画面P15时， 对RAU2-1的顶部画面P18进行解码。然而，RAU2-1的帧延迟是2，在对解码顺序中处在第 二的画面P2解码时，RAU2-1中的画面显示仍没有开始。因此，在对P2解码时没有显示画 面。因此，在画面P15和画面B0之间的显示间隔中出现间隙。 同样，在随机存取单元RAU2-1之后播放随机存取单元RAU1-1的情况下，在连续显 示解码间隔中出现间隙。换句话说，在显示间隔中出现交迭。下文中，显示顺序中的间隙是 指在连接的帧延迟量增加和降低的两种情况下出现连接中断。 如上所述，由于传统的解复用装置不能显示位于具有不同帧延迟的码片被改变的 部分的画面，而保持固定的帧，因此传统的多路复用和解复用装置具有使观看运动画面的 用户感觉不舒服的问题。 为了解决上述问题而考虑了本发明。本发明的目的是提供一种将编码流与其它信 息多路复用以产生复用数据的多路复用装置，和用于对复用数据解复用以播放编码流的解 复用装置，以便即使在进行诸如多角度播放之类的任何特技播放时也不回使用户感到不舒 服。
发明内容
为了实现上述目的，本发明的多路复用装置将一个或多个编码流与其它信息复 用，所述编码流包括以可随机存取的存取单元为单位的编码画面，所述多路复用装置包括 编码单元，用于产生编码流，以便在对编码流中包括的所有存取单元中的两个存取单元按 顺序解码的过程中，在两个预定存取单元的连接中不出现间隙；多路复用单元，用于把其它 信息与编码单元产生的编码流进行多路复用。例如，在本发明的第一方面中，编码单元产生 编码流，以使两个存取单元中的延迟量变得彼此相等，每个延迟量是从对解码顺序中的顶 部画面解码时起到显示显示顺序中的顶部画面时的时间滞后。 以使要被进行特技播放的两个存取单元(例如，码片)的延迟量(帧延迟)变得 彼此相等的方式产生编码流。因此，在按顺序对这些存取单元解码时在这些存储单元的连 接中不出现间隙。换句话说，这些存取单元在进行特技播放时彼此无缝地连接。这意味着 帧频是不变的。因此，能够消除给观看由这些存取单元构成的运动画面的用户造成的不舒服的感觉。在此，例如，产生编码流，以便在根据应用程序的操作标准预定延迟量的情况下， 将这两个存取单元的延迟量调节到预定的延迟量。 另外，在本发明的第二方面中，多路复用装置还包括延迟信息产生单元，用于产生 与延迟量有关的延迟信息，在该装置中，多路复用单元可以将其它信息与延迟信息产生单 元产生的延迟信息进行复用。例如，在本发明的第三方面中，延迟信息产生单元产生指示延 迟量的延迟信息。作为替换，在本发明的第三方面中，延迟信息产生单元产生指示能够无缝 地连接两个存取单元的标记，作为延迟信息。 这样，在延迟信息(帧延迟信息)指示延迟量的情况下，解复用装置能够通过该延 迟信息很容易地获得这两个存取单元中的延迟量。另外，在作为延迟信息的标记指示这两 个存取单元的延迟量彼此相等的情况下，解复用装置能够很容易地获得这两个存取单元中 的延迟量。因此，能够使解复用装置进行更正确的解复用处理。 另外，在本发明的第二方面中，编码单元可以以编码流中包括的所有存取单元中
的两个存取单元的连接不出现间隙的方式产生编码流，该连接是角度可变点。
由于这两个存取单元具有不同的角度，与前面描述的情况相同，在按顺序对这些
存取单元解码时，这些存取单元的连接中不出现间隙。换句话说，以无缝多角度的方式连接
这些存取单元。这意味着帧频是不可变的。因此，能够消除给观看由这些存取单元构成的
运动画面的用户造成的不舒服的感觉。 另外，为了实现上述目的，本发明的解复用装置多路复用数据进行解复用，所述复 用数据包括(i)包括以可随机存取的存取单元为单位的编码画面的编码流；和(ii)与所 有存取单元中的两个预定存取单元中的延迟量有关的延迟信息，每个延迟量是从对解码顺 序中的顶部画面解码时起到显示显示顺序中的顶部画面时的时间滞后，所述解复用装置包 括延迟信息解复用单元，用于对复用数据解复用，以获得延迟信息；和播放单元，用于根 据在延迟信息解复用单元已经对复用数据解复用时获得的延迟信息，来按顺序解码和播放 存取单元。 在以对这两个存取单元(例如，码片)进行特技播放的延迟量变得彼此相等的方 式产生编码流的实例情况下，能够按顺序解码和播放这两个存取单元，而不允许在特技播 放时不在这两个存取单元的连接中出现间隙。换句话说，能够变成无缝地连接这些存取单 元。这意味着能够使帧频不变。结果是，能够消除给观看由这些存取单元构成的运动画面 的用户造成的不舒服的感觉。另外，在由延迟信息(帧延迟信息)指示延迟量的实例情况 下，能够通过延迟信息很容易地获得这两个存取单元的延迟量。此外，在使用标记指示延迟 信息的情况下，能够很容易地获得指示这两个存取单元的延迟量彼此相等的信息。因此，能 够进行更正确的解复用处理。 另外，为了实现上述目的，在本发明的多路复用方法中，对运动画面编码，并将编 码的运动画面与管理信息复用，该多路复用方法包括产生一个或多个编码流；获得编码 流中的帧延迟；产生包括用于指示获得的帧延迟的信息的管理信息；和对编码流与管理信 息进行复用。在该多路复用方法中，编码流由一个或多个随机存取单元构成，帧延迟指示分 别在这些随机存取单元中，从对解码顺序中的顶部画面解码时起到显示显示顺序中的顶部 画面时的时间段期间分别出现的延迟量，并且编码流中的帧延迟是可变的。
另外，管理信息可以包括编码流的帧延迟。
10
另外，管理信息可以包括编码流中帧延迟的最大值。 另外，管理信息可以包括相等帧延迟，作为帧延迟彼此相等时编码流中的公共帧 延迟。 另外，管理信息可以包括基于这些随机存取单元构成的播放单元的帧延迟。
另外，本发明的解复用方法是对根据多路复用方法复用的数据进行解复用并播放 得到的解复用数据的解复用方法。所述解复用方法包括获得要播放的这些随机存取单元 所属的编码流的帧延迟；根据获得的帧延迟确定播放时的帧延迟；和根据确定的帧延迟播 放这些随机存取单元中包括的画面。 另外，在确定帧延迟的过程中，可以以与刚刚作为当前随机存取单元被播放的随 机存取单元的帧延迟相等的帧延迟来播放跟在当前随机存取单元之后的这些随机存取单 元。 应该指出，本发明不仅能够作为上面已经描述的多路复用装置，解复用装置，多路 复用方法和解复用方法来实现，而且以用于多路复用装置和解复用装置的程序，存储该程 序的记录介质，和由多路复用装置产生的复用数据来实现。 至此，由于即使在特技播放时本发明也能够保证以固定的帧频显示，因此能够消 除用户不舒服的感觉。特别是，本发明能够改善数据包介质的播放质量，因此非常实用。
有关本申请的技术背景的进一步信息 在此引入2004年6月2日提交的包括说明书，附图和权利要求在内的日本专利公 开No. 2004-165030揭示的整体内容作为参考。
从以下结合示出了本发明的特殊实施方式的附图的说明中，可以清楚地了解本发
明的这些和其它目的、优点和特征。在附图中 图1A和IB是显示MPEG-2流结构的示意图。 图2A和2B是显示MPEG-2中的GOP结构的示意图； 图3A和3B是显示MPEG-2流中的帧延迟的示意图； 图4是显示MPEG-4AVC流的结构的示意图； 图5是显示MPEG-4AVC流中预测结构的一个实例的示意图； 图6A至6C是显示MPEG-4AVC流中如何改变码片的实例的示意图； 图7是显示传统多路复用装置的操作的流程图； 图8是显示传统多路复用装置的结构的方框图； 图9A至9C是显示从传统多路复用装置输出的数据的结构实例的示意图；
图10是显示传统多路复用装置的操作的流程图；
图11是显示传统多路复用装置的结构的方框图； 图12A至12C是显示播放由传统多路复用装置输出的复用数据时出现的问题实例 的示意图； 图13是显示本发明第一实施方式中的多路复用装置的操作的流程图； 图14是显示本发明第一实施方式中的多路复用装置的方框图； 图15A至15E是显示由本发明第一实施方式中的多路复用装置输出的数据结构的
11实例的示意图； 图16是显示本发明第二实施方式中的多路复用装置的操作的流程图； 图17是本发明第二实施方式中的多路复用装置的方框图； 图18是显示本发明第三实施方式中的解复用装置的操作的流程图； 图19是显示本发明第三实施方式中确定播放中的帧延迟时解复用装置的操作的
流程图； 图20A至20D是显示本发明第三实施方式中确定播放中的帧延迟时解复用装置的 操作实施例的流程图； 图21是显示本发明第三实施方式中的解复用装置的方框图； 图22是显示HD-DVD的数据层级的示意图； 图23是显示HD-DVD的逻辑空间结构的示意图； 图24是显示VOB信息文件的结构的示意图； 图25是时间映射的示意图； 图26是显示播放列表文件的结构的示意图； 图27是显示对应于播放列表的程序文件的结构的示意图； 图28是显示BD盘管理信息文件的结构的示意图； 图29是显示用于记录全局事件处理器的程序文件的结构的示意图； 图30是显示HD-DVD播放器的概况结构的方框图；禾口 图31A和31B是显示记录用于实现本发明的多路复用方法和解复用方法的程序的 记录介质的结构的示意图；和图31C是说明记录和播放灵活盘上的程序的结构的示意图。
具体实施例方式以下参考
本发明的实施方式。
(第一实施方式) 图13是显示本发明第一实施方式中的多路复用装置的操作的流程图。多路复用 装置输出经多路复用的数据，经复用的数据能够指示复用数据中存储的编码流的帧延迟信 息。 首先，在步骤301中，多路复用装置产生MPEG-4AVC编码流。在步骤302，获得在 步骤301产生的编码流的帧延迟，并进展到步骤303。在步骤303中，判断是否已经产生了 多路复用数据中要存储的所有编码流，并重复步骤301和步骤303的过程，直到已经产生了 所有编码流。在步骤304，产生要作为复用数据的管理信息存储的帧延迟信息，并进展到步 骤305。在步骤305，除了由传统多路复用装置产生的信息之外，还产生用于指示帧延迟信 息的管理信息。最后，在步骤306，将步骤301产生的编码流与在步骤305产生的管理信息 进行复用，然后输出复用数据。 图14是显示本发明第一实施方式中的多路复用装置的结构的方框图。 多路复用装置100A包括编码单元15，存储器12，管理信息产生单元16，帧延迟获
得单元17和多路复用单元18。 应该指出，本实施方式的多路复用装置100A的上述组件与图8所示的传统多路复 用装置中的相同组件被赋予了相同的参考标号，并且不再对这些组件进行描述。
12
编码单元15对输入的运动画面数据Vin进行编码，并把得到的编码数据strln存 储到存储器12中。另外，编码单元15向帧延迟获得单元17输出编码数据strln的帧延迟 frDly。 帧延迟获得单元17产生要存储在管理信息中的延迟信息dlylnf作为帧延迟信 息，然后将其输出到管理信息产生单元16。 管理信息产生单元16根据对从存储器12读出的编码数据strln和延迟信息 dlylnf的分析结果产生管理信息库，作为读出数据strOutl，然后将其输出到多路复用单 元18。 多路复用单元18对管理信息库，从存储器12读出的读出数据str0ut2和与编码 数据分开获得的、作为用户设置信息的附加信息adlnf，然后输出复用数据MuxDat。应该指 出，可以将编码时的帧延迟限制在预定值或低于预定值，该帧延迟由编码单元15设置。
图15A至15E示出了由多路复用装置IOOA输出的复用数据的结构实施例。
复用数据示出了如图15A所示的存储在复用数据中的码片的帧延迟信息。在此， 复用数据中存储码片数量为N，帧延迟为从延迟1到延迟N。应该指出，各个码片可以是指 示相同编码流中的不同区域的单元，或者可以是属于不同编码流的码片。
图15B至15C示出了帧延迟信息的结构。图15B存储各个码片的帧延迟作为表信 息。图15C示出了码片的帧延迟的最大值。作为最大值，可以示出复用数据中存储的所有 码片的帧延迟中的最大值，或者可以根据播放列表给出按顺序要播放的码片的帧延迟中的 最大值。另外，可以将预定值表示为最大值。图15D示出了各个码片中共同使用的帧延迟 的值。在各个码片的帧延迟是可变的情况下，可以表示出这些值。另外，在各个码片的帧延 迟不可变的情况下，可以表示出在播放时使用的帧延迟。图15E示出了码片的帧延迟是否 彼此相等。例如，存储指示这些帧延迟是否彼此相等的标记信息。应该指出，图15B至15D 示出的信息可以被组合使用。 应该指出，可以表示出只与特定的码片有关的帧延迟信息。首先，能够根据码片的 播放方法，给出与用于多角度播放或摘要播放的码片有关的帧延迟信息。另外，能够根据码 片中顶部随机存取单元的属性来设置帧延迟。例如，在定义在IDR画面改变角度的情况下， 可以给出只与其顶部随机存取单元是IDR画面的码片有关的帧延迟信息。另外，可以只在 保证彼此无缝地连接码片的摘要播放的情况下给出帧延迟信息。 另外，可以给出复用数据中存储的编码流的帧延迟信息，而不直接给出各个码片 的帧延迟信息。此时，通过把每个码片所属的编码流与指示编码流的帧延迟的信息相关联， 能够给出各个码片的帧延迟。可以在下面的两种情况下使用该方法(i)相同编码流中的 各个码片的帧延迟不可变的情况下，和(ii)给出相同编码流中包括的码片的帧延迟的最 大值的情况下。 在使用诸如蓝光盘(BD)或高清晰(HD)-DVD之类的应用标准的情况下，这些标准 定义帧延迟应该彼此相等，或定义帧延迟间的最大值或预定值，由于该应用标准给出了与 帧延迟有关的信息，应该指出，不能存储帧延迟作为管理信息。 另外，在利用诸如TS或实时传输协议(RTP)之类的协议经网络接收复用数据的情 况下，可以获得帧延迟信息作为播放控制信息。例如，在向播放终端通知播放控制信息时使 用刻录段落(session)描述协议(SDP)的情况下，能够描述SDP中的帧延迟信息。另外，通过指示诸如同步多媒体综合语言(SMIL)之类的场景描述语言中的帧延迟信息，可以向播 放终端通知帧延迟。 另外，可以在一个随机存取接随机存取的基础上指示帧延迟信息。另夕卜，可以通过
例如将其加到随机存取单元RAU中的顶部画面来在编码流中指示帧延迟信息。 这样，通过由多路复用装置输出的复用数据中的管理信息来指示帧延迟信息。因
此，在播放复用数据时调节帧延迟使其能够播放编码流，而不允许在改变码片时在显示中
出现间隙。(第二实施方式) 图16是显示本发明第二实施方式中的多路复用装置的操作的流程图。
首先，在步骤401，多路复用装置设置存储在复用数据中的编码流共同使用的帧延 迟的值。在步骤402，根据已经在步骤401设置的帧延迟来产生MPEG-4AVC编码流。在步骤 403，判断是否已经产生了多路复用数据中要存储的所有编码流，并重复步骤402的过程， 直到对所有编码流进行了编码。在步骤404，产生要作为复用数据的管理信息存储的帧延迟 信息，并进展到步骤405。在步骤405，除了由传统多路复用装置产生的信息之外，还产生用 于指示帧延迟信息的管理信息。最后，在步骤406，将步骤401产生的编码流与在步骤405 产生的管理信息进行复用，然后输出得到的复用数据 图17是显示本发明第二实施方式中的多路复用装置的结构的方框图。 多路复用装置100B包括帧延迟确定单元41，编码单元42，存储器12，管理信息产
生单元16，和多路复用单元18。 应该指出，本实施方式的多路复用装置100B的上述组件与图8所示的传统多路复 用装置中的相同组件被赋予了相同的参考标号，并且不再对这些组件进行描述。
帧延迟确定单元41确定编码流的帧延迟，并向编码单元42和管理信息产生单元 16输出延迟信息dlylnf。在此确定的帧延迟可以是应用标准预定的值，或者可以针对多路 复用装置设置，或由用户设置。编码单元42根据延迟信息dlylnf指示的帧延迟来对输入 的运动画面数据Vin进行编码，然后把编码的数据strln存储到存储器12中。换句话说， 编码单元42以使随机存取单元的单元中的帧延迟彼此相等的方式产生一个或多个编码数 据strln，以致在按顺序对作为一个或多个编码数据strln中包括的存取单元(其编码数据 或码片)的两个特定的存取单元解码时，使这些存取单元的连接中不出现间隙。应该指出， 防止在解码时这些存取单元的连接中出现间隙是指防止画面的显示间隔中出现间隙，防止 画面的解码间隔中出现交迭。 管理信息产生单元16根据对从存储器12读出的编码数据strOutl和延迟信息 dlylnf的分析结果来产生管理信息库，作为读出数据strOutl和延迟信息dlylnf，然后将 管理信息库输出到多路复用单元18。 多路复用单元18复用(i)管理库，(ii)已经从存储器12读出的读出数据 strOut2，和(iii)诸如由用户设置信息之类从编码数据分开获得的附加信息adlnf，然后 输出得到的复用数据MuxDat。 应该指出，在由应用标准等预先定义帧延迟的情况下，多路复用装置IOOB可以具 有不包括帧延迟确定单元41的结构，可以代替的是，编码单元42根据固定的帧延迟来执行 编码处理。在帧延迟在编码流中不变的条件下，能够在管理信息中不包括帧延迟信息的情况下确定播放时的帧延迟。因此，不需要在管理信息总是指示帧延迟信息。 由于由多路复用装置以这种方式输出复用数据的情况下复用数据中要存储在的
编码流中的帧延迟是不可变的，因此各个码片的帧延迟也是不可变的。因此，即使在改变码
片的情况下，也能够在开始播放时在显示中无缝地播放编码流，而不需要调节帧延迟。 应该指出，在上述实施方式中，可以采用除MPEG-4AVC外的编码方案，只要其定义
帧延迟是可变的。 另外，可以在无缝连接或无缝多角度播放中按顺序播放的这些随机存取单元(编 码流或码片)的帧延迟不可变。在此，无缝连接是指无缝地连接相同流或不同流中包括的 码片。另外，无缝多角度播放是指连接编码流中包括的、其角度彼此不同的码片，并且改变 这些角度。例如，可以在从开始时间到第30秒的时间段期间采用一种角度，并在从第30秒 到第60秒的时间段期间选择多个角度来进行播放。此时，表示不同角度的每个码片具有相 同的帧延迟。另外，可以使每个角度的帧延迟不变，而与其是否能够无缝地进行多角度播放 无关。这是由于，在多角度播放时帧延迟以角度为单位改变的情况下，再现质量是可改变 的。应该指出，可以对编码流进行这种无缝连接或无缝多角度播放。 应该指出，可以要求无缝连接或多角度播放中使用的每个存取单元满足下列条 件能够不参考比第一存取单元早解码的第二存取单元中的画面来对第一存取单元中的任 意画面解码。象这样的存取单元对应于MPEG-2中的封闭G0P，或MPEG-4AVC中以IDR画面 开始的随机存取单元RAU。因此，可以使能够参考相同存取单元内的画面对其组成画面解码 的存取单元中的帧延迟不可变。 另外，在使上面描述的无缝连接等中按顺序播放的这些存取单元的帧延迟不可变 的情况下，多路复用装置预先判断是否应该对应该产生的这些存取单元进行无缝连接或无 缝多角度播放。此后，在多路复用装置判断这些存取单元应该是目标的情况下，以使目标随 机存取单元的帧延迟彼此相等的方式进行编码，以产生编码流。例如，在对两个编码流进行 无缝连接等的情况下，产生向后编码流，以使向后编码流的帧延迟与向前编码流的帧延迟 相等。 另外，管理信息库中包括的帧延迟信息可以指示针对诸如无缝连接之类的特定存
取单元(编码流或码片)的帧延迟是共同。另外，也可以是指示存取单元可以变成无缝连
接的目标，多角度播放等的标记。这样的标记被存储在播放列表，时间映射等中，作为指示
连接属性的信息。(第三实施方式) 图18是表示本发明第三实施方式中的解复用装置的操作的流程图。解复用装置
输入和播放由第一和第二实施方式中的多路复用装置产生的多路复用数据。 首先，在步骤501，解复用装置对复用数据解复用，以获得管理信息，并获得与要播
放的码片有关的信息。根据由来自用户的指令，或管理信息中的播放列表等预定的播放顺
序来确定要播放的码片。 接下来，在步骤502，获得在步骤501被确定为要播放码片的码片帧延迟信息，并 进展到步骤503。在步骤503，根据在步骤502获得的帧延迟信息确定在播放码片时的帧延 迟。 在步骤504和步骤505，解码并显示码片中的画面，直到码片中最后的画面。在此，在通过用户操作指令播放结束的情况下，在该指令变为有效时结束播放。应该指出，在步骤
501至步骤503中，只在改变属于不同编码流的码片时可以确定帧延迟。 图19是显示图18的步骤503中的播放期间确定帧延迟时的操作的流程图。 首先，在步骤601，解复用装置判断包括在解复用数据中的编码流的帧延迟是否不
可变。在帧延迟不可变的情况下，流程进展到步骤603。相反，在帧延迟可变的情况下，流程
进展到步骤602。 在步骤603，确定播放具有共同帧延迟的复用数据中的编码流。在步骤602，判断 按顺序要播放的码片的帧延迟是否不可变。在帧延迟不可变的情况下，流程进展到步骤 604。相反，在帧延迟可变的情况下，流程进展到步骤605。在步骤604，确定根据播放中顶 部码片的帧延迟来播放编码流。在步骤605，确定调节播放中的帧延迟。下面描述可用于在 播放中调节帧延迟的方法。 1.调节要播放码片的帧延迟中的最大帧延迟。
2.刚刚播放的码片的帧延迟。
3.使用预定的帧延迟。 在能够确定要播放的码片的情况下，第一种方法特别有效。在由用户指令动态改 变要播放的码片的情况下，第二种方法特别有效。另外，在能够从复用数据的管理信息，或 编码流中的信息，或由应用标准获得帧延迟的最大值的情况下，第三种方法有效。另外，可 以使用为该装置预定的帧延迟。 图20C和20D分别示出了第一和第二种方法的实施例。图20C示出了在具有一帧 延迟的码片1之后播放具有两帧延迟的码片2的实施例。在此，播放码片1时的帧延迟是 2。图20D示出了正在播放具有两帧延迟的码片2时由用户指令改变到具有一帧延迟的码 片1的实施例。此时，码片1的帧延迟最初是l，根据码片2的帧延迟，在码片1的帧延迟是 2的前提下对其进行播放。以这种方式确定帧延迟，使得能够在播放编码流时在码片1和码 片2之间进行改变的位置的显示间隔中不出现间隙。 应该指出，可能存在复用数据中的编码流的帧延迟彼此相等时，解复用数据中没 有给出帧延迟信息的情况，如第二实施方式中所示。在象这样播放复用数据的情况下不需 要步骤502中的过程。另外，优选的是，在步骤503中开始显示时确定帧延迟的情况下，调 节播放中顶部码片的帧延迟。 另外，在由应用标准等定义帧延迟的最大值的情况下，解复用装置可以一直根据 预定义的最大值来播放复用数据。 图21是显示第三实施方式的解复用装置的结构的方框图。 解复用装置200包括管理信息解复用单元51，码片信息分析单元52，帧延迟确定 单元53，解码单元54，和显示单元55。 管理信息解复用单元51从诸如光盘之类的复用数据记录介质读出复用数据 MuxDat，分析管理信息，并根据用户指令或预定方法来确定要播放的码片。此后，管理信息 解复用单元51向码片信息分析单元52输出码片信息Clip，作为与确定的码片有关的信息。
码片信息分析单元52向解码单元24输出用于存取组成码片的画面的存取信息 acs。另外，码片信息分析单元52获得要播放的码片的延迟信息dly，并将延迟信息dly输 出到帧延迟确定单元53。
解码单元24根据存取信息acs，从复用数据记录介质读出视频数据Vdat，对视频 数据Vdat解码，然后向显示单元54输出解码结果dec0ut。 帧延迟确定单元53确定播放时的帧延迟，并向显示单元54输出延迟T。 显示单元54根据延迟T来显示画面。应该指出，可能存在如第二实施方式所示，
在复用数据中的编码流的帧延迟彼此相等的情况下，复用数据中没有给出帧延迟信息的情 况。在象这样播放复用数据的情况下，解复用装置可以具有不包括帧延迟确定单元53的结构。 另外，在对这些存取单元进行无缝连接或多角度播放时，虽然在播放列表等中给 出的连续播放单元的帧延迟是不可变的，在不保证无缝连接的情况下，在连接处的帧延迟 是可变的。在复用数据的管理信息不包括指示此时的帧延迟的信息的情况下，可以在解码 单元24中获得存取单元的帧延迟，可以把获得的帧延迟输入到帧延迟确定单元53。在此， 在帧延迟不可变的播放区中，根据播放顺序中顶部的存取单元的帧延迟来确定该帧延迟。 相反，在帧延迟可变的播放区中，帧延迟确定单元调节播放时的帧延迟。应该指出，在上述 任何情况中，可以应用与应用标准等中确定的帧延迟的最大值相同的帧延迟。
(第四实施方式) 诸如多角度播放摘要播放之类的功能对用于播放包媒体的光盘装置特别重要。在 这里，要说明将上述第一和第二实施方式中的多路复用装置输出的复用数据记录到作为下 一代光盘的蓝光盘(BD)中的例子。
首先，说明BD-ROM的记录格式。 图22是指示BD-ROM的结构，特别是作为盘介质的BD盘104的结构，和存储在盘 中的数据的示意图。存储在BD盘104中的数据包括AV数据103，诸如有关AV数据和AV播 放顺序的管理信息之类的BD管理信息102，和实现互动性的BD播放程序101 。在这里，为 了方便，将BD盘的说明集中于用于播放电影的音频和视频内容的AV应用，但是可以对另一 种应用进行同样的说明。 图23是显示存储在上述BD盘中的逻辑数据的目录文件的结构示意图。例如，如 同DVD、 CD等一样，BD盘具有从其内周到其外周的记录区，并具有在内周的读入和外周的 读出之间的、用于存储逻辑数据的逻辑地址空间。此外，在读入内侧，具有叫作脉冲分割区 (Burst Cutting Area) (BCA)的，只能由驱动器读出的专用区。由于这个区不能从应用读 出，所以可以将它用于，例如，版权保护技术。 文件系统信息(巻)存储在逻辑地址空间的最前端，并且视频数据之类的应用数 据也存储在这里。如背景技术中所述，文件系统是例如UDF或IS09660，它允许如同正常PC 的情况一样读出利用目录结构或文件结构存储的逻辑数据。 在该实施方式中，作为BD盘上的目录结构和文件结构，BDVIDEO目录紧接着路径 目录(R00T(根目录))之下放置。这个目录是存储诸如AV内容或在BD中处理的管理信息 (图22中说明的101， 102和103)之类的数据的目录。
在BDVIDEO目录之下，记录着以下七个文件。 (i) BD. INFO (文件名是固定的)，这是一条"BD管理信息"，并且是存储有关整个BD 盘的信息的文件。BD播放器首先读出这个文件。 (ii)BD. PR0G(文件名是固定的)，这是"BD播放程序"之一，并且是存储有关整个BD盘的播放控制信息的文件。 (iii)XXX. PL( "XXX"是可变的，而扩展名"PL"是固定的)，这是一条"BD管理信 息"，并且是存储作为脚本(播放序列)的播放列表信息的文件。每个播放列表具有一个文 件。 (iv)XXX. PR0G( "XXX"是可变的，而扩展名"PROG"是固定的)，这是"BD播放程序" 之一，并且是存储根据播放列表准备的播放控制信息的文件。对应播放列表是根据文件体 名(根据"XXX"的匹配)识别的。 (v)YYY. V0B( "YYY"是可变的，而扩展名"V0B"是固定的)，这是"AV数据"之一， 并且是存储VOB(与背景技术中说明的VOB相同)的文件。每个VOB具有一个文件。
(vi)YYY. VOBI ( "YYY"是可变的，而扩展名"VOBI"是固定的)，这是一条"BD管理 信息"，并且是存储有关作为AV数据的VOB的流管理信息的文件。对应播放列表是根据文 件体名(根据"YYY"的匹配)识别的。 (vii)ZZZ. PNG( "ZZZ"是可变的，而扩展名"PNG"是固定的)，这是"AV"数据之 一，并且是存储用于构成副标题和菜单的图像数据PNG(这是由V3C标准化的画面格式，念 作"ping")的文件。每个PNG图像具有一个文件。 以下参考图24至图29说明BD导航数据的结构(BD管理信息)。 图24是显示VOB管理信息文件("YYY. VOBI")的内部结构的示意图。VOB管理信息具有VOB的流属性信息(Attribute)和时间映射表(TMAP)。流属性
具有视频属性(Video)和音频属性(Audio#0至Audio#m)。更具体地讲，在音频流的情况
下，由于VOB同时具有多个音频流，所以通过音频流的号码(Number)来指示数据字段的存
在或不存在。 下面是分别存储在字段中的视频属性(Video)，和对应字段可能具有的值。
(i)压縮格式(Coding) :MPEG-1 ;MPEG-2 ;MPEG-4 ;和MPEG-4AVC(高级视频编码)。
(ii)分辨率(Reslution) :1920x1080 ;1440x1080 ;1280x720 ;720x480 ; 和 720x565。 (iii)宽高比(Aspect) :4比3 ;禾口 16比9。 (iv)帧速率(Framerate) :60 ;59. 94 (60/1. 001) ;50 ;30 ;29. 97 (30/1. 001) ;25; 24 ;和23. 976(24/1. 001)。 以下是分别存储在字段中的音频属性(Audio)，和相应字段可能具有的值。
(i)压縮格式(Coding) :AC3 ;MPEG-1 ;MPEG-2 ;和LPCM。
(ii)声道号(Ch) :1至8。
(iii) i吾言属性(Language): 时间映射表(TMAP)是用于存储基于VOBU的信息的表，并且具有VOB具有的VOBU 数量和相应的VOBU信息条(V0BU#1至V0BU#n)。各VOBU信息条包括作为VOBU的最前端 TS数据分组的地址(I画面的开始地址)的1—start，和直到I画面的结束地址的偏离地址 (I_end)，和I画面的播放开始时间(PTS)。
图25是显示VOBU详细情况的示意图。 众所周知，由于可以对MPEG视频流执行可变比特率压縮以便高质量地记录视频 流，所以播放时间与数据大小之间没有正比性。另一方面，由于在作为音频压縮标准的AC3中执行固定比特率压縮，所以可以从初等表达式获得时间与地址之间的关系。但是，在 MPEG视频数据的情况下，每个帧具有固定的显示时间，例如，在NTSC情况下， 一个帧具有 1/29.97秒的显示时间，但是根据图像特征，或压縮中使用的画面类型，例如，I画面、P画 面、或B画面，压縮每个帧之后的数据大小极大地改变。因此，在MPEG视频流的情况下，不 能利用初等表达式表示时间与地址之间的关系。 如所预期的，在多路复用MPEG视频数据的MPEG系统流中，即，在V0B中，不能利用 初等表达式表示时间与数据大小之间的关系。因此，在VOB中用时间映射表(TMAP)将时间 与地址联系在一起。 以这种方式，在给出了时间信息的情况下，首先搜索时间所属的VOBU(按顺序跟 随VOBU的PTS)，使紧挨着该时间之前的PTS跳入TMAP具有的VOBU(由I_start指定的地 址)，从该VOBU的最前端I画面开始解码，并且从对应于该时间的画面开始显示。
接下来，参考图26说明播放列表信息("XXX. PL")的内部结构。
播放列表信息包括单元列表(CellList)和事件列表(EventList)。
单元列表(CellList)是播放列表中的播放单元序列，并且各单元以这个列表中 指示的规定顺序播放。单元列表(CellList)的内容是单元号(Number)和每个单元的信息 (Cell#l至Cell#n)。 单元信息(Cell#)具有VOB文件名(VOBName)，该VOB中的开始时间(In)和结束 时间(Out)，和副标题(SubtitleTable)。在每个VOB中将开始时间(In)和结束时间(Out) 表示为帧号。利用上述时间映射表(TMAP)可以获得播放所需的VOB数据的地址。
副标题表(SubtitleTable)是存储与VOB同步播放的副标题信息的表。如同音频 的情况一样，多种语言包括在副标题中。副标题表(SubtitleTable)的第一信息包括语言 号(Number)和随后根据语言准备的表(Language#l至Language#k)。 每个语言表(Language^包括语言信息(Lang)，要独立显示的副标题的副标题信 息条的号(Number)，和要独立显示的副标题的副标题信息(Speech#l至Speech#j)。副标 题信息(SpeeCh#)包括图像数据文件名(Name)，副标题显示开始时间(In)，副标题显示结 束时间(Out)，和副标题显示位置(Position)。 事件列表(EventList)是定义播放列表中发生的每个事件的表。事件列表包括 事件号(Number)和各个事件(Event#l至Event#m)。每个事件(Event#)包括事件类型 (Type)，事件ID (ID)，事件发生时间(Time)，和事件持续时间(Duration)。
图27是具有根据播放列表准备的事件处理程序(这是用于菜单选择的时间事件 和用户事件)的事件处理程序表("XXX. PROG")。 事件处理程序表包括定义的事件处理程序/程序号(Number)，和相应的事件处理 程序/程序(Program#l至Programfe)。每个事件处理程序/程序(Program#)的内容是事 件处理程序的开始的定义(〈eventjiandler〉tag)和与早先说明的事件ID组成对的事件处 理程序ID(ID)，紧接着它的是在跟随在函数(Function)后面的"{}"中说明的程序。存储 在早先说明的"XXX. PL"的事件列表(EventList)中的事件(Event#l至Event#m)是利用 "XXX. PROG"的事件处理程序的ID (ID)指定的。 接下来，参考图28说明有关整个BD盘的信息("BD. INFO")的内部结构。 有关整个BD盘的信息包括标题列表(TitleList)和全局事件的事件表
19(EventList)。 标题列表(TitleList)包括盘的标题号(Number)和跟随在标题号后面的多条标题信息(Titleftl至Titlefe)。各条标题信息(Title#)包括被包括在标题中的播放序列表(PLTable)，和标题中的章列表(Ch即terList)。播放序列表(PLTable)包括标题中的播放列表的号(Number)，和作为播放列表的文件名的播放列表名(Name)。 章列表(ChapterLi st)包括被包括在标题中的章号(Number)和多条章信息(Chapter#l至Chapter#n)。每条章信息(Chapter#)包括被包括在该章中的单元表(CellTable)，单元表(CellTable)包括单元号(Number)和多条单元项信息(CellEntry#l至CellEntryftk)。单元项信息(CellEntry#)包括播放列表名，播放列表名包括该播放列表中的单元和单元号。 事件列表(EvenList)包括全局事件号(Number)和多条全局事件。应当注意，首先定义的全局事件叫做第一事件(FirstEvent)，并且是BD插入播放器后首先调用的事件。全局事件的事件信息仅有一个事件类型(Type)和一个事件ID(ID)。 图29是全局事件处理程序的程序的表("BD. PROG")。该表的内容与图27中说明的事件处理程序表的内容相同。 在第一和第二实施方式中的多路复用装置的复用输出数据使用象上述这样的BD-ROM的情况下，VOBU由一个或多个随机存取单元RAU组成，在播放列表中规定了码片的播放顺序。在此，可以由BD管理信息给出帧显示信息。例如，可以把帧延迟信息存储在播放列表的播放条目中，或指示诸如EP映射之类的地址信息的表中。帧延迟信息也可以存储在指示编码流的属性信息的表中。另外，在指示(i)在存储在复用数据中的编码流的帧延迟的最大值，(ii)在所有编码流等间共同的帧延迟的情况下，可以指示帧延迟作为比与各个编码流有关的信息高的信息。 应该指出，可以根据与播放列表或预定顺序不同的信息来确定码片的播放顺序。
应该指出，可以将诸如EP映射之类的存取信息存储在表中作为二进制数据，或呈可以是XML(可扩展标记语言)等的文本数据的形式。[O204](第五实施方式) 图30是大致示出播放与第五实施方式有关的BD盘的播放器的功能结构的方框图。 通过光拾取头202读出BD盘201上的数据。根据相应数据的类型，将读出的数据发送到专用存储器。将BD播放程序("BD. PROG"或"XXX. PROG"的内容)发送到程序存储器203。另外，把BD管理信息("BD. INFO"， "XXX. PL"或"YYY. VOBI")发送到管理信息存储器204。还将AV数据("YYY. VOB"或"ZZZ. PNG")发送到AV存储器205。
程序处理单元206处理记录在程序存储器203中的BD播放程序。另外，管理信息处理单元207处理记录在管理信息存储器204中的BD管理信息。显现处理单元208处理记录在AV存储器205中的AV数据。 程序处理单元206接收管理信息处理单元207要播放的播放列表的信息，和诸如程序的执行定时之类的事件信息，并执行程序的处理。另外，可以动态地改变程序要播放的播放列表。这可以通过将播放列表的播放指令发送到管理信息处理单元207来实现。程序处理单元206接收来自用户的事件，也就是说，通过遥控器接收请求，并且在具有对应于用户事件的程序的情况下，执行该程序。 管理信息处理单元207接收来自程序处理单元206的指令，分析播放列表和对应于播放列表的V0B的管理信息，并指令显现处理单元208播放目标AV数据。管理信息处理单元207还接收来自显现处理单元208的标准时间信息，根据时间信息指令显现处理单元208停止播放AV数据。此外，管理信息处理单元207产生一个事件，以把程序执行定时通知给程序处理单元206。 显现处理单元208具有能够分别处理视频、音频、副标题/图像(静止画面)的解码器。它根据来自管理信息处理单元207的指令，解码和输出AV数据。在视频数据，和副标题/图像的情况下，将它们解码，然后提供到对应的专用平面上，即，视频平面210和图像平面209上。此后，合成处理单元211对视频执行合成处理，和将视频输出到TV之类的显
示装置。 在多角度播放或摘要播放时，显现处理单元208翻译用户请求的多角度播放或摘要播放的操作，并将与角度可变点等有关的信息通知给管理信息处理单元207。管理信息处理单元207根据要播放的码片的帧延迟信息来确定播放时的帧延迟，并将该帧延迟通知给显现处理单元208。 可以将诸如EP映射之类的存取信息存储在表中作为二进制数据，或呈可以是XML(可扩展标记语言)等的文本数据的形式。
(第六实施方式) 另外，通过把用于实现上述实施方式中给出的复用方法和解复用方法的程序记录到诸如软盘之类的记录介质上，能够很容易地在独立的计算机系统中执行各个实施方式中给出的处理。 图31C示出了计算机系统如何使用诸如软盘之类的记录介质中记录的程序来执行本实施方式中的运动画面编码方法和运动画面解码方法。 图31A示出了作为记录介质的软盘的物理格式的例子。图31B示出了软盘以及该软盘外观的正示意图和横截面图。软盘(FD)容纳在外壳F中，从盘的外周到内周在盘的表面上同心地形成有多个轨道(Tr)，并且每个轨道在角度方向上被分割成16个扇区(Se)。因此，在软盘存储上述程序的情况下，程序被存储在软盘(FD)上分配给它的区中。
此外，图31C示出了记录和播放软盘上的程序的结构。在把用于实现多路复用方法和解复用方法的上述程序记录在软盘FD上的情况下，计算机系统Cs通过软盘驱动器将程序写在软盘上。在利用软盘中的程序构造上述用于实现多路复用方法和解复用方法的多路复用装置和解复用装置的情况下，通过软盘驱动器从软盘读出程序，并将它发送到计算机系统。 应当注意，上述说明是利用软盘作为记录介质进行的，但是，程序可以记录在光盘上。此外，记录介质不限于此，也可以使用诸如IC卡，ROM盒之类的另外的记录介质，只要它能够记录程序。 至此，根据上述各种实施方式说明了与本发明有关的多路复用装置，解复用装置，
BD盘播放器等，但是本发明不限于这些实施方式。本发明包括熟悉本领域的人员根据这些
实施方式可以想到的各种改变，并且这些改变在本发明的技术主题的范围内。 例如，本发明包括以下装置(i)光盘记录装置，该光盘记录装置包括本实施方式CN 101707702 A 中的多路复用装置，运动画面发送装置；数字电视广播装置；Web服务器；通信装置，移动信息终端等；和(ii)运动画面接收装置，该运动画面接收装置包括本实施方式中的解复用装置；数字电视广播接收装置；通信装置；移动信息终端，等等。 应当注意，(图14、图17、和图21等)的方框图的各功能块一般以作为集成电路的大规模集成电路的LSI来实现。每个功能块可以制成为芯片。另外，可以将一个，一些，或全部功能块集成到一个芯片中(例如，可以将除了存储器之外的功能块制造成一个芯片)。
在这里，将电路称为LSI，但是，根据集成度，可以称之为集成电路(IC)、系统LSI、超LSI、或超大LSI。 此外，制造成集成电路的方法不限于此，也可以通过专用电路或通用处理器来实现。此外，在制造LSI或能够重新配置LSI中的电路单元的连接或设置的可重配置处理器之后，可以使用可编程的可现场编程门阵列(FPGA)。 此外，在半导体技术进一步发展或出现了任何派生技术，导致可以考虑替代LSI的集成电路制造方法时，自然可以用这种技术集成这些功能块。生物技术的应用是有可能的。 此外，在各功能块中，可以独立地配置存储要编码或记录的数据的装置，而不是集成在一个芯片中。 尽管以上仅详细说明了本发明的示例实施方式，熟悉本领域的人员应当知道，可以对示例实施方式进行多种修改而不脱离本发明的新的教导和优点。因此，所有这些修改包括在本发明的范围内。
工业实用性 本发明的多路复用方法和解复用方法可以应用于具有诸如多角度播放和摘要播放之类的特技播放功能的一般装置，因此它们在多路MPEG-4AVC编码流的包媒体的播放中特别有效。
2权利要求
一种多路复用装置，用于将编码流与另一信息多路复用，所述编码流包括可随机存取的存取单元，每个存取单元由多个编码画面构成，所述多路复用装置包括第一确定单元，用于确定在依次对两个存取单元进行解码并维持从第一存取单元到第二存取单元的角度或切换角度时各存取单元中的延迟量，所述延迟量各指示从按解码顺序对顶部画面解码时起到按显示顺序显示顶部画面时的时延，所述第一存取单元是切换源，第二存取单元是从编码流中具有相同播放开始时间和播放结束时间的存取单元中选择的切换目的地；产生单元，用于通过以获得所述第一确定单元所确定的延迟量的方式对所述两个存取单元中包括的画面进行编码，来产生编码流；以及多路复用单元，用于把所述另一信息与所述产生单元产生的编码流多路复用，其中所述另一信息包括指示所述两个存取单元是否能够被无缝连接的标记，并且所述标记是基于各存取单元的延迟量是否彼此相等而确定的，并且所述第一确定单元用于确定紧接在第一存取单元之后被解码的第二存取单元中首先被解码的画面是IDR画面。
2. —种播放装置，用于对根据权利要求l的复用装置产生的多路复用数据进行解复用 并且显示解复用数据，所述播放装置包括标记解复用单元，用于在依次对两个存取单元进行解码并维持从第一存取单元到第二 存取单元的角度或切换角度时，从多路复用数据解复用出标记，所述第一存取单元是切换 源，第二存取单元是从编码流中具有相同播放开始时间和播放结束时间的存取单元中选择 的切换目的地；第二确定单元，用于在由所述标记解复用单元解复用的标记指示能够无缝连接所述两 个存取单元时，确定显示开始时间处的顶部存取单元的延迟量；禾口显示单元，用于基于所述第二确定单元确定的延迟量，在维持从所述第一存取单元到 第二存取单元的角度或切换角度的同时解码和显示所述两个存取单元，其中紧接在第一存取单元之后被解码的第二存取单元中首先被解码的画面是IDR画面。
3. —种多路复用方法，用于将编码流与另一信息多路复用，所述编码流包括可随机存 取的存取单元，每个存取单元由多个编码画面构成，所述多路复用方法包括第一确定步骤，用于确定在依次对两个存取单元进行解码并维持从第一存取单元到第 二存取单元的角度或切换角度时各存取单元中的延迟量，所述延迟量各指示从按解码顺序 对顶部画面解码时起到按显示顺序显示顶部画面时的时延，所述第一存取单元是切换源， 第二存取单元是从编码流中具有相同播放开始时间和播放结束时间的存取单元中选择的 切换目的地；产生步骤，用于通过以获得所述第一确定步骤所确定的延迟量的方式对所述两个存取 单元中包括的画面进行编码，来产生编码流；以及多路复用步骤，用于把所述另一信息与所述产生步骤产生的编码流多路复用，其中所述另一信息包括指示所述两个存取单元是否能够被无缝连接的标记，并且所述 标记是基于各存取单元的延迟量是否彼此相等而确定的，并且在所述第一确定步骤中，确定紧接在第一存取单元之后被解码的第二存取单元中首先被解码的画面是IDR画面。
4. 一种播放方法，用于对根据权利要求3的复用方法产生的多路复用数据进行解复用 并且显示解复用数据，所述播放方法包括标记解复用步骤，用于在依次对两个存取单元进行解码并维持从第一存取单元到第二 存取单元的角度或切换角度时，从多路复用数据解复用出标记，所述多路复用数据包括(i) 包括可随机存取的存取单元的编码流，每个存取单元由多个编码画面构成，和(ii)包括指 示所述两个存取单元是否能够被无缝连接的标记的另一信息，所述第一存取单元是切换 源，第二存取单元是从编码流中具有相同播放开始时间和播放结束时间的存取单元中选择 的切换目的地；第二确定步骤，用于在由所述标记解复用步骤解复用的标记指示能够无缝连接所述两 个存取单元时，确定显示开始时间处的顶部存取单元的延迟量；禾口显示步骤，用于基于所述第二确定步骤确定的延迟量，在维持从所述第一存取单元到 第二存取单元的角度或切换角度的同时解码和显示所述两个存取单元，其中紧接在第一存取单元之后被解码的第二存取单元中首先被解码的画面是IDR画面。
5. —种在记录介质上记录多路复用数据的记录方法，所述多路复用数据是通过将编码 流与另一信息进行多路复用得到的，所述编码流包括可随机存取的存取单元，每个存取单 元由编码画面构成，所述记录方法包括确定步骤，用于确定在依次对两个存取单元进行解码并维持从第一存取单元到第二存 取单元的角度或切换角度时各存取单元中的延迟量，所述延迟量各指示从按解码顺序对顶 部画面解码时起到按显示顺序显示顶部画面时的时延，所述第一存取单元是切换源，第二 存取单元是从编码流中具有相同播放开始时间和播放结束时间的存取单元中选择的切换 目的地；产生步骤，用于通过以获得所述确定步骤所确定的延迟量的方式对所述两个存取单元中包括的画面进行编码，来产生编码流；多路复用步骤，用于把所述另一信息与所述产生步骤产生的编码流多路复用，以及 记录步骤，用于将在所述多路复用步骤中多路复用所得到的多路复用数据记录在记录介质上，其中所述另一信息包括指示所述两个存取单元是否能够被无缝连接的标记，并且所述 标记是基于各存取单元的延迟量是否彼此相等而确定的，并且在所述确定步骤中，确定紧接在第一存取单元之后被解码的第二存取单元中首先被解 码的画面是IDR画面。
6. —种在记录介质上记录多路复用数据的记录装置，所述多路复用数据是通过将编码 流与另一信息进行多路复用得到的，所述编码流包括可随机存取的存取单元，每个存取单 元由多个编码画面构成，所述记录装置包括确定单元，用于确定在依次对两个存取单元进行解码并维持从第一存取单元到第二存 取单元的角度或切换角度时各存取单元中的延迟量，所述延迟量各指示从按解码顺序对顶 部画面解码时起到按显示顺序显示顶部画面时的时延，所述第一存取单元是切换源，第二 存取单元是从编码流中具有相同播放开始时间和播放结束时间的存取单元中选择的切换目的地；产生单元，用于通过以获得所述确定单元所确定的延迟量的方式对所述两个存取单元中包括的画面进行编码，来产生编码流；多路复用单元，用于把所述另一信息与所述产生单元产生的编码流多路复用，以及 记录单元，用于将由所述多路复用单元多路复用所得到的多路复用数据记录在记录介质上，其中所述另一信息包括指示所述两个存取单元是否能够被无缝连接的标记，并且所述 标记是基于各存取单元的延迟量是否彼此相等而确定的，并且其中所述确定单元用于确定紧接在第一存取单元之后被解码的第二存取单元中首先 被解码的画面是IDR画面。
全文摘要
一种不使观看运动画面的用户感到不舒服的多路复用装置，运动画面包括(i)编码单元(42)，以在对编码流中包括的所有存取单元中的两个存取单元按顺序解码的过程中，在两个预定存取单元的连接处不出现间隙的方式产生一个或多个编码流；和(ii)多路复用单元(18)，用于把其它信息与所述编码单元(42)产生的所述编码流进行多路复用。
文档编号H04N7/58GK101707702SQ200910150998
公开日2010年5月12日 申请日期2005年6月1日 优先权日2004年6月2日
发明者冈田智之, 角野真也, 远间正真 申请人:松下电器产业株式会社