专利名称：再现记录基于文本的字幕流的存储介质的方法
技术领域：
本发明涉及多媒体图像的再现，更具体地讲，涉及一种记录多媒体图像流和基于文本的字幕流的存储介质、再现记录在该存储介质上的多媒体流和基于文本的字幕流的再现设备和再现方法。
背景技术：
提供高密度(HD)多媒体图像的视频流和音频流，提供说明的放映图形流，和提供用于与用户交互的按钮或菜单的交互图形流被多路复用成主流，还可称为影音‘AV’数据流，并被记录在存储介质上。具体地讲，为了在图像上显示字幕或说明，用于提供字幕的放映图形流还提供基于位图的图像。
发明内容
技术问题除了它的大尺寸，基于位图的说明数据还具有这样的问题字幕或说明数据的产生和产生的说明数据的编辑很难。这是因为说明数据与如视频、音频和交互图形流的其他数据流进行多路复用。而且，还有另一问题，在于说明数据的输出类型不能以多种方式改变，即，将说明的一种输出类型改变成说明的另一种输出类型。
技术方案本发明的方面有利地提供存储介质，在该存储介质中基于文本的字幕流被记录，和再现在这种存储介质上记录的基于文本的字幕数据的再现设备和方法。
有益效果本发明有利地提供了将基于文本的字幕数据流与图像数据分离地存储的存储介质，和再现这种基于文本的字幕数据流的再现设备和再现方法，所以字幕数据的产生和产生的字幕数据的编辑可变得更加简单。另外，不管字幕数据项目的数量，可以以多种语言提供说明。
当结合附图，阅读本发明的公开的所有形成部分时，根据以下示例性实施例和权利要求的详细描述，将对本发明更加清楚地认识。即使以下所述和示出的公开集中在公开本发明的示例性实施例，但是应该清楚地理解本发明的示例性实施例说明和示例，而本发明不局限于此。本发明的精神和范围仅局限于所附的权利要求的条款。以下表示附图的简要描述，其中图1是解释根据本发明的实施例的在存储介质上记录的多媒体数据结构的示图；图2示出根据本发明的实施例的在图1中示出的剪辑AV流的示例性数据结构和基于文本的字幕流；图3是解释根据本发明的实施例的基于文本的字幕流的示例性数据结构的示图；图4示出根据本发明的实施例的具有图3所示的数据结构的基于文本的字幕流；图5示出根据本发明的实施例的图3所示的对话类型单元；图6是解释根据本发明的实施例的对话类型单元的示例性数据结构的示图；图7是解释根据本发明的实施例的对话类型单元的示例性数据结构的示图；图8示出根据本发明的实施例的图6或图7所示的示例性的对话类型单元；图9A和9B示出根据本发明的实施例的包括由字体信息参照的多种字体集的示例性剪辑信息文件；图10是显示图9A和9B所示的由字体文件信息参照的多个字体文件的位置的示图；图11是解释根据本发明的实施例的图3所示的对话放映单元的示例性数据结构的示图；图12A和12B是解释根据本发明的实施例的图3所示的对话放映单元的示例性数据结构的示图；图13示出根据本发明的实施例的从图11至图12B所示的对话放映单元；图14是解释图13所示的对话文本信息的示例性数据结构的示图；图15示出根据本发明的实施例的图13所示的对话文本信息；图16是解释在连续地再现连续对话放映单元(DPU)中的约束的示图；图17是解释根据本发明的实施例的用于再现基于文本的字幕流的示例性再现设备的示图；图18是解释根据本发明的实施例的在示例性再现设备中基于文本的字幕流的预载过程的示图；图19是解释根据本发明的实施例的在示例性再现设备中的对话放映单元(DPU)的再现过程的示图；图20是解释根据本发明的实施例的在其中基于文本的字幕流与运动图像被同步并且被输出在再现设备中的过程的示图；图21是解释根据本发明的实施例的在其中基于文本的字幕流被输出到示例性再现设备的屏幕中的过程的示图；图22是解释根据本发明的实施例的将基于文本的字幕流在再现设备中翻译的过程的示图；图23示出根据本发明的实施例的在用于再现基于文本的字幕数据流的示例性再现设备中放置的示例性状态寄存器；和图24是根据本发明的实施例的再现基于文本的字幕流的方法的流程图。
最佳实施方式根据本发明的一方面，一种再现在存储介质上记录的图像数据和基于文本的字幕数据以基于图像数据在图像上显示说明的设备，包括视频解码器，用于对图像数据进行解码；和字幕解码器，用于基于类型信息将放映信息项目转换成位图信息，并控制转换的放映信息项目与解码的图像数据同步地输出。基于文本的字幕数据包括作为显示说明的单元的放映信息项目和指定说明的输出类型的类型信息。
字幕解码器可对与图像数据分开记录的基于文本的字幕进行解码，并输出该字幕数据，该字幕数据层叠在解码的图像数据上。可以以打包的基本流(PES)为单位形成类型信息和放映信息，并且字幕解码器可以PES为单位解析并处理类型信息和放映信息。
类型信息可以一个PES被形成并被记录在字幕数据的前部，并且在类型信息之后多个放映信息项目以PES为单位被记录，并且字幕解码器将一个类型信息项目应用到多个放映信息项目。
另外，放映信息可包括文本信息，用于指示说明的内容；和组合信息，用于控制通过转换文本信息所获得的位像的输出。字幕解码器可通过参照组合信息来控制转换的文本信息被输出的时间。
放映信息可指定在其中说明将被输出到屏幕上的一个或多个窗口区域，并且同时字幕解码器可将转换的文本信息输出到一个或多个窗口区域中。
在组合信息中的放映信息的输出开始时间和输出结束时间可被定义为在作为图像数据的再现单元的播放列表中使用的全局时间轴的时间信息，并且字幕解码器可通过参照输出开始时间和输出结束时间将转换的文本信息的输出与解码的图像数据的输出同步。
如果正被再现的放映信息项目的输出结束时间与下一放映信息项目的输出开始时间相同，则字幕解码器可连续地再现两个放映信息项目。
如果下一再现信息项目没必要连续地再现，则字幕解码器可在输出开始时间和输出结束时间之间重置内部缓冲器，并且如果下一放映信息项目必须被连续的再现，则可保留该缓冲器而不重置。
类型信息可以是由存储介质的制造者预定义和被应用到放映信息的一组输出类型，并且，字幕解码器可基于该类型信息来将以后记录的多个放映信息项目转换成位像。
另外，在再现信息中的文本信息可包括将被转换成位像的文本和将被应用到仅部分文本的的行内类型信息，并通过将行内类型信息应用到仅部分的文本，字幕解码器强调指定的部分文本，其中，由制造者预定义的类型信息被应用到该部分的文本。
作为行内类型信息，字幕解码器可将预定字体信息的相对值或在由制造者预定义的类型信息中包括的预定绝对值应用到部分文本。
另外，类型信息还可包括用户可改变类型信息，并且在从用户接收关于在用户可改变类型信息项目中的一个类型的选择信息之后，字幕解码器可将由制造者预定义的类型信息、行内类型信息、然后最后与选择信息对应的用户可改变类型信息项目应用到文本。
作为用户可改变的类型信息，字幕解码器可将在由制造者预定义的类型信息项目中的预定的字体信息的相对值应用到文本。
如果除了由制造者预定义的类型信息之外，存储介质还允许在再现设备中定义的预定类型信息，则字幕解码器可将预定的类型信息应用到文本。
另外，类型信息可包括将被应用到放映信息的一组调色板，并基于在调色板中定义的颜色，字幕解码器将在类型信息之后的所有放映信息项目转换成位像。
除了在类型信息中包括的一组调色板，放映信息还可包括一组调色板和颜色更新标志，并且如果颜色更新标志被设置成‘1’，则字幕解码器可应用在放映信息中包括的一组调色板，如果颜色更新标志被设置成‘0’，则字幕解码器可应用在类型信息中包括的初始组调色板。
通过将颜色更新标志设置成‘1’并逐渐改变在多个连续放映信息项目中包括的调色板的透明度值，字幕解码器可执行淡入/淡出效果，并且如果淡入/淡出效果被完成，则基于在类型信息中包括的初始组调色板来重置字幕解码器中的颜色查询表(CLUT)。
另外，类型信息可包括区域信息，用于指示将被输出到图像上的转换的放映信息的窗口区域的位置；和为将放映信息转换成位像所需的字体信息，并且字幕解码器通过使用区域信息和字体信息可将转换的放映信息转换成位像。
字体信息可包括转换的放映信息的输出开始位置、输出方向、类别、行间隔、字体标识符、字体类型、字体大小或颜色中的至少一个，并且字幕解码器基于字体信息将放映信息转换成位像。
作为字体标识符，字幕解码器可参照关于在存储图像数据的记录单元的属性信息的剪辑信息文件中包括的字体文件的指示信息。
另外，在图像数据被再现之前，字幕解码器可对字幕数据和由字幕数据参照的字体文件进行缓冲。
另外，如果支持多种语言的多个字幕数据项目被记录在存储介质上，则字幕解码器可接收来自用户的关于期望的语言的选择信息，并再现在多个字幕数据项目中与选择信息对应的字幕数据项目。
根据本发明的另一方面，一种从存储图像数据和基于文本的字幕数据的存储介质上再现数据以基于图像数据在图像上显示说明的方法，该方法包括对图像数据进行解码；读取类型信息和放映信息项目；基于类型信息，将放映信息项目转换成位像；和控制转换的放映信息与解码的图像数据同步地输出。基于文本的字幕数据包括放映信息，表示显示说明的单元；和类型信息，用于指定说明的输出类型。
根据本发明的另一方面，提供一种存储介质，用于存储图像数据；和基于文本的字幕数据，用于基于图像数据在图像上显示说明，其中，字幕数据包括一个类型信息项目，用于指定说明的输出类型；和多个放映信息项目，作为说明的显示单元，并且字幕数据被与图像数据分离并单独记录。
将在接下来的描述中部分阐述本发明的另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。
本发明的实施方式现在，将更详细地参照在其中本发明的示例性实施例被示出的附图来描述本发明。
参照图1，根据本发明的示例性实施例的存储介质(例如，图2中所示的介质230)由多个层形成，以管理在其上记录的多媒体图像流的多媒体数据结构100。多媒体数据结构100包括剪辑110，即多媒体图像的记录单元；播放列表120，即多媒体图像的再现单元；电影对象130包括用于再现多媒体图像的导航命令；和索引表140，用于指定首先被再现的电影对象和电影对象130的标题。
剪辑110被作为一个对象来执行，其包括用于高图像质量电影的音像(AV)数据流的剪辑AV流112和用于与AV数据流对应的属性的剪辑信息114。例如，AV数据流可根据如运动图像专家组(MPEG)的标准被压缩。然而，在本发明的所有方面，这种剪辑110不需要求AV数据流112被压缩。另外，剪辑信息114可包括AV数据流112的音频/视频属性，进入点映射，在其中关于随机访问进入点的位置的信息被以预定的段为单元来记录等。
播放列表120是这些剪辑110的一组再现时间间隔，并且每一再现时间间隔被称为播放项目122。电影对象130由导航命令程序形成，并且这些导航命令起动播放列表120的再现，在电影对象130之间切换，或根据用户的偏好管理播放列表120的再现。
索引表140是位于存储介质的上层的表用来定义多个标题和菜单，并包括所有标题和菜单的开始位置信息，由此由如标题搜索或菜单呼叫的用户操作所选择的标题和菜单可被再现。该索引表140还包括当存储介质被放置到再现设备上时首先被自动再现的标题和菜单的开始位置信息。
在这些项目中，现在，将参照图2来解释在其中多媒体图像被压缩编码的剪辑AV流的结构。图2示出根据本发明的实施例的图1所示的AV数据流210的示例性数据结构和基于文本的字幕流220。
参照图2，为了解决涉及上述的基于位图的说明数据的问题，根据本发明的实施例的基于文本的字幕数据流220与在如数字多功能盘(DVD)的存储介质230上记录的剪辑AV数据流210分离地提供。AV数据流210包括视频流202、音频流204、用于提供字幕数据的放映图形流206和用于提供与用户交互的按钮和菜单的交互图形流208，所有这些流被多路复用到称为音像‘AV’数据流的运动图像主流中，并被记录在存储介质230中。
根据本发明的实施例的基于文本的字幕数据220表示用于提供将被记录在存储介质230上的多媒体图像的字幕或说明的数据，并且可通过使用如可扩展标记语言(XML)的标记语言来执行。然而，使用二进制数据来提供这种多媒体图像的字幕或说明。以下，使用二进制数据来提供多媒体图像的说明的基于文本的字幕数据220将被简称为“基于文本的字幕流”。用于提供字幕数据或说明数据的放映图形流206还提供基于位图的字幕数据以在屏幕上显示字幕(或说明)。
由于基于文本的字幕数据流220与AV数据流210被分开记录，并且不与AV数据流210一起被多路复用，基于文本的字幕数据流220的大小不局限于此。其结果是，可使用多种语言来提供字幕或说明。而且，基于文本的字幕数据流220可被方便地制作和有效地编辑而没有任何困难。
然后，基于文本的字幕流220被转换成位形图像，并被输出到屏幕上，层叠到多媒体图像上。将这样的基于文本的数据转换成基于图形的位像的过程被称为翻译(rendering)。基于文本的字幕流220包括请求翻译说明文本的信息。
现在，将参照图3来解释包括翻译信息的基于文本的字幕流220的结构。图3是解释根据本发明的实施例的基于文本的字幕流220的示例性数据结构的示图。
参照图3，根据本发明的实施例的基于文本的字幕流220包括对话类型单元(DSU)310，和多个对话放映单元(DPU)320至340。DSU 310和DPU320-340还被称为对话单元。以打包的基本流(PES)、或简单地被称为PES包350的形式来记录形成基于文本的字幕流220的每一对话单元310-340。另外，以传输包(TP)362为单元来记录并发送基于文本的字幕流220的PES。一系列的TP被称为传输流(TS)。
然而，如图2所示，根据本发明的实施例的基于文本的字幕流220不与AV数据流210一起被多路复用，并且被作为存储介质230上的单独的TS来记录。
参照图3，在包括在基于文本的字幕流220中的一个PES包350中，一个对话单元被记录。基于文本的字幕流220包括位于前面的一个DSU 310和在DSU 310之后的多个DPU 320至340。DSU 310包括在其上多媒体图像被再现的屏幕上显示的说明中指定对话的输出类型的信息。同时，多个DPU 320至340包括关于将被显示的对话内容的文本信息条目和关于各个输出时间的信息。
图4示出根据本发明的实施例的具有图3所示的数据结构的基于文本的字幕流220。
参照图4，基于文本的字幕流220包括DSU 410和多个DPU 420。
在本发明的示例性实施例中，DPU的数量由num_of_dialog_presentation_units来定义。然而，的标号不能单独地被指定。示例性情况是使用如while(processed_length＜end_of_file)的语句。
现在，将参照图5来详细地解释DSU和DPU的数据结构。图5示出根据本发明的实施例的图3所示的对话类型单元。
参照图5，在DSU 310中，定义一组对话类型信息条目，dialog_styleset()510，在其中将作为说明的被显示的对话的输出类型信息条目被收集。DSU310包括关于在说明中其对话被显示的的区域的位置的信息、请求翻译对话的信息、关于用户可控制的类型的信息等等。随后将解释数据的详细的内容。
图6是解释根据本发明的实施例的对话类型单元(DSU)的示例性数据结构的示图。
参照图6，DSU 310包括调色板集610和区域类型集620。调色板集610是定义将在说明中使用的颜色的一组多个调色板。在调色板集610中包含的如透明度的颜色组合或颜色信息可被应用到位于DSU之后的全部的多个DPU。
区域类型集620是一组形成说明的各对话的输出类型信息条目。每一区域类型包括区域信息622，用于指示对话将在屏幕上显示的位置；文本类型信息624，用于指示将被应用到每一对话的文本的输出类型；和用户可改变类型集626，用于指示用户可任意改变的将被应用到每一对话的文本的类型。
图7是解释根据本发明的另一实施例的对话类型单元的示例性数据结构的示图。
参照图7，与图6不同，不包括调色板集610。即，在DSU 310中没定义调色板集，但是在DPU中定义调色板集610，将参照图12A和图12B来解释DPU。每一区域类型710的数据结构与上文参照图6所述相同。
图8示出根据本发明实施例的图6或图7所示的对话类型单元。
参照图8和图6，DSU 310包括调色板集860和610，以及多个区域类型820和620。如上所述，调色板集610是一组定义将在说明中使用的颜色的多个调色板。在调色板集610中包括的如透明度的颜色组合或颜色信息可被应用到所有位于DSU之后的多个DPU。
同时，每一区域类型820和620包括指示关于在其中说明将被显示在屏幕上的窗口区域的信息的区域信息830和622，并且区域信息830和622包括关于X、Y坐标，宽度，高度，背景颜色，和其说明将被显示在屏幕上的窗口区域等的信息。
另外，每一区域类型820和620包括指示将被应用到每一对话的文本的输出类型的文本类型信息840和624。即，可包括在其中对话的文本将被显示在上述的窗口区域中的位置的X、Y坐标，如从左边到右边或从上边到下边的文本的输出方向，类别，行间隔，将被引用的字体的标识符，如粗体或斜字体的字体类型，字体大小和关于字体颜色的信息等。
而且，每一区域类型820和620还可包括指示用户可任意改变的类型的用户可改变类型集850和626。然而，用户可改变类型集850和626是可选择的。用户可改变类型集850和626可包括关于窗口区域的位置、文本的输出位置、字体大小和在文本输出类型信息条目840和624之间的行间距的改变信息。每一改变信息条目可被表示成与关于将被应用到每一对话的文本的输出类型840和624的信息相比相对增加或减少的值。
总结上文，有三种类型相关信息，在区域类型820和620中定义的类型信息(region_style)620、随后将解释并强调部分说明的行内类型信息(inline_style)1510和用户可改变类型信息(user_changeable_style)850，并且应用这些信息条目的顺序如下1)基本地，在区域类型中定义的区域类型信息620被应用。
2)如果有行内类型信息，则该行内类型信息1510被用来层叠在其中区域类型信息被应用的部分，并强调部分说明文本。
3)如果有用户可改变类型信息850，则该信息被最后使用。用户可改变类型信息的存在是可选择的。
同时，在将被应用到每一对话的文本的文本类型信息项目840和624中，将由字体的标识符(font_id)842引用的字体文件信息可被定义如下。
图9A示出根据本发明的实施例的包括图8所示的由字体信息842引用的多个字体集的示例性剪辑信息文件910。
参照图9A、图8、图2和图1，在作为在剪辑信息文件910和110中包括的流编码信息结构的StreamCodingInfo()930中，包括关于在根据本发明的存储介质上记录的多种流的信息。即，包括关于视频流202、音频流、放映图形流、交互图形流、基于文本的字幕流等的信息。具体地讲，关于基于文本的字幕流220，可包括关于用于显示说明的语言的信息(textST_language_code)932。另外，可定义存储与指定将被引用并在图8所示的字体标识符的font_id 842和934对应的字体信息的文件的字体名称936和文件名称938。随后，参照图10将解释用于查找与将被引用并在这里定义的字体的标识符对应的字体文件的方法。
图9B示出根据本发明的另一实施例的包括图8所示的字体信息842引用的多个字体集的示例性剪辑信息文件940。
参照图9B，在剪辑信息文件910和110中可定义结构，ClipInfo()。在该结构中，可定义由图8所示的字体信息842引用的多个字体集。即，指定与指示将被引用并在图8所示的字体的标识符的font_id 842对应的字体文件名称952。现在，将解释用于查找与这里定义和将被引用的字体的标识符对应的字体文件的方法。
图10是示出由图9A和图9B所示的字体文件名称938和952引用的多个字体文件的位置的示图。
参照图10，示出根据本发明的实施例的在存储介质上记录的关于多媒体图像的文件的目录结构。具体地，通过使用目录结构，可很容易找到在辅助数据(AUXDATA)目录中的如11111.font 1010或99999.font 1020的字体文件的位置。
同时，现在，将参照图11更详细地解释形成对话单元的DPU的结构。
图11是解释根据本发明的其他实施例的图3所示的DPU 320的示例性数据结构的示图。
参照图11和图3，包括关于将被输出的对话内容的文本信息和关于显示时间的信息的DPU 320包括时间信息1110，用于指示将被输出到屏幕上的对话的时间；调色板参照信息1120，用于指定将被引用的调色板；和用于将被输出到屏幕上的对话的对话区域信息1130。具体地，将被输出到屏幕上的对话的对话区域信息1130包括类型参照信息1132，用于指定将被应用在对话的输出类型；和对话文本信息1134，用于指定将被实际输出到屏幕上的对话的文本。在这种情况下，假设在DSU中定义由调色板参照信息1120指定的调色板集(参照图6的610)。
同时，图12A是解释根据本发明的实施例的图3中显示的DPU 320的示例性数据结构的示图。
参照图12A和图3，DPU 320包括时间信息1210，用于指示将被输出到屏幕上的对话的时间；调色板集1220，用于定义调色板集；和用于被输出到屏幕上的对话的对话区域信息1230。在这种情况下，如图所示的DSU中没有定义调色板集1220，而直接在DPU 320中定义。
同时，图12B是解释根据本发明的实施例的图3所示的DPU 320的示例性数据结构的示图。
参照图12B，DPU 320包括时间信息1250，用于指示将被输出到屏幕上的对话的时间；颜色更新标志1260；调色板集1270，当颜色更新标志被设置成1时使用；和用于将被输出到屏幕上的对话的对话区域信息1280。在这种情况下，调色板集1270还在图11所示的DSU中被定义，并且还被存储在DPU 320中。具体地讲，为了使用连续地再现来表达淡入/淡出，除了在DSU中定义的基本调色板集之外，将用于表达淡入/淡出的调色板集1270在DPU320中被定义，并且颜色更新标志1260可被设置成1。将参照图19来更详细地解释。
图13示出根据本发明的实施例的图11至图12B所示的DPU 320。
参照图13、图11、图12A和图12B，DPU包括作为指示将被输出到屏幕上的对话的时间的时间信息1110的对话开始时间信息(dialog_start_PTS)和对话结束时间信息(dialog_end_PTS)1310。另外，包括对话调色板标识符(dialog_palette_id)作为调色板参照信息1120。在图12A的情况下，可包括调色板集1220而不是调色板参照信息1120。对话文本信息(region_subtitle)1334作为用于将被输出的对话的对话区域信息1230被包括，并且为了指定将对它应用的输出类型，区域类型标识符(region_style_id)1332可被包括。图13所示的示例仅是DPU的实施例，并且具有图11至12B所示的数据结构的DPU可以通过各种方式的修改来实现。
图14是解释图13所示的对话文本信息(region_subtitle)的数据结构的示图。
参照图14，图11所示的对话文本信息1134、图12A所示的对话文本信息1234、图12B所示的对话文本信息1284和图13所示的1334包括行内类型信息1410和对话文本1420作为强调部分对话的输出类型。
图15示出根据本发明的实施例的图13所示的对话文本信息1334。如图15所示，对话文本信息1334由行内类型信息(inline_style)1510和对话文本(text_string)1520来执行。另外，最好指示行内类型的结束的信息被包括在图15所示的实施例中。除非行内类型的结束部分被定义，曾被指定的行内类型可被连续地应用于之后，这与制造者的目的相反。
同时，图16是解释在连续地再现连续DPU中的约束的示图。
参照图16和图13，当需要对上述的多个DPU连续地再现时，需要以下约束。
1)在DPU中定义的对话开始时间信息(dialog_start_PTS)1310指示当对话对象开始被输出到图示面(GP)上的时间，随后将参照图17解释图示面。
2)在DPU中定义的对话结束时间信息(dialog_end_PTS)1310指示用于重置处理基于文本的字幕的基于文本的字幕解码器的时间，随后将参照图17解释基于文本的字幕解码器。
3)当需要对上述的多个DPU连续地再现时，当前DPU的对话结束时间信息(dialog_end_PTS)应该与随后被连续再现的DPU的对话开始时间信息(dialog_start_PTS)相同。即，在图16中，为了连续再现DPU#2和DPU#3，在DPU#2中包括的对话结束时间信息应该与DPU#3中包括的对话开始时间信息相同。
同时，最好根据本发明的DSU满足以下限制。
1)基于文本的字幕流220包括一个DSU。
2)在所有区域类型(region_style)中包括的用户可改变类型信息项目(user_control_style)的标号应该相同。
同时，最好根据本发明的DPU满足以下约束。
1)至少两个说明的窗口区域应被定义。
现在，将参照图17解释根据本发明的实施例的基于在存储介质上记录的基于文本的字幕流220的数据结构的示例性再现设备的结构。
图17是解释根据本发明的实施例的用于再现基于文本的字幕流的示例性再现设备的结构的示图。
参照图17，又被称为重放装置的再现设备1700，包括缓冲器单元，其包括字体预载缓冲器(FPB)1712，用于存储字体文件；和字幕预载缓冲器(SPB)1710，用于存储基于文本的字幕文件；和基于文本的字幕解码器1730，用于解码并再现先前在存储介质上记录的基于文本的字幕流，然后通过图示面(GP)1750和颜色查询表(CLUT)1760将其输出。
具体地，缓冲器单元包括字幕预载缓冲器(SPB)1710，在其中预载基于文本的字幕数据流220；和字体预载缓冲器(FPB)1712，在其中预载字体信息。
字幕解码器1730包括文本字幕处理器1732、对话组合缓冲器(DCB)1734、对话缓冲器(DB)1736、文本字幕翻译器1738、对话放映控制器1740和位图对象缓冲器(BOB)1742。
文本字幕处理器1732从文本字幕预载缓冲器(SPB)1710接收基于文本的字幕数据流220，将上述的在DSU中包括的类型相关信息和在DPU中包括的对话输出时间信息发送到对话组合缓冲器(DCB)1734，并将在DPU中包括的对话文本信息发送到对话缓冲器(DB)1736。
放映控制器1740通过使用在对话组合缓冲器(DCB)1734中包括的类型相关信息来控制文本翻译器1738，并通过使用对话输出时间信息来控制将被输出到图示面(GP)1750的在位图对象缓冲器(BOB)1740中翻译的位像时间。
根据放映控制器1740的控制，文本字幕翻译器1738通过将在字体预载缓冲器(FPB)1712中预载的字体信息之中的与在对话缓冲器(DB)1736中存储的对话文本信息对应的字体信息项目应用到对话文本信息来将对话文本信息转换成位像，即，执行翻译。翻译的位像被存储在位图对象缓冲器(BOB)1742中，并根据放映控制器1740的控制，被输出到图示面(GP)1750。此时，通过参照颜色查询表(CLUT)1760来应用在DSU中指定的颜色。
作为将被应用到对话文本的类型相关信息，由制造者在DSU中定义的信息可被使用，由用户预定义的类型相关信息也可被应用。如图17所示，再现设备1700使用由用户定义的类型信息优先于由制造者定义的类型相关信息。
如参照图8所述，作为将被应用到对话文本的类型相关信息，基本上使用由制造者在DSU中定义的区域类型信息(region_style)，并且如果行内类型被包括在包含对话文本的DPU中，则行内类型信息(inline_style)被应用到相应的部分，区域类型信息被应用到DPU。另外，如果制造者在DSU中另外地定义用户可改变类型并且由用户定义的用户可改变类型之一被选择，则区域类型和/或行内类型被应用，然后用户可改变类型被最后应用。另外，如参照图15所述，最好指示应用行内类型的约束的信息被包括在行内类型的内容中。
而且，制造者可指定允许还是阻止使用与制造者定义并在存储介质上记录的类型相关的信息分离的在再现设备本身中定义的类型相关信息。
图18是解释根据本发明的实施例的图17所示的例如在再现设备1700中基于文本的字幕数据流220的预载过程的示图。
参照图18，图2所示的基于文本的字幕数据流220在上述的播放列表的子路径中被定义。在子路径中，支持多种语言的多个基于文本的字幕数据流220可被定义。另外，将被应用到基于文本的字幕的字体文件可在以上参照图9A和图9B描述的剪辑信息文件910或940中被定义。有255个可在一个存储器介质中包括的基于文本的字幕数据流220可在每一播放列表中被定义。另外，有255个可在一个存储介质中包括的字体文件可被定义。然而，为了保证无缝放映，基于文本的字幕数据流220的大小应该小于或等于如图17所示再现设备1700的预载缓冲器1710的大小。
图19是解释根据本发明的在再现设备中的DPU的再现过程的示图。
参照图19、图13和图17，示出再现DPU的过程。图17所示，放映控制器1740通过使用指定在DPU中包括的对话的输出时间1310的对话开始时间信息(dialog_start_PTS)和对话结束时间信息(dialog_end_PTS)来控制将被输出到图示面(GP)1750的翻译的对话的时间。此时，对话开始时间信息指定将在基于文本的字幕解码器1730中包括的存储在位图对象缓冲器(BOB)1742中的翻译的对话位像发送到图示面(GP)1750被完成的时间。即，如果它是在DPU中定义的对话开始时间，则应在将信息发送到图示面(GP)1750完成之后准备使用建立对话所需的位图信息。另外，对话结束时间信息指定再现DPU完成的时间。此时，字幕解码器1730和图示面(GP)1750都被重置。最好的是如位图对象缓冲器(BOB)1742的在字幕解码器1730中的缓冲器在DPU的开始时间和结束时间之间被重置，而与连续再现无关。
然而，当需要多个DPU的连续再现时，字幕解码器1730和图示面1750不被重置，并且在如对话组合缓冲器(DCB)1734、对话缓冲器(DB)1736和位图对象缓冲器(BOB)1742的每一缓冲器中存储的内容应被保留。即，当当前被再现的DPU的对话结束时间信息和随后将被连续再现的DPU的对话开始时间信息相同时，每一缓冲器的内容不被重置而被保留。
具体地，作为应用多个DPU的连续再现的示例，存在淡入/淡出效果。可通过改变被发送到图示面(GP)1750的位图对象的颜色查询表(CLUT)1760来执行淡入/淡出效果。即，第一DPU包括如颜色、类型和输出时间的组合信息，并且随后连续的多个DPU具有与第一DPU相同的组合信息，但是仅更新调色板信息。在这种情况下，通过逐渐改变在颜色项目中的透明度，从0％至100％，淡入/淡出效果可被执行。
具体地，当使用图12B所示的DPU的数据结构时，通过使用颜色更新标志1260可有效地执行淡入/淡出效果。即，如果对话放映控制器1740检验并确定在DPU中包括的颜色更新标志1260被设置成‘0’，即，如果是不需要淡入/淡出效果的普通情况，则基本上使用图6所示的DSU中包括的颜色信息。然而，如果放映控制器1740确定颜色更新标志1260被设置成‘1’，即，如果需要淡入/淡出效果，则通过使用在DPU中包括的颜色信息1270，而不是使用在图6所示的DSU中包括的颜色信息610，来执行淡入/淡出效果。此时，通过调节在DPU中包括的颜色信息1270的透明度，可简单地执行淡入/淡出效果。
因此，在显示淡入/淡出效果之后，最好将颜色查询列表(CLUT)1760更新为在DSU中包括的初始颜色信息。这是因为，如果它不被更新，则曾经指定的颜色信息可被连续地应用于之后，这与制造者的目的相反。
图20是解释根据本发明的实施例的其基于文本的字幕流被与运动图像数据同步并输出到再现设备中的过程的示图。
参照图20，在基于文本的字幕数据流220的DPU中包括的对话开始时间信息和对话结束时间信息应被定义成关于在播放列表中使用的全局时间轴的时间点，以与多媒体图像的AV数据流210的输出时间同步。因此，在AV数据流的系统时钟(STC)和基于文本的字幕数据流220的对话输出时间(PTS)之间的中断可被防止。
图21是解释根据本发明的实施例的基于文本的字幕数据流被输出到在再现设备中的屏幕上的过程的示图。
参照图21，所示是通过应用包括类型相关信息的翻译信息2102，对话文本信息2104被转换成位像2106，并基于在组合信息2108中包括的输出位置信息(如region_horizontal_position和region_vertical_position)，转换的位像被输出到在图示面(GP)1750上的对应位置的处理。
翻译信息2102表示如区域宽度、高度、前景颜色、背景颜色、文本类型、字体名称、字体类型和字体大小的类型信息。如上所述，在DSU中的区域类型集中定义翻译信息2102。同时，组合信息2108指示放映的开始时间和结束时间，说明被输出到图示面(GP)1750的窗口区域的水平和垂直位置信息等。该信息在DPU中定义。
图22是解释根据本发明的实施例的如图17所示的在再现设备1700中翻译基于文本的字幕数据流220的过程的示图。
参照图22、图21和图8，通过使用作为在DSU中定义的说明的窗口区域的位置信息830的region_horizontal_position、region_vertical_position、region_width、和region_height指定的窗口区域被指定为说明被显示在图示面(GB)1750上的区域。翻译的对话的位像从由作为在窗口区域中的对话的输出位置840的text_horizontal_position和text_vertical_position指定的开始点位置显示。
同时，根据本发明的再现设备在系统注册区域中存储由用户选择的类型信息(style_id)。图23示出根据本发明的实施例的在用于再现基于文本的字幕数据流的再现设备中设置的示例性状态寄存器。
参照图23，状态寄存器(播放器状态寄存器，以下称为PSR)在第12寄存器中存储由用户选择的类型信息(选择的类型2310)。因此，例如，即使在图17所示的再现设备1700执行菜单呼叫或另一操作之后，如果用户按下类型信息改变按钮，则先前由用户选择的类型信息可参照PSR 12首先被应用。存储信息的寄存器可被改变。
现在，将参照图24来解释基于记录基于文本的字幕流220的存储介质的再现基于文本的字幕数据流220的方法和上述的再现字幕数据流220的再现设备的结构。图24是根据本发明的实施例的再现基于文本的字幕数据流220的方法的操作的流程图。
在操作2410，从例如图2中显示的存储介质230读取包括DSU信息和DPU信息的基于文本的字幕数据流220，并在操作2420，基于在DSU信息中包括的翻译信息，将在DPU信息中包括的说明文本转换成位像。在操作2430，根据作为在DPU信息中包括的组合信息的时间信息和位置信息将转换的位像输出到屏幕上。
如上所述，本发明有利地提供存储与图像数据分离的基于文本的字幕数据流的存储介质、用于再现这种基于文本的字幕数据流的再现设备和再现方法，从而字幕数据的产生和字幕数据的编辑变得更加简单。另外，不管字幕数据项目的数量，可以以多种语言提供说明。
另外，由于字幕数据用一个类型信息项目(DSU)和多个放映信息项目(DPU)形成，所以将被应用到整个放映数据的输出类型可被预先定义，并且可以以各种方式被改变，并且强调部分说明的行内类型和用户可改变类型也可被定义。
而且，通过使用多个相邻放映信息项目，说明的连续再现成为可能，并通过应用该方式，淡入/淡出和其他效果可被容易地执行。
本发明的示例性实施例还可被写成计算机程序并可在使用计算机可读介质来执行程序的通用数字计算机执行。计算机可读介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光记录介质(例如，CD-ROM、DVD等)和如载波(例如，通过互联网的传输)的存储介质。计算机可读介质还可被分布在连接计算机系统的网络上，从而计算机可读代码以分布式被存储并执行。
尽管已经示出并描述本发明的示例性实施例，本领域的技术人员将可理解可以在技术发展上进行各种改变和修改，在不脱离本发明的精神和范围的情况下，可用等同物代替其中的部件。可以做出许多修改而不脱离其范围以使本发明的教导适于特殊情况。例如，只要基于文本的字幕数据和AV数据被分离地记录在计算机可读介质或数据存储装置，则可应用任何的计算机可读介质或数据存储装置。另外，如图3或图4所示，基于文本的字幕数据还可以被不同地配置。而且，图17所示的再现设备还可被实现为部分记录设备，或者另外实现为用于对存储介质执行记录和/或再现功能的单一设备。同样地，CPU可被实现为具有固件的芯片组，或者另外实现为编程以执行参照例如图24所述方法的通用或专用的计算机。因此，意味着本发明不限于公开的各示例性实施例，而本发明包括所有落于所附权利要求的范围的实施例。
产业上的可利用性本发明应用于在其中基于文本的字幕流被记录的存储介质，和再现在这种存储介质上记录的基于文本的字幕数据的再现设备和方法。
本发明有利地提供了与图像数据分离地存储基于文本的字幕数据流的存储介质，和再现这种基于文本的字幕数据流的再现设备和再现方法，从而字幕数据的产生和产生的字幕数据的编辑可变得更加简单。另外，不管字幕数据项目的数量，可以以多种语言提供说明。
权利要求
1.一种从存储图像数据和基于文本的字幕数据的存储介质上再现数据以基于该图像数据在图像上显示说明的方法，该方法包括对图像数据进行解码；读取类型信息和放映信息；基于类型信息，将放映信息转换成位像；和控制转换的放映信息与解码的图像数据同步地输出，其中，基于文本的字幕数据包括放映信息，用于表示显示说明的单元；和类型信息，用于指定说明的输出类型。
2.如权利要求1所述的方法，其中，在读取类型信息期间，在图像数据被再现之前，字幕数据和由字幕数据参照的字体文件被缓冲。
3.如权利要求1所述的方法，其中，如果支持多种语言的多个字幕数据项目在存储介质上被记录，则来自用户的关于期望的语言的选择信息被接收并且在读取类型信息期间，与选择信息对应的字幕数据项目被读取。
4.如权利要求1所述的方法，其中，在将放映信息转换成位像期间，以打包的基本流为单位形成的类型信息和放映信息被解析并转换。
5.如权利要求4所述的方法，其中，类型信息以一个打包的基本流被形成并被记录在字幕数据的前部，并且在将放映信息转换成位像期间，通过应用一个类型信息项目，多个放映信息项目被转换。
6.如权利要求1所述的方法，其中，类型信息是由存储介质的制造者预定义的一组输出类型，并被应用到放映信息，并且在将放映信息转换成位像期间，基于该类型信息，以后记录的多个放映信息被转换成位像。
7.如权利要求6所述的方法，其中，放映信息包括将被转换成位像的文本和将被应用到仅部分文本的行内类型信息，并且在将放映信息转换成位像期间，通过将行内类型信息应用到仅部分的文本，字幕解码器强调指定的部分文本，其中，由制造者预定义的类型信息被应用到该部分的文本。
8.如权利要求7所述的方法，其中，在将放映信息转换成位像期间，将预定字体信息的相对值或在由制造者预定义的类型信息中包括的预定绝对值作为行内类型信息应用到部分文本。
9.如权利要求6所述的方法，其中，类型信息还包括用户可改变类型信息，并且在将放映信息转换成位像期间，关于在用户可改变类型信息项目中的一个类型的来自用户的选择信息被接收并且由制造者预定义的类型信息被应用，然后，行内类型信息被应用，最后与选择信息对应的用户可改变类型信息项目被应用到文本。
10.如权利要求9所述的方法，其中，在将放映信息转换成位像期间，在由制造者预定义的类型信息项目中的预定字体信息的相对值被作为用户可改变类型信息应用到文本。
11.如权利要求6所述的方法，其中，在将放映信息转换成位像期间，如果存储介质除了由制造者预定义的类型信息还允许在再现设备中定义的预定类型信息，则预定类型信息被应用到文本。
12.如权利要求6所述的方法，其中，类型信息包括将被应用到放映信息的一组调色板，并且在将放映信息转换成位像期间，基于在调色板中定义的颜色，在类型信息之后的所有放映信息项目被转换成位像。
13.如权利要求12所述的方法，其中，除了在类型信息中包括的该组调色板，放映信息还包括一组调色板和颜色更新标志，并且在将放映信息转换成位像期间，如果颜色更新标志被设置成‘1’，则在放映信息中包括的一组调色板被应用，如果颜色更新标志被设置成‘0’，在类型信息中包括的初始组调色板被应用。
14.如权利要求13所述的方法，其中，在将放映信息转换成位像期间，通过将颜色更新标志设置成‘1’，并逐渐改变在多个连续放映信息项目中包括的调色板的透明度值，来执行淡入/淡出效果，并且如果淡入/淡出效果被完成，基于在类型信息中包括的初始组调色板，在字幕解码器中的颜色查询表被重置。
15.如权利要求6所述的方法，其中，类型信息包括区域信息，用于指定用于将被输出到图像上的转换的放映信息的窗口区域的位置；和为将放映信息转换成位像所需的字体信息，并且在将放映信息转换成位像期间，通过使用区域信息和字体信息来转换被转换的放映信息。
16.如权利要求15所述的方法，其中，字体信息包括转换的放映信息的输出开始位置、输出方向、类别、行间隔、字体标识符、字体类型、字体大小或颜色中的至少一个，并且在将放映信息转换成位像期间，基于字体信息，放映信息被转换成位像。
17.如权利要求16所述的方法，其中，在将放映信息转换成位像期间，关于在存储图像数据的记录单元的属性信息的剪辑信息文件中包括的字体文件的指示信息被称为字体标识符。
18.如权利要求1所述的方法，其中，放映信息包括文本信息，用于指示说明的内容；和组合信息，用于控制通过转换文本信息所获得的位像的输出，并且在控制转换的放映信息的输出期间，将被输出到屏幕上的转换的文本信息的时间通过参照组合信息被控制。
19.如权利要求18所述的方法，其中，放映信息指定在其中说明将被输出到屏幕上的至少一个或多个窗口区域，并且在对转换的放映信息的输出的控制中，同时，转换的文件信息被输出到屏幕上的至少一个或多个窗口区域中。
20.如权利要求19所述的方法，其中，在组合信息中的放映信息的输出开始时间和输出结束时间被定义为在作为图像数据的再现单元的播放列表中使用的全局时间轴的时间信息，在控制转换的放映信息的输出期间，通过参照输出开始时间和输出结束时间，转换的文本信息的输出与解码的图像数据的输出同步。
21.如权利要求20所述的方法，其中，在控制转换的放映信息的输出期间，如果被当前再现的放映信息项目的输出结束时间信息与下一放映信息项目的输出开始时间信息相同，则两个放映信息项目被连续再现。
22.如权利要求21所述的方法，其中，在控制转换的放映信息的输出期间，如果下一放映信息项目不请求连续的再现，则在字幕解码器中的缓冲器在输出开始时间和输出结束时间之间被重置，并且如果连续的再现被请求，则缓冲器被保留而不重置。
23.一种再现基于文本的标题数据的方法，包括从存储介质读取与图像数据分离记录的基于文本的字幕数据，以基于图像数据来显示关于图像的字幕，该基于文本的字幕数据包括指示在将被显示在图像上的说明中的对话的输出类型的对话类型信息和指示至少说明文本和时间信息的对话放映信息；基于对话类型信息将在对话放映信息中包括的说明文本转换成位像；和根据在对话信息中包括的时间信息将转换的位像输出到屏幕上。
24.如权利要求23所述的方法，其中，以打包的基本流为单位形成对话类型信息和对话放映信息。
25.如权利要求23所述的方法，其中，对话类型信息是由存储介质的制造者预定义的一组输出类型。
全文摘要
提供一种存储多媒体图像流和基于文本的字幕流的存储介质、及其再现设备和再现方法以再现与多媒体图像流分离记录的基于文本的字幕数据流，从而字幕数据可被容易地产生和编辑，并且可以以多种语言提供说明。该存储介质存储图像数据；和基于文本的字幕数据，用于基于该图像数据在图像上显示说明，其中，字幕数据包括一个类型信息项目，用于指定说明的输出类型；和多个放映信息项目，作为显示说明的单元，并且字幕数据被与图像数据分离地记录。因此，说明可以以多种语言提供，并可被容易地产生和编辑，并且说明数据的输出类型可以以多种方式改变。另外，部分说明可被强调或者用户可改变的单独的类型可被应用。
文档编号G11B27/10GK101059984SQ20071010892
公开日2007年10月24日 申请日期2005年2月28日 优先权日2004年2月28日
发明者郑吉洙, 朴成煜, 金光玟 申请人:三星电子株式会社