专利名称：用于视频重放的3d模式选择机制的制作方法
技术领域：
本发明涉及重放适合于二维(2D)显示和三维(3D)显示这二者的视频信息的方 法。本发明还涉及用于重放适合于二维(2D)显示和三维(3D)显示这二者的视频信息的重 放设备。本发明还涉及包括视频信息和相关联的重放信息的信号，以及包括记录在其上的 信号的记录载体。
背景技术：
随着新的3D显示器的引入，对于3D视频来说，存在针对大规模消费市场取得突破 的机会。这种3D显示器能够处理(handle) 3D显示和2D显示这二者。当前对于3D视频来说， 存在各种格式，并且大多数格式基于单视点立体，从而用户可以从单视点看到立体场景。然 而，引入3D视频不仅涉及引入能够进行3D显示的新显示器，而且它还影响整个内容产生和 传递链(delivery chain)。首先，3D视频内容的产生在技术上处于萌芽(embryonic)阶段， 并且提出待使用的各种格式，每种格式具有它们自身的优点和缺点。关于内容分发，引入用 于编码3D内容的新编码方法并且提出新格式以在MPEG流中包含3D视频流。已知的事实是新格式的引入通常较慢，并且在引入新格式时的期望特征是与所 安装的播放器基础(player base)的向后的重放兼容性。一个遗漏的方面(missing area) 是在保持与所安装的播放器基础向后的兼容性的同时3D视频内容以内容分发或发布格式 (比如数字视频广播(DVB)或DVD)和高清晰度格式(比如蓝光光盘(BD)或HD-DVD))的传 送。而且，与可以从所有角度方向观看的标准2D图像相比，3D显示器仅仅能够在几个空间 区域创建高质量的3D感觉。因此，根据观看条件或根据同时观看显示的用户的数量或根据 用户偏好，期望的是能够容易地切换2D和3D内容。
发明内容
本发明的一个目的是提供一种重放适合于2D和3D显示这二者的视频信息的方 法，其中容易在2D和3D内容之间切换，同时保持与传统2D设备的向后兼容性。本发明的 该目的是通过如权利要求1中叙述的方法达到的。在根据本发明的方法中，根据重放格式 组织视频信息和相关联的重放信息，该视频信息包括用于二维(2D)显示的主视频流和用 于实现三维(3D)显示的附加信息流，所述相关联的重放信息包括指示存在的视频流类型 的显示信息；所述方法包括接收视频信息和相关联的重放信息；处理显示信息以确定可 能的二维(2D)显示和三维(3D)显示这二者都可能用于所接收的视频信息；确定指示视频 信息应当被二维(2D)显示还是三维(3D)显示的重放设备的重放设置；根据重放设备的重 放设置，处理主视频流或主视频流和附加视频流以便显示。当视频信息包括用于二维(2D) 显示的主视频流和用于实现三维(3D)显示的附加信息流时，附加信息流被传统设备忽略， 因此向后兼容性得以保持。通过根据指示视频流应当被二维(2D)显示还是三维(3D)显示 的检测到的重放设备的重放设置处理用于2D显示的主视频流或用于3D显示的主视频流和 辅助流60，可以容易地通过控制重放设备的重放设置来执行2D与3D内容直接的切换。
当从2D转换到3D且反之亦然时，重放设备和视频处理单元被重新配置以从一种 呈现方式变为其他方式。在该重配置过程期间，屏幕上可能出现黑帧(black frame)或伪 影，这分别破坏了电影体验。为了避免用户的不适，在本发明的一个实施例中，以无缝方式 控制从2D切换到3D且反之亦然的持续时间。为了允许3D效果的强度逐渐增加且不显示伪影或黑帧，要求重放设备和显示器 中的处理平台(stage) —起工作以实现“无缝”转换。在另一个有利实施例中，在重放期间， 切换仅仅发生在预定的时刻。例如，这些时刻对应于这样的时刻内容本身适合于在2D与 3D之间切换的时刻，例如在场景停止时、在新镜头开始时。此外，所述转换可以发生在部分 内容和故事情节中，对于该部分切换到更加身临其境的体验(例如动作镜头)是有意义的， 或者发生在其中用户可以更详细地“探究”场景的部分内容中。所述无缝转换可以通过在 该转换期间控制3D深度在一个时间段上连续地从零到期望值来实现，或在3D-2D转换期间 反之亦然。因此3D效果的强度逐渐增加，从而允许用户眼睛和视觉系统调整3D观看体验 并变得对3D观看体验感到舒适。在根据本发明的方法的一个实施例中，每个流包括项目，所述相关联的重放信息 包括播放列表，每个播放列表指示待重放的项目序列，至少一个播放列表包括指示待重放 的主视频流的视频项目的主序列的主呈现路径和指示待重放的辅助序列的辅助呈现路径， 该辅助序列包括来自主视频流的视频项目和来自附加信息流的相应信息项目。该实施例具 有如下优点2D与3D内容之间的切换可以通过主呈现路径到辅助呈现路径之间的切换获 得，并且当重放格式基本对应于蓝光重放格式时适合使用该实施例。在根据本发明的方法的另一个实施例中，重放格式基本上对应于DVD视频重放格 式，所述重放信息包括含有视频属性信息的视频标题集信息(VTSI)，其特征在于视频属性 信息包括视频属性，其指示对应的视频标题信息(VTSI)包括用于实现三维(3D)显示的附 加信息流。这使得能够通过提供3D内容可用的信息实现以DVD视频重放格式分发3D视频 内容，同时保持与传统DVD播放器的重放兼容性。有利地，主视频流和附加信息流是在复用的视频流中一起复用的MPEG基本流，附 加信息流被定义为辅助流。辅助流被播放器忽略，除非接收到解码辅助流的特定命令；因此 获得了向后重放兼容性。另外，消费市场中3D视频的成功引入不仅要求良好的显示器，还要求3D视频向消 费者提供新的引人瞩目的体验。在引入的初始阶段中，预期的是，内容作者将以新介质做试 验，由此视频流的部分将是3D视频，而主视频将仍然主要以2D或增强的2D体验来观看，由 此，内容是2D的，但是该内容在显示中从2D实时转换到“3D”。因此，不仅期望容易地在2D 与3D内容之间切换，而且在呈现期间从2D到3D的该切换应当以“无缝”方式发生。用户 终端将注意到，所述呈现已经改变，然而所述转换应当是不显眼的(imobstrusive)、不会导 致视频中的黑帧或其他伪影，这些黑帧或其他伪影将干扰终端用户的积极体验。本申请还涉及一种用于重放视频信息的重放设备，其包括用于接收根据重放格 式组织的视频信息和相关联的重放信息的装置，该视频信息包括用于二维(2D)显示的主 视频流和用于实现三维(3D)显示的附加视频流，所述相关联的重放信息包括指示存在的 视频流类型的显示信息；用于处理显示信息以确定可能的二维(2D)显示和三维(3D)显示 这二者都可能用于接收的视频信息的装置；用于存储重放设备的重放设置的装置，该重放设置指示视频信息应当被二维(2D)显示还是三维(3D)显示；以及用于根据所存储的重放 设备的重放设置处理主视频流或主视频流和附加信息流以便显示的装置。本申请还涉及一种信号和一种包含记录在其上的所述信号的记录载体，所述信号 包括视频信息和相关联的重放信息，该视频信息和相关联的重放信息根据重放格式组织， 视频信息包括用于二维(2D)显示的主视频信息和用于实现三维(3D)显示的附加视频信 息，其中相关联的重放信息包括指示可能的显示类型的显示信息。参照下面描述的实施例，本发明的这些和其他方面将是清楚的并将被阐明。
将参照附图进一步阐明本发明的特征和优点，在附图中图1示意性示出一个光盘；图2示意性示出一个重放设备，其中实践了本发明；图3示意性示出3D内容在自动立体多视图显示器上的重放、再现和显示；图4示出自动立体显示器中使用的用于生成2D-3D转换的增益参数和偏移 (offset)参数；图5示出亮度键控(luma keying)用于以交织方式覆盖2D图像上的“深度”数据 的用途。
具体实施例方式图1示意性示出光盘11，其具有轨道12和中心孔10。轨道12作为表示信息的 一系列预记录的标记的位置，按照构成基本平行的轨道的单螺旋图案设置在信息层上。所 述光盘可以包括可记录类型的一个或多个信息层。预记录的光盘的已知实例是⑶-ROM或 DVD-ROM或高密度盘，比如HD DVD-ROM或BD-R0M。例如，关于CD-ROM和DVD-ROM光盘的物 理结构和寻址信息的其他细节可以分别在参考ECMA-130和ECMA-267(IS0 IEC 16449)中 找到。在BD系统的情况下，可以在蓝光光盘协会(Blu-Ray Disc association) (http:// www. bluraydisc. com)出版的公开可用的技术白皮书“Blu-ray Disc Format General August2004，，禾口"Blu-ray Disc 1.CPhysical Format Specifications for BD-ROM November, 2005”中找到其他细节。所述信息通过沿着轨道的光学可检测标记在信息层上表 示。光盘上的轨道12由在空白光盘的制造期间提供的预模压(pre-embossed)轨道结构指 示。所述轨道结构例如由预凹槽(pregroove)构成，该预凹槽使得读/写头能够在扫描期 间跟随轨道。光盘11意在用于根据将可在标准化重放设备上重放的标准化格式携带(carry) 用户信息。所述记录格式包括信息被记录、被编码以及逻辑上被映射到由轨道12提供的记 录空间上的方法。所述可记录的空间通常被细分为导入区(Li) 31、用于记录信息的数据区 (DZ)和导出区(L0)32。导入区(Li) 31通常包括基本的盘管理信息和如何物理地访问数据 区(DZ)的信息。例如，所述基本盘管理信息对应于CD系统中的内容表或DVD系统中的格 式化盘控制块(FDCB)。数据区(DZ)中记录的用户信息进一步根据应用程序格式(例如包括文件和目录 的预定结构)来设置。另外，在逻辑级，数据区中的用户信息根据包含文件管理信息的文件系统来设置，所述文件系统例如⑶系统中使用的可用作ECMA-119的IS09660、或DVD系统 中使用的可用作ECMA-167的UDF。图2示意性示出重放设备，其中实践了本发明。所述记录设备设有用于扫描光盘轨道的扫描装置，该扫描装置包括用于旋转光 盘11的驱动单元16 ；头18 ；用于粗糙地在轨道上朝径向方向定位头18的定位单元21 ；以 及控制单元17。头18包括一种已知类型的光学系统，其用于生成辐射束20，该辐射束20 被引导穿过用于将所述辐射束20聚焦到光盘11的轨道12上的辐射点19的光学元件。辐 射束20由辐射源(例如激光二极管)生成。所述头进一步包括(未示出)用于沿着所述 束的光轴移动辐射束20的焦点的聚焦致动器和用于在轨道的中心上朝径向方向精确定位 辐射点19的跟踪致动器。该跟踪致动器可以包括用于径向地移动光学元件的线圈，或者可 以可替代地被设置用于改变反射元件的角度。为了读取信息，由信息层反射的辐射被头18中用于生成读信号和其他检测器信 号的常见类型检测器(例如四象限二极管)检测，所述其他检测器信号比如用于控制所述 跟踪和聚焦致动器的跟踪误差和聚焦误差信号。控制单元17控制从光盘11取回信息，并 且可以被设置用于从用户或从主机接收命令。为此，控制单元17可以包括控制电路(例如 微处理器)、程序存储器和控制门，以用于执行上面描述的过程。控制单元17也可以实现为 逻辑电路中的状态机。为了读取，所述读信号被读处理单元处理，该读处理单元包括解调器26、去格式化 器27和输出单元28以用于处理信息并且将所述信息输出到合适的装置，例如显示器、扬声 器。解调器26、去格式化器27和输出单元28的运行由控制器17来控制。因此，用于读取 信息的取回装置包括驱动单元16、头18、定位单元21和读处理单元。解调器26负责通过 使用合适的(例如US5920272或US5477222中所公开的)信道解码器解调来自信道信号的 数据信号。去格式化器27负责使用误差校正码和/或去交织(de-interleaving)以用于 从数据信号提取信息信号。在控制单元17的控制下，输出单元28负责在逻辑级上处理信 息信号。而且，应当注意，所述信息信号可以根据重放格式设置，重放格式可以规定将管理 信息关联到音频_视频信息。因此，输出单元负责将管理信息与音频_视频信息分开，并且 负责去多路复用和/或解码音频和/或视频信息。在W098/16014-A1 (PHN 16452)中针对 音频描述了合适的压缩/解压缩装置，并且在MPEG2标准(IS0-IEC 13818)中针对视频描 述了合适的压缩/解压缩装置。记录用户信息所使用的记录格式规定，用于管理记录的用 户信息的管理信息也被记录到光盘上。由输出单元28生成的视频和音频信息被发送到合适的装置，比如用于视频信 息的合适的显示器。能够在2D与3D显示之间切换的多个自动立体设备是公知的，在 US6069650中描述了其中一个。所述显示设备包括含有可主动切换的液晶双凸透镜的IXD 显示器。根据图像内容，所述显示器处的一组已定义的位置可被切换到2D或3D模式。对 于想要利用这种显示系统(比如电影工作室)的内容提供者来说，期望的是能够以一种与 传统播放器兼容重放的格式将2D和3D内容这二者分发在同一记录介质上，所述不能显示 3D流的播放器应当能够处理(handle)记录介质。图3示意性示出3D内容在自动立体多视图显示器上的重放、再现和显示。在自动 立体显示器上，处理单元31内的处理将由参照图2描述的重放设备20输出的图像+深度
7输入格式转换为多个视图并且将这些视图映射到显示面板35的子像素上。应当适当地注 意，处理单元31 (也被称为再现单元)可以位于显示器35内部或位于重放设备20中。该 处理单元31处理将重放设备20的输出格式转换为适合于处理的格式，随后在处理单元31 中生成期望数量的视图并且随后将这些视图映射到显示器上的正确像素上。处理单元31 可以适当地包括用于去多路复用所输出的流的去多路复用器32 ；用于生成多个视图的图 像处理和再现平台33 ；和交错单元(interweaving unit) 34。关于视频信息的编码，3D显示所必需的多视图可以基于2D图片和附加图片(所谓 的深度图)计算，如在 Oliver Sheer-"3D Videocommunication，，，Wiley，2005，29-34 页中 所述。所述深度图传达了关于2D图像中对象的深度的信息。深度图中的灰度值指示2D图 像中相关联的像素的深度。立体显示可以通过使用来自深度图的深度值并且通过计算所需 的像素变形来计算立体所需的附加视图。关于用于压缩和传输3D视频信息的格式，解决方 案是利用MPEG流，其中MPEG 3D视频流将包括2D视频流(如一个节目-或基本视频传输 流)和与2D视频流复用的辅助流(比如深度图流)，其包括实现3D显示的附加信息。应当注意，尽管上面2D视频+深度图被描述为用于这些设备的优选格式，但是它 不是可被支持的唯一格式。例如，2D视频+深度图可以通过加入遮挡信息和透明度信息来 扩充，或者立体+深度可以用作输入格式。可替代地，所述多视图可以用作输入信号并且被 直接映射到显示(子)像素上。另外，可以预期部分内容用于3D显示并且部分内容用于2D显示。根据观看条件 或根据同时观看显示的用户数量或根据用户偏好，可以期望能够容易地切换2D和3D内容。基于上面的考虑，发明人认识到，需要这样的一种方法其使得终端用户通过使用 所述系统能够指示他希望以2D模式还是3D模式重放电影。为了实现这种方法，要求如下-播放器应当能够存储重放设备的重放设置，该重放设置指示视频信息应当被二 维(2D)显示还是三维(3D)显示；-需要一种方法或应用程序接口，其允许确定重放设备的重放设置；-播放器应当设有根据所确定的重放设置处理视频信息的装置。关于重放设置，例如可以定义一种寄存器(register)来存储合适的显示模式。此 外，播放器可以设有一种访问寄存器以读取并写入指示2D或3D模式重放的合适值的方法。 关于确定重放设置，允许盘上的应用查询寄存器以确定播放器的默认设置(即3D或2D)的 应用程序员接口(API)。此外，可能有利的是，定义了另外的应用程序员接口和相关的回调 方法，使得应用程序可以接收该寄存器的值何时变化的通知。此外，期望的是，使重放设备能够确定选择哪个流来以3D模式重放。该方法与语 言或音频流选择相似，在重放期间，该重放设备可以选择重放对应于用户动作(action)的 单独流。当使用如上所述的3D MPEG视频(复用的2D视频作为主视频流和编码为辅助流 的3D信息)时，必需的是，携带附加3D信息的辅助流提供有指示辅助流的类型的新标识符 (即3D深度图数据)。根据本发明的解决方案是将3D流的标识包括在分发格式的元数据 定义中，使得重放设备可以选择哪个标题包含含有3D信息的这种附加辅助流，而无需分析 低级别MPEG系统信息。此外，重放设备可以使用该信息来配备处于3D重放的正确配置的 系统。下文中，将在特定情况下描述本发明的一个实施例，所述特定情况是重放格式基本对应于DVD视频重放格式。在本领域公知的是，能够重放DVD视频信息的重放设备设有若干个预定义的播 放器配置设置，其用于确定用于音频(例如音频解码器的选择)和视频的重放设置。关 于视频，这些预定义的播放器配置设置包括用于允许用户指示显示模式和高宽比(aspect ratio)的视频设置(P_CFG)的播放器配置。根据本发明的该实施例，修改用于视频设置的 播放器配置。已知的用于视频设置的播放器配置是4字节寄存器，仅仅来自该寄存器的第 二字节的首4位(最低有效位)用于定义视频设置。根据本发明，第二字节的4个最高有 效位用于指示显示模式(要么是3D多视图、要么是立体或2D等等)。这些位的可能的定义 的实例为0000 = 2D,0001 =立体，0010=多视图。而且，根据本发明的该实施例，已知的方法视频呈现模式变化(Video_ Presentati0n_M0de_Change)(模式)被调适，使得它进一步允许将视频设置(P_CFG)的设 置改变为如上所指示的任意值。根据本发明的一个可替代实施例，可以将一个新的系统参数(SPRM)加入以指示 用于3D的播放器配置。应当注意，在可以用于该目的的已知DVD播放器中存在用于系统参 数的两个保留值，其对应于2D和3D显示。可替代地，可以定义新的系统参数。另外，在DVD系统中，导航的思想用于描述播放器根据特定标题的重放选择解码 和重放哪些流所需的信息。描述标题中视频流的属性的信息在视频标题集信息(VTSI)中 描述。其中视频标题集信息(VTSI)包括被称为视频标题集信息管理表(VTSI_MAT)的表。 该表列出了多个条目，比如音频流的数量和这些音频流的属性。它也具有用于子图片流的 条目。它还包括单个视频属性条目(VTS_V_ATR)，因为在DVD系统中仅仅使用MPEG节目流， 在程序流中仅仅允许一个视频流。该视频属性条目(VTS_V_ATR)描述了使用什么压缩、高 宽比、TV系统等。根据本发明的该实施例，所述视频属性条目(VTS_V_ATR)被扩展以进一 步包括指示所述标题包含3D信息的附加字段。该扩展允许重放设备确定扩展包括3D信息 的哪个标题。存在用于实现这种扩展的几个选项。更详细地，视频属性条目(VTS_V_ATR)由两 个字节字构成，其中第二个不太重要的位是未被使用的保留位。这可以用于指示3D信息的 存在，Ob指示没有3D，而Ib指示3D信息存在。其他字段也可以用于指示这一点，例如显示 模式字段，其具有可以用于该目的的保留条目。保留字段的使用允许一个可以与感知不到 3D的传统重放设备兼容的解决方案。而且，这提供了与在辅助流中存储3D视频信息的兼容 性，因为传统重放设备忽略该附加流。当以上述格式分发内容时，利用被编码为辅助流的3D信息，根据本发明的重放设 备能够确定哪个标题包括3D信息，并且在该标题内使用辅助流以用于提供3D显示。下文中，将在特定情况下详细描述本发明的一个实施例，该特定情况是重放格式 基本对应于BD重放格式。BD重放设备使用设置寄存器来存储重放偏好，比如用户音频语言偏好。根据本发 明的一个实施例，这些寄存器被扩展以包括用于将3D设置存储在重放设备中的寄存器，使得盘上的应用程序可以确定以2D还是以3D重放标题。一个优选实施例是包括寄存器并且 利用保留值来进行寄存器编号。例如，编号为20到28的播放器设置寄存器(PSR)当前被 保留并且可以用于指示重放设备是否被设置成3D视频重放模式的一个新寄存器。另一个 选项是使用拥有视频播放器功能的现有寄存器(比如PSR29)中的保留位。该寄存器当前 仅仅使用所保留的四个字节中的2位。应当注意，在BD系统中，Java应用程序可以用于控制重放。因此记录介质上提供 的BD-Java应用程序可以被重放设备执行并且可以通过已知的getPSR()方法或通过已知 的BD用户设置和偏好应用程序接口(API)访问重放设备设置寄存器的值。电影模式应用 程序可以使用低级别命令来拷贝来自设置寄存器的值到通用寄存器，在通用寄存器上它可 以执行诸如位屏蔽(bit masking)之类的操作以获得播放器3D模式的状态。关于导航和呈现，在BD系统中，播放列表和重放项目的思想被用于携带关于音频 和视频内容的呈现的信息。重放项目是电影、可浏览幻灯片等的呈现的一部分。播放列表 是重放项目的集合并且典型地跨越呈现的整个长度。播放列表具有一个主呈现并且可以具 有若干个子呈现路径。例如，具有相关联的音频和文本副标题轨道的视频流。下面的子路径在BD系统中是公知的0 保留1用于电影的主路径的主传输流(TS)2用于基于时间的幻灯片的主路径的主TS3用于可浏览的幻灯片的主路径的主TS4用于可浏览的幻灯片的子路径的子TS5用于交互式图形菜单的子路径的子TS6用于文本副标题的子路径的子TS7用于一个或多个基本流路径的子路径的子TS8 255 保留在本发明的一个实施例中，在播放列表中，加入包含3D信息的附加信息流作为主 2D视频流的子路径。这可以借助于扩展子路径类型以包括指示子重放项目指向携带3D视 频流的基本流的新类型来实现，所述3D视频流应当与主2D视频流一起呈现并且被发送到 显示器。例如，该扩展可以作为子路径类型值8。关于在参照图2所描述的重放设备中实现本发明，应注意如下根据本发明，所述重放设备设有用于存储重放设备的重放设置的装置(30)，该重 放设置指示视频信息应当被二维(2D)显示还是三维(3D)显示。例如，这种装置可以被提 供为设在控制单元17或输出单元28中的非易失性存储器。而且，根据本发明的重放设备设有用于接收根据重放格式组织的视频信息和相关 联的重放信息的装置(29)，该视频信息包括用于二维(2D)显示的主视频流和用于实现三 维(3D)显示的附加信息流，所述相关联的重放信息包括显示信息，其指示存在的视频流的 类型；设有用于处理显示信息以确定可能的二维(2D)显示和三维(3D)显示这二者都可能 用于所接收的视频信息的装置；还设有用于根据所存储的重放设备的重放设置处理主视频 流或主视频流和附加信息流以便显示的装置。上述装置(29)可以对应于应用程序(29)， 其作为电影呈现的一部分运行在控制单元17中并且可以查询重放设置并相应地调整所述呈现。从用户接口的视角(perspective)看，2D或3D重放的选择可以像遥控器上的专用 2D/3D按钮一样容易。可替代地，重放设备可被设置为在不存在应用程序的情况下通过从流描述中识别 视频信息的包含3D信息的部分来直接选择该部分。这也可以在用户(例如在个人计算机 上而不是在专用视频播放器上)直接导航内容时使用，在这种情况下，播放器或系统可以 指示内容的哪些部分可以以3D呈现。而且，输出单元进一步适于根据所存储的重放设备的重放设置处理主视频流或主 视频流和附加信息流的显示。在引入的初始阶段，期望的是，内容作者将以新介质做试验，由此视频流的部分将 是3D视频，而主视频将仍然主要以2D或增强的2D体验被观看，由此内容处于2D，但是它在 显示中被实时地从2D转换到“3D”。因此，不仅期望容易地在2D与3D内容之间进行切换， 而且在呈现期间从2D到3D的该切换应当以“无缝”的方式发生。用户终端将会注意，呈现 已经改变，然而转换应当是不显眼的、不会导致视频中的黑帧或其他伪影，这会干扰终端用 户的积极体验。当从2D转换到3D时，或反之亦然，重放设备和视频处理平台必须被重新配置以从 呈现模式改变。在该重新配置过程期间，黑帧或伪影可能出现在屏幕上，这分别破坏了电影 体验。为了避免这一点和观看者的不适，可以在本发明的改进的实施例中解决下述问题的 至少一个内容本身优选地适合在2D与3D之间切换。这意味着，内容作者确保了其中内容 可以在2D与3D之间切换的点不会出现在镜头或视频场景的中间，而是替换地仅仅可能出 现在场景停止(cut)处，或新镜头开始处。另外，所述转换可以发生在部分内容和故事情节 中，对于该部分切换到确保更加身临其境的体验(例如动作镜头)是有意义的，或者发生在 其中用户可以更详细地“探究”场景的部分内容中。3D效果的强度应该逐渐增加，从而允许用户眼睛和视觉系统调整3D观看体验并 变得对3D观看体验感到舒适。优选地，视频的解码未被中断，因此在呈现中没有黑帧或中断(hiccup)。优选地，所述显示在从2D到3D模式切换时不会示出伪影。为了允许3D效果的强度逐渐增加且不示出伪影或黑帧，根据本发明的一个解决 方案是重放设备和3D显示中的处理平台一起工作以实现“无缝”转换。为了实现该方案， 发明人设计提供应用程序接口(API)的系统，该应用程序接口(API)可以确切地指示所述 转换应当何时发生以及转换的持续时间。被用作起点的合适的已知应用程序接口是蓝光盘 应用程序接口(HD-电影模式或BD-Java)。根据本发明的一个实施例，响应于执行从2D到 3D转换(反之亦然)的命令，在重放设备处的应用程序在帧报头中(或直接在接口上)嵌 入命令以使显示器改变显示中的深度设置，并且如果显示器支持，也嵌入命令以控制视图 的数量。此外，重放设备在转换周期期间选择光盘上的内容的合适部分来重放，随后开始重 放3D视频内容。因此，本发明的另一个实施例涉及下列至少一个或任意组合应用程序接口(API)，其能够允许光盘上的应用程序指示何时在2D与3D模式之间 转换以及期望的转换周期是什么。
嵌入在帧报头或直接在视频接口(HDMI)上的命令，其指示3D显示改变深度和可 选观看设置。可替代地，嵌入在帧报头中或在视频接口上的指示显示在2D与3D之间转换 的命令，以及优选地，转换的持续时间。光盘上的视频内容的格式，其被创作为使得“深度”数据与黑线交织以创建匹配2D 图像内容的帧尺寸和分辨率，并且这从内容视角提供了电影的2D和3D部分之间的无缝体验。将2D图像数据与“深度”数据组合的方法，其避免了重新配置重放设备中的硬件 和软件。如前所述，获得无缝转换要克服的问题之一是深度效果应当逐渐变化。这里，我们 公开了根据本发明的两个解决方案。 在第一方案中，重放设备可以改变深度图的颜色，使得深度逐渐增加或减少，而在 第二解决方案中，使重放设备或3D显示器能够改变再现单元中的设置。所述再现单元通过 将来自2D图像的像素移位到左边或右边以创建新视图来在多视图显示器上生成用于显示 的多视图。移位的量取决于深度图或视差(disparity)图(视差与深度之间存在近似的线 性关系)中相应像素的值，并取决于该平台中偏移和增益设置。通过操控增益值，可以增加 深度量(实际上这增加了像素移位量)，所述偏移可以用于定位屏幕更后的深度或屏幕前 的深度。为了逐渐改变平滑转换的深度，播放器可以改变再现单元中的这些增益和偏移参 数，并且以此方式改变感知的深度，而不必改变深度图或视差图流的内容。在已知的自动立体显示器中，这些参数可以由用户通过控制面板来设置。图4图 示这些参数如何随时间改变从而使得显示器改变显示对象的视位置。在垂直轴上，显示了相对增益和深度，同时在水平轴上显示了时间。在时刻tl，作 为用户改变显示模式的结果，当2D与3D之间的转换被检测时播放器自动开始从2D到3D 的变化或通过特殊API由盘上的Java程序开始从2D到3D的变化。该最后一种方式要求 为重放设备定义新的API (在本申请中稍后描述)，但是它具有优点它给予内容作者对这 些设置的动态控制。当显示器以3D模式运行时，参数的变化发生在有限的时间间隔上以达到最终的 期望值。在时刻t3与t4之间，示出了从3D到2D的变化。如从图4可以看出，增益值在0 与63之间变化，其中63是“深度”的最大量。偏移可以从0变化到255，其中128在屏幕 上，0在后面，255在前面。在BD介质和BD播放器的情况下，已知这种系统利用Java，并且特别地利用org. bluray. media包。合适的API是org. bluray. media包的一部分并且将继承来自如下详细 描述的javax. media. Control类的方法Class 3Dvideo0ffsetControlvoid set0ffset(int offsset)int getOffset ()Class 3DvideoGainControlvoid setGain(int gain)int getGainO ；而且，在一个改进的实施例中，提供合适的接口，使得应用程序可以记录下一个事件以指示这些设置的任何变化。已知典型的自动立体显示器在以3D模式显示时牺牲了一些分辨率。这是因为，示 出多个视图需要附加的像素，视图的数量越大，需要的像素越多，并且因此分辨率越低。根 据本发明的一个实施例，一种增加普通2D模式的分辨率的解决方案是使用可以打开和关 闭显示器前面的双凸透镜片的可开关显示器。该开关确实花费了一定时间(几秒)但是它 不打扰用户。根据本发明的另一个实施例，添加系统以便再现单元能够逐渐增加或减少视 图的数量并且由此同时逐渐改变分辨率。该系统可以耦合到对双凸透镜的打开和关闭。已知当前技术状态的自动立体显示器具有集成的再现单元并且使用嵌入在报头 中的命令改变再现参数。可替代地，根据本发明的一个实施例，所述重放设备能够使用已知 的i2c协议在DVI/HDMI总线上将对应的再现参数传输到3D显示器中提供的再现单元。因此，根据本发明，已知的再现参数设置被扩展以包括用于设置视图数量的附加 参数。对于已知参数的这些附加的参数可以是视差参数和偏移参数，它们可以被播放器使 用以确保从2D到3D的“无缝”转换且反之亦然。在一个可替代实施例中，无缝转换由再现单元本身控制。在这种情况下，附加参数 对应于来自重放设备到显示器中再现单元的逐渐从2D切换到3D的命令，且其中可能具有 附加定时参数以指示转换应当发生的时间，从而使得转换与内容一致。优选地，这些参数被 标准化，使得由内容作者写在盘上的Java应用程序可以控制所有重放设备上的转换参数。 该可替代实施例可能是更有利的，因为打开和关闭透镜之间的转换随后可以由显示器紧紧 地控制。在BD系统的情况下，用于支持可开关显示器中的从2D到3D的无缝转换的合适的 应用程序接口(API)可以被定义如下Class DisplayModesetTo3D(int dtime, long framenumber)setTo2D(int dtime, long framenumber).其中dtime =转换的持续时间(以时间为单位或以帧的数量为单位)framenumber =显示器应当开始转换所处的帧。在定义上述API之后，转换参数需要传递到显示器。转换参数优选地包括转换时 间参数和指示所述模式切换应当嵌入在由API方法的帧数量指示的帧报头中的命令。可替 代地，取代报头，可以使用i2c命令发送转换参数，i2c命令可从可在·ι vesa. org获得的 Enhanced Display Data Channel Standard, Version 1 (1999) VESA 中已知。也可以使用 其他命令，这些命令可从针对HDMI的2D视频格式规范已知或可从在www, vesa. org获得的 DisplayPort Standard vl. IMarch 2007 VESA 已知。持续时间转换参数有利于允许模式之间的转换与盘上的视频内容一致。为了提 供无缝的自然体验，优选地创作视频内容使得转换的边界在场景之间而不在场景中间。此 外，为了提供最佳的体验，盘可以包含创作的内容部分，使得转换自然发生，而不中断电影 体验。这暗示，视差(深度效果)逐渐增加并且场景中的移动在转换片段期间是最小的。优 选地，其他深度提示(比如线性透视、遮挡、照明)仅仅在转换之前或转换期间稀少地使用 并且它们匹配来自由内容的3D部分创建的视差的深度印象。除了提供逐渐的转换之外，还期望，不出现伪影或黑帧，因为这可以中断电影体验。为了实现这一点，可以采取若干步骤。首先，当重放在2D与3D之间切换时，优选的是，用于解码所有流的缓冲器不会下 溢或上溢。所述解码必须是连续的。已知，在蓝光盘系统条件下，2D流必须满足视频参数 并且盘上的分配被定义。例如，对于视频片段之间的无缝连接，分辨率和帧率等应当在所述 片段之间是相同的。而且，所述片段应当被分配在盘上，使得在读取期间，解码缓冲器不会 为空(产生黑帧)。对于如前所述的基于“深度”的格式或立体格式，可以应用与2D情况 相同的规则。这些格式意味着附加流同时在传输流中被复用、解码和呈现。在MPEG ISO/ IECJTC1/SC29/WG11 ；IS0/IEC23002-3辅助视频数据的WDl. 0中定义了使用辅助流传送方 法的3D流。因此在BD系统的情况下，这种附加流将自动地满足关于位率和盘上的分配的 与用于2D流的已知要求相同的要求。必须考虑这些附加的思考(consideration)。在本发明的实施例中，附加3D信息 作为BD中的次视频流被传送，并且该附加的3D信息可以以画中画(picture-in-picture) (PIP)流呈现。由发明人进行的实验已经显示，根据本发明的该解决方案起作用，激活PIP 特征可以引起一些延迟。发明人发现，延迟的起因与系统的重新配置有关，使得次和/或主 视频被缩放(scale)。在该重新配置过程期间，所述系统可显示伪影，比如黑帧或混乱的图 像。为了克服该问题，发明人想出了本发明的一个改进实施例，其使用主视频与次视频的交 织(interleave)并且其进一步使用亮度(Iuma)键控。图3示出本发明的该实施例如何工 作的实例。应当注意，在图3中，深度图数据的线更大并且与实际相比它们被夸大，使得在 图像中可以看见所述效果。在图5a中，示出了具有一些附加的信息(灰色区域)以携带背景或遮挡数据的深 度像。实际上，附加信息的量可以小得多。“深度”数据的分辨率可以小于2D分辨率的 四分之一，或者甚至在改进的实施例中更低，在改进的实施例中使用了比如CADE的技术， 在此引作参考的W0200213141中公开了 CADE。在图5b中，“深度”数据以这样的方式与黑 线交织“深度”图数据的总尺寸与2D视频的相同。这可以在重放设备中完成，但是它更可 能以该格式提供在盘上。在该形式中，与黑线交织的“深度”数据覆盖在2D视频顶部。然 后，执行亮度键控以使黑线透明，从而在背景中展现2D视频的大部分。这一点在图5d中描
fe ο如图5所示，2D视频的一些部分将被“深度”数据覆盖。然而，由于深度数据的分 辨率可能小，所以在垂直分辨率方面的该损失将很小。同样，与黑线的交织可以以这样的方 式完成2D视频背景的顶部和底部的线的大部分被覆盖。当用于自动立体显示器时，这甚 至不是问题(less of an issue)，因为3D模式的显示器不能显示全HD分辨率，因为生成所 需的附加视图是以显示器分辨率为代价的。根据本发明的该实施例，相关联的蓝光盘播放列表被配置成使得次视频流被作 为画中画流对待，以及使得亮度(Iuma)键控将被应用且优选地上限亮度键(upper_limit_ luma_key)值被设置为零。可替代地，附加条目被加入到BD系统中使用的扩展数据，被定义用于3D视频流的 附加条目允许PIP元数据或3D元数据。3D PIP元数据和3D元数据这二者的句法对于一些 命名常规可以是确切相同的。对于3D和PIP这二者，需要所有的条目。最后，应当注意，上面所述的本发明的示范性实施例参照用于重放来自光盘的信息的重放设备来实现。应当注意，所述信息的源是不相关的，它可以在记录介质(比如光学 介质、硬盘或固态存储器)上本地地提供，或者它可以利用经由有线或无线传输系统(包括 互联网)的广播而被接收。本发明可以在用于重放视频信息的任何设备中实现，这些设备 特别地包括硬盘记录器、机顶盒(STB)和数字(卫星/陆地/电缆)接收器。本发明可概括如下本发明涉及一种包括视频信息和相关联的重放信息的信号， 该视频信息和相关联的重放信息根据一种重放格式组织，该视频信息包括用于二维(2D) 显示的主视频流和用于实现三维(3D)显示的附加信息流，其中相关联的重放信息包括指 示可能的显示类型的显示信息。本发明还涉及一种用于重放这种信号的方法和设备，该方 法包括接收视频信息和相关联的重放信息；处理显示信息以确定对于所接收的视频信息 可能的二维(2D)显示和三维(3D)显示这二者都是可能的；确定重放设备的重放设置，其指 示视频信息应当被二维(2D)显示还是三维(3D)显示；以及根据重放设备的重放设置处理 主视频流或主视频流和附加信息流以便显示。应当注意，上述实施例的意图是说明而非限制本发明。并且本领域技术领域将能 够在不脱离所附权利要求范围的情况下设计许多可替代的实施例。在权利要求中，置于括 号之间的任何附图标记不应当被解释为限制该权利要求。动词“包括”和“包含”及其变型 的使用并不排除权利要求中所述之外的元件或步骤的存在。元件之前的冠词“一”不排除 多个这样的元件的存在。本发明可以借助于包括若干不同元件的硬件实现并且借助于适当 编程的计算机实现。计算机程序可以存储/分发在合适的介质(比如光学存储器)上，或 与硬件部分一起提供，但是也可以以其他形式分发，比如经由因特网或有线或无线电信系 统分发。在列举了若干装置的系统/设备/装备权利要求中，这些装置中的若干个可以由 同一项硬件或软件体现。在相互不同的从属权利要求中叙述某些措施这个起码事实并不表 示这些措施的组合不能被有利地使用。
权利要求
一种重放适合于二维(2D)显示和三维(3D)显示这二者的视频信息的方法，其中根据重放格式组织视频信息和相关联的重放信息，该视频信息包括用于二维(2D)显示的主视频流和用于实现三维(3D)显示的附加信息流，所述相关联的重放信息包括指示存在的视频流类型的显示信息；所述方法包括接收视频信息和相关联的重放信息；处理所述显示信息以确定对于所接收的视频信息可能的二维(2D)显示和三维(3D)显示这二者都是可能的；确定指示所述视频信息应当被二维(2D)显示还是三维(3D)显示的重放设备的重放设置；根据重放设备的重放设置处理主视频流或主视频流和附加信息流以便显示。
2.根据权利要求1的方法，其特征在于-接收将所述重放设置从二维(2D)显示切换到三维(3D)显示或从三维(3D)显示切换 到二维(3D)显示的请求；-以无缝方式从二维(2D)显示切换到三维(3D)显示或从三维(3D)显示切换到二维 (3D)显示。
3.根据权利要求2的方法，其特征在于以无缝方式控制切换的持续时间。
4.根据权利要求3的方法，其特征在于在重放期间在预定时刻执行切换。
5.根据权利要求2的方法，其特征在于以无缝方式切换包括控制深度信息的值。
6.根据权利要求1的方法，其中每个流包括项目，所述相关联的重放信息包括播放列 表，每个播放列表指示待重放的项目序列，其特征在于至少一个播放列表包括指示待重放 的主视频流的视频项目主序列的主呈现路径和指示待重放的辅助序列的辅助呈现路径，该 辅助序列包括来自主视频流的视频项目和来自附加信息流的相应的信息项目。
7.根据权利要求1的方法，其中所述重放格式基本上对应于DVD视频重放格式，所述重 放信息包括含有视频属性信息的视频标题集信息(VTSI)，其特征在于所述视频属性信息包 括视频属性，该视频属性指示对应的视频标题信息(VTSI)包括用于实现三维(3D)显示的 附加信息流。
8.一种用于重放适合于二维(2D)显示和三维(3D)显示这二者的视频信息的重放设 备，该设备包括-用于接收根据重放格式组织的视频信息和相关联的重放信息的装置，该视频信息包 括用于二维(2D)显示的主视频流和用于实现三维(3D)显示的附加信息流，所述相关联的 重放信息包括指示存在的视频流类型的显示信息；-用于处理显示信息以确定对于所接收的视频信息可能的二维(2D)显示和三维(3D) 显示这二者都是可能的；_用于存储重放设备的重放设置的装置，该重放设置指示视频信息应当被二维(2D)显 示还是三维(3D)显示；_用于根据所存储的重放设备的重放设置处理主视频流或主视频流和附加信息流以便 显示的装置。
9.根据权利要求8的设备，其中每个流包括项目，所述相关联的重放信息包括播放列表，每个播放列表指示待重放的视频项目序列，其特征在于至少一个播放列表包括指示待 重放的主视频流的视频项目的主序列的主呈现路径和指示待重放的辅助序列的辅助呈现 路径，该辅助序列包括来自主视频流的视频项目和来自附加信息流的相应的信息项目。
10.根据权利要求9的设备，其中所述重放格式对应于蓝光重放格式。
11.根据权利要求8的设备，其中所述重放格式对应于DVD视频重放格式，所述重放信 息包括含有视频属性信息的视频标题集信息(VTS)，所述视频属性信息包括视频属性，该视 频属性指示对应的视频标题信息(VTSI)包括用于实现三维(3D)显示的附加信息流。
12.根据权利要求8-11中任一项的设备，其特征在于所述主视频流和所述附加信息流 是在复用的视频流中一起复用的MPEG基本流，所述附加信息流是MPEG辅助流。
13.根据权利要求8-11中任一项的设备，其特征在于可基于用户输入控制重放设备的 重放设置。
14.根据权利要求8-11中任一项的设备，其中所述重放设备的重放设置存储在寄存器中。
15.一种包括视频信息和相关联的重放信息的信号，该视频信息和相关联的重放信息 根据重放格式来组织，所述视频信息包括用于二维(2D)显示的主视频流和用于实现三维 (3D)显示的附加信息流，其中相关联的重放信息包括指示可能的显示类型的显示信息。
16.根据权利要求15的信号，其中每个流包括项目，所述相关联的重放信息包括播放 列表，每个播放列表指示待重放的项目序列，其特征在于至少一个播放列表包括指示待重 放的主视频流的视频项目的主序列的主呈现路径和指示待重放的辅助序列的辅助呈现路 径，该辅助序列包括来自主视频流的视频项目和来自附加信息流的相应的信息项目。
17.根据权利要求16的信号，其中所述重放格式对应于蓝光重放格式。
18.根据权利要求15的信号，其中所述重放格式对应于DVD视频重放格式，所述重放信 息包括含有视频属性信息的视频标题集信息(VTS)，所述视频属性信息包括视频属性，该视 频属性指示对应的视频标题信息(VTSI)包括用于实现三维(3D)显示的附加信息流。
19.根据权利要求16-18的信号，其特征在于所述主视频流和所述附加信息流是在复 用的视频流中一起复用的MPEG基本流，所述附加信息流是MPEG辅助流。
20.—种记录载体，包括记录在其上的根据权利要求15-19中任一项的信号。
全文摘要
本发明涉及一种包括视频信息和相关联的重放信息的信号，该视频信息和相关联的重放信息根据一种重放格式组织，该视频信息包括用于二维(2D)显示的主视频流和用于实现三维(3D)显示的附加信息流，其中关联的重放信息包括指示可能的显示类型的显示信息。本发明还涉及一种用于重放这种信号的方法和设备，该方法包括接收视频信息和相关联的重放信息；处理显示信息以确定对于所接收的视频信息可能的二维(2D)显示和三维(3D)显示这二者都是可能的；确定重放设备的重放设置，该重放设置指示视频信息应当被二维(2D)显示还是三维(3D)显示；以及根据重放设备的重放设置，处理主视频流或主视频流和附加信息流以便显示。
文档编号H04N13/00GK101897195SQ200880120916
公开日2010年11月24日 申请日期2008年12月10日 优先权日2007年12月14日
发明者F·斯卡罗里, G·S·斯坦, H·F·莫尔, P·S·牛顿 申请人:皇家飞利浦电子股份有限公司