专利名称：高速搜索模式中的立体图像再现方法和使用该方法的立体图像再现装置的制作方法
技术领域：
本发明涉及用于再现立体图像的方法和装置，更具体地，涉及用于在高速搜索模 式(trip mode)中显示立体图像的装置和方法。
背景技术：
近来，随着对立体图像服务兴趣的增加，一直在开发用于提供立体图像的设备。其 中一种实现立体图像的方案是立体方案。立体方案的基本原理是分别输入被设置为垂直于人的左眼和右眼的图像，并且 把分别输入到左眼和右眼的图像结合起来以在人的大脑中产生立体图像。在这种情况下， 图像互相垂直的设置指的是各个图像互不干扰的状态。用于排除干扰的具体方法包括偏振方案、时序方案和光谱方案。首先，偏振方案通过使用偏振滤光器来分离各个图像。即，应用垂直于针对左眼 的图像和垂直于针对右眼的图像的偏振滤光器，经偏振滤光器滤光的不同图像被输入到 左视场和右视场。时序方案是交替地显示左图像和右图像并且使用户佩戴的主动式眼镜 (active glasses)与交替显示的图像同步以由此分离相应图像的方法。即，当交替地显示 图像时，与交替地显示的图像同步的主动式眼镜的快门仅打开需要输入相应图像的视场而 关闭另一视场，因而分离地输入左图像和右图像。另外，光谱方案是通过具有RGB光谱不重叠的光谱带的光谱滤光器来投射左图像 和右图像的方法。对于如此投射的左图像和右图像，用户佩戴具有仅允许为左图像和右图 像设置的光谱区的光谱滤光器的被动式眼镜(passive glasses)，因而分离地接收左图像 和右图像。然而，如上所述，立体图像是通过使用两个二维图像来实现的，可能发生图像不自 然或失真的现象。特别地，当用户选择高速搜索模式并在高速搜索模式中针对立体图像执 行操作时，该现象变得严重。而且，由于在高速搜索模式中可能导致的不自然屏幕图像或失真图像，用户的观 看满意度降低。
发明内容
因此，为了解决上述问题，构思了这里描述的各种特征。本发明的一个方面提供了一种用于在显示立体图像的同时进入高速搜索模式时 将立体图像改变为二维OD)图像的方法，因此即使在高速搜索中快速显示图像时也防止 产生不自然图像或失真图像。本发明的另一方面提供了一种用于在不采用将所显示的立体图像改变为2D图像 的部件的情况下在进入高速搜索模式时有效地将立体图像改变为二维OD)图像的方法。本发明的另一方面提供了一种即使在高速搜索中快速显示图像时也防止产生不自然图像或失真图像从而改善用户的观看满意度的方法。为了实现以上方面，提供了一种用于在高速搜索模式中再现立体图像的方法，该 方法通过交替地显示左图像和右图像而形成立体图像，该方法包括以下步骤再现立体图 像；在再现所述立体图像的同时，从用户接收对高速搜索模式的选择；以及在进入所述高 速搜索模式时，通过选择性地显示左图像和右图像中的一个图像而将所述立体图像改变为 二维OD)图像。在选择所述左图像和所述右图像中的一个图像的过程中，可以基于输入的图像数 据的质量或再现所述立体图像的装置的性能效率来确定所述左图像和所述右图像中的任 一个图像。在选择了所述左图像和所述右图像中的任一个图像后，可以使用每帧中被选择的 图像的数据来代替没有被选择的图像的数据，从而在不造成帧速率的变化的情况下将所述 立体图像改变为所述二维图像。为了实现以上目的，提供了一种用于在高速搜索模式中再现立体图像的装置，该 装置通过交替地显示左图像和右图像而形成立体图像，该装置包括解码器单元，其被配置 为对接收的图像信息执行解码；3D格式生成单元，其被配置为对时间上一致的左图像和右 图像进行配对以生成立体图像数据；以及用户输入处理单元，其被配置为接收关于图像再 现的用户选择，并且将对应的信号传送到所述解码器单元和所述3D格式生成单元，其中， 当所述用户输入处理单元从用户接收到对高速搜索模式的选择时，所述解码器单元基于来 自所述用户输入处理单元的信号高速地执行解码，并且所述3D格式生成单元仅选择所述 左图像和所述右图像中的任一个图像以生成所述立体图像数据。根据本发明的示例性实施方式，当在显示立体图像的同时进入高速搜索模式时， 所述立体图像被改变为二维OD)图像，因而即使在高速搜索中快速显示图像时也防止产 生不自然图像或失真图像。此外，在进入高速所述模式时，能够有效地将立体图像改变为二维QD)图像，而 不必采用将所显示的立体图像改变为2D图像的元件。另外，即使在高速搜索中快速显示图像时，也防止产生不自然的图像或失真图像， 因而改善了用户的观看满意度。本发明的上述和其它目的、特征、方面和优点将从下面结合附图对本发明的详细 描述中变得明显。
图1是说明在用于显示画面的方法中逐帧地划分画面以形成立体图像的方案的 图；图2是说明在用于显示画面的方法中并排地划分画面以形成立体图像的方案的 图；图3是说明在用于显示画面的方法中自上而下地划分画面以形成立体图像的方 案的图；图4是示出根据本发明示例性实施方式的用于再现立体图像的装置的配置的示 意性框图5是说明根据本发明示例性实施方式以正常速度再现立体图像时3D格式合成 单元的操作的图；以及图6是说明根据本发明示例性实施方式在以正常速度再现立体图像的同时用户 进入高速搜索模式时3D格式合成单元的操作的图。
具体实施例方式下面将参照附图详细描述本发明的实施方式，在附图中，无论在哪一个图中，都为 相同或相应的组件提供了相同的附图标记，并且省略了对相同或相应的组件的重复说明。使用术语3-D或3D来说明用于再现具有深度错视效果的三维(3D)视频的可视化 表示或表现技术。观看者的视皮层将两个图像(即，左眼图像和右眼图像)解释为单个3D 图像。3D显示技术采用了针对可实现3D图像显示的设备的3D图像处理和表现技术。可 选择地，为了使可实现3D图像显示的设备有效地向观看者提供3D图像，可能不得不使用特 殊的观看设备。3D图像处理和表现的例子包括立体图像/视频的捕获、使用多个相机对多视角 图像/视频的捕获以及对2D图像和深度信息的处理等。可实现3D图像显示的设备的示 例包括具有支持3D显示技术的合适硬件和/或软件的液晶显示器(LCD)、数字电视机屏 幕、计算机显示器等。特殊观看设备的例子可以包括专用眼镜、防护镜(goggles)、头盔 (headgear)、护目镜(eyewear)等。具体地说，3D图像显示技术包括互补色(anaglyph)立体图像(通常使用被动式互 补色眼镜)、偏振立体图像(通常使用被动式偏振眼镜)以及交替帧排序(使用主动式快门 眼镜和头盔)、利用透镜屏幕(lenticular screen)或栅栏屏幕(barrier screen)的自动 立体显示器等。下文中描述的各种思想和特征可以用于这样的立体图像显示技术。某种3D图像显示技术可以使用旋转或交替操作的光学器件，例如，附加到滤色 盘的分段(segmented)偏振器，在这种情况下，分段偏振器与滤色盘二者一定要同步。其 它3D图像显示技术可以使用基于数字微镜器件(DMD)的数字光处理器(DLP)，数字微镜 器件使用按照与要显示的图像的像素相对应的四角形排布结构布置的可旋转显微镜面 (microscopic mirror)0同时，各个企业、协会和组织正在开发与表现立体图像相关的新型标准和显示技 术(特别是3D电视)。例如，其中有电影与电视工程师协会(SMPTE)、消费者电子协会 (CEA)、3d@Home协会和国际电信联盟等。此外，诸如DVB、BDA ARIB、ATSC、DVD论坛、IEC等 的其它标准化组也正在参与其中。MPEG(运动图像专家组)正在参加多视角图像、立体图像 和具有深度信息的2D图像的3D图像编码，并且当前，正在进行针对MPEG-4 AVC (高级视频 编码)的多视角视频编码扩展的标准化。立体图像编码和立体分布格式化涉及色移(互补 色)、像素子采样(并排、棋盘式、梅花形)和增强视频编码(2D+delta、2D+元数据以及具有 深度信息的2D)。这里描述的思想和特征可以用于这样的标准。并且，这里描述的至少一部分思想和特征与在关于数字图像或3D电视的图像再 现和显示环境方面描述的3D图像显示技术相关。然而，这些细节并不意味着限制这里所描 述的各个特征，而是可以用于不同类型的显示技术和设备。例如，3D电视技术适用于蓝光(Blu-ray )、电视游戏(console game)、有线电视以及IPTV传输、移动电话内容传送等，在 这种情况下，3D电视技术能与不同类型的电视机、机顶盒、蓝光设备(如蓝光盘(BD)播放 器)、DVD播放器和电视内容分配器兼容。同时，显示左图像和右图像以形成立体图像，在这种情况下，针对每个图像，每秒 传输帧60次。S卩，当以总体120Hz或更高的速率在屏幕上显示立体图像时，能够在没有闪 烁现象的情况下实现立体图像。交替地显示左图像和右图像以实现立体图像的方法包括逐帧(frame by frame) 方案、并排(side by side)方案和自上而下(top-town)方案。如图1所示，逐帧方案是将左图像和右图像交替地扫描到整个屏幕的方法。如图2 所示，并排方案是将屏幕分为左侧屏幕和右侧屏幕并将左图像和右图像扫描到相应屏幕的 方法。如图3所示，自上而下方案是将屏幕分为上部屏幕和下部屏幕并将左图像和右图 像扫描到相应屏幕的方法。现在将描述根据本发明示例性实施方式的用于再现立体图像的装置。图4是示出 根据本发明示例性实施方式的用于再现立体图像的装置的配置的示意性框图。数据接收单元400从无线电波或存储介质(例如磁盘)加载图像数据，并生成传 输流(化)或打包流(packetized stream)。通常，通过无线电波或磁盘发送的视频数据被 以MPEG(运动图像专家组)系统的传输流的形式格式化。特别地，用于压缩高画质视频的处理方法MPEG-2广泛应用于各种领域，如存储介 质(如DVD(数字多功能磁盘))、数字电视广播(如卫星、有线、地面等)、个人录像机(PVR)、 网络中的视频传输等。生成的传输流被传送到TS/PS分析单元410。TS/PS分析单元410执行过滤和解 析操作以相对于传输流过滤出期望再现的期望的包，生成包括图像信息和音频信息的基本 流(ES)。从TS/PS分析单元410输出的基本流在适合于对应的编解码器的解码器单元420 中被解码，然后作为图像帧输出。解码器单元420还对音频信息进行解码，但是为简短起见 将省略对其的描述。在本发明的示例性实施方式中，已经描述了在解码器单元420中将特定编解码器 设置为默认的情况。然而，可以根据用户选择来改变解码器单元420的编解码器的设置。 即，可以通过用户的选择性输入来改变应用于解码的编解码器。在这种情况下，可以选择 MPEG-2、MPEG-4 PART 2、H.洸4等作为编解码器。在使用编解码器(如多视角视频编解码器(MVC)等)再现立体图像的装置中，向 解码器单元420的输出部分添加了多路信号分离器功能，以便将在到达解码器单元420之 前作为单个流传送的视频数据分离为左图像和右图像并将左图像和右图像传送到图像增 强单元430。此时，利用时间戳(time stamp)信息将左图像和右图像同步。此后，在图像增强单元430中对图像帧进行去交织或图像增强。在2D图像再现装置中，从图像增强单元430输出的图像帧被传送到发送数据生成 单元460，并且如果必要的话，以不同的图像覆盖这些图像帧或将这些图像帧重新格式化， 使得能够将这些图像帧发送到用于显示图像的设备(如电视机)。此后，如高清多媒体接口(HDMI)的发送单元470将图像数据发送到用于显示图像的设备(如电视机)。在这种情况 下，如果再现设备与电视机集成为一体，则图像可以直接传送到显示单元而无需经过发送 单元470。同时，在3D再现装置中，在图像增强单元430之后执行还原(pull-down)处理 (440)，然后传送到3D格式生成单元450，以便生成为3D图像格式。此后，3D格式图像数据 被发送数据生成单元460处理为具有能够被发送到用于显示图像的设备(如电视机等)的 形式并接着通过发送单元470发送。如上所述，当以集成的方式配置3D图像再现装置和用于显示图像的设备(如电视 机等)时，可以不经过发送单元470而将数据传送到显示单元。同时，用户输入处理单元480根据通过输入按钮、遥控器、网络等输入的用户输入 来进行设备控制。具体地说，用户输入处理单元480执行各种控制操作，包括控制再现、停 止和关于解码器单元420的多速度操作、以及关于发送数据生成单元460的分辨率调节、接 口模式控制等。现在将详细描述根据本发明示例性实施方式的用于再现立体图像的装置的3D格 式生成单元450。3D格式生成单元450包括帧时间比较单元452、帧校正单元妨4和3D格式合成单 元 456。从图像增强单元430向3D格式生成单元450输入两个流，即，左图像帧流和右图 像帧流。在这种情况下，对于从图像增强单元430接收到的帧，对时间上一致的左图像和右 图像进行配对来生成立体图像。因此，首先，帧时间比较单元452分析并比较关于接收到的帧的时间关系。此后， 帧校正单元妨4处理具有延迟的时间关系的帧。最终，3D格式合成单元456对时间上一致的左图像和右图像进行配对以生成3D图 像数据，并且将生成的3D图像数据传送到发送数据生成单元460。现在将参照图5和图6详细描述根据本发明示例性实施方式的3D格式合成单元 456在各再现速度中的操作。图5是说明根据本发明示例性实施方式以正常速度再现立体图像时3D格式合成 单元456的操作的图，图6是说明根据本发明示例性实施方式以正常速度再现立体图像的 同时用户进入高速搜索模式时3D格式合成单元456的操作的视图。如图5所示，当以正常速度再现立体图像时，根据本发明示例性实施方式的3D格 式合成单元456把分别在左图像队列和右图像队列中等待的左图像和右图像合并为一对 左图像和右图像以构成合并的图像队列，并且将该队列传送到发送数据生成单元460。当在以正常速度再现立体图像的同时用户选择了高速搜索模式时，3D格式合成单 元456停止合并左图像队列和右图像队列中的左图像和右图像并传送合并的左图像和右 图像的操作。并且，3D格式合成单元456选择性地传送左图像队列和右图像队列的左图像 和右图像中的任一个图像。图6示出了当在以正常速度再现立体图像的同时用户进入高速搜索模式时根据 本发明示例性实施方式的3D格式合成单元456的操作。 如图6所示，当进入高速搜索模式时，3D格式合成单元456选择左图像队列和右图
8像队列中等待的左图像和右图像中的任一个图像。在这种情况下，可以基于图像数据的质 量或立体图像再现装置的性能效率来选择左图像和右图像中的一个图像。此外，3D格式合成单元456每帧发送所选的图像两次，藉此将曾经作为一对左图 像和右图像发送的3D格式图像数据构成为一对右图像和右图像，并传送该对右图像和右 图像。相应地，在本发明的示例性实施方式中，能够在不改变之前发送一对左图像和右图像 时的帧速率的情况下将立体图像改变为2D图像。在本示例性实施方式中，当进入高速搜索模式时，3D格式合成单元456选择了右 图像，但是本发明不限于此，也可以如上面所述的那样选择左图像。在一不同的示例性实施方式中，用户可以选择在高速搜索模式的操作中将2D图 像的显示改变为立体图像。即，即使在高速搜索模式中，用户也可能想显示立体图像而非2D 图像。在这种情况下，当用户输入了对立体图像的对应选择时，图4的用户输入处理单元 480向3D格式生成单元450发送控制信号。相应地，3D格式生成单元450恢复将左图像和 右图像合并为一对左图像和右图像的操作，将合并的图像传送到发送数据生成单元460，并 且相应地，2D图像被改变为立体图像。在该不同的示例性实施方式中，用户可以在高速搜索模式中选择并显示2D图像 或立体图像，所以改善了用户的便利性。在又一不同的示例性实施方式中，在高速搜索模式的操作中，当到达用户设置的 类型的图像的内容时，可以以正常模式再现立体图像。即，当进入高速搜索模式时，可以根 据用户选择设置特定对象，此后，当在高速搜索模式中进行再现的同时到达包括对应对象 的图像时，可以再次以正常模式再现立体图像。在此实施方式中，用户能够迅速访问期望的图像，所以能够进一步改善用户的便 利性。如上所述，当在对立体图像进行再现的同时用户进入高速搜索模式时，可以将立 体图像改变为2D图像，藉此，即使在高速搜索模式中也能够不产生不自然的屏幕图像或失 真现象。并且，当进入高速搜索模式时，能够有效地将立体图像改变为2D图像而不采用任 何附加配置。同时，因为即使在高速搜索模式中对图像进行快速显示过程中也没有产生不 自然的屏幕图像或失真现象，所以能够改善用户的观看满意度。已经描述了多种示例性实施方式以说明与本发明的各方面相关的独创概念。然 而，特定示例性实施方式的一个或更多个实质特征能够适用于一个或更多个其它示例性实 施方式。可以修正各个示例性实施方式和相关附图中描述的一些要素或步骤，并且可以删 除、移动或包括附加的要素和/或步骤。本文所描述的各种特征和思想可以通过软件、硬件、固件、中间件或它们的任意组 合来执行。例如，存储在计算机可执行介质中的用于在高速搜索模式中实现立体图像再现 和存储在装置中的用于再现立体图像的计算机程序(由计算机、处理器、控制器等执行)可 以包括执行各种操作的一个或更多个程序代码段。类似地，存储在计算机可执行介质中的 用于实现在高速搜索模式中实现立体图像再现和存储在装置中的用于再现立体图像的软 件工具(由计算机、处理器、控制器等执行)可以包括执行各种操作的程序代码的一部分。本发明可以适用于诸如数字电视、IXD显示设备、个人媒体播放器(PMP)、移动电 话、电脑显示器等能够显示立体图像的任何设备。
在不脱离本发明的特征的情况下，可以用若干种形式来实施本发明，因此也应该 理解，除非特别指出，上述实施方式不受到前面描述的任一细节的限制，而是应该在所附的 权利要求限定的范围内对其进行广义的解释，因此所附的权利要求意图涵盖落在权利要求 的界限和范围或这些界限和范围的等同物内的所有变化和修改。
权利要求
1.一种用于在高速搜索模式中再现立体图像的方法，该方法通过交替地显示左图像和 右图像而形成立体图像，该方法包括以下步骤再现立体图像；在再现所述立体图像的同时，从用户接收对高速搜索模式的选择；以及在进入所述高速搜索模式时，通过选择性地显示左图像和右图像中的一个图像来将所 述立体图像改变为二维图像。
2.根据权利要求1所述的方法，其中，在选择所述左图像和所述右图像中的一个图像 的过程中，基于输入的图像数据的质量或再现所述立体图像的装置的性能效率来确定所述 左图像和所述右图像中的任一个图像。
3.根据权利要求1或2所述的方法，其中，在选择了所述左图像和所述右图像中的任一 个图像后，使用每帧中被选择的图像的数据来代替没有被选择的图像的数据，从而在不造 成帧速率的变化的情况下将所述立体图像改变为所述二维图像。
4.根据权利要求1或2所述的方法，该方法还包括以下步骤从所述用户接收将正在所述高速搜索模式中再现的所述二维图像改变为所述立体图 像的选择；和将正在所述高速搜索模式中再现的所述二维图像改变为所述立体图像，并且再现所述 立体图像。
5.根据权利要求1或2所述的方法，该方法还包括以下步骤当所述用户输入对所述高速搜索模式的选择时，从所述用户接收对特定对象的设置；禾口当在所述高速搜索模式中进行再现的同时到达包括所述特定对象的图像时，以正常速 度再现所述立体图像。
6.一种用于在高速搜索模式中再现立体图像的装置，该装置通过交替地显示左图像和 右图像而形成立体图像，该装置包括解码器单元，其被配置为对接收的图像信息执行解码；三维格式生成单元，其被配置为对时间上一致的左图像和右图像进行配对以生成立体 图像数据；以及用户输入处理单元，其被配置为接收关于图像再现的用户选择，并且将对应的信号传 送到所述解码器单元和所述三维格式生成单元，其中，当所述用户输入处理单元从用户接收到对高速搜索模式的选择时，所述解码器 单元基于来自所述用户输入处理单元的信号高速地执行解码，并且所述三维格式生成单元 仅选择所述左图像和所述右图像中的任一个图像以生成所述立体图像数据。
7.根据权利要求6所述的装置，其中，在选择所述左图像和所述右图像中的一个图像 过程中，基于输入的图像数据的质量或再现所述立体图像的装置的性能效率来确定所述左 图像和所述右图像中的任一个图像。
8.根据权利要求6或7所述的装置，其中，在选择了所述左图像和所述右图像中的任一 个图像后，使用每帧中被选择的图像的数据来代替没有被选择的图像的数据，从而在不造 成帧速率的变化的情况下将所述立体图像改变为所述二维图像。
9.根据权利要求6或7所述的装置，其中，当所述用户输入处理单元接收到将正在所述高速搜索模式中再现的所述二维图像改变为所述立体图像的选择时，将正在所述高速搜索 模式中再现的所述二维图像改变为所述立体图像。
10.根据权利要求6或7所述的装置，其中，当所述用户输入对所述高速搜索模式的选 择时，所述用户输入处理单元从所述用户接收对特定对象的设置，并且当在所述高速搜索 模式中执行再现的同时到达包括所述特定对象的图像时，所述用户输入处理单元以正常速 度再现所述立体图像。
11.根据权利要求6或7所述的装置，其中，在所述解码器单元中设置的编解码器能够 根据用户选择而改变。
12.一种用于在高速搜索模式中再现立体图像的电视机，该电视机通过交替地显示左 图像和右图像而形成立体图像，该电视机包括解码器单元，其被配置为对接收的图像信息执行解码；三维格式生成单元，其被配置为对时间上一致的左图像和右图像进行配对来生成立体 图像数据；以及用户输入处理单元，其被配置为接收关于图像再现的用户选择，并且将对应的信号传 送到所述解码器单元和所述三维格式生成单元，其中，当所述用户输入处理单元从用户接收对高速搜索模式的选择时，所述解码器单 元高速地执行解码，并且所述三维格式生成单元仅选择所述左图像和右图像中的任一个图 像来生成所述立体图像数据。
13.根据权利要求12所述的电视机，其中，在选择所述左图像和所述右图像中的一个 图像过程中，基于输入的图像数据的质量或再现所述立体图像的装置的性能效率来确定所 述左图像和所述右图像中的任一个图像。
14.根据权利要求12或13所述的电视机，其中，在选择了所述左图像和所述右图像中 的任一个图像后，使用每帧中被选择的图像的数据来代替没有被选择的图像的数据，从而 在不造成帧速率的变化的情况下将所述立体图像改变为所述二维图像。
15.根据权利要求12或13所述的电视机，其中，当所述用户输入处理单元接收到用于 将正在所述高速搜索模式中再现的所述二维图像改变为所述立体图像的选择时，将正在所 述高速搜索模式中再现的所述二维图像改变为所述立体图像。
16.根据权利要求12或13所述的电视机，其中，当所述用户输入对所述高速搜索模式 的选择时，所述用户输入处理单元从所述用户接收对特定对象的设置，并且当在所述高速 搜索模式中执行再现的同时到达包括所述特定对象的图像时，所述用户输入处理单元以正 常速度再现所述立体图像。
17.根据权利要求12或13所述的电视机，其中，在所述解码器单元中设置的编解码器 能够根据用户选择而改变。
全文摘要
本发明涉及一种用于通过轮流显示左图像和右图像而显示立体图像的立体图像再现方法，该方法包括以下步骤第一步骤，再现立体图像；第二步骤，在再现立体图像的同时从用户接收对高速搜索模式的选择；以及第三步骤，在进入高速搜索模式的情况下，通过仅选择和显示左图像和右图像中的一个而将立体图像转换为二维图像。优选地，仅选择左图像和右图像中的一个图像的方法基于输入的图像数据的质量或再现立体图像的装置的性能效率而确定。更优选地，在仅选择了左图像和右图像中的一个图像后，利用帧中的被选择的图像的数据来代替没有被选择的图像的数据，使得可以在不改变帧速率的情况下将立体图像转换为二维图像。因而，本发明即使在高速搜索中快速显示图像时也能够防止异常图像或失真，并且能够在不采用将所显示的立体图像转换为二维图像的任何附加部件的情况下在进入高速搜索模式时有效地将立体图像转换为二维图像。
文档编号H04N13/00GK102144395SQ200980134775
公开日2011年8月3日 申请日期2009年6月10日 优先权日2009年6月10日
发明者张埈荣 申请人:Lg电子株式会社