专利名称：用于将2d内容转换为3d内容的设备和方法
技术领域：
与示例性实施例一致的设备和方法涉及ー种用于转换内容的设备和方法及其计算机可读介质，更具体地，涉及ー种用于将ニ维(2D)内容转换为三维(3D)内容的设备和方法及其计算机可读介质。
背景技术：
诸如电影、戏剧、运动等的视频内容在电视机、个人计算机、智能电话、智能平板电脑、便携式多媒体播放器(PMP)、MP3播放器等能够再现内容的显示设备中被再现。随着用于三维(3D)图像的显示技术的最近发展，这样的内容已被制作为3D内容并由能够显示3D图像的显示设备再现。·然而，高质量的3D内容存在缺点，这是因为为了制作这样的3D内容，需要大規模的设备和开发劳动力，并且花费高昂的成本和大量时间。
发明内容
因此，一个或多个示例性实施例提供了ー种用于以低成本将2D内容转换为高质量的3D内容的设备和方法及其计算机可读介质。根据示例性实施例的一方面，提供了一种通过内容转换设备将2D内容转换为3D内容的方法，所述方法包括从作为视频内容的2D内容的多个帧中选择关键帧；从选择的关键帧提取对象；将深度分配给提取的对象以转换为3D内容；对所述多个帧中除关键帧以外的其他帧执行跟踪；对具有分配有深度的对象的关键帧以及被执行了跟踪的所述其他帧执行渲染。选择关键帧的步骤可包括基于帧中的图像的运动来选择关键帧。执行跟踪的步骤可包括基于分配给关键帧的对象的深度来将深度分配给所述其他帧。可基于关于将被处理的帧中的场景的内容和发展的信息来执行提取对象和分配深度中的至少ー个。可根据用户的输入来执行提取对象和分配深度中的至少ー个。所述方法还可包括对渲染的关键帧和渲染的其他帧执行3D画面质量操作。根据另ー示例性实施例的一方面，提供了ー种用于将2D内容转换为3D内容的设备，所述设备包括转换器，在作为视频内容的2D内容的多个帧中选择关键帧；从选择的关键帧提取对象；将深度分配给提取的对象以转换为3D内容；对所述多个帧中除关键帧以外的其他帧执行跟踪；对具有分配有深度的对象的关键帧以及被执行了跟踪的所述其他帧执行渲染。转换器可基于帧中的图像的运动来选择关键帧。转换器可通过基于分配给关键帧的对象的深度将深度分配给所述其他帧来执行跟踪。
转换器可基于关于将被处理的帧中的场景的内容和发展的信息来执行提取对象和分配深度中的至少ー个。所述设备还可包括用户输入単元，用于接收用户的输入，其中，转换器根据用户的输入来执行提取对象和分配深度中的至少ー个。转换器还可对渲染的关键帧和渲染的其他帧执行3D画面质量操作。根据另ー示例性实施例的一方面，提供了ー种具有通过计算机可执行的指令的计算机可读存储介质，其中，当由计算机的处理器执行所述指令时所述指令执行将2D内容转换为3D内容的方法，所述方法包括从作为视频内容的2D内容的多个帧中选择关键帧；从选择的关键帧提取对象；将深度分配给提取的对象以转换为3D内容；对所述多个帧中除关键帧以外的其他帧执行跟踪；对具有分配有深度的对象的关键帧以及被执行了跟踪的所述其他帧执行渲染。 选择关键帧的步骤可包括基于帧中的图像的运动来选择关键帧。执行跟踪的步骤可包括基于分配给关键帧的对象的深度来将深度分配给所述其他帧。可基于关于将被处理的帧中的场景的内容和发展的信息来执行提取对象和分配深度中的至少ー个。可根据用户的输入来执行提取对象和分配深度中的至少ー个。所述方法还可包括对于渲染的关键帧和渲染的其他帧执行3D画面质量操作。根据另ー示例性实施例的一方面，提供了一种通过内容转换设备将2D内容转换为3D内容的方法，所述方法包括从2D内容的多个帧中确定关键帧，所述2D内容是视频内容；根据分配给关键帧的对象的深度来将深度分配给所述多个帧中的其他帧。
通过下面结合附图对示例性实施例进行的描述，上述和/或其他方面将变得清楚并更容易理解，其中图I是示出根据示例性实施例的内容转换设备的配置的框图；图2是示出根据示例性实施例的内容转换设备的操作的流程图；图3是示出根据示例性实施例的内容转换设备中的关键帧的选择；图4是示出根据另ー示例性实施例的内容转换设备的操作的流程图。
具体实施例方式以下，将參照附图详细描述示例性实施例。图I是示出根据示例性实施例的内容转换设备I的配置的框图。内容转换设备I将ニ维(2D)内容转换为三维(3D)内容。在本示例性实施例中，所述内容包括运动画面内容(例如，电影、戏剧、运动等)。内容转换设备I可从预定的2D内容提供器(未示出)接收将被转换为3D内容的2D内容。内容转换设备I可通过预定网络(未示出)从2D内容提供器接收2D内容。例如，2D内容提供器可以是存储2D内容并根据内容转换设备I的请求将所述2D内容发送到内容转换设备I的网络服务器。
根据另ー示例性实施例，内容转换设备I可通过网络以外的数据传送方法或机制从2D内容提供器接收2D内容。例如，2D内容提供器可以是设置有用于存储2D内容的存储単元(诸如硬盘、闪存存储器等)的装置，所述装置本地连接到内容转换设备1，并根据内容转换设备I的请求将2D内容发送到内容转换设备I。在这种情况下，不限于本地连接内容转换设备I和2D内容提供器的方法，只要所述方法是用于发送2D内容的数据。例如，本地连接方法可包括通用串行总线(USB)等。根据另ー示例性实施例，内容转换设备I可从3D内容提供器(未示出)接收2D内容。例如，3D内容提供器可将2D内容发送到内容转换设备1，接收通过内容转换设备I转换的3D内容，并将接收的3D内容提供给预定的用户终端(未示出)。用户终端能够将从内容转换设备I接收的3D内容显示为3D图像。例如，用户终端可包括电视机(TV)、个人计算机(PC)、智能电话、智能平板电脑、PMP、MP3播放器等。根据另ー示例性实施例，内容转换设备I可将经过转换的3D内容发送到能够将3D·内容显示为3D图像的用户终端。例如，内容转换设备I可通过网络将3D内容提供给用户終端。在根据本示例性实施例的网络中，不限于网络通信方法(诸如有线和/或无线通信方法)，只要该方法是用于发送2D内容和3D内容中的至少ー个的数据通信。网络通信方法包括任何已知的通信方法。如图I中所示，内容转换设备I可包括转换器11和通信单元14。转换器11将2D内容转换为3D内容。2D内容包括多个视频帧(在下文中，称为“帧”)。3D内容基于观看者的双目视差，其中，所述3D内容可包括多个左眼帧和多个右眼帧。在所述多个左眼帧和所述多个右眼帧中，可从2D内容的多个帧之中的至少ー个相应帧分别转换出包括ー个左眼中贞和ー个右眼巾贞的ー对。以下将详细描述由转换器11执行的从2D内容到3D内容的转换(在下文中，称为“2D-3D转换”)。通信単元14可执行2D内容提供器和内容转换设备I之间的数据通信、3D内容提供器和内容转换设备I之间的数据通信以及用户终端与内容转换设备I之间的数据通信中的至少ー个。转换器11可包括存储单元111、随机存取存储器(RAM) 112和中央处理单元(CPU) 113。存储单元111可存储用于执行2D-3D转换的转换程序114、将被转换的2D内容115和从2D内容转换的3D内容116。存储单元111可由非易失性存储器(诸如硬盘、闪存存储器等)来实现。当转换器11运行时RAM 112加载有转换程序114的至少一部分，且CPU 113执行加载到RAMl 12的转换程序114。转换程序114具有CPU 113可执行的指令。存储单元111是计算机可读存储介质的示例。图2是示出根据示例性实施例的内容转换设备I的操作的流程图。内容转换设备I的操作(在下文中，称为“2D-3D转换处理”)可与由转换程序114的指令执行的内容转换方法相应。在本示例性实施例中，2D-3D转换处理可包括关键帧选择操作201、对象提取操作202、深度分配操作203、跟踪操作204和渲染操作205。首先，在关键帧选择操作201中，在2D内容的多个帧中选择随机的关键帧。图3示出根据示例性实施例的内容转换设备中的关键帧的选择。标号301指示将被转换的2D内容的多个帧。标号302指示所述多个帧301中被选择作为关键帧的帧，标号303指示其他帧。可在2D内容的多个帧301中选择表示图像的内容的帧作为关键帧302。例如，关键帧302可包括场景被切换的帧、场景的主要角色被关闭的帧等。可基于相应的帧中图像的运动来选择关键帧302。例如，图像的运动等于或高于预定值的帧可被选择作为关键帧302。再參照图2，在对象提取操作202中，针对选择的关键帧302提取将反映3D效果的对象(參照图3的304)。所述对象可以是在每个帧的场景中包含的主要图像，例如，所述对象可以是主要角色出现的场景中的主要角色的图像、车辆移动的场景中的车辆的图像等。在对象提取操作202中，相应帧的图像被分割，从而可从分割结果提取对象的边界。在深度分配操作203中，深度被分配给通过对象提取操作202提取的对象(參照图3的304)。所述深度是用于实现3D视觉效果的參数，其中，所述參数被用于在产生的相应的左眼帧和右眼帧中按照分配的參数向左移动对象和向右移动对象。在深度分配操作203中，先前给予的标准模板可被用于深度分配。
·
在跟踪操作204中，不相应于关键帧302来产生左眼帧和右眼帧，而是相应于其他帧303来产生左眼帧和右眼帧(參照图3的305)。可參照针对关键帧302执行的对象提取操作202和深度分配操作203来执行跟踪204。如上所述，根据本示例性实施例，关键帧302被选择，并且针对选择的关键帧302执行对象提取操作202和深度分配操作203。另外，參照选择的关键帧302将跟踪204应用于其他帧303。因此，转换处理在成本和时间方面是有效的，并且可在保持高质量的同时被执行。在渲染操作205中，针对从深度分配操作203和跟踪操作204获得的左眼帧和右眼帧来执行对完整的3D图像的图像处理。例如，渲染操作205可包括用于填充由于对象在帧的图像中被移动而产生的空白区域的处理(即，修补)等。根据本示例性实施例，可基于关于将被处理的帧的场景的图像的内容和发展的信息(在下文中，被称为“讲故事信息(storytelling information)”)来执行2D-3D转换处理操作中的至少ー个。讲故事信息是根据内容制作者的意图而将被用于实现与内容的故事发展相应的3D视觉效果的信息。在本示例性实施例中，可基于讲故事信息来执行对象提取操作202、深度分配操作203等操作。作为使用讲故事信息的示例，在两个角色彼此对话的场景中，如果另ー主要角色经过所述两个角色的背后，则该主要角色可被提取为相应帧的对象，或者深度可被充分地应用于提取的该主要角色的对象。在该示例中，讲故事信息可包括关于用于提取对象的另ー主要角色的图像，或者表现关于用于分配深度的故事发展的重要程度的山谷(vale)等的信息，其中，所述信息可相应于相关帧而被预先提供并存储在存储单元111中。转换器11可參照存储在存储单元111中的讲故事信息来执行转换处理操作。根据示例性实施例的2D-3D转换处理中的至少ー个操作可包括根据用户的输入而执行的手动操作、根据预设的參考信息而执行的自动操作。例如，在对象提取操作202、深度分配操作203等操作中，可通过手动操作处理ー些帧，而可通过自动操作处理其他帧。在手动操作中，可根据用户(或执行内容转换操作的开发者)的输入来执行转换处理操作。内容转换设备I还可包括用于用户的输入的用户输入単元12 (诸如键盘、鼠标、写字板等)。另外，内容转换设备I还可包括显示单元13 (诸如显示正被转换的图像的监视器等)，从而用户可观察转换处理的进度。为了有效地接收用户的输入，内容转换设备I可在显示单元13上显示包含处理的帧的图像、预定的输入菜单等的图形用户界面(⑶I，未示出)。用户可在确定显示在显示单元13上的帧的图像的同时通过⑶I的输入菜单等来输入用于转换处理的输入。例如，用户可在确定包含在帧的图像中的对象的同时通过⑶I的输入菜单等来输入用于提取对象的输入。在自动操作中，基于预设的參考信息执行操作。例如，在对象提取操作202中，内容转换设备I可分析帧的图像并选择这样的对象作为将被提取的对象所述对象在图像内的特定对象的边界上的像素值的变化等于或高于预定阈值。这里，參考信息可以是针对对象的边界上的像素值的变化的阈值，其中，可通过该阈值来选择将被提取的对象。在本示例性实施例中，可根据3D内容的质量来执行2D-3D转换处理操作。在特定2D-3D转换处理中，3D内容的质量可指示手动操作和自动操作中的每ー个的百分比是多少。例如，在对象提取操作202中，手动操作和自动操作每个可组成对象提取操作202的一半。3D内容的质量可表示为全部特定2D-3D转换处理操作中自动操作(或手动操作)的比例(在下文中，称为“组合比例”)。在特定2D-3D转换处理操作中，可每帧确定是执行自动操作还是手动操作。 3D内容的质量可包括多个质量模式。因此，可相应于多个质量模式中的选择的一个质量模式来执行2D-3D转换处理。所述多个质量模式可按照更高质量的顺序包括简单模式、基本模式、高级模式和专家模式。例如，这些质量模式在全部的相应操作中可具有分别高于85%、85%、70%和50%的组合比例(例如，自动操作的比例)。可根据2D内容的种类或格式来确定3D内容的质量。例如，如果2D内容是最近发行的电影，则可为2D内容确定相对高的质量。另ー方面，如果2D内容是老电影，则可为2D内容确定相对低的质量。根据另ー示例性实施例，如果电影是大规模的大片(blockbuster),则可为所述电影确定相对高的质量。另ー方面，可为故事片(story-oriented movie)确定相对低的质量。根据另ー示例性实施例，可根据内容的类型(诸如运动、电影、戏剧等)来确定3D内容的质量。根据另ー示例性实施例,可根据用户的输入确定3D内容的质量。可通过用户输入单元12来接收用于确定3D内容的质量的用户输入，或者经由通信単元14从另ー装置接收用于确定3D内容的质量的用户输入。图4是示出根据另ー示例性实施例的内容转换设备I的操作的流程图。关于參照图4描述的内容转换设备1，将省略与參照图3描述的内容转换设备I相同或相似的配置。由图4的内容转换设备I执行的2D-3D转换处理操作可包括关键帧选择操作401、对象提取操作402、深度分配操作403、跟踪操作404、渲染操作405和3D画面质量操作406。首先，在关键帧选择操作401中，在2D内容的多个帧中选择随机的关键帧。在对象提取操作402中，针对选择的关键帧提取对象。在深度分配操作403中，深度被分配给在对象提取操作402中提取的对象。在跟踪操作404中，相应于不同于关键帧的其他帧来产生左眼帧和右眼帧。在渲染操作405中，针对从深度分配操作403和跟踪操作404获得的左眼帧和右眼帧来执行对完整的3D图像的图像处理。在3D画面质量操作406中，针对从渲染操作405获得的帧执行3D画面质量操作。3D画面质量操作406可包括对比度增强、细节增强等中的至少ー个。通过3D画面质量操作406，当3D内容被实际显示时可实现画面质量的提高，从而画面质量可对显示设备被最优化。
如上所述，可以以低成本将2D内容转换为高质量的3D内容。尽管不限于此，但示例性实施例可被实现为计算机可读记录介质上的计算可读代码。所述计算机可读记录介质可以是任何可存储其后可以被计算机系统读取的数据的数据存储设备。所述计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、⑶-ROM、磁带、软盘、光学数据存储装置。所述计算机可读记录介质还可以被分布在联网的计算机系统上，从而所述计算机可读代码以分布式方式被存储和执行。此外，示例性实施例可被编写为通过计算机可读传输媒介(诸如载波)传输的计算机程序，并在执行所述程序的通用数字计算机或专用数字计算机中被接收和执行。另外，内容转换设备I的一个或多个单元可包括执行存储在计算机可读介质中的计算机程序的处理器或微处理器。尽管已显示和描述了ー些示例性实施例，但是本领域的技术人员将理解，在不脱离本发明构思的原理和精神的情况下，可以对这些示例性实施例进行改变，本发明构思的 范围在权利要求及其等同物中限定。
权利要求
1.一种通过内容转换设备将二维(2D)内容转换为三维(3D)内容的方法，所述方法包括 在作为视频内容的2D内容的多个帧中选择关键帧； 从选择的关键巾贞提取对象； 将深度分配给提取的对象以转换为3D内容； 对所述多个帧中除关键帧以外的其他帧执行跟踪； 对具有分配有深度的对象的关键帧以及被执行了跟踪的所述其他帧执行渲染。
2.根据权利要求I所述的方法，其中，选择关键帧的步骤包括根据帧中的图像的运动来选择关键帧。
3.根据权利要求I所述的方法，其中，执行跟踪的步骤包括根据分配给关键帧的对象的深度来将深度分配给所述其他帧。
4.根据权利要求I所述的方法，其中，根据关于将被处理的帧中的场景的内容和发展的信息来执行提取对象和分配深度中的至少一个。
5.根据权利要求I所述的方法，其中，根据用户的输入来执行提取对象和分配深度的至少一个。
6.根据权利要求I所述的方法，还包括对执行了渲染的多个帧执行3D画面质量处理。
7.一种用于将2D内容转换为3D内容的设备，所述设备包括 转换器，从作为视频内容的2D内容的多个帧中选择关键帧；从选择的关键帧提取对象；将深度分配给提取的对象以转换为3D内容；对所述多个帧中除关键帧以外的其他帧执行跟踪；对具有分配有深度的对象的关键帧以及被执行了跟踪的所述其他帧执行渲染。
8.根据权利要求7所述的设备，其中，转换器根据帧中的图像的运动来选择关键帧。
9.根据权利要求7所述的设备，其中，转换器通过根据分配给关键帧的对象的深度将深度分配给所述其他帧来执行跟踪。
10.根据权利要求7所述的设备，其中，转换器根据关于将被处理的帧中的场景的内容和发展的信息来执行提取对象和分配深度中的至少一个。
11.根据权利要求7所述的设备，还包括用户输入单元，接收用户的输入， 其中，转换器根据用户的输入来执行提取对象和分配深度中的至少一个。
12.根据权利要求7所述的设备，其中，转换器还对执行了渲染的多个帧执行3D画面质量处理。
全文摘要
本发明提供了一种用于将2D内容转换为3D内容的设备和方法。通过内容转换设备将2D内容转换为3D内容的方法包括在作为视频内容的2D内容的多个帧中选择关键帧；从选择的关键帧提取对象；将深度分配给提取的对象以转换为3D内容；对所述多个帧中除关键帧以外的其他帧执行跟踪；对关键帧和所述其他帧执行渲染。因此，可以以低成本将2D内容转换为高质量的3D内容。
文档编号H04N13/04GK102790897SQ201210031620
公开日2012年11月21日 申请日期2012年2月9日 优先权日2011年5月16日
发明者权五允, 许惠贤 申请人:三星电子株式会社