专利名称：用于3d图像转换的设备和方法及其存储介质的制作方法
技术领域：
与示例性实施例一致的设备与方法涉及一种用于三维(3D)图像转换的设备与方法及其非暂时性计算机可读记录介质，更具体地讲，涉及一种用于将二维(2D)图像转换为3D图像的设备与方法及其非暂时性计算机可读记录介质。
背景技术：
能够将2D图像转换为3D图像的现有技术电子设备基于通用的深度估计理论或算法产生深度值，所述深度值用于从2D图像产生3D图像。通过使用产生的深度值获得的3D图像不仅具有低质量(这是因为没有反映为生成对应于2D图像的内容的任何意图)，而且没有使用户感受到基于生成对应于2D图像的内容的意图的足够的3D效果。
发明内容
因此，一个或多个示例性实施例提供一种能够将2D图像转换为具有基于生成对应于2D图像的内容的意图的高质量3D效果的3D图像的设备与方法及其存储介质。前述的和/或其它方面可通过提供一种由三维(3D)图像转换设备实施的方法来实现，所述方法包括接收包含多个帧的输入图像；辨认从所述多个帧中选择的第一帧；获得在第一帧中选择的第一对象的第一深度信息；辨认从所述多个帧中选择的第二帧；获得在第二帧中选择的第二对象的第二深度信息；使用第一深度信息和第二深度信息中的至少一个，获得在第三帧中选择的第三对象的第三深度信息；基于第一深度信息、第二深度信息和第三深度信息，产生第四深度信息；基于第四深度信息渲染输入图像。在所述多个帧中，第一对象、第二对象和第三对象可被用户识别为一个对象。第三帧可包括在第一帧和第二帧之间的帧。第三深度信息可包括包括在第一深度信息中的值和包括在第二深度信息中的值之间的值。第三深度信息可包括从第一深度值中包括的值开始的特定范围内的值，或包括从第二深度值中包括的值开始的特定范围内的值。第三深度信息可包括通过函数计算出的值，所述函数以包括在第一深度信息中的值或包括在第二深度信息中的值作为输入。第一帧可包括关键帧。 第一帧可包括场景变化帧。所述方法还可包括获得深度范围信息，其中，第一深度信息包括在深度范围信息的最大值和最小值之间的值。辨认第一帧的步骤可包括通过第一用户界面(UI)接收第一用户输入；根据第一用户输入辨认第一中贞。辨认第一对象的步骤可包括通过第二 UI接收第二用户输入；根据第二用户输入辨认第一对象。
可通过提供一种非暂时性计算机可读记录介质实现另一方面，所述的非暂时性计算机可读记录介质通过计算机可执行的命令编码，在所述计算机中，当处理器执行命令时，所述命令执行用于渲染输入图像的方法，所述方法包括接收包括多个帧的输入图像；辨认从所述多个帧中选择的第一帧；获得在第一帧中选择的第一对象的第一深度信息；辨认从所述多个帧中选择的第二帧；获得在第二帧中选择的第二对象的第二深度信息；使用第一深度信息和第二深度信息中的至少一个，获得在第三帧中选择的第三对象的第三深度信息；基于第一深度信息、第二深度信息和第三深度信息，产生第四深度信息；基于第四深度信息渲染输入图像。在所述多个帧中，第一对象、第二对象和第三对象可被用户识别为一个对象。第三帧可包括在第一帧和第二帧之间的帧。第三深度信息可包括在第一深度信息和第二深度信息之间的值。第三深度信息可包括从第一深度信息或第二深度信息开始的特定范围之内的值。第三深度信息可包括通过函数计算出的值，所述函数以第一深度信息或第二深度信息作为输入。第一帧可包括关键帧。第一帧可包括场景变化帧。非暂时性计算机可读记录介质还可包括获得深度范围信息，其中，第一深度信息包括深度范围信息的最大值和最小值之间的值。辨认第一帧的步骤可包括通过第一用户界面(UI)接收第一用户输入；根据第一用户输入辨认第一中贞。辨认第一对象的步骤可包括通过第二 UI接收第二用户输入；根据第二用户输入辨认第一对象。可通过提供一种三维(3D)图像转换设备实现另一方面，所述3D图像转换设备包括第一接收器，接收包括多个帧的输入图像；图像转换器，辨认从所述多个帧中选择的第一帧并获得在第一帧中选择的第一对象的第一深度信息，辨认从所述多个帧中选择的第二帧并获得在第二帧中选择的第二对象的第二深度信息，使用第一深度信息和第二深度信息中的至少一个，获得在第三帧中选择的第三对象的第三深度信息，基于第一深度信息、第二深度信息和第三深度信息，产生第四深度信息，并基于第四深度信息渲染输入图像。在所述多个帧中，第一对象、第二对象和第三对象可被用户识别为一个对象。第三帧可包括在第一帧和第二帧之间的帧。第三深度信息可包括包括在第一深度信息中的值和包括在第二深度信息中的值之间的值。第三深度信息可包括从第一深度值中包括的值开始的特定范围内的值，或包括从第二深度值中包括的值开始的特定范围内的值。第三深度信息可包括通过函数计算出的值，所述函数以包括在第一深度信息中的值或包括在第二深度信息中的值作为输入。第一帧可包括关键帧。第一帧可包括场景变化帧。3D-图像转换设备还可包括接收深度设置信息的第二接收器，其中，第一深度信息包括深度范围信息的最大值和最小值之间的值。3D-图像转换设备还可包括用户界面(UI)产生器，所述用户界面产生第一Π以接收用于辨认第一帧的第一用户输入，其中，图像转换器根据使用第一Π的第一用户输入辨认第一中贞。所述Π产生器还可产生用于辨认第一对象的第二 UI，其中，图像转换器根据使用第二 Π的第二用户输入辨认第一对象。还可通过提供一种通过信息处理设备实施的方法实现另一方面，所述方法包括接收包括多个帧的输入图像；产生并显示用于设置关于输入图像的深度信息的用户界面(UI);处理通过使用Π的用户选择而设置的深度设置信息，并将深度设置信息发送到外部三维(3D)图像转换设备，其中，深度设置信息包括以下内容中的至少一个用于从所述多个帧中选择至少一个帧的至少一个帧的帧选择信息、用于在所选择的帧中选择至少一个对象的对象选择信息和将被用到所选择的对象上的深度值范围信息。Π可包括用于从所述多个帧中选择至少一个帧的第一用户界面(UI);用于选择 包括在所述至少一个帧之内的至少一个对象的第二Π ;用于设置所选对象的深度值范围的第三UI。显示Π的步骤可包括产生并在一个帧上显示第一 Π到第三Π中的至少一个，所述帧是所述多个帧中对应于预设条件的帧。对应于所述预设条件的帧可包括关键帧和场景变化帧之间的至少一个帧。可通过提供一种信息处理设备实现另一方面，所述信息处理设备包括通信单元，与外部三维(3D)图像转换设备通信；接收器，接收包括多个帧的输入图像；用户界面(UI)产生器，产生用于设置关于输入图像的深度信息的UI ;显示单元；用户输入单元；控制器，处理通过用户输入单元设置的深度设置信息并控制通信单元将深度设置信息发送到3D-图像转换设备，所述深度设置信息包括以下内容中的至少一个用于从所述多个帧中选择至少一个帧的帧选择信息、用于在所选的帧中选择至少一个对象的对象选择信息和将被应用到所选对象的深度值范围信息。所述的Π可包括第一用户界面(Π)，用于从所述多个帧中选择至少一个帧；第二UI，用于选择包括在所述至少一个帧内的至少一个对象；第三Π，用于设置所选对象的深度值范围。控制器可控制UI产生器和显示单元以产生并在显示单元在一个帧上显示第一 UI到第三UI中的至少一个Π，所述帧是所述多个帧中对应于预设条件的帧。对应于预设条件的帧可包括关键帧和场景变化帧之间的至少一个帧。可通过提供一种由三维(3D)图像转换设备实施的方法实现另一方面，所述方法包括从外部设备接收关于包括多个帧的输入图像的深度设置信息；基于接收到的深度设置信息产生关于输入图像的深度信息；基于产生的深度设置信息，渲染输入图像，所述深度设置信息包括以下内容中的至少一个用于从所述多个帧中选择至少一个帧的帧选择信息、用于在所选的帧中选择至少一个对象的对象选择信息和将被应用到所选对象的深度值范围信息。帧选择信息可包括用于指示与所述多个帧中的关键帧和场景变化帧之间的至少一个帧对应的帧的信息。
所述方法还可包括产生并显示用于接收基于所述深度设置信息的用户选择的输入的用户界面(UI)。所述Π可包括第一用户界面(Π)，用于接收针对所述多个帧中由帧选择信息指示的帧的用户选择的输入;第二 UI，用于接收针对对象选择信息指示的至少一个对象的用户选择的输入；第三UI，用于显示深度值范围信息并接收用户选择的输入。深度信息的产生步骤可包括根据用户选择所选的帧和对象产生深度信息，并产生具有针对对象选择的特定等级的深度值。可通过提供一种三维(3D)图像转换设备实现另一方面，所述的三维(3D)图像转换设备包括接收器，从外部设备接收关于包括多个帧的输入图像的深度设置信息；图像转换器，基于接收的深度设置信息，产生关于输入图像的深度信息，并基于产生的深度信息渲染输入图像，所述深度设置信息包括以下内容中的至少一个用于从所述多个帧中选择至少一个帧的帧选择信息、用于在所选的帧中选择至少一个对象的对象选择信息和将被应用到所选对象的深度值范围信息。
所述帧选择信息可指示所述多个帧中的关键帧和场景变化帧之间的至少一个。所述3D-图像转换设备还可包括显示单元；用户界面(UI)产生器，产生Π，所述UI用于接收基于所述深度设置信息的用户选择的输入。所述Π可包括第一用户界面(Π)，用于接收针对所述多个帧中由帧选择信息指示的帧的用户选择的输入；第二 UI，用于接收针对由对象选择信息指示的至少一个对象的用户选择的输入；第三UI，用于显示深度值范围信息并接收用户选择的输入。图像转换器可产生根据用户选择所选择的帧和对象的深度信息，并产生具有针对所述对象选择的特定等级的深度值。可通过提供一种记录有由执行前述的方法的计算机执行的程序的非暂时性计算机可读记录介质实现另一方面。
通过下面结合附图对示例性实施例进行的描述，以上和/或其他方面将会变得更加清楚更加容易理解，其中图I是示出根据示例性实施例的包括用于3D图像转换的设备的系统的示意图；图2是根据示例性实施例的用于3D图像转换的设备的控制框图；图3是根据示例性实施例的信息处理设备的控制框图；图4到图6示出根据示例性实施例的用于3D图像转换的设备中的图像转换器的示例性操作；图7是示出根据示例性实施例的信息处理设备所实施的方法的流程图；图8是示出根据示例性实施例的用于3D图像转换的设备所实施的方法的流程图；图9到图10是示出根据另一示例性实施例的用于3D图像转换的设备所实施的方法的流程具体实施方式
以下，参照附图来详细说明示例性实施例以使本领域中的普通技术人员容易实现本发明。示例性实施例可以以多种形式实施，而不限于在此叙述的示例性实施例。为了清楚起见，省略了公知部分的描述，并且贯穿全文相同的附图标号表示相同的元件。图I是示出根据示例性实施例的包括用于3D图像转换的设备的系统的示意图。3D-图像转换设备100可从源提供设备300接收单目输入图像并将该输入图像转换为双目图像。单目图像涉及2D图像，可混合使用这两个术语。此时，3D-图像转换设备100从外部信息处理设备200接收用于将输入图像转换为3D图像的深度设置信息，响应于用户选择，基于接收的深度设置信息产生关于输入图像的深度信息，并基于产生的深度信息将输入图像转换为3D图像。输入图像包括多个帧，从信息处理设备200接收的深度设置信息包括帧选择信息，用于在所述多个帧中选择至少一个巾贞；对象选择信息，用于从基于巾贞选择信息选择的巾贞中选择至少一个对象；基于对象选择信息选择的对象的深度值范围信息。深度设置信息包含关于帧和分配了深度值的对象 的信息和关于深度值范围的信息，从而可反映生成对应于输入图像的内容的意图。因此，3D-图像转换设备100可使用基于所述的深度设置信息产生的深度信息来将输入图像转换为3D图像，根据生成对应于输入图像的内容的意图，观看3D图像的用户可感受到充分的3D效果。此外，信息处理设备200从源提供设备300接收与提供给3D-图像转换设备100的输入图像相同的输入图像，产生关于输入图像的深度设置信息并将其发送到3D-图像转换设备100。信息处理设备200产生的深度设置信息用作一种关于深度信息的指引，所述深度信息可针对在3D-图像转换设备100中的图像而被产生。因此，3D-图像转换设备100基于从信息处理设备200接收的深度设置信息产生关于从源提供设备300提供的输入图像的深度信息，并基于所产生的深度信息将输入图像转换为3D图像。3D-图像转换设备100包括能够将转换的3D图像显示为立体图像的电子设备。或者，3D-图像转换设备100可将转换的3D图像发送到内容再现设备400。内容再现设备400具有将从3D-图像转换设备100接收的3D图像显示为立体图像的功能。以下，将参照图2和图3详细说明3D-图像转换设备100和信息处理设备200。如图2所示，根据示例性实施例的3D-图像转换设备100包括第一接收器110、第二接收器120、图像转换器130、第一显不单兀140、第一 UI产生器150和第一用户输入单元160。3D-图像转换设备100可包括任何类型的能够将单目输入图像转换为双目图像的电子设备。此外，3D-图像转换设备100可包括任何设置有用于将单目图像转换为双目图像的程序的电子设备。这样的电子设备可包括显示设备，例如，个人计算机(PC)或类似的。通过第一接收器110，3D-图像转换设备100可接收输入图像。第一接收器110可通过网络(未示出)从源提供设备300接收输入图像。因此，第一接收器110可包括能够与网络通信的通信模块。例如，源提供设备300可以是网络服务器，所述网络服务器能够存储输入图像，并且根据3D-图像转换设备100的请求将输入图像发送到3D-图像转换设备100。或者，源提供设备300可包括设置有存储输入图像的存储单元(诸如，硬盘驱动器和闪存等)的外部存储介质。因此，源提供设备300可作为本地设备经由第一接收器110与3D-图像转换设备100连接，并且源提供设备300可根据3D-图像转换设备100的请求，将输入图像发送到3D-图像转换设备100。例如，第一接收器110可包括实现3D-图像转换设备100和源提供设备300之间的本地连接所需的模块，所述模块可包括通用串行总线(USB)
坐寸O通过第二接收器120，3D-图像转换设备100可从外部信息处理设备200接收深度设置信息。通过第二接收器120，3D-图像转换设备100与信息处理设备200可经由网络被连接或被本地连接。通过第一接收器110接收的输入图像包括多个帧，并且从信息处理设备200接收的深度设置信息包括帧选择信息，用于从所述多个帧中选择至少一个 帧；对象选择信息，用于从基于帧选择信息选择的帧中选择至少一个对象；基于对象选择信息选择的对象的深度值范围信息(或深度范围信息)。深度设置信息可被采用作为一种关于深度信息的指引，所述深度信息可针对3D-图像转换设备100中的输入图像而被产生。因此，包含在深度设置信息内的帧选择信息是这样的信息所述信息指示包括在输入图像中的多个帧中的应用了深度值的至少一个帧。3D-图像转换设备100可以将深度值仅分配到唯一的帧，可根据使用将在稍后进行描述的第一用户输入单元160的用户选择来从帧选择信息指示的至少一个帧中选择所述唯一的帧。同样，对象选择信息也是包含在至少一个指示的帧中的至少一个对象中的、指示应用了深度值的至少一个对象的信息。3D-图像转换设备100可将深度值分配到唯一的对象，可根据使用将稍后进行描述的第一用户输入单元160的用户选择从对象选择信息所指示的至少一个对象中选择所述唯一的对象。深度值范围信息可被应用到对象选择信息所指示的至少一个对象，所述深度值范围信息具有最大可应用深度值和最小可应用深度值。3D-图像转换设备100可根据使用将要稍后描述的第一用户输入单元160的用户选择，分配在深度值范围信息所定义的最大深度值和最小深度值之间选择的特定深度值。图像转换器130基于通过第二接收器120接收的深度设置信息，将通过第一接收器110接收的输入图像转换为3D图像。图像转换器130可包括中央处理单元(CPU) 131、随机存取存储器(RAM) 133和存储单元135。存储单元135可存储用于将单目图像转换为双目图像的转换程序136、将被转换的单目图像(或输入图像)137和从单目图像转换完成的双目图像(或3D图像)138。存储单元135可通过硬盘驱动器、闪存或类似的非易失性存储器实现。当图像转换器130操作时，RAM 133至少加载转换程序136的一部分，CPU 131执行加载到RAM 133的转换程序136。转换程序136包含CPU 131可执行的指令。存储单元135是非暂时性计算机可读记录介质的示例。参照图4到图6，将对图像转换器130的操作进行更加详细的描述。第一显示单元140显示通过稍后将要说明的第一 Π产生器150产生的第一用户界面(UI)到第三用户界面。此外，可一同显示第一用户界面到第三用户界面和图像转换器130转换的输入图像。另外，可显示通过图像转换器130转换完成的3D图像。在没有任何限制的情况下，可通过液晶、等离子体、发光二级管、有机发光二极管、表面传导电子发射、碳纳米管和纳米晶体等多种显示种类来实现第一显示单元140。第一 UI产生器150可产生用于接收第一用户输入以从输入图像中的多个帧中辨认第一帧的第一 UI，并产生用于接收第二用户输入以在第一帧中辨认第一对象的第二 UI。此外，第一 UI产生器150可产生第三UI，第三UI用于显示第一对象的深度值范围并接收关于在显示的深度值范围之内的一个深度值的用户选择。可以以图形用户界面(GUI)的形式实现第一 UI、第二 Π和第三Π。当将输入图像转换为3D图像时，可产生第一 Π到第三UI，从而Π产生器150可以在图像转换器130的CPU 131的控制下执行其自身的功能。第一用户输入单元160是用于接收用户的输入的用户界面，所述用户界面接收关于3D-图像转换设备100的功能或操作的用户选择。用户输入单元160可设置有至少一个键按钮，也可通过在3D-图像转换设备100中设置的控制面板或触摸面板实现所述用户输入单元160。此外，可以以通过有线或无线的方式与3D-图像转换设备100连接的遥控器、键盘和鼠标等形式来实现用户输入单元160。如图3所示，信息处理设备200包括第三接收器210、通信单元220、第二显示单元230、第二 UI产生器240、第二用户输入单元250、存储单元260和控制它们的控制器270。信息处理设备200产生关于输入图像的深度设置信息并将深度设置信息发送到3D-图像转换设备100。因此，信息处理设备200包括任何能够产生关于输入图像的深度设置信息的电子设备。例如，信息处理设备200可包括显示设备、PC等。 第三接收器210可从源提供设备300接收包括多个帧的输入图像。可通过与第一接收器110和源提供设备300之间的连接方法相同或相似的连接方法来实现第三接收器210。通信单元220可在控制器270的控制下将针对输入图像产生的深度设置信息发送到3D-图像转换设备100。通过通信单元220，3D-图像转换设备100可通过通常所知的网络或通常所知的本地方法与信息处理设备200连接。第二显示单元230在控制器270的控制下显示从源提供设备300接收的包括多个帧的输入图像，并同时显示第二 Π产生器240(稍后详细说明)产生的Π。信息处理设备200是能够产生用于将2D图像转换为3D图像的深度设置信息的设备，所述深度设置信息是反映用户选择的深度设置信息。此时，可以一同显示输入图像和用于深度设置的Π。可通过与第一显示单元140相同或相似的方法来实现第二显示单元230。第二 UI产生器240产生第一 UI、第二 UI和第三UI并在第二显示单元230上显示它们，其中，第一 Π用于从多个帧中选择至少一个帧，第二 Π用于选择包括在所述至少一个帧中的至少一个对象，第三Π用于设置所选对象的深度值范围。在控制器270的控制下，第二 Π产生器240针对多个帧中对应于预设条件的帧产生第一 Π到第三Π中的至少一个UI，并在第二显示单元230上显示所述至少一个UI。在此，所述多个帧中对应于预设条件的帧包括关键帧和场景变化帧中的至少一个。关键帧可包括多个帧中的这样的帧在该帧中重要对象首次出现。此外，关键帧可包括多个帧中的这样的帧，在该帧中对象的运动剧烈。第二用户输入单元250是用于接收用户的输入的用户接口，其接收关于信息处理设备200的功能或操作的用户选择。第二用户输入单元250可设置有至少一个键按钮，并且可通过在信息处理设备200中设置的控制面板或触摸面板来实现第二用户输入单元250。此外，可通过与信息处理设备200有线或无线连接的遥控器、键盘和鼠标等形式来实现用户输入单元160。存储单元260存储关于输入图像的深度设置信息，所述输入图像在控制器270的控制下通过第一 Π到第三Π反映用户选择。控制器270控制所有上述的元件。在控制器270的控制下，如果第一 UI被产生并被显示在包含多个帧的输入图像中对应于预设条件的帧上，则用户可通过第一 UI选择对应于预设条件的帧。这显示了针对所选择的帧设置深度信息的用户的意图。当选择所述帧时，产生用于选择对象的第二 Π和用于接收关于对象的深度值范围的设置的第三Π并按顺序显示第二 Π和第三UI，并且由用户输入用户期望的对象和深度值范围。类似这样，信息处理设备200可产生用于将2D图像转换为3D图像的深度设置信息。深度设置信息反映了生成对应于2D图像的内容的意图，因此其质量高于通过一般深度估计算法或理论估计的深度信息。此外，生成意图的反映增强了用户感受到的3D效果。信息处理设备200将针对输入图像产生的深度设置信息发送到3D-图像转换设备100。以下，将参照图4到图6详细描述根据示例性实施例的3D-图像转换设备100中的图像转换器130的操作。A.第一示例性实施例如图4所示，如果通过第一接收器110从源提供设备300接收到包含多个帧410 的输入图像并通过第二接收器120从信息处理设备200接收到关于输入图像的深度设置信息，则图像转换器130从深度设置信息提取帧选择信息，基于帧选择信息从多个帧410中辨认由帧选择信息指示至少一个帧411和413，并控制第一 UI产生器150以产生第一 UI,第
一UI用于接收关于至少一个帧411和413的用户选择。参照图6，如果在第一显示单元140上显示对应于帧选择信息的帧，则显示第一 Π以接收用户选择，同时通知对应的帧与帧选择信息所指示的帧完全相同。在图6中，辨认所有的帧并同时产生并显示第一 UI，但不限制于此。如果使用用户输入单元160的用户选择通过第一 UI被输入，则选择第一帧411和第二帧413。在此，基于对应于关键帧或场景变化帧的帧选择信息选择第一帧411和第二帧413。根据示例性实施例，关键帧包括多个帧中的这样的帧，在该帧中，首次出现重要对象。此外，关键帧可包括多个帧中的这样的帧在该帧中，对象的运动激烈。图像转换器130从深度设置信息提取对象选择信息，基于对象选择信息辨认在选择的第一帧411和第二帧413中的由对象选择信息指示的至少一个对象，并控制第一 Π产生器150以产生第二 UI，第二 UI用于接收关于所述至少一个对象的用户选择。重新参照图6，选择的帧包含两个对象501和502，但是对象选择信息所指示的对象是对象501。此时，为了将该对象通知给用户并允许用户选择，产生并显示第二 Π。因此，如果使用第一用户输入单元160通过第二 UI输入了关于第一帧411中的第一对象的用户选择和关于第二帧413中的第二对象的用户选择，则最终分配了深度值的第一对象和第二对象被选择。图像转换器130可控制第一 UI产生器150以产生第三UI，第三UI用于通过从深度设置信息提取深度值范围信息来接收用户选择，并基于提取的深度值范围信息显示关于第一对象和第二对象的每个深度值范围信息。第三Π显示基于提取的深度值范围信息可以分配到第一对象的最小值到最大值，并允许用户选择在最小值和最大值之间的一个值作为第一深度信息。重新参照图6，如果通过第二 Π选择了对象，则产生并显示第三Π以选择关于所选对象的深度值。也就是说，显示可以基于深度值范围信息分配到选择的对象的深度值的最小值到最大值，并且用户可以选择在最小值和最大值之间的一个深度值。这些同样应用于第二对象从而用户可以选择第二深度信息。参照图5，Y-轴显示包含在通过第二接收器120接收的深度设置信息内的深度值范围的最小值到最大值，“ZPS”显示深度值为零的点，并且X-轴显示帧。关于第一帧412的第一对象，根据通过第一用户输入单元160的用户选择的、在深度值范围的最小值到最大值之间输入的值被选择作为第一深度信息421。关于第二帧416的第二对象，根据通过第一用户输入单元160的用户选择的、在深度值范围的最小值到最大值之间输入的值被选择作为第二深度信息425。因此，图像转换器130基于用作指引的通过第一用户输入单元160接收的深度设置信息，产生关于输入图像的深度信息，并基于产生的深度信息渲染输入图像，从而将输入图像转换为3D图像。B.第二示例性实施例在第一示例性实施例中，信息处理设备200基于深度设置信息产生仅关于关键帧或场景变化帧的深度信息，并在渲染中使用该深度信息。然而，第二示例性实施例示出这样的3D-图像转换设备100的示例，在该示例中，通过对包含关键帧或场景变化帧的多个帧执行追踪产生深度信息并在渲染中使用该深度信息。因此，以下将仅描述不同于第一示例性 实施例的地方。3D-图像转换设备100基于从信息处理设备200接收的深度设置信息辨认第一帧和第二帧，并通过接收用户选择获得第一深度信息和第二深度信息。在此，通过与在第一示例性实施例中描述的方法相同的方法获得第一深度信息和第二深度信息。图像转换器130可基于第一深度信息和第二深度信息中的至少一个获得在第三帧中选择的第三对象的第三深度信息。参照图4，第三帧415在第一帧411之后并在第二帧413之前，但不限于于此。或者，第三帧可包括在第一帧411之后的至少一个帧，或包括在第二帧413之前和之后的至少一个帧。图像转换器130选择第三帧415并选择至少一个包含在第三帧中的第三对象。因此，观察者可将第一对象、第二对象和第三对象认作相同对象。当设置关于第三对象的第三深度信息时，图像转换器130使用第一深度信息和第二深度信息中的至少一个。根据示例性实施例，关于第三对象的第三深度信息可包括第一深度信息和第二深度信息之间的值。参照图5，可产生在第一深度值421和第二深度值425之间的一个深度值423作为关于第三帧414中的第三对象的第三深度信息。根据另一实施例，第三深度信息可包括从第一深度信息开始的特定范围内的值，或包括从第二深度信息开始的特定范围内的值。根据另一示例性实施例，第三深度信息可包括通过函数计算出的值，所述函数将第一深度信息或第二深度信息作为输入。因此，可从第一深度信息和第二深度信息产生第三帧(即，不包括关键帧或场景变化帧的帧)的第三对象，并因此可以通过追踪关键帧或场景变化帧来产生第三帧的深度信息。图像转换器130基于第一深度信息、第二深度信息和第三深度信息产生第四深度信息。第四深度信息包含未包括的对象(即，没有被基于深度设置信息的帧选择信息指示的帧上的对象选择信息指示的对象)的深度信息。例如，第四深度信息包括关于第一帧或第二帧中不具有第一深度信息或第二深度信息的对象的深度信息。因此，第四深度信息包括关于第三帧中没有第三深度信息的对象的深度信息。总而言之，第四深度信息不仅包括第一信息、第二信息和第三信息，还包括未基于深度设置信息设置深度值的对象的深度信息。图像转换器130产生在第一深度信息、第二深度信息和第三深度信息的预定范围之内的增加或减少的深度值，作为未基于深度设置信息设置深度值的对象的深度值。
图像转换器130可通过基于深度设置信息渲染输入图像来产生3D图像。图7是示出根据示例性实施例的通过信息处理设备200实施的方法的流程图。如其中所示，信息处理设备200从源提供设备300接收包含多个帧的输入图像(Sll)，产生并显示用于设置关于该输入图像的深度信息的Π (S12)。信息处理设备200处理根据用户选择而设置的深度设置信息，并将深度设置信息发送到外部的3D图像转换设备 100 (S13)。图8是示出根据示例性实施例的通过3D-图像转换设备100实施的方法的流程图。3D-图像转换设备100从源提供设备300接收包含多个帧的输入图像(S21)，并从信息处理设备200接收关于该输入图像的深度设置信息(S22)。3D-图像转换设备100基于接收的深度设置信息产生关于输入图像的深度信息(S23)，通过基于产生的深度信息渲染输入图像来产生3D图像(S24)。 上述方法还可包括在3D-图像转换设备100上显示转换的3D图像，或将产生的3D图像发送到外部的内容再现设备400。图9和图10是示出根据另一示例性实施例的通过用于3D图像转换的设备实施的方法的流程图。3D-图像转换设备100从源提供设备300接收包含多个帧的输入图像(S31)，并从信息处理设备200接收关于该输入图像的深度设置信息(S32)。辨认从多个帧中选择的第一帧(S33)。第一帧的辨认包括基于包含在深度设置信息中的帧选择信息产生用于接收针对多个帧中的由帧选择信息所指示的帧的用户的输入的第一 UI，通过第一 Π接收第一用户输入，并根据第一用户输入识别第一帧。获得在第一帧中选择的第一对象的第一深度信息(S34)。此时，第一深度信息的获得包括基于包含在深度范围信息中的对象选择信息产生第二 UI，通过第二 Π接收第二用户输入，并根据第二用户输入识别第一对象，其中，第
二UI用于接收针对包含在第一帧中的对象中的由对象选择信息指示的对象的用户输入。此外，基于包括在深度范围信息内的深度值范围信息，产生用于显示关于第一对象的深度值范围信息的第三Π，通过第三Π接收用于设置深度值的第三用户输入，并根据第三用户输入获得第一深度信息。辨认从多个帧中选择的第二帧(S35)，获得在第二帧中选择的第二对象的第二深度信息(S36)。通过与第一深度信息相同或相似的方法获得第二深度信息。使用第一深度信息和第二深度信息中的至少一个，获得在第三帧中选择的第三对象的第三深度信息(S37)。第三帧包括多个帧中位于第一帧之后的至少一个帧，或包括位于第二帧之后和之前的至少一个帧。此外，在多个帧内，第一对象到第三对象被认为是相同的对象。可基于在第一深度信息和第二深度信息中的至少一个获得第三深度信息。基于获得的第一深度信息到第三深度信息产生第四深度信息(S38)。使用产生的第四深度信息，渲染输入图像以产生3D图像(S39)。此外，可在3D图像转换设备100上显示产生的3D图像。另外，可将产生的3D图像发送到外部内容再现设备400。根据示例性实施例的通过3D-图像转换设备实施的方法可以以多种计算机可执行的程序命令的形式被实现并且被记录在非暂时性计算机可读记录介质中。所述非暂时性计算机可读记录介质可包括单独的程序命令、数据文件、数据结构等，或包括程序命令、数据文件、数据结构等的组合。记录在非暂时性计算机可读记录介质中的程序命令可针对本示例性实施例被特别地设计并配置，或可以是公知的并且可被计算机软件领域里的技术人员使用。例如，非暂时性计算机可读记录介质包括磁介质(诸如，硬盘、软盘和磁带)；光学介质(诸如，致密盘只读存储器(⑶-ROM)和数字多功能盘(DVD));磁光介质(诸如，软式光盘)；特别地配置为存储执行程序的硬件装置(诸如，ROM、随机读取存储器(RAM)、闪存等)。例如，程序指令不仅包括编译器产生的机器代码还包括通过计算机使用解释器或类似的可执行的高级语言。硬件装置可被配置为作为一个或多个用于实施根据示例性实施例的方法的软件模块操作，反之亦然。如上所述，提供了一种能够基于生成对应于2D图像的内容的意图，将2D图像转换为具有高质量3D效果的3D图像的设备和方法，及其存储介质。 虽然已示出并描述了若干示例性实施例，但是本领域的技术人员将理解，在不背离本发明构思的原理和精神的情况下，可对这些示例性实施例进行改变，本发明构思的范 围在权利要求及其等同物中限定。
权利要求
1.一种通过三维(3D)图像转换设备实施的方法，所述方法包括 接收包括多个帧的输入图像； 辨认从所述多个帧中选择的第一帧； 获得在第一帧中选择的第一对象的第一深度信息； 辨认从所述多个帧中选择的第二帧； 获得在第二帧中选择的第二对象的第二深度信息； 通过使用第一深度信息和第二深度信息中的至少一个，获得在第三帧中选择的第三对象的第三深度信息； 基于第一深度信息、第二深度信息和第三深度信息产生第四深度信息； 基于第四深度信息渲染输入图像。
2.如权利要求I所述的方法，其中，在所述多个帧中，第一对象、第二对象和第三对象被用户识别为一个对象。
3.如权利要求I所述的方法，其中，第三帧包括第一帧和第二帧之间的帧。
4.如权利要求I所述的方法，其中，第一深度信息包括第一值，第二深度信息包括第二值并且第三深度信息包括第一值和第二值之间的第三值。
5.如权利要求I所述的方法，其中，第三深度信息包括从第一深度信息中包括的值开始的特定范围内的值，或包括从第二深度信息中包括的值开始的特定范围内的值。
6.如权利要求I所述的方法，其中，第三深度信息包括使用函数计算出的值，所述函数以包括在第一深度信息中的值或包括在第二深度信息中的值作为输入。
7.如权利要求I所述的方法，其中，第一帧包括关键帧和场景变化帧中的至少一个。
8.如权利要求I所述的方法，还包括获得深度范围信息， 其中，第一深度信息包括深度范围信息的最大值和深度范围信息的最小值之间的值。
9.如权利要求I所述的方法，其中辨认第一帧的步骤包括 通过第一用户界面(UI)接收第一用户输入； 根据第一用户输入辨认第一帧。
10.如权利要求I所述的方法，其中，辨认第一对象的步骤包括 通过第二 UI接收第二用户输入； 根据第二用户输入辨认第一对象。
11.一种三维(3D)图像转换设备，包括 第一接收器，接收包括多个帧的输入图像； 图像转换器，辨认从所述多个帧中选择的第一帧并获得在第一帧中选择的第一对象的第一深度信息；辨认从所述多个帧中选择的第二帧并获得在第二帧中选择的第二对象的第二深度信息；通过使用第一深度信息和第二深度信息中的至少一个，获得在第三帧中选择的第三对象的第三深度信息；基于第一深度信息、第二深度信息和第三深度信息，产生第四深度信息；基于第四深度信息渲染输入图像。
12.如权利要求11所述的3D-图像转换设备，其中，在所述多个帧中，第一对象、第二对象和第三对象被用户识别为一个对象。
13.如权利要求11所述的3D-图像转换设备，其中，第三帧包括第一帧和第二帧之间的帧。
14.如权利要求11所述的3D-图像转换设备，其中，第一深度信息包括第一值，第二深度信息包括第二值，第三深度信息包括第一值和第二值之间的第三值， 其中，第三深度信息包括从第一深度信息中包括的值开始的特定范围内的值，或包括从第二深度信息中包括的值开始的特定范围内的值， 其中，第三深度信息包括使用函数计算出的值，所述函数以包括在第一深度信息中的值或包括在第二深度信息中的值作为输入。
15.如权利要求11所述的3D-图像转换设备，还包括接收深度范围信息的第二接收器， 其中，第一深度信息包括深度范围信息的最大值和深度范围信息的最小值之间的值。
全文摘要
一种用于三维(3D)图像转换的设备和方法及其存储介质。一种通过三维(3D)图像转换设备实施的方法，所述方法包括接收包括多个帧的输入图像；辨认从所述多个帧中选择的第一帧；获得在第一帧中选择的第一对象的第一深度信息；辨认从所述多个帧中选择的第二帧；获得在第二帧中选择的第二对象的第二深度信息；使用第一深度信息和第二深度信息中的至少一个深度信息，获得在第三帧中选择的第三对象的第三深度信息；基于第一深度信息、第二深度信息和第三深度信息产生第四深度信息；并基于第四深度信息渲染输入图像。
文档编号H04N13/00GK102811360SQ20121017717
公开日2012年12月5日 申请日期2012年5月31日 优先权日2011年5月31日
发明者权五允, 许惠贤 申请人:三星电子株式会社