用于三维显示和交互的设备和方法
【专利摘要】提供了一种用于三维显示和交互的设备，所述设备包括：显示与捕捉单元，被配置为将控制单元提供的三维显示内容转换为三维虚拟对象并在三维空间中显示三维虚拟对象，以及获取用户使用交互装置在三维空间中做出的交互姿态的深度信息；控制单元，被配置为从所述显示与捕捉单元获取所述交互姿态的深度信息并产生与所述交互姿态相应的深度图，基于产生的深度图分析三维虚拟对象与所述交互装置之间的碰撞，根据对碰撞的分析结果更新三维显示内容并将更新的三维显示内容提供给所述显示与捕捉单元，以在三维空间中更新三维虚拟对象的显示。
【专利说明】用于三维显示和交互的设备和方法
【技术领域】
[0001]本发明涉及三维显示技术，更具体地讲，涉及一种能够进行三维显示和交互的设备和方法。
【背景技术】
[0002]三维(3D)技术在多个领域(诸如消费电子领域，医疗成像领域等)中已显示出巨大的发展潜力。目前，已出现了多种3D显示技术，例如，使用眼镜的3D显示技术和无需眼镜的3D显示技术。考虑到使用眼镜的3D显示技术容易引起用眼疲劳，因此，无需眼镜的3D显示技术由于其便利性引起了更多的关注。
[0003]无需眼镜的3D显示技术包括全息摄影、自动立体成像、全景成像等。全息摄影的方法需要相干光，并且在记录和再现放置在一定距离处的较大对象方面有一些困难。自动立体成像方法是一种使用柱状透镜或视差屏障来实现3D显示的方式，然而，在这种方法中，仅能够实现水平透视差。此外，观看图像的双眼会聚角和图像的焦点可能不同，使得会存在用眼疲劳的现象。对于具有水平透视差和垂直透视差两者的3D图像而言，一般采用全景成像的3D显示方法，在该方法中，真实的3D对象被重构，并且观看3D对象的双眼会聚角与所述对象的焦点保持相同，因而不会造成用眼疲劳。
[0004]除了以上描述的3D显示技术以外，3D交互技术也是3D技术的一种应用。3D交互是一种人机交互的形式，在3D交互中，用户可在3D空间中移动并执行交互。用于交互的3D空间可以是真实的物理空间、在计算机中模拟的虚拟空间、或者是两者的组合，当真实的空间被用于输入交互数据时，用户通常做出一些动作来对使用检测用户的交互动作的3D位置的装置的机器发布命令。当使用模拟的虚拟空间时，模拟的3D虚拟空间可通过输出装置被投影到真实的环境中。
[0005]无需眼镜的3D显示技术对于3D交互非常有用，这是因为用户会更倾向于不使用任何眼镜来操纵3D对象。此外，使双眼的会聚角与对象的焦点保持相同对于避免眼部不适也非常重要。而全景成像技术提供了一种在不会产生用眼疲劳的情况下可实现实际的3D交互的可能性，其中，实际的3D显示对象可由交互装置(例如，可以是用户的手部或者是任何其他由用户进行操纵的装置)来操纵，并且所述交互装置的运动可以是深度感知的并且能够被对3D交互进行处理的装置分析和处理。
【发明内容】
[0006] 根据本发明的一方面，提供了一种用于三维显示和交互的设备，所述设备包括:显示与捕捉单元，被配置为将控制单元提供的三维显示内容转换为三维虚拟对象并在三维空间中显示三维虚拟对象，以及获取用户使用交互装置在三维空间中做出的交互姿态的深度信息；控制单元，被配置为从所述显示与捕捉单元获取所述交互姿态的深度信息并产生与所述交互姿态相应的深度图，基于产生的深度图分析三维虚拟对象与所述交互装置之间的碰撞，根据对碰撞的分析结果更新三维显示内容并将更新的三维显示内容提供给所述显示与捕捉单元，以在三维空间中更新三维虚拟对象的显示。
[0007]所述显示与捕捉单元可包括:图像显示单元，被配置为显示控制单元提供的三维显示内容；三维成像单元，布置在图像显示单元的前面，被配置为将图像显示单元显示的三维显示内容转换为在三维空间中显示的三维虚拟对象；捕捉单元，布置在三维成像单元的背面，被配置为通过三维成像单元获取用户使用交互装置在三维空间中做出的交互姿态的深度信息。
[0008]所述用于三维显示和交互的设备还可包括:照明单元，布置在图像显示单元的背面，用于为图像显示单元提供照明光。
[0009]三维成像单元可以是柱状透镜或微透镜阵列，或者是在控制单元的控制下显示为栅栏、针孔阵列、或栅栏和针孔阵列的组合的液晶显示LCD面板。
[0010]所述照明单元可包括:背光单元，与图像显示单元相平行地布置在图像显示单元的背面，从而将照明光直接提供给图像显示单元。
[0011]所述照明单元可包括:背光单元，与图像显示单元相垂直地布置在图像显示单元背面的顶部或底部；光反射单元，布置在图像显示单元的背面，用于将垂直布置的背光单元发出的光反射至图像显示单元，以为图像显示单元提供照明光。
[0012]所述光反射单元可以是半透射反射器件。
[0013]所述捕捉单元可布置在半透射反射器件的背面，从做出交互姿态的交互装置发出并透过三维成像单元的光可穿过所述半透射反射器件到达捕捉单元，从而捕捉单元可获取交互姿态的深度信息。
[0014]所述半透射反射装置可以是分光器。
[0015]所述光反射单元可以是用于反射光的全反射器件。
[0016]所述捕捉单元和背光单元可与图像显示单元相垂直地布置在图像显示单元的背面，其中，所述全反射器件将从做出交互姿态的交互装置发出并透过三维成像单元的光反射至捕捉单元，从而捕捉单元获取交互姿态的深度信息。
[0017]所述图像显示单元可以是IXD面板。
[0018]所述捕捉单元可以是与图像显示单元分离的CXD传感器或深度感知相机。
[0019]所述图像显示单元和捕捉单元可集成为集成有IXD面板和多个CXD传感器的混合液晶显示-电荷耦合器件IXD-CXD面板。所述混合IXD-CXD面板中的IXD面板可用于显示控制单元提供的三维显示内容，所述混合IXD-C⑶面板中的CXD传感器可通过三维成像单元获得交互姿态的深度信息。
[0020]所述控制单元提供的三维显示内容可以是与将在三维空间中显示的对象对应的多个元素图像，显示与捕捉单元获取的深度信息可以是与所述交互姿态相关的多个元素图像。
[0021]当捕捉单元是布置在图像显示单元背面的深度感知相机时，捕捉单元获取的交互姿态的深度信息中还可包括所述三维显示内容。控制单元可通过从所述深度信息中去除所述三维显示内容来获取与交互姿态相应的深度图。
[0022]根据本发明的另一方面，提供了一种用于三维显示和交互的方法，所述方法包括:(a)将三维显示内容 转换为三维虚拟对象并在三维空间中显示三维虚拟对象；(b)获取用户使用交互装置在三维空间中做出的交互姿态的深度信息；(c)根据获取的交互姿态的深度信息来产生与所述交互姿态相应的深度图；(d)基于产生的深度图分析三维虚拟对象与所述交互装置之间的碰撞；(e)根据对碰撞的分析结果更新步骤(a)中使用的三维显示内容，以更新显示在三维空间中的三维虚拟对象。
[0023]所述三维显示内容可以是与将在三维空间中显示的对象对应的多个元素图像，所述交互姿态的深度信息可以是与所述交互姿态相关的多个元素图像。
【专利附图】
【附图说明】
[0024]通过以下结合示例对附图进行的详细描述，本发明的上述和其他目的以及特点将会变得更加清楚，其中:
[0025]图1是示出根据示例性实施例的用于三维显示和交互的设备的示意框图；
[0026]图2是示出根据示例性实施例的显示与捕捉单元的示意框图；
[0027]图3是示出根据本发明的示例性实施例的用于三维显示和交互的设备的结构框图；
[0028]图4A至图4F是示出根据本发明的示例性实施例的三维成像单元的结构示意图；
[0029]图5A和图5B是示出根据本发明的另一示例性实施例的用于三维显示和交互的设备的结构框图；
[0030]图6是示出根据本发明的另一示例性实施例的用于三维显示和交互的设备的结构框图；
[0031]图7是示出根据本发明的另一示例性实施例的用于三维显示和交互的设备的结构框图；
[0032]图8是示出根据本发明的示例性实施例的用于三维显示和交互的方法的流程图。
[0033]在附图中，相同的标号始终表示相同的部件。以下通过参考附图描述实施例以解释本发明。
【具体实施方式】
[0034]提供以下参照附图进行的描述以帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。所述描述包括各种特定细节以帮助理解，但这些细节被认为仅是示例性的。因此，本领域的普通技术人员将认识到:在不脱离本发明的范围和精神的情况下，可对这里描述的实施例进行各种改变和修改。此外，为了清楚和简明，可省略已知功能和构造的描述。
[0035]图1是示出根据示例性实施例的用于三维显示和交互的设备100的示意框图。
[0036]如图1中所示，所述设备100包括显示与捕捉单元110和控制单元120。
[0037]显示与捕捉单元110可被配置为将控制单元120提供的三维显示内容转换为三维虚拟对象并在三维空间中显示三维虚拟对象。应该理解，在本发明中，控制单元120提供的三维显示内容是与将在三维空间中显示的对象对应的多个元素图像(EI，ElementalImage)。此外，所述显示与捕捉单元110还可被配置为获取用户使用交互装置在三维空间中做出的交互姿态(例如，用户使用交互装置做出的姿势)的深度信息(即，与所述交互姿态相关的多个元素图像)。
[0038]控制单元120可被配置为从显示与捕捉单元110获取所述交互姿态的深度信息并产生与所述交互姿态相应的深度图。
[0039]在控制单元120产生了与交互姿态相应的深度图之后，所述控制单元120还可基于产生的深度图分析三维虚拟对象与所述交互装置之间的碰撞，根据对碰撞的分析结果更新三维显示内容并将更新的三维显示内容提供给所述显示与捕捉单元110，以在三维空间中更新三维虚拟对象的显示。
[0040]举例来说，当显示与捕捉单元110在三维空间中形成并显示出三维虚拟对象A之后，如果用户使用诸如手指的交互装置做出将所述三维虚拟对象A水平地拨向左侧的动作，则控制单元120可通过显示与捕捉单元110获取交互姿态(例如，手指向左拨动的姿势)的深度信息，从而产生与所述交互姿态相应的深度图。然后，使用所述深度图来估计用户的手指与三维虚拟对象A之间是否发生了碰撞。当确定发生碰撞之后，控制单元120可对三维显示内容进行更新，并将更新的三维显示内容提供给显示与捕捉单元110以在三维空间中更新三维虚拟对象A的显示，从而使得更新后的三维虚拟对象A在三维空间中恰好与用户的手指不接触，实现将所述三维虚拟对象A拨向左侧这一动作。
[0041]然而，应该理解，以上示例仅是为了便于理解而示出的，本发明不限于此，例如，控制单兀120可不将二维虚拟对象A水平向左移动,而是例如在二维虚拟对象A中消去和手指重叠的部分，从而当在三维空间中更新三维虚拟对象A的显示时，可呈现出三维虚拟对象A被手指侵蚀的显示效果。
[0042]由于三维虚拟对象和交互装置的三维空间位置和姿态都可以被显示和捕捉单元110获取，因此通过控制单元120可分析它们之间的重叠程度，然后根据三维虚拟对象对外力所应产生的变形量，决定与交互装置的姿态所对应的三维虚拟对象的显示位置和姿态，从而得到交互装置和三维虚拟对象的碰撞结果。然后，控制单元120可根据碰撞结果更新三维虚拟对象的显示位置和姿态。分析三维虚拟对象与交互装置之间的碰撞并根据分析结果更新三维显示内容的方式对于本领域技术人员而言是已知的，在此将不再进行详细描述。
[0043]图2是示出根据示例性实施例的显示与捕捉单元120的示意框图。
[0044]如图2中所示，显示与捕捉单元110可包括:图像显示单元111、三维成像单元112、捕捉单元113和照明单元114。
[0045]图像显示单元111可被配置为显示控制单元120提供的三维显示内容。三维成像单元112可布置在图像显示单元111的前面，并被配置为将图像显示单元111显示的三维显示内容转换为可在三维空间中显示的三维虚拟对象。捕捉单元113可布置在三维成像单元112的背面，并被配置为通过三维成像单元112获取用户使用交互装置在三维空间中做出的交互姿态的深度信息。照明单元114可布置在图像显示单元111的背面，用于为图像显示单元111提供照明光。
[0046]图2仅是实现本发明的显示与捕捉单元110的示意图，以下将结合图3至图7更详细地解释实现本发明的显示与捕捉单元110的各种构造以及显示三维虚拟对象和获取深度信息的方法。
[0047]图3是示出根据本发明的示例性实施例的用于三维显示和交互的设备100的结构框图。
[0048]参照图3，图像显示单元111和捕捉单元113可集成为集成有IXD面板和多个CXD传感器的混合液晶显示-电荷耦合器件(IXD-CXD)面板。在所述混合IXD-C⑶面板中，IXD面板可用于显示控制单元120提供的三维显示内容，集成的CCD传感器可通过三维成像单元112获得用户使用交互装置(例如，人的手部)115做出的交互姿态的深度信息并将所述深度信息提供给控制单元120。
[0049]在如图3中所示的混合IXD-CXD面板中，多个CXD传感器可水平地按行排列在IXD面板中。IXD面板中的IXD像素用于显示控制单元120提供的三维显示内容，具体地讲，在控制单元120的控制下，LCD面板可根据预定规则在面板中的不同位置上分别显示控制单元120提供的多个元素图像中预先分配的元素图像(即，控制单元120提供的多个元素图像在图像显示单元上的显示位置已被预先确定)。此外，按行嵌入在IXD像素之间的CXD像素(即，CCD传感器)用于获取用户使用交互装置在三维空间中做出的交互姿态的深度信息，具体地讲，每个CCD传感器可获取与交互姿态相关的一个元素图像，然后每个CCD传感器可将获取的元素图像发送给控制单元120，控制单元120在接收到从多个CCD传感发送的多个元素图像之后，可使用接收的多个元素图像产生与交互姿态相应的深度图。应理解，对于本领域技术人员而言，使用元素图像来产生深度图的方法是已知的，因此为了简明，在此将不再详细描述。
[0050]然而，应该理解，混合IXD-C⑶面板中的CXD传感器的排列方式不限于图3中显示的方式，还可以以各种方式将CXD传感器布置在IXD-C⑶面板中来实现上述功能。
[0051 ] 此外，如图3中所示，照明单元114可以是与图像显示单元111相平行地布置在图像显示单元111的背面的背光单元，从而将照明光直接提供给图像显示单元111。然而，本发明不限于此，例如，如稍后将描述的图6和图7中所示出的，照明单元114还可由与图像显示单元111相垂直地布置在图像显示单元111背面的顶部或底部的背光单元以及光反射单元组成，在这种情况下，所述光反射单元可布置在图像显示单元111的背面并与背光单元呈预定角度，以将垂直布置的背光单元的发出的光反射至图像显示单元111，从而为图像显示单元111提供照明光。应该理解，照明单元114还可以以本领域技术人员已知的各种方式来布置，以为图像显示单元111提供照明光。
[0052]以下将结合图4A至图4F来详细描述三维成像单元112的构造，和通过使用三维成像单元112形成三维虚拟对象以及获取交互姿态的深度信息的方法。
[0053]图4A至图4F是示出根据本发明的示例性实施例的三维成像单元112的结构示意图。在图4A至图4F，为了便于说明，示出由混合IXD-C⑶面板来实现布置在三维成像单元112的背面的图像显示单元111和捕捉单元113 (应理解，图4A至4C中的IXD像素和CXD是作为示例的混合LCD-CCD面板的组成部分)，然而，应该理解，本发明不限于此，还可以以其他方式实现本发明的布置在三维成像单元112的背面的图像显示单元111和捕捉单元113 (例如，稍后将参照图5A-图7的组成方式)。
[0054]图4A示出使用柱状透镜来构造三维成像单元112的示图，图4B是示出使用微透镜阵列来构造三维 成像单元112的示图。
[0055]然而，应该理解，不管是使用微透镜阵列还是使用柱状透镜来构造三维成像单元112，都可以使显示在其背后的图像显示单元上的多个元素图像发出的光经过折射而在三维成像单元112的前面的不同距离处成像，从而形成如图3中示出的可显示在三维空间中的三维虚拟图像。应该理解，应考虑三维成像单元112的特性(例如，折射率等)来形成和布置显示在图像显示单元111上的多个元素图像，从而使得显示在图像显示单元111上的多个元素图像发出的光在经过三维成像单元112之后能够在三维空间中组合形成三维虚拟对象。
[0056]与以上成像的过程相反，在捕捉单元(例如，图4A和图4B中的CXD传感器)113通过三维成像单元112来捕捉交互姿态的深度信息时，从所述交互装置发出的光经过三维成像单元112后会被折射，并可成像为多个元素图像。因此，捕捉单元113可容易捕捉到用户做出的交互姿态的深度信息(即，与交互姿态相关的多个元素图像)。
[0057]因此，应该理解，除了使用微透镜阵列和柱状透镜来构造三维成像单元112以外，任何可以实现三维成像单元112的上述效果的装置均可应用于本发明，例如，如图4C所示，还可使用IXD面板来实现三维成像单元112，此时，为了获得如图4A和4C中的使用的柱状透镜和微透镜阵列的效果，图4C的IXD面板可在控制单元120的控制下如图4D中所示在其上显示栅栏，从而所述IXD面板能够起到图4A中的柱状透镜的效果。可选择地，IXD面板可在控制单元120的控制下，如图4E中所示在其上显示针孔阵列，从而能够起到图4B中的微透镜阵列的效果。此外，所述LCD面板还可如图4F中所示在其上显示栅栏和针孔阵列的组合，从而根据可根据需求起到柱状透镜或微透镜阵列的效果。
[0058]图3中示出了显示与捕捉单元110中的图像显示单元111和捕捉单元113集成为混合IXD-C⑶面板来实现本发明的示例，然而，本发明不限于此，还可以以各种方式实现本发明。图5A是示出根据本发明的另一示例性实施例的用于三维显示和交互的设备100的结构框图。图5B是示出图5A中显示与捕捉单元110的正面的示例性示图。图5A和图5B中的三维成像单元112、照明单元114、用户的交互装置115和控制单元120的构造可与图3中的相同，并且图5A和图5B中的三维成像单元112还可以是图4A至图4F中示出的形式。因此为了简明，在此将不再对其进行详细解释。
[0059]如图5A中所示，与图3中的结构不同在于，图5A的图像显示单元111可被配置为单纯的IXD面板来显示控制单元120提供的三维显示内容，捕捉单元113是与图像显示单元111分离的C⑶传感器。
[0060]此外，如图5A和图5B中所示，由于CXD传感器分离地布置在IXD面板的4个角附近，因此，为了便于CCD传感器获取用户做出的交互姿态的深度信息(即，与交互姿态相关的多个元素图像)，可在CXD传感器与三维显示单元112之间的适当位置布置成像透镜510，从而经过三维显示单元112后形成的元素图像可通过成像透镜510被汇聚至CXD传感器，以便CCD传感器获取与交互姿态相关的多个元素图像。
[0061]此外,应该理解，图5A和图5B中的传感器不限于布置在IXD面板的4个角上,还可根据需要，例如，沿LCD面板的四周布置多个CCD传感器来获取与用户的交互姿态相关的多个元素图像。
[0062]图6是示出根据本发明的另一示例性实施例的用于三维显示和交互的设备100的结构示意图。图6中的控制单元120、三维成像单元112、图像显示单元111和用户的交互装置115的构造可与图5A中的相同，因此为了简明，在此将不再对其进行详细解释。
[0063] 在图6中，与图3、图5A和图5B中作为照明单元114的背光单元平行地布置在图像显示单元111的背面来为图像显示单元111提供照明光的示例相比，图6中的照明单元114可由光反射单元620和垂直地布置在图像显示单元111背面的底部的背光单元610组成，其中，如图6中所示，光反射单元620可以以预定角度布置在图像显示单元111的背面并将垂直布置的背光单元610的发出的光反射至图像显示单元111，从而为图像显示单元111提供照明光。
[0064]此外，图6中还示出使用深度感知相机代替CXD传感器作为捕捉单元113的示例，图6中的深度感知相机113布置在光反射单元620的背面，在这种情况下，为了使相机能够获得从用户的交互装置115发出的光，所述光反射单元620可以是半透射反射器件(例如，分光器)，从而使得从交互装置115发出的光的一部分能够到达深度感知相机113，并且从背光单元610发出的光的一部分能够经过反射被提供给图像显示单元111 (例如，IXD面板)用于照明。
[0065]应该理解，本发明不限于此，例如，除照明单元114的构造以外，在图6中也可采用图3或图5A中示出的捕捉单元113和图像显示单元111的组成形式(即，使用混合IXD-CXD面板来构成捕捉单元113和图像显示单元111，或者使用分开的LCD面板和多个CCD传感器来分别构成图像显示单元111和捕捉单元113)，而不需要使用深度感知相机。此外，还可以以其他方式布置图6中的背光单元610，例如，将背光单元610垂直地布置在图像显示单元111背面的顶部，在这种情况下，所述光反射单元620可布置在图像显示单元111的背面并与背光单元610呈预定角度，从而将垂直布置的背光单元610的发出的光反射至图像显示单元111。[0066]图7是示出根据本发明的另一示例性实施例的用于三维显示和交互的设备100的结构框图。图7中的控制单元120、三维成像单元112、图像显示单元111和用户的交互装置115的构造可与图6中的相同，因此为了简明，在此将不再对其进行详细解释。
[0067]此外，与图6相似，图7采用也深度感知相机作为捕捉单元113，并且照明单元114也由光反射单元720和垂直地布置在图像显示单元111背面的底部的背光单元710组成，其中，所示光反射单元720以预定角度布置在图像显示单元111的背面并用于将垂直布置的背光单元710的发出的光反射至图像显示单元111，从而可为图像显示单元111提供照明光。
[0068]然而，与图6中不同的是，图7中的光反射单元720是用于反射光的全反射器件(例如，镜子)。因此，图7中的深度感知相机113和背光单元610可与图像显示单元垂直地布置在图像显示单元111背面的底部。在这种情况下，所述全反射器件可将从做出交互姿态的交互装置115发出，并透过三维成像单元112的光反射至深度感知相机113，以使得深度感知相机113可获取交互姿态的深度信息。
[0069]应该理解，本发明不限于此，例如，在图7中也可采用图3或图5A和图5B中示出的捕捉单元113和图像显示单元111的构成形式(即，使用混合IXD-CXD面板来构成捕捉单元113和图像显示单元111，或者使用分开的IXD面板和多个C⑶传感器来分别构成图像显示单元111和捕捉单元113)，而不需要使用深度感知相机。此外，还可以以其他方式布置背光单元610，例如，如上所述的将背光单元610垂直地布置在图像显示单元111背面的顶部。
[0070]此外，当使用布置在图像显示单元111背面的深度感知相机作为捕捉单元113来获取交互姿态的深度信息时，由于深度感知相机位于图像显示单元111的后方，所以深度感知相机获取的交互姿态的深度信息中还可能包括三维显示内容(即，三维显示内容的多个元素图像)。由于深度感知相机获取的三维显示内容的多个元素图像是位于同一个平面上(即，深度感知相机从平面的图像显示单元111上显示的三维显示内容获得所述三维显示内容的多个元素图像)，因此所述三维显示内容的多个元素图像的深度信息相同，是位于同一个二维平面上的信息。由于深度感知相机与图像显示单元111之间的距离是预先确定的并且是已知的，因此可容易地知道深度感知相机获得的三维显示内容的元素图像的深度。在这种情况下，控制单元120可通过从获取的交互姿态的深度信息中去除深度已知的三维显示内容的多个元素图像，从而得到仅与交互姿态相应的深度图。应理解，去除深度已知的三维显示内容的元素图像的方法对于本领域技术人员而言是已知的，因此为了简明，在此将不再进行详细描述。
[0071]图8是示出根据本发明的示例性实施例的用于三维显示和交互的方法的流程图。
[0072]如图8中所示，在步骤810，显示与捕捉单元110中的三维成像单元112可将图像显示单元111显示的由控制单元120提供的三维显示内容转换为三维虚拟对象并在三维空间中显示三维虚拟对象。
[0073]然后，在步骤830，通过显示与捕捉单元110中的捕捉单元113获取用户使用交互装置115在三维空间中做出的交互姿态的深度信息，以上已参照图3和图4A至F详细描述了捕捉单元113获取交互姿态的深度信息的方法，为了简明，在此将不再进行进一步的描述。
[0074]在步骤850，控制单元120可从捕捉单元113获取所述交互姿态的深度信息，并根据获取的交互姿态的深度信息来产生与所述交互姿态相应的深度图。
[0075]在步骤870，控制单元120可基于产生的深度图分析三维虚拟对象与交互装置之间的碰撞。对于本领域技术人员而言，如何估计和分析三维虚拟对象与所述交互装置之间的碰撞是已知的，因此，为了简明，在此将不再进行进一步的描述。
[0076]在步骤890，控制单元120可根据对碰撞的分析结果更新将要显示在图像显示单元111中的三维显示内容，并将更新的三维显示内容提供给图像显示单元111进行显示，从而更新显示在三维空间中的三维虚拟对象。
[0077]通过这种方式，当用户对三维虚拟对象做出动作时，本发明的三维显示和交互设备可通过捕捉交互动作的姿态，根据预设的规则来更新显示的三维虚拟对象，从而实现用户与三维虚拟对象之间的交互的效果。
[0078]以上已描述了多个示例。然而，应该理解，可进行各种修改。例如，如果以不同的顺序执行描述的技术，和/或如果描述的系统、体系结构、装置或电路中的组件以不同的方式组合和/或被其他组件或其等同物代替或补充，则会实现合适的结果。因此，其他实施方式在权利要求的范围内。
【权利要求】
1.一种用于三维显示和交互的设备，所述设备包括: 显示与捕捉单元，被配置为将控制单元提供的三维显示内容转换为三维虚拟对象并在三维空间中显示三维虚拟对象，以及获取用户使用交互装置在三维空间中做出的交互姿态的深度信息； 控制单元，被配置为从所述显示与捕捉单元获取所述交互姿态的深度信息并产生与所述交互姿态相应的深度图，基于产生的深度图分析三维虚拟对象与所述交互装置之间的碰撞，根据对碰撞的分析结果更新三维显示内容并将更新的三维显示内容提供给所述显示与捕捉单元，以在三维空间中更新三维虚拟对象的显示。
2.如权利要求1所述的设备，其中，所述显示与捕捉单元包括: 图像显示单元，被配置为显示控制单元提供的三维显示内容； 三维成像单元，布置在图像显示单元的前面，被配置为将图像显示单元显示的三维显示内容转换为在三维空间中显示的三维虚拟对象； 捕捉单元，布置在三维成像单元的背面，被配置为通过三维成像单元获取用户使用交互装置在三维空间中做出的交互姿态的深度信息。
3.如权利要求2所述的设备，还包括: 照明单元，布置在图像显示单元的背面，用于为图像显示单元提供照明光。
4.如权利要求2所述的设备，其中，三维成像单元是柱状透镜或微透镜阵列，或者是在控制单元的控制下显示为栅栏、针孔阵列、或栅栏和针孔阵列的组合的液晶显示LCD面板。
5.如权利要求3所述的设备，其中，所述照明单元包括: 背光单元，与图像显示单元相平行地布置在图像显示单元的背面，从而将照明光直接提供给图像显示单元。
6.如权利要求3所述的设备，其中，所述照明单元包括: 背光单元，与图像显示单元相垂直地布置在图像显示单元背面的顶部或底部； 光反射单元，布置在图像显示单元的背面，用于将垂直布置的背光单元发出的光反射至图像显示单元，以为图像显示单元提供照明光。
7.如权利要求6所述的设备，其中，所述光反射单元是半透射反射器件。
8.如权利要求7所述的设备，其中，所述捕捉单元布置在半透射反射器件的背面，从做出交互姿态的交互装置发出并透过三维成像单元的光穿过所述半透射反射器件到达捕捉单元，从而捕捉单元获取交互姿态的深度信息。
9.如权利要求7所述的设备，其中，所述半透射反射装置是分光器。
10.如权利要求6所述的设备，其中，所述光反射单元是用于反射光的全反射器件。
11.如权利要求10所述的设备，其中，所述捕捉单元和背光单元一起与图像显示单元相垂直地布置在图像显示单元的背面， 其中，所述全反射器件将从做出交互姿态的交互装置发出并透过三维成像单元的光反射至捕捉单元，从而捕捉单元获取交互姿态的深度信息。
12.如权利要求2所述的设备 ，其中，所述图像显示单元是IXD面板。
13.如权利要求2所述的设备，其中，所述捕捉单元是与图像显示单元分离的CCD传感器或深度感知相机。
14.如权利要求2所述的设备，其中，所述图像显示单元和捕捉单元集成为集成有LCD面板和多个CXD传感器的混合液晶显示-电荷耦合器件IXD-C⑶面板， 其中，所述混合IXD-CCD面板中的IXD面板用于显示控制单元提供的三维显示内容， 所述混合IXD-CCD面板中的CXD传感器通过三维成像单元获得交互姿态的深度信息。
15.如权利要求1所述的设备，其中，所述控制单元提供的三维显示内容是与将在三维空间中显示的对象对应的多个元素图像， 显示与捕捉单元获取的深度信息是与所述交互姿态相关的多个元素图像。
16.如权利要求13所述的设备，其中，当捕捉单元是布置在图像显示单元背面的深度感知相机时，捕捉单元获取的交互姿态的深度信息中还包括所述三维显示内容， 其中，控制单元通过从所述深度信息中去除所述三维显示内容来获取与交互姿态相应的深度图。
17.一种用于三维显示和交互的方法，所述方法包括: (a)将三维显示内容转换为三维虚拟对象并在三维空间中显示三维虚拟对象； (b)获取用户使用交互装置在三维空间中做出的交互姿态的深度信息； (C)根据获取的交互姿态的深度信息来产生与所述交互姿态相应的深度图； (d)基于产生的深度图分析三维虚拟对象与所述交互装置之间的碰撞； (e)根据对碰撞的分析结果更新步骤(a)中使用的三维显示内容，以更新显示在三维空间中的三维虚拟对象。
18.如权利要求17所述的方法，其中，所述三维显示内容是与将在三维空间中显示的对象对应的多个元素图像， 所述交互姿态的深度信息是与所述交互姿态相关的多个元素图像。
【文档编号】G06F3/01GK103905808SQ201210579928
【公开日】2014年7月2日 申请日期:2012年12月27日 优先权日:2012年12月27日
【发明者】洪涛, 周明才, 焦少慧, 李炜明, 王海涛, 金智渊 申请人:北京三星通信技术研究有限公司, 三星电子株式会社