交互方法、装置、显示设备和存储介质与流程

本发明涉及计算机领域，具体涉及一种交互方法、装置、显示设备和存储介质。

背景技术：

近年来，随着三维成像技术的发展，三维成像显示器和三维成像投影机提出了一种新的信息输出方式，相比于传统的二维成像，三维成像具有细节丰富、符合人类自然使用习惯等优点。

目前的三维成像技术是将三维图像投影在透明的三维显示屏上成像，从而实现三维图像悬浮在空中的效果。

然而，目前通过操控投影设备或者通过触摸三维显示屏等方法来与三维图像进行交互的方法无法满足用户的需求，因此，目前的三维图像的交互方法单一。

技术实现要素：

本发明实施例提供一种交互方法、装置、显示设备和存储介质，使得用户可以与投影在空中的3d影像进行体感交互。

本发明实施例提供一种交互方法，包括：

获取三维立体影像；

向空间的第一区域发射所述三维立体影像的光信号，使得在空间的第二区域生成所述三维立体影像的成像；

当检测到用户在所述空间的第二区域对所述三维立体影像的成像进行体感操作时，基于所述体感操作更新所述三维立体影像，得到更新后的三维立体影像；

向空间的第一区域发射所述更新后的三维立体影像的光信号，使得在空间的第二区域生成所述更新后的三维立体影像的成像，从而实现用户和所述三维立体影像的交互。

本发明实施例还提供一种交互装置，包括：

获取单元，用于获取三维立体影像；

发射单元，用于向空间的第一区域发射所述三维立体影像的光信号，使得在空间的第二区域生成所述三维立体影像的成像；

体感单元，用于当检测到用户在所述空间的第二区域对所述三维立体影像的成像进行体感操作时，基于所述体感操作更新所述三维立体影像，得到更新后的三维立体影像；

交互单元，用于向空间的第一区域发射所述更新后的三维立体影像的光信号，使得在空间的第二区域生成所述更新后的三维立体影像的成像，从而实现用户和所述三维立体影像的交互。

在一些实施例中，所述发射单元，包括：

翻转子单元，用于对所述三维立体影像进行镜像翻转操作，得到翻转三维立体影像；

发射子单元，用于生成所述翻转三维立体影像的光信号，并向空间的第一区域发射所述翻转三维立体影像的光信号，所述空间的第一区域和第二区域的交界处设置有光学面板，以使所述光信号经光学面板的负折射后在空间的第二区域显示所述三维立体影像。

在一些实施例中，所述光信号包括左光信号和右光信号，所述发射子单元，用于：

生成所述翻转三维立体影像的左光信号和右光信号；

向空间的第一区域发射所述左光信号和右光信号，以使所述左光信号经光学面板的负折射后进入用户右眼，以及使所述右光信号经光学面板的负折射后进入用户左眼。

在一些实施例中，所述交互单元，包括：

更新翻转子单元，用于对所述更新后的三维立体影像进行镜像翻转操作，得到更新后的翻转三维立体影像；

更新发射子单元，用于生成所述更新后的翻转三维立体影像的光信号，并向空间的第一区域发射所述更新后的翻转三维立体影像的光信号，所述空间的第一区域和第二区域的交界处设置有光学面板，以使所述更新后的光信号经光学面板的负折射后在空间的第二区域显示所述更新后的三维立体影像。

在一些实施例中，所述光信号包括左眼光信号和右眼光信号，所述更新发射子单元，用于：

生成所述更新后的翻转三维立体影像的左光信号和右光信号；

向空间的第一区域发射所述左光信号和右光信号，以使所述左光信号经光学面板的负折射后进入用户右眼，以及使所述右光信号经光学面板的负折射后进入用户左眼。

在一些实施例中，所述体感单元，包括：

图像坐标子单元，用于确定所述三维立体影像在虚拟坐标系中的图像坐标集；

体感坐标子单元，用于当检测到用户在所述空间的第二区域的体感操作时，基于所述体感操作在虚拟坐标系中生成所述用户的体感坐标集；

触摸状态子单元，用于基于所述用户的体感坐标集和所述图像坐标集，确定所述用户针对所述三维立体影像的成像的触摸状态；

更新子单元，用于基于所述触摸状态更新所述三维立体影像，得到更新后的三维立体影像。

在一些实施例中，所述体感坐标集包括骨骼节点坐标集，所述体感坐标子单元，用于：

获取用户在所述空间的第二区域的手部图像；

对所述手部图像进行骨骼分析，从而确定用户手部的骨骼节点；

确定所述用户手部的骨骼节点在虚拟坐标系中的坐标，从而得到骨骼节点坐标集。

在一些实施例中，所述体感单元，还包括：

反馈信息子单元，用于确定所述体感操作对应的体感反馈信息；

反馈子单元，用于向空间的第二区域发送所述体感反馈信息，以使用户在空间的第二区域接收所述体感反馈信息。

在一些实施例中，所述体感反馈包括触觉反馈，所述反馈信息包括超声波信号，所述反馈信息子单元，用于：

基于所述体感操作生成超声波信号；

所述反馈子单元，用于：

向空间的第二区域发射所述超声波信号，以使用户在空间的第二区域感受到所述超声波信号形成的触觉反馈。

本发明实施例还提供一种显示设备，包括显示模块、光学面板、体感检测模块、存储器和处理器，其中：

所述体感检测模块用于检测用户的体感操作；

所述显示模块用于发射光信号；

所述光学面板设置在空间的在第一区域和第二区域的交界处，用于使射向空间的第一区域的三维立体影像的光信号负折射，从而使所述光信号在空间的第二区域生成所述三维立体影像的成像；

所述存储器用于存储三维立体影像的数据以及多条指令；

所述处理器用于读取所述存储器存储的多条指令，以执行以下步骤：

获取三维立体影像；

控制显示模块向空间的第一区域发射所述三维立体影像的光信号，使得在空间的第二区域生成所述三维立体影像的成像；

当体感检测模块检测到用户在所述空间的第二区域对所述三维立体影像的成像进行体感操作时，基于所述体感操作更新所述三维立体影像，得到更新后的三维立体影像；

控制显示模块向空间的第一区域发射所述更新后的三维立体影像的光信号，使得在空间的第二区域生成所述更新后的三维立体影像的成像，从而实现用户和所述三维立体影像的交互。

在一些实施例中，所述显示设备还包括体感反馈模块，其中：

所述体感反馈模块用于发送体感反馈信息；

所述处理器用于执行以下步骤：

确定所述体感操作对应的体感反馈信息；

控制体感反馈模块向空间的第二区域发送所述体感反馈信息，以使用户在空间的第二区域接收所述体感反馈信息。

在一些实施例中，所述体感反馈包括触觉反馈，所述体感反馈信息包括超声波信号，在执行步骤确定所述体感操作对应的体感反馈信息时，所述处理器用于执行以下步骤：

基于所述体感操作生成超声波信号；

在执行步骤控制显示模块向空间的第二区域发送所述体感反馈信息，以使用户在空间的第二区域接收所述体感反馈信息时，所述处理器用于执行以下步骤：

控制显示模块向空间的第二区域发射所述超声波信号，以使用户在空间的第二区域感受到所述超声波信号形成的触觉反馈。

在一些实施例中，当执行步骤控制显示模块向空间的第一区域发射所述三维立体影像的光信号，使得在空间的第二区域生成所述三维立体影像的成像时，所述处理器执行以下步骤：

对所述三维立体影像进行镜像翻转操作，得到翻转三维立体影像；

控制显示模块生成所述翻转三维立体影像的光信号，并向空间的第一区域发射所述翻转三维立体影像的光信号，以使所述光信号经光学面板的负折射后在空间的第二区域显示所述三维立体影像。

在一些实施例中，所述光信号包括左光信号和右光信号，当执行步骤控制显示模块生成所述翻转三维立体影像的光信号，并向空间的第一区域发射所述翻转三维立体影像的光信号时，所述显示模块执行以下步骤：

生成所述翻转三维立体影像的左光信号和右光信号；

向空间的第一区域发射所述左光信号和右光信号，以使所述左光信号经光学面板的负折射后进入用户右眼，以及使所述右光信号经光学面板的负折射后进入用户左眼

在一些实施例中，当执行步骤向空间的第一区域发射所述更新后的三维立体影像的光信号，使得在空间的第二区域生成所述更新后的三维立体影像的成像时，所述处理器执行以下步骤：

对所述更新后的三维立体影像进行镜像翻转操作，得到更新后的翻转三维立体影像；

控制所述显示模块生成所述更新后的翻转三维立体影像的光信号，并向空间的第一区域发射所述更新后的翻转三维立体影像的光信号，所述空间的第一区域和第二区域的交界处设置有光学面板，以使所述更新后的光信号经光学面板的负折射后在空间的第二区域显示所述更新后的三维立体影像。

在一些实施例中，所述光信号包括左光信号和右光信号，当执行步骤控制显示模块生成所述更新后的翻转三维立体影像的光信号，并向空间的第一区域发射所述更新后的翻转三维立体影像的光信号时，所述显示模块执行以下步骤：

控制显示模块生成所述更新后的翻转三维立体影像的左光信号和右光信号；

向空间的第一区域发射所述左光信号和右光信号，以使所述左光信号经光学面板的负折射后进入用户右眼，以及使所述右光信号经光学面板的负折射后进入用户左眼。

在一些实施例中，在步骤当检测到用户在所述空间的第二区域对所述三维立体影像的成像进行体感操作时，基于所述体感操作更新所述三维立体影像，得到更新后的三维立体影像时，所述处理器执行以下步骤：

确定所述三维立体影像在虚拟坐标系中的图像坐标集；

当体感检测模块检测到用户在所述空间的第二区域的体感操作时，基于所述体感操作在虚拟坐标系中生成所述用户的体感坐标集；

基于所述用户的体感坐标集和所述图像坐标集，确定所述用户针对所述三维立体影像的成像的触摸状态；

基于所述触摸状态更新所述三维立体影像，得到更新后的三维立体影像。

在一些实施例中，所述体感坐标集包括骨骼节点坐标集，在步骤当体感检测模块检测到用户在所述空间的第二区域的体感操作时，基于所述体感操作在虚拟坐标系中生成所述用户的体感坐标集时，所述体感检测模块执行以下步骤：

获取用户在所述空间的第二区域的手部图像；

对所述手部图像进行骨骼分析，从而确定用户手部的骨骼节点；

确定所述用户手部的骨骼节点在虚拟坐标系中的坐标，从而得到骨骼节点坐标集。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种交互方法中的步骤。

本发明实施例可以获取三维立体影像；向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像；当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像；向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。

在本发明中，用户可在第二区域与原来投影在第一区域的3d影像投影进行交互。由此，本方案提出的交互方法可以使得用户可以与投影在空中的3d图像进行体感交互。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的交互方法的场景示意图；

图1b是本发明实施例提供的交互方法的流程示意图；

图1c是本发明实施例提供的交互方法的光线负折射示意图；

图1d是本发明实施例提供的交互方法的成像示意图；

图2a是本发明实施例提供的显示设备的机械结构示意图；

图2b是本发明实施例提供的交互方法在应用场景的流程示意图；

图3是本发明实施例提供的交互装置的结构示意图；

图4是本发明实施例提供的显示设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种交互方法、装置、显示设备和存储介质。

其中，该交互装置具体可以集成在电子设备中，该电子设备可以为投影仪、显示器、终端等设备。

例如，参考图1a，该电子设备可以为显示设备，该显示设备可以包括显示模块、光学面板、体感检测模块、存储器和处理器，其中：

体感检测模块用于检测用户的体感操作；

显示模块用于发射光信号；

光学面板设置在空间的第一区域和第二区域的交界处，用于使射向空间的第一区域的三维立体影像的光信号负折射，从而使光信号在空间的第二区域生成三维立体影像的成像；

存储器用于存储三维立体影像的数据以及多条指令；

处理器用于读取存储器存储的多条指令，以执行以下步骤：

获取三维立体影像；

控制显示模块向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像；

当体感检测模块检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像；

控制显示模块向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

在本实施例中，提供了一种与三维立体影像交互的方法，本交互方法可以实现在空中显示三维立体影像，且用户可以与该空中的三维立体影像交互，从而达成一种物体真实呈现在用户眼前，且用户可感受到触碰物体的触觉反馈效果。

如图1b所示，该交互方法的具体流程可以如下：

101、获取三维立体影像。

由于人左右眼之间有一定的眼距，在真实的三维世界中，人左右眼看到的影像并不完全相同，而两个不同的图像在人眼中成像后，人脑会产生立体的空间感。

三维立体影像可以包括左影像和右影像，当人的左眼接收到左影像、右眼接收到右影像时，人脑可以产生该三维立体影像的空间感。

其中，三维立体影像可以是三维虚拟角色的影像、三维虚拟物体的影像，等等。

其中，获取三维立体影像的方式具有多种，比如，通过网络从服务器中获取；再比如，通过读取本地保存的三维建模来确定三维立体影像；比如，通过全息技术采集真实世界中某事物的三维立体影像，等等。

102、向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像。

其中，空间的第一区域可以位于显示设备的内部，空间的第二区域可以位于显示设备的外部，空间的第二区域可以是位于显示设备外部的一个感应区域，其中，在第一区域和第二区域的交界处可以设置有光学面板，第一区域内可以设置有显示模块，用户可以在第二区域与显示设备进行体感交互。

当显示模块向空间的第一区域发射三维立体影像的光信号时，光信号可以透过光学面板射向第二区域，从而在显示设备的外部成像。

其中，光学面板可以是一种由透明或半透明材料构成的平板结构。需要注意的是，光学面板可以是平面面板，也可以是曲面面板，等等。

在一些实施例中，光学面板是一种负折射面板，该负折射面板是由负折射率材料构成的透明平板，该负折射率材料具有负折射率(negativerefraction)，与常规折射相反，当光波从具有正折射率的材料入射到具有负折射率材料的界面时，入射波和折射波处在于界面法线方向同一侧。

通过负折射面板对光信号的负折射后，光线可以沿入射的相反的方向进行偏折，从而使得显示模块显示的三维立体影像可以在显示设备外部成像，从而使得用户可以看到悬空于空气中的三维立体影像。

比如，参考图1c，图1c的上半部分是光波从空气中入射到折射率为1.3的玻璃面板的示意图，其入射波和折射波处于界面法线方向相反的一侧，故当光信号通过玻璃面板后，无法在玻璃面板另一面后的空气中成像；图1c的下半部分是光波从空气中入射到折射率为-1.3的负折射面板的示意图，其入射波和折射波处在于界面法线方向同一侧，故当光信号通过负折射面板后，可以在负折射面板的另一面后的空气中成像。

在一些实施例中，该光学面板可以是一种由多个不同材料的面板构成的面板模组，其中，该面板模组中可以包含负折射率面板，还可以包括保护玻璃、光学辅助面板，等等。

因此，由于负折射面板的上述特性，当光信号通过负折射面板后显示的是原来三维立体影像的镜像，故为了保证三维立体影像显示的准确性，在步骤102中需要提前对原三维立体影像进行镜像翻转，从而使得镜像翻转后的三维立体影像的光信号在通过负折射面板后，显示的就是原来三维立体影像。

比如，在一些实施例中，步骤102可以包括如下步骤：

(1)对三维立体影像进行镜像翻转操作，得到翻转三维立体影像；

(2)生成翻转三维立体影像的光信号，并向空间的第一区域发射翻转三维立体影像的光信号，空间的第一区域设置有光学面板，以使光信号经光学面板的负折射后在空间的第二区域显示三维立体影像。

例如，参考图1d，图1d的上部分是直接发射原三维立体影像的光信号的效果，用户可以直接看到该原三维立体影像；图1d的中间部分是将原三维立体影像的光信号发射到负折射面板后的效果，用户可以看到的是原三维立体影像的镜像；图1d的下部分是先将原三维立体影像进行镜像翻转，再将翻转三维立体影像的光信号发射到负折射面板后的效果，用户可以看到的是原三维立体影像。

例如，参考图1d，在一些实施例中，由于三维立体影像分为左影像和右影像，故三维立体影像的光信号可以分为左光信号和右光信号，步骤(1)生成翻转三维立体影像的光信号，并向空间的第一区域发射翻转三维立体影像的光信号，可以包括如下步骤：

生成翻转三维立体影像的左光信号和右光信号；

向空间的第一区域发射左光信号和右光信号，以使左光信号经光学面板的负折射后进入用户右眼，以及使右光信号经光学面板的负折射后进入用户左眼。

103、当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像。

其中，体感操作是人直接地使用肢体动作，与显示设备进行互动的操作，体感(motionsensing)或称躯体感觉，可以包括触觉、压觉、温觉、痛觉等等，不同的传感器可以感受不同类型的体感。

比如，体感操作可以借助体感传感器如摄像头、手柄、脚带、感应帽等完成人体的肢体动作的捕捉，从而通过这些肢体动作实现人机互动操作。

例如，当检测到用户“触摸”空间的第二区域中的虚拟三维角色时，虚拟三维角色可以做出“后退”的反应。

在一些实施例中，可以通过体感检测模块检测用户在空间的第二区域对三维立体影像的成像进行体感操作，步骤103可以包括如下步骤：

(1)确定三维立体影像在虚拟坐标系中的图像坐标集；

(2)当检测到用户在空间的第二区域的体感操作时，基于体感操作在虚拟坐标系中生成用户的体感坐标集；

(3)基于用户的体感坐标集和图像坐标集，确定用户针对三维立体影像的成像的触摸状态；

(4)基于触摸状态更新三维立体影像，得到更新后的三维立体影像。

其中，虚拟坐标系为预设的三维坐标系，该虚拟坐标系可以用于确定现实中用户的体感操作是如何作用于虚拟场景中三维立体影像的。

比如，假设三维立体影像在虚拟坐标系中的图像坐标集为p，p＝p(xi,yi,zi)，其中，p(xi,yi,zi)为三维立体影像的每个像素点在虚拟坐标系中的图像坐标，其中，i为大于0的正整数。

当检测到用户在空间的第二区域的体感操作时，可以基于体感操作在虚拟坐标系中生成用户的体感坐标集，比如，当检测到用户在空间的第二区域的手势操作时，可以确定用户的手部在虚拟坐标系中的体感坐标集h，h＝h(xj,yj,zj)，其中，h(xj,yj,zj)为用户手部的每个骨骼节点在虚拟坐标系中的图像坐标，其中，j为大于0的正整数。

当p和h相交时，可以确定用户的手部触摸了该三维立体影像，故可以确定用户针对三维立体影像的成像的触摸状态为[触摸]；当p和h不相交时，可以确定用户的手部还未触碰该三维立体影像，故可以确定用户针对三维立体影像的成像的触摸状态为[未触摸]，等等。

当确定用户的手部触摸了该三维立体影像时，可以对三维立体影像进行如步骤104所述的更新显示步骤。

具体地，在一些实施例中，体感坐标集可以包括骨骼节点坐标集，步骤(2)当检测到用户在空间的第二区域的体感操作时，基于体感操作在虚拟坐标系中生成用户的体感坐标集，可以包括如下步骤：

获取用户在空间的第二区域的手部图像；

对手部图像进行骨骼分析，从而确定用户手部的骨骼节点；

确定用户手部的骨骼节点在虚拟坐标系中的坐标，从而得到骨骼节点坐标集。

比如，可以体感检测模块可以采集第二区域的图像，通过对这些图像进行图像分类，来判断这些图像是否未包含了用户手部的图像。

然后，体感检测模块可以对手部图像中用户手部的骨骼节点进行识别，从而确定用户手部的骨骼节点在虚拟坐标系中的坐标。

其中，体感检测模块采集的可以是深度图像、左右影像，等等。

例如，体感检测模块中可以包括左右两个摄像头，体感检测模块可以基于左右两个摄像头在第二区域采集的左右影像来构建深度图像，通过全连接神经网络(fullyconvolutionalnetworks)对深度图像进行图像语义分割，从而得到深度图像中用户手部的手部深度图像；然后，通过对手部深度图像进行图像识别，来确定手部深度图像中用户手部的每个骨骼节点，从而确定用户手部的骨骼节点在虚拟坐标系中的坐标，从而得到用户的体感坐标集。

通过用户的体感坐标集，即用户手部每个骨骼节点在虚拟坐标系中的坐标，可以确定用户的手势，以及用户的手部是否与三维立体影像在虚拟坐标系中相交，等等。

在一些实施例中，当用户的手进入第二区域后，显示设备可以根据用户手部变化对应调整虚拟三维角色的动作来实现视觉上的交互。

另外，在一些实施例中，为了给予用户触觉感知，从而进一步提高用户体验，在一些实施例中，步骤103还可以包括如下步骤：

(1)确定体感操作对应的体感反馈信息；

(2)向空间的第二区域发送体感反馈信息，以使用户在空间的第二区域接收体感反馈信息。

其中，体感反馈是指给与用户触觉、压觉、温觉、痛觉等躯体感觉，比如，按照类型，体感反馈可以分为触觉反馈、力反馈、光反馈，等等。

在本方案中，可以采用体感反馈模块来向空间的第二区域发送体感反馈信息。

其中，体感反馈模块可以包括触觉反馈发生器、力反馈发生器、光反馈发生器，等等。

比如，触觉反馈发生器可以包括超声波触觉反馈发生器、红外线触觉反馈发生器，等等。

其中，超声波触觉反馈发生器可以发出超声波能量束，使得超声波能量束打到人的皮肤上，使人感知到触觉反馈。

例如，在一些实施例中，为了使得用户可以感知到除视觉变化外的触觉反馈，从而实现多维度的交互反馈感受，体感反馈可以包括触觉反馈，体感反馈信息可以包括超声波信号，步骤(1)确定体感操作对应的体感反馈信息，可以包括如下步骤：

基于体感操作生成超声波信号；

故步骤(2)向空间的第二区域发送体感反馈信息，以使用户在空间的第二区域接收体感反馈信息，可以包括如下步骤：

向空间的第二区域发射超声波信号，以使用户在空间的第二区域感受到超声波信号形成的触觉反馈。

104、向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。

在一些实施例中，步骤104可以包括如下步骤：

(1)对更新后的三维立体影像进行镜像翻转操作，得到更新后的翻转三维立体影像；

(2)生成更新后的翻转三维立体影像的光信号，并向空间的第一区域发射更新后的翻转三维立体影像的光信号，空间的第一区域设置有光学面板，以使更新后的光信号经光学面板的负折射后在空间的第二区域显示更新后的三维立体影像。

在一些实施例中，光信号可以包括左光信号和右光信号，步骤(2)生成更新后的翻转三维立体影像的光信号，并向空间的第一区域发射更新后的翻转三维立体影像的光信号，可以包括如下步骤：

生成更新后的翻转三维立体影像的左光信号和右光信号；

向空间的第一区域发射左光信号和右光信号，以使左光信号经光学面板的负折射后进入用户右眼，以及使右光信号经光学面板的负折射后进入用户左眼。

此步骤可以参考步骤102，在此不做赘述。

由上可知，本发明实施例可以获取三维立体影像；向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像；当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像；向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。

由此，本方案提出一种在空中的感应区域显示三维立体影像的方式，用户可以在感应区域与该三维立体影像进行体感交互，提升了用户体验，实现了一种多维度的交互方式，故本方案提出的交互方法可以使得用户可以与投影在空中的3d图像进行体感交互。

根据上述实施例所描述的方法，以下将作进一步详细说明。

在本实施例中，将以本发明应用在游戏领域中，采用如图2a所示的显示设备为例，对本发明实施例的方法进行详细说明。

如图2b所示，一种交互方法具体流程如下：

201、显示模块向负折射面板发射游戏角色的光信号，使得显示设备外部生成该游戏角色的三维影像。

在本实施例中，负折射面板可以分割显示设备的内外部，显示设备外部具有一个感应区域，该感应区域即为第二区域，负折射面板可以位于显示设备的内外部交界处的第一区域。

其中，显示模块可以包括光场显示屏，比如，该光场显示屏可以由多个投影仪构成，通过多个投影仪组成的阵列向显示设备外部的第二区域内投射不同方向光信号，从而实现三维影像的投影。

显示模块向负折射面板发射游戏角色的光信号后，光信号经过负折射面板的折射，可以以负折射面板为镜面，在显示设备内部的原成像位置对应的另一位置上成像。

由于负折射面板本身光学特性，会使得折射后的图像呈镜面反转，故在一些实施例中，需要提前将游戏角色镜像翻转，再将镜像翻转后游戏角色的光信号通过负折射面板折射，最后，在感应区域呈现该游戏角色正确的三维影像。

其中，具体的显示方法可以参考步骤102，在此不做赘述。

202、当手势检测模块检测到玩家手部触碰到该游戏角色在显示设备外部的成像时，基于玩家手部触碰改变游戏角色的动作，得到改变后游戏角色。

其中，手势检测模块可采用但不限于现有的红外手势检测方案、超声波手势检测方案等。

手势检测模块通过检测用户手部在感应区域内的运动轨迹及手势状态，从而确定对应的交互操作，使得游戏角色的动作根据交互操作进行相应的改变。

在一些实施例中，负折射面板可以相对于显示模块呈倾斜摆放，负折射面板的倾斜角度可以根据实际需求进行改动，从而修改游戏角色成像的成像效果、成像位置，等等。

在一些实施例中，为了便于用户调整成像的成像位置和成像效果，显示装置的机械结构中还可以包括负折射面板的多个倾角的倾斜角度调整槽，通过将负折射面板固定在不同倾角的调整槽中，可以使得负折射面板相对于显示模块呈不同倾角倾斜摆放。

其中，具体的检测方法可以参考步骤103，在此不做赘述。

203、显示模块向负折射面板发射该改变后游戏角色的光信号，使得显示设备外部三维影像中游戏角色的动作改变。

比如，当用户伸手尝试触碰游戏角色的三维影像时，游戏角色可以产生相应的动作改变，如移动、躲闪、变形、消失等动作。

其中，具体的显示方法可以参考步骤101，在此不做赘述。

204、触觉反馈模块向显示设备外部发送超声波信号，使得玩家感受到该超声波信号触碰皮肤所产生的触觉，从而实现用户和游戏角色的交互。

比如，触觉反馈模块可以包括但不限于超声波能量发生器、红外线能量发生器，等等；例如，可以通过超声波能量发生器发出超声波能量束，使得超声波能量束打到用户手部的皮肤表面，使用户可以感知到触觉反馈。

其中，具体的触觉反馈方法可以参考步骤103，在此不做赘述。

因此，在本方案中，显示设备可以在显示设备外部的感应区域显示游戏角色的三维影像，摆脱了只能依靠屏幕表面做为显示边界的物理限制，当用户的手进入显示设备外部的感应区域后，显示设备会根据用户手部变化对应调整游戏角色的动作来实现视觉上的交互，另外，触觉反馈发生器也可以给予用户手部相应的触觉感知，从而同时实现视觉和触觉上的交互感知。

由上可知，本方案可以显示模块向负折射面板发射游戏角色的光信号，使得显示设备外部生成该游戏角色的三维影像；当手势检测模块检测到玩家手部触碰到该游戏角色在显示设备外部的成像时，基于玩家手部触碰改变游戏角色的动作，得到改变后游戏角色；显示模块向负折射面板发射该改变后游戏角色的光信号，使得显示设备外部三维影像中游戏角色的动作改变；触觉反馈模块向显示设备外部发送超声波信号，使得玩家感受到该超声波信号触碰皮肤所产生的触觉，从而实现用户和游戏角色的交互。

由此，本方案提出的交互方法可以使得用户可以与投影在空中的3d图像进行体感交互。

为了更好地实施以上方法，本发明实施例还提供一种交互装置，该交互装置具体可以集成在电子设备中，该电子设备可以为显示器、投影仪、终端等设备。

比如，在本实施例中，将以交互装置具体集成在显示器中为例，对本发明实施例的方法进行详细说明。

例如，如图3所示，该交互装置可以包括获取单元301、发射单元302、体感单元303以及交互单元304，如下：

(一)获取单元301：

获取单元301可以用于获取三维立体影像。

(二)发射单元302：

发射单元302可以用于向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像。

在一些实施例中，发射单元302可以包括翻转子单元以及发射子单元，如下：

(1)翻转子单元：

翻转子单元可以用于对三维立体影像进行镜像翻转操作，得到翻转三维立体影像。

(2)发射子单元：

发射子单元可以用于生成翻转三维立体影像的光信号，并向空间的第一区域发射翻转三维立体影像的光信号，空间的第一区域设置有光学面板，以使光信号经光学面板的负折射后在空间的第二区域显示三维立体影像。

在一些实施例中，光信号可以包括左光信号和右光信号，发射子单元可以用于：

生成翻转三维立体影像的左光信号和右光信号；

向空间的第一区域发射左光信号和右光信号，以使左光信号经光学面板的负折射后进入用户右眼，以及使右光信号经光学面板的负折射后进入用户左眼。

(三)体感单元303：

体感单元303可以用于当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像。

在一些实施例中，体感单元303可以包括图像坐标子单元、体感坐标子单元、触摸状态子单元以及更新子单元，如下：

(1)图像坐标子单元：

图像坐标子单元可以用于确定三维立体影像在虚拟坐标系中的图像坐标集。

(2)体感坐标子单元：

体感坐标子单元可以用于当检测到用户在空间的第二区域的体感操作时，基于体感操作在虚拟坐标系中生成用户的体感坐标集。

在一些实施例中，体感坐标集可以包括骨骼节点坐标集，体感坐标子单元，可以用于：

获取用户在空间的第二区域的手部图像；

对手部图像进行骨骼分析，从而确定用户手部的骨骼节点；

确定用户手部的骨骼节点在虚拟坐标系中的坐标，从而得到骨骼节点坐标集。

(3)触摸状态子单元：

触摸状态子单元可以用于基于用户的体感坐标集和图像坐标集，确定用户针对三维立体影像的成像的触摸状态。

(4)更新子单元：

更新子单元可以用于基于触摸状态更新三维立体影像，得到更新后的三维立体影像。

在一些实施例中，体感单元303还可以包括反馈信息子单元和反馈子单元，如下：

(1)反馈信息子单元：

反馈信息子单元可以用于确定体感操作对应的体感反馈信息。

在一些实施例中，体感反馈可以包括触觉反馈，反馈信息可以包括超声波信号，反馈信息子单元，可以用于：

基于体感操作生成超声波信号。

(2)反馈子单元：

反馈子单元可以用于向空间的第二区域发送体感反馈信息，以使用户在空间的第二区域接收体感反馈信息。

在一些实施例中，反馈子单元可以用于：

向空间的第二区域发射超声波信号，以使用户在空间的第二区域感受到超声波信号形成的触觉反馈。

(四)交互单元304：

交互单元304可以用于向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。

在一些实施例中，交互单元304可以包括更新翻转子单元以及更新发射子单元，如下：

(1)更新翻转子单元：

更新翻转子单元可以用于对更新后的三维立体影像进行镜像翻转操作，得到更新后的翻转三维立体影像；

(2)更新发射子单元：

更新发射子单元可以用于生成更新后的翻转三维立体影像的光信号，并向空间的第一区域发射更新后的翻转三维立体影像的光信号，空间的第一区域设置有光学面板，以使更新后的光信号经光学面板的负折射后在空间的第二区域显示更新后的三维立体影像。

在一些实施例中，光信号可以包括左眼光信号和右眼光信号，更新发射子单元，可以用于：

生成更新后的翻转三维立体影像的左光信号和右光信号；

向空间的第一区域发射左光信号和右光信号，以使左光信号经光学面板的负折射后进入用户右眼，以及使右光信号经光学面板的负折射后进入用户左眼。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的交互装置由获取单元获取三维立体影像；由发射单元向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像；由体感单元当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像；由交互单元向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。

由此，本发明实施例可以使得用户可以与投影在空中的3d图像进行体感交互。

本发明实施例还提供一种电子设备，该电子设备可以为显示设备，比如，显示器、投影仪、显示终端等。

在本实施例中，将以本实施例的电子设备是显示设备为例进行详细描述，比如，如图4所示，其示出了本发明实施例所涉及的显示设备的结构示意图，具体来讲：

该显示设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、显示模块404以及体感检测模块405和体感反馈模块406等部件，此外，在该显示设备中还可以包括光学面板，该光学面板可以不与整个显示设备的各个部分电连接，其中该光学面板可以为一种包括了负折射面板的面板组件，该负折射面板为由负折射率材料构成的面板。

其中，负折射率材料(negativeindexmaterials)的介电常数或磁导率(permeability)是负的，具有负的折射率。

本领域技术人员可以理解，图4中示出的显示设备结构并不构成对显示设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该显示设备的控制中心，利用各种接口和线路连接整个显示设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行显示设备的各种功能和处理数据，从而对显示设备进行整体监控。在一些实施例中，处理器401可包括一个或多个处理核心；在一些实施例中，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据显示设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

显示设备还包括给各个部件供电的电源403，在一些实施例中，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该显示设备还可包括显示模块404，该显示模块404可用于发射光信号等，在一些实施例中，显示模块404可以包括光场显示屏、偏光显示屏等等。

该显示设备还可包括体感检测模块405，体感检测模块405可以用于检测用户的体感操作，体感检测模块405可以包括红外传感器、超声波传感器、图像传感器、深度传感器等。

该显示设备还可包括体感反馈模块406，该体感反馈模块406用于发送体感反馈信息，该体感反馈信息可以包括超声波信息、红外线信息，等等。

尽管未示出，显示设备还可以包括声音单元等，在此不再赘述。

具体在本实施例中，显示设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取三维立体影像；

向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像；

当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像；

向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。

在一些实施例中，处理器401还用于执行以下步骤：

确定体感操作对应的体感反馈信息；

控制体感反馈模块406向空间的第二区域发送体感反馈信息，以使用户在空间的第二区域接收体感反馈信息。

在一些实施例中，体感反馈包括触觉反馈，体感反馈信息包括超声波信号，在执行步骤确定体感操作对应的体感反馈信息时，处理器401用于执行以下步骤：

基于体感操作生成超声波信号；

在执行步骤控制显示模块404向空间的第二区域发送体感反馈信息，以使用户在空间的第二区域接收体感反馈信息时，处理器401用于执行以下步骤：

控制显示模块404向空间的第二区域发射超声波信号，以使用户在空间的第二区域感受到超声波信号形成的触觉反馈。

在一些实施例中，当执行步骤控制显示模块404向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像时，处理器401执行以下步骤：

对三维立体影像进行镜像翻转操作，得到翻转三维立体影像；

控制显示模块404生成翻转三维立体影像的光信号，并向空间的第一区域发射翻转三维立体影像的光信号，以使光信号经光学面板的负折射后在空间的第二区域显示三维立体影像。

在一些实施例中，光信号包括左光信号和右光信号，当执行步骤控制显示模块404生成翻转三维立体影像的光信号，并向空间的第一区域发射翻转三维立体影像的光信号时，显示模块404执行以下步骤：

生成翻转三维立体影像的左光信号和右光信号；

向空间的第一区域发射左光信号和右光信号，以使左光信号经光学面板的负折射后进入用户右眼，以及使右光信号经光学面板的负折射后进入用户左眼

在一些实施例中，当执行步骤向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像时，处理器401执行以下步骤：

对更新后的三维立体影像进行镜像翻转操作，得到更新后的翻转三维立体影像；

控制显示模块404生成更新后的翻转三维立体影像的光信号，并向空间的第一区域发射更新后的翻转三维立体影像的光信号，空间的第一区域设置有光学面板，以使更新后的光信号经光学面板的负折射后在空间的第二区域显示更新后的三维立体影像。

在一些实施例中，光信号包括左光信号和右光信号，当执行步骤控制显示模块404生成更新后的翻转三维立体影像的光信号，并向空间的第一区域发射更新后的翻转三维立体影像的光信号时，显示模块404执行以下步骤：

控制显示模块404生成更新后的翻转三维立体影像的左光信号和右光信号；

向空间的第一区域发射左光信号和右光信号，以使左光信号经光学面板的负折射后进入用户右眼，以及使右光信号经光学面板的负折射后进入用户左眼。

在一些实施例中，在步骤当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像时，处理器401执行以下步骤：

确定三维立体影像在虚拟坐标系中的图像坐标集；

当体感检测模块405检测到用户在空间的第二区域的体感操作时，基于体感操作在虚拟坐标系中生成用户的体感坐标集；

基于用户的体感坐标集和图像坐标集，确定用户针对三维立体影像的成像的触摸状态；

基于触摸状态更新三维立体影像，得到更新后的三维立体影像。

在一些实施例中，体感坐标集包括骨骼节点坐标集，在步骤当体感检测模块405检测到用户在空间的第二区域的体感操作时，基于体感操作在虚拟坐标系中生成用户的体感坐标集时，体感检测模块405执行以下步骤：

获取用户在空间的第二区域的手部图像；

对手部图像进行骨骼分析，从而确定用户手部的骨骼节点；

确定用户手部的骨骼节点在虚拟坐标系中的坐标，从而得到骨骼节点坐标集。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，本方案提出的交互方法可以使得用户可以与投影在空中的3d图像进行体感交互。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种交互方法中的步骤。例如，该指令可以执行如下步骤：

获取三维立体影像；

向空间的第一区域发射三维立体影像的光信号，使得在空间的第二区域生成三维立体影像的成像；

当检测到用户在空间的第二区域对三维立体影像的成像进行体感操作时，基于体感操作更新三维立体影像，得到更新后的三维立体影像；

向空间的第一区域发射更新后的三维立体影像的光信号，使得在空间的第二区域生成更新后的三维立体影像的成像，从而实现用户和三维立体影像的交互。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中提供的三维影像显示方面或者三维影像互动方面的各种可选实现方式中提供的方法。

其中，该存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取记忆体(ram，randomaccessmemory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种交互方法中的步骤，因此，可以实现本发明实施例所提供的任一种交互方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种交互方法、装置、显示设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。