基于超声波的全息图像交互式显示方法、控制方法及系统的制作方法

基于超声波的全息图像交互式显示方法、控制方法及系统的制作方法
【专利摘要】本发明公开了一种基于超声波的全息图像交互式显示方法、控制方法及装置，解决了现有技术存在的只能在屏幕平面上进行操作的问题。该交互式显示方法包括：控制超声波检测装置扫描三维空间以确定目标物体；再确定目标物体的第一位置以及在一显示区域的第二位置显示对应于所述目标物体的可视图像。所述控制方法包括控制超声波检测装置扫描三维空间以确定目标物体手势操作；确定所述手势以及执行所述手势对应的控制操作。装置包括用于确定目标物体的超声波检测单元、用于确定目标物体第一位置的位置确定单元以及用于控制显示区域显示可视图像的显示控制单元。本发明能够依据使用者在显示屏幕前的三维空间中进行的手势操作，实现三维立体交互操作。
【专利说明】基于超声波的全息图像交互式显示方法、控制方法及系统

【技术领域】
[0001] 本发明涉及用户交互应用【技术领域】，特别是涉及一种基于超声波的全息图像交互 式显示方法、控制方法及系统。

【背景技术】
[0002] 用户交互界面（User Interface,UI)设计是指对软件的人机交互、操作逻辑、界面 美观的整体设计。在人和机器互动获取信息、体验的过程中，有一个媒介，即可视化的人机 交互界面，以及相应于该人机交互界面的交互设备及方法。举例来讲，触摸屏手机的出现把 触摸交互方式带给了广大消费大众。与此同时，传统鼠标、键盘的交互界面迅速转向了适应 于触摸交互方式的交互界面。用户可以通过触摸屏点击或拖动屏幕上显示的图标，以进行 相应的交互操作。
[0003] 然而，现有的触摸屏中，无论是电容式触摸屏或电阻式触摸屏，都会在液晶显示 (liquid crystal display,IXD)面板前再增加一片触控玻璃或薄膜，因而会增加显示屏幕 的厚度及重量。同时，当消费者通过手指触碰显示屏幕以控制电子装置时，容易造成装置本 身的晃动，并且显示屏幕与消费者之间有一定的距离及角度。此外，以手指对显示屏幕直接 进行触碰控制，容易导致指纹残留在显示屏幕的问题。进一步地，通过触摸操作的平面交互 界面中内容的丰富程度受到较大限制，通过移动光标到某按键上并停留一段时间的方式进 行确认选择，这种操作只能进行一种确认或进入的操作，交互的丰富性受到限制，此外用户 感觉不够自然，交互操作时感受到拘束。
[0004] 现在出现的全息（Holography)显示技术，全息可以理解为三维显示物体和画面， 即展示一个物体全部视角的全部画面的图像。全息图像技术包括利用特殊的技术手段记录 并再现一个物体全部视角的全部画面的图像，从而使人眼产生和实际环境完全感觉一样的 视觉效果。因此，若能出现一种脱离触摸屏操作而利用（全息的）三维立体图像进行交互 操作的方式将大大提升用户的操作感受。


【发明内容】

[0005] 本发明主要解决的技术问题是提供一种实现全息图像显示的交互式显示方法、控 制方法及装置，可依据使用者在显示屏幕前的三维空间中进行的手势操作，提供对应手势 的全息图像，实现三维立体交互操作。
[0006] 为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于超声波的全 息图像交互式显示方法。该基于超声波的全息图像交互式显示方法包括：控制超声波检测 装置扫描一三维空间以确定位于所述三维空间的目标物体。根据所述目标物体在所述三维 空间中的角度以及所述超声波检测装置与所述目标物体之间的距离确定所述目标物体的 第一位置；其中，所述目标物体在所述三维空间中的角度以所述超声波检测装置为球心的 球形空间为参考坐标系确定。以及在一显示区域的第二位置显示对应于所述目标物体的可 视图像，并且所述第二位置与所述第一位置具有映射关系。
[0007] 进一步地，所述控制超声波检测装置扫描一三维空间以确定位于所述三维空间的 目标物体的步骤具体为：持续地调整所述超声波检测装置以改变所述超声波检测装置发出 的超声波的方向，并当所述超声波检测装置接收到被所述目标物体反射的超声波时确定检 测到所述目标物体。
[0008] 进一步地，所述根据所述目标物体在所述三维空间中的角度以及所述超声波检测 装置与所述目标物体之间的距离确定所述目标物体的第一位置的步骤包括：根据所述超声 波检测装置发出超声波至接收到反射回的超声波所经历的时间计算所述超声波检测装置 与所述目标物体之间的距离L。确定所述超声波检测装置与所述目标物体连线的角度（0， (P)以得到所述目标物体在所述三维空间中的角度；其中，9为所述超声波检测装置和所 述目标物体的连线与X轴、Y轴所在平面的夹角，9为所述超声波检测装置和所述目标物体 的连线在X轴、Y轴所在平面的投影与X轴或Y轴的夹角。以及根据所述角度（0，（P)与 所述距离L计算X轴、Y轴、Z轴的坐标以确定所述目标物体的位置。
[0009] 进一步地，所述根据所述目标物体在所述三维空间中的角度以及所述超声波检测 装置与所述目标物体之间的距离确定所述目标物体的第一位置的步骤之后，还包括：根据 所述目标物体的位置及其移动轨迹确定对应的手势，所述移动轨迹根据所述目标物体在一 预定时间内的多个位置确定。以及执行所述手势对应的控制操作。
[0010] 进一步地，所述根据所述目标物体的位置及其移动轨迹确定对应的手势的步骤之 后，还包括：根据所述手势在所述三维空间中的位置在所述显示区域中相对应的位置上显 示一手势图标。
[0011] 进一步地，所述根据所述目标物体的位置及其移动轨迹确定对应的手势的步骤之 后，还包括：在所述显示区域的一个或多个子显示区域中显示物件，并定义各所述子显示区 域中用以感应所述手势的感应区域。判断所述手势在所述显示区域中对应的手势区域是否 在所述感应区域内，以确定是否依照所述手势操作控制所述显示区域中显示的物件。
[0012] 进一步地，所述在一显示区域的第二位置显示对应于所述目标物体的可视图像的 步骤具体为：在所述显示区域的第二位置显示对应于所述目标物体的全息图像。
[0013] 为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于超声波的 全息图像交互式控制方法。该基于超声波的全息图像交互式控制方法包括：控制超声波检 测装置扫描一三维空间以确定在所述三维空间中一目标物体进行的手势操作。根据所述目 标物体在所述三维空间中的角度以及所述超声波检测装置与所述目标物体之间的距离确 定所述手势。以及执行所述手势对应的控制操作。
[0014] 为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于超声波的 全息图像交互式显示装置。该显示装置包括：超声波检测单元，用于扫描一三维空间以确 定位于所述三维空间的目标物体；位置确定单元，用于根据所述目标物体在所述三维空间 中的角度以及所述超声波检测单元与所述目标物体之间的距离确定所述目标物体的第一 位置；其中，所述目标物体在所述三维空间中的角度以所述超声波检测单元为球心的球形 空间为参考坐标系确定；以及显示控制单元，用于控制所述显示单元在一显示区域的第二 位置显示对应于所述目标物体的可视图像，并且所述第二位置与所述第一位置具有映射关 系。
[0015] 进一步地，所述装置还包括角度调整单元，用于持续地调整所述超声波检测单元 以改变所述超声波检测单元发出超声波的方向。所述超声波检测单元接收到被所述目标物 体反射的超声波时确定检测到所述目标物体；所述位置确定单元用于：根据所述超声波检 测单元发出超声波至接收到反射回的超声波所经历的时间计算所述超声波检测单元与所 述目标物体之间的距离L ;确定所述超声波检测装置与所述目标物体连线的角度（0，（P ) 以得到所述目标物体在所述三维空间中的角度；夹角9为所述超声波检测单元和所述目标 物体的连线在其中，0为所述超声波检测单元和所述目标物体的连线与X轴、Y轴所在平面 的X轴、Y轴所在平面的投影与X轴或Y轴的夹角；以及根据所述转动角度（0，tp)与所述 距离L计算X轴、Y轴、Z轴的坐标以确定所述目标物体的位置。
[0016] 本发明的有益效果是：区别于现有技术的情况，本发明可以依据使用者在显示屏 幕前的三维空间中进行的手势操作，实现三维立体交互操作。由于是在屏幕前的三维空间 内进行操作，不用触摸到显示屏幕，因而不会造成装置本身的晃动，同时能够避免指纹残留 在显示屏幕上。此外，用户在进行交互操作时，移动，按压等的操作都可以在一个三维空间 内进行，而不是仅停留在一个平面内，这样的方式能使用户感觉自然，交互丰富性得到提 商。

【专利附图】

【附图说明】
[0017] 图1-1是本发明第一实施方式的一种基于超声波的全息图像交互式显示方法的 流程示意图；
[0018] 图1-2是本发明第一实施方式的一种基于超声波的全息图像交互式显示方法的 原理示意图；
[0019] 图2-1是本发明第二实施方式的一种基于超声波的全息图像交互式显示方法的 流程示意图；
[0020] 图2-2是本发明第二实施方式的一种基于超声波的全息图像交互式显示方法的 原理示意图；
[0021] 图3-1是本发明第三实施方式的一种基于超声波的全息图像交互式显示方法的 流程示意图；
[0022] 图3-2本发明第三实施方式的一种基于超声波的全息图像交互式显示方法的原 理示意图；
[0023] 图3-3为本发明第三实施方式中确定目标物体的第一位置的方法流程示意图；
[0024] 图4-1是本发明第四实施方式的一种基于超声波的全息图像交互式显示方法的 流程示意图；
[0025] 图4-2是本发明第四实施方式的一种基于超声波的全息图像交互式显示方法中 按压手势时的原理示意图；
[0026] 图4-3是本发明第四实施方式的一种基于超声波的全息图像交互式显示方法中 下拉手势时的原理示意图；
[0027] 图4-4为本发明第四实施方式中确定目标物体的第一位置的方法流程示意图；
[0028] 图5-1是本发明第五实施方式的一种基于超声波的全息图像交互式显示方法的 流程示意图；
[0029] 图5-2是本发明第五实施方式的一种基于超声波的全息图像交互式显示方法中 按压前的原理示意图；
[0030] 图5-3是本发明第五实施方式的一种基于超声波的全息图像交互式显示方法中 按压后的原理示意图；
[0031] 图6-1是本发明第六实施方式的一种基于超声波的全息图像交互式显示方法的 流程示意图；
[0032] 图6-2是本发明第六实施方式的一种基于超声波的全息图像交互式显示方法中 手指在感应区域内的原理示意图；
[0033] 图6-3是本发明第六实施方式的一种基于超声波的全息图像交互式显示方法中 手指不在感应区域内的原理示意图；
[0034] 图7-1是本发明第七实施的一种基于超声波的全息图像交互式显示方法的流程 示意图；
[0035] 图7-2是本发明的一种基于超声波的全息图像交互式显示方法的第七实施方式 俯视时第一状态的不意图；
[0036] 图7-3是本发明的一种基于超声波的全息图像交互式显示方法的第七实施方式 俯视时第二状态的示意图；
[0037] 图8是本发明的一种基于超声波的全息图像交互式控制方法的一个实施例的流 程不意图；
[0038] 图9是本发明第一实施方式的一种基于超声波的全息图像交互式显示装置的结 构示意图；
[0039] 图10是本发明第二实施方式的一种基于超声波的全息图像交互式显示装置的结 构示意图；
[0040] 图11是本发明第三实施方式的一种基于超声波的全息图像交互式显示装置的结 构示意图；
[0041] 图12是本发明第四实施方式的一种基于超声波的全息图像交互式显示装置的结 构示意图。
[0042] 其中，10、超声波检测装置；101、超声波发射器；102、超声波接收器；11、三维空 间；12、显示区域；13、手指；14(14'）、可视图像；15、发射的超声波；20、反射的超声波；61、 按键一；62、按键二；63、按键三；
[0043] 元件符号：
[0044] 超声波检测单元 91、102、112、122
[0045] 位置确定单元 92、103、113、123
[0046] 显示控制单元 93、104、115、124
[0047] 显示单元 94、105、117、125
[0048] 角度调整单元 IOlUll
[0049] 手势确定单元 114
[0050] 功能执行单元 116
[0051] 超声波发射区域调整单元 121

【具体实施方式】
[0052] 为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合附图和实 施例对本发明进行详细说明。
[0053] 请参阅图1-1，为本发明的一种基于超声波的全息图像交互式显示方法的第一实 施方式的流程示意图。该实施方式示出的交互式显示方法的流程包括以下步骤：
[0054] S10,控制超声波检测装置扫描一三维空间以确定位于所述三维空间的目标物体。
[0055] S11，根据所述目标物体在所述三维空间中的角度以及所述超声波检测装置与所 述目标物体之间的距离确定所述目标物体的第一位置。
[0056] 其中，所述目标物体在所述三维空间中的角度以所述超声波检测装置为球心的球 形空间为参考坐标系确定。
[0057] S12,在一显示区域的第二位置显示对应于所述目标物体的可视图像，并且所述第 二位置与所述第一位置具有映射关系。
[0058] 如图1-2所示，当手指13处于该三维空间11中时，超声波检测装置10在扫描该 三维空间11时，超声波检测装置10发出的超声波遇到手指13,其传播会发生变化，确定该 发生变化的点在三维空间11中的角度和超声波检测装置10与手指13之间的距离，通过该 角度和距离的数值可以确定该点的三维坐标，从而确定该手指13所在的第一位置。在显示 区域12中的第二位置中，映射有该手指13对应的可视图像14。
[0059] 进一步地，在所述显示区域的第二位置显示对应于该目标物体的可视图像可以为 该目标物体对应的全息图像。
[0060] 请参阅图2-1，为本发明第二实施方式的一种基于超声波的全息图像交互式显示 方法的流程示意图。该实施方式示出的交互式显示方法的流程包括以下步骤：
[0061] S20,控制超声波检测装置扫描一三维空间以确定位于所述三维空间的目标物体。 超声波检测装置包括超声波发射器和超声波接收器。
[0062] 本实施例中，目标物体的确定步骤如下：
[0063] 持续地调整所述超声波检测装置以改变所述超声波检测装置发出的超声波的方 向，并当所述超声波检测装置接收到被所述目标物体反射的超声波时确定检测到所述目标 物体。
[0064] S21，根据所述目标物体在所述三维空间中的角度以及所述超声波检测装置与所 述目标物体之间的距离确定所述目标物体的第一位置。
[0065] 其中，所述目标物体在所述三维空间中的角度以所述超声波检测装置为球心的球 形空间为参考坐标系确定。
[0066] S22,在一显示区域的第二位置显示对应于所述目标物体的可视图像，并且所述第 二位置与所述第一位置具有映射关系。
[0067] 如图2-2所示，本实施例中，超声波检测装置10包括超声波发射器101和超声波 接收器102,超声波的传播发生变化是指超声波发射器101发出的超声波遇到手指13之后， 被手指13反射回来，反射回来的超声波被超声波接收器102接收。超声波检测装置10在 一三维空间11进行扫描，超声波发射器101发出的超声波的方向在持续地改变，手指13进 入该三维空间11后，超声波发射到该手指13所在的位置时，超声波被手指13反射回去，超 声波接收器102接收到该反射的超声波20,从而确定检测到了手指13。通过被反射回去的 超声波来确定手指13在三维空间11中的角度和超声波检测装置10与手指13之间的距离， 通过该角度和距离的数值可以确定该点的三维坐标，从而确定该手指13所在的第一位置。 在显示区域12中的第二位置中，映射有该手指13对应的可视图像14。
[0068] 请参阅图3-1，为本发明第三实施方式的一种基于超声波的全息图像交互式显示 方法的流程示意图。该实施方式示出的交互式显示方法的流程包括以下步骤：
[0069] S30,控制超声波检测装置扫描一三维空间以确定位于所述三维空间的目标物体。
[0070] 本实施例中，目标物体的确定步骤如下：
[0071] 持续地调整所述超声波检测装置以改变所述超声波检测装置发出的超声波的方 向，并当所述超声波检测装置接收到被所述目标物体反射的超声波时确定检测到所述目标 物体。
[0072] S31，根据所述目标物体在所述三维空间中的角度以及所述超声波检测装置与所 述目标物体之间的距离确定所述目标物体的第一位置。
[0073] 其中，所述目标物体在所述三维空间中的角度以所述超声波检测装置为球心的球 形空间为参考坐标系确定。
[0074] 请参阅图3-3,确定所述目标物体的第一位置的步骤包括：
[0075] S310,根据所述超声波检测装置发出超声波至接收到反射回的超声波所经历的时 间计算所述超声波检测装置与所述目标物体之间的距离L。
[0076] S311，确定所述超声波检测装置与所述目标物体连线的角度（0，（P)以得到所述 目标物体在所述三维空间中的角度；其中，0为所述超声波检测装置和所述目标物体的连 线与X轴、Y轴所在平面的夹角，9为所述超声波检测装置和所述目标物体的连线在X轴、Y 轴所在平面的投影与X轴或Y轴的夹角。
[0077] S312,根据所述角度（0，（p)与所述距离L计算X轴、Y轴、Z轴的坐标以确定所述 目标物体的位置。
[0078] S32,在一显示区域的第二位置显示对应于所述目标物体的可视图像，并且所述第 二位置与所述第一位置具有映射关系。
[0079] 如图3-2所示，本实施例中，超声波检测装置持续地调整其发出的超声波的方向 了，手指进入超声波检测装置扫描的三维空间之后，会将从手指所在位置经过的超声波反 射回去，从而使超声波检测装置确定该处有阻挡物，然后，通过该超声波发出到接收反射回 的超声波的时间计算出超声波检测装置到阻挡物之间的距离L。再根据超声波遇到手指时 的方向确定出超声波检测装置和手指的连线与X轴、Y轴所在平面的夹角0，以及超声波检 测装置和手指的连线在X轴、Y轴所在平面的投影与X轴的夹角9。手指到X轴、Y轴所在平 面的距离h可以通过关系式h=L X Sin9计算出，其中，h即为手指在z轴上的坐标。超声 波检测装置到手指之间的连线在X轴、Y轴所在平面的投影的长度L'可以根据关系式L' = LXc〇S0计算出。其中，超声波检测装置在X轴和Y轴所形成的平面上的坐标是已知的， 为（X〇, y〇, Ztl),因此通过X' =x〇+L'xc〇S(p可以计算出手指在X轴和Y轴所形成的平面 上的投影点s'在X轴上的坐标，通过y' =y〇+L' X Sin9可以计算出投影点s'在Y轴上 的坐标。由此，根据X = x'、y = y'、z = h可以确定手指在三维空间中的位置坐标（x, y, z)。确定手指的位置之后，显示区域的第二位置处显示出对应于手指的可视图像，如一个箭 头或者手的形状的图标等，该图像是通过手指的空间位置（x，y，z)沿着Y轴映射到显示区 域。
[0080] 请参阅图4-1，为本发明第四实施方式的一种基于超声波的全息图像交互式显示 方法的流程示意图。该实施方式示出的交互式显示方法的流程包括以下步骤：
[0081] S40,控制超声波检测装置扫描一三维空间以确定位于所述三维空间的目标物体。
[0082] S41，根据所述目标物体在所述三维空间中的角度以及所述超声波检测装置与所 述目标物体之间的距离确定所述目标物体的第一位置。
[0083] 其中，所述目标物体在所述三维空间中的角度以所述超声波检测装置为球心的球 形空间为参考坐标系确定。
[0084] 请同时参阅图4-4,确定所述目标物体的第一位置的步骤包括：
[0085] S410,根据所述超声波检测装置发出超声波至接收到反射回的超声波所经历的时 间计算所述超声波检测装置与所述目标物体之间的距离L。
[0086] S411，确定所述超声波检测装置与所述目标物体连线的角度（0，（p )以得到所述 目标物体在所述三维空间中的角度；其中，0为所述超声波检测装置和所述目标物体的连 线与X轴、Y轴所在平面的夹角，9为所述超声波检测装置和所述目标物体的连线在X轴、Y 轴所在平面的投影与X轴或Y轴的夹角。
[0087] S412,根据所述角度（0，q>)与所述距离L计算X轴、Y轴、Z轴的坐标以确定所述 目标物体的位置。
[0088] S42,根据所述目标物体的位置及其移动轨迹确定对应的手势，所述移动轨迹根据 所述目标物体在一预定时间内的多个位置确定。
[0089] S43,执行所述手势对应的控制操作。
[0090] 如图4-2所示，本实施例中，手指沿着Y轴向靠近显示区域的方向移动，请参阅图 4-1，即相当于按压的手势，其移动轨迹是平行于Y轴的直线，由于超声波检测装置在持续 改变其发出的超声波的方向，因而其能检测出手指在该预定时间内移动时所在的多个位置 的坐标，如图4-1中的点A (X，ya, z)、点B (X，yb, z)和点C (X，y。，z),再根据点A点B和点C来 确定出手的移动轨迹。确定出的移动轨迹是平行于Y轴的直线，从而判断出手指在进行按 压的手势，从而执行按压对应的控制操作。
[0091] 请参阅图4-3,手指在进行下拉的手势，在预定时间内，手指沿着Z轴向下移动。 超声波检测装置检测出手指在该预定时间内的n个位置的坐标分别是点A(x，y，Z1)，点 B(x, y, z2),点C(x, y, z3),......，点N(x, y, zn),由此可以确定手指移动的轨迹是平行于Z轴 的直线，从而判断出手指的手势是下拉手势，在显示区域则进行下拉对应的控制操作。
[0092] 请参阅图5-1，为本发明第五实施方式的一种基于超声波的全息图像交互式显示 方法的流程示意图。该实施方式示出的交互式显示方法的流程包括以下步骤：
[0093] S50,控制超声波检测装置扫描一三维空间以确定位于所述三维空间11的目标物 体。
[0094] S51，根据所述目标物体在所述三维空间中的角度以及所述超声波检测装置与所 述目标物体之间的距离确定所述目标物体的第一位置。
[0095] 其中，所述目标物体在所述三维空间中的角度以所述超声波检测装置为球心的球 形空间为参考坐标系确定。
[0096] S52,根据所述目标物体的位置及其移动轨迹确定对应的手势，所述移动轨迹根据 所述目标物体在一预定时间内的多个位置确定。
[0097] S53,根据所述手势在所述三维空间中的位置在所述显示区域中相对应的位置上 显示一手势图标。
[0098] S54,执行所述手势对应的控制操作。
[0099] 本实施例中，通过如同第四实施例的方法确定了手指13的手势之后，显示区域12 中对应于手指13的位置处会显示手势图标，如图5-2中的手指13的可视图像14,在按压前 可视图像14的手指为伸直状态，当手指13的动作为按压手势的时候，显示区域12中可视 图像14的手指的图标也相应做按压的动作，如图5-3中的可视图像14'的手指为弯曲状 态。手势图标的显示可以是多种，如本实施例中的图像状态的改变，或者颜色的改变、或者 位置的改变等本领域中常用的显示方式。
[0100] 请参阅图6-1，为本发明第六实施方式的一种基于超声波的全息图像交互式显示 方法的流程示意图。该实施方式示出的交互式显示方法的流程包括以下步骤：
[0101] S60,控制超声波检测装置扫描一三维空间以确定位于所述三维空间的目标物体。
[0102] S61，根据所述目标物体在所述三维空间中的角度以及所述超声波检测装置与所 述目标物体之间的距离确定所述目标物体的第一位置。
[0103] 其中，所述目标物体在所述三维空间中的角度以所述超声波检测装置为球心的球 形空间为参考坐标系确定。
[0104] S62,根据所述目标物体的位置及其移动轨迹确定对应的手势，所述移动轨迹根据 所述目标物体在一预定时间内的多个位置确定。
[0105] S63,在所述显示区域的一个或多个子显示区域中显示物件，并定义各所述子显示 区域中用以感应所述手势的感应区域。
[0106] S64,判断所述手势在所述显示区域中对应的手势区域是否在所述感应区域内，以 确定是否依照所述手势操作控制所述显示区域中显示的物件。
[0107] S65,执行所述手势对应的控制操作。
[0108] 请参阅图6-2,确定手指13的轨迹线为按压手势，在所述显示区域12的一个或多 个子显示区域12中显示物件，定义显示区域12中的按键一 61、按键二62和按键三63作为 该手势的感应区域，在做按压动作的时侯，手指13在显示区域12中对应的可视图像14落 在该感应区域中时,如图6-1中，手指13在显示区域12中对应的可视图像14落在按键三 63的区域中，按压手势完成后，会依照按压手势操作控制显示区域12中显示物件。如果手 指13在显示区域12中对应的可视图像14'并没有在按键一 61、按键二62和按键三63任 何一个按键上，如图6-3所示，而是在其它非感应区域，则不会依照按压手势操作控制显示 区域12中显示物件。
[0109] 请参阅图7-1，为本发明第七实施的一种基于超声波的全息图像交互式显示方法 的流程示意图。该实施方式示出的交互式显示方法的流程包括以下步骤：
[0110] S70,控制超声波检测装置扫描一三维空间以确定位于所述三维空间的目标物体。
[0111] 本实施例中，目标物体的确定与上述实施例不同，其具体步骤如下：
[0112] 首先，超声波检测装置发出的超声波是呈半球型分布，俯视或仰视的时候，超声波 的分布呈圆形，并且超声波检测装置在发射超声波的时候分为若干个区域来发射，该若干 个区域定义为第一级区域，当超声波遇到障碍物时，被障碍物反射，超声波检测装置接收到 该反射回来的超声波，根据接收到的反射的超声波可以确定障碍物所在的第一级区域。
[0113] 然后，其它未接收到反射超声波的第一级区域停止发出超声波，而接收到反射超 声波的第一级区域则继续发出超声波，并且在该第一级区域内再分为若干个第二级区域。 同样，在第二级区域中的一个区域会接收到反射的超声波。
[0114] 接着，其它未接收到反射的超声波的第二级区域停止发出超声波，接收到反射 超声波的第二级区域则继续发出超声波，并同时将该第二级区域再分为若干个第三级区 域，……，通过多次细分超声波发出的区域，一步步缩小该区域，直到最终确定检测到目标 物体和目标物体所在的位置与超声波检测装置的连线。
[0115] 其中，下一级区域可以是超声波发出超声波的上一极区域平均分成的也可以是不 平均分成的。本实施例中以手指的一个点N进行描述，如图7-2所示，在俯视图时，超声波 的发射区域平均分为6个第一级区域，分别是区域A、区域B、区域C、区域D、区域E和区域 F，当超声波检测装置发出的超声波遇到手指时，超声波被手指反射，超声波检测装置接收 到该反射回来的超声波，接收到的反射超声波来自区域B，从而可以确定点N在区域B。然 后，其它是第一级区域停止发出超声波，区域B再平均分为6个第二级区域发出超声波，如 图7-3所示该6个第二级区域分别是区域a、区域b、区域c、区域d、区域e和区域f，超声波 检测装置再根据接收到的反射超声波确定到手指所在位置为区域d。然后，其它的第二级区 域停止发出超声波，区域d则再分成6个第三级区域，以此类推，通过多次划分区域，多次确 认位置，直到最终确定检测到目标物体和目标物体所在的位置与超声波检测装置的连线。
[0116] S71，根据所述目标物体在所述三维空间中的角度以及所述超声波检测装置与所 述目标物体之间的距离确定所述目标物体的第一位置。
[0117] 其中，所述目标物体在所述三维空间中的角度以所述超声波检测装置为球心的球 形空间为参考坐标系确定。
[0118] S72,在一显示区域的第二位置显示对应于所述目标物体的可视图像，并且所述第 二位置与所述第一位置具有映射关系。
[0119] 请参阅图8,为本发明的一种基于超声波的全息图像交互式控制方法的一个实施 例的流程示意图，一种交互式控制方法，该方法包括以下步骤：
[0120] S80,控制超声波检测装置扫描一三维空间以确定在所述三维空间中一目标物体 进行的手势操作。
[0121] 请再参阅图5-3,控制超声波检测装置在三维空间中扫描，当手指在该三维空间内 沿着Y轴方向移动时，超声波检测装置能检测到手指在三维空间中的多个位置，从而确定 手指的移动轨迹，进而确定了手指的手势。
[0122] S81，根据所述目标物体在所述三维空间中的角度以及所述超声波检测装置与所 述目标物体之间的距离确定所述手势。
[0123] 所述手势是通过手指的移动实现，确定手势需要先确定手指移动轨迹，手指的移 动表现为在空间中的点的位置的变化。请再参阅图3-2,在一预定时间内，手指移动所经过 的每个点的确定方法如下：
[0124] 通过该超声波发出到接收反射回的超声波的时间计算出超声波检测装置到阻挡 物之间的距离L。再根据超声波遇到手指时的方向确定出超声波检测装置和手指的连线与 X轴、Y轴所在平面的夹角0，以及超声波检测装置和手指的连线在X轴、Y轴所在平面的 投影与X轴的夹角(|>。手指到X轴、Y轴所在平面的距离h可以通过关系式h=L X Simp计算 出，其中，h即为手指在Z轴上的坐标。超声波检测装置到手指之间的连线在X轴、Y轴所在 平面的投影的长度L'可以根据关系式L' =LXcose计算出。其中，超声波检测装置在X 轴和Y轴所形成的平面上的坐标是已知的，为（?, y(l，Ztl)，因此通过X' =x〇+L' xC0S(p 可以计算出手指在X轴和Y轴所形成的平面上的投影点S'在X轴上的坐标，通过 y' =y〇+L' xSinqo可以计算出投影点s'在Y轴上的坐标。由此，由x = x'、y = y'、z = h可以确定手指在三维空间中的位置坐标（x，y，z)。确定手指的位置之后，显示区域的第二 位置处显示出对应于手指的可视图像，如一个箭头或者手的形状的图标等，该图像是通过 手指的空间位置（x，y，z)沿着Y轴映射到显示区域的。
[0125] 确定好每个点的位置之后即可确定手指移动的轨迹线，具体如下：
[0126] 请再参阅图4-3,手指在进行下拉的手势，在预定时间内，手指沿着Z轴向下移动。 超声波检测装置检测出手指在该预定时间内的n个位置的坐标分别是点A(x，y，Zl)，点 B(x, y, z2),点C(x, y, z3),......，点N(x, y, zm),由此可以确定手指移动的轨迹是平行于Z轴 的直线，从而判断出手指的手势是下拉手势。
[0127] S82,执行所述手势对应的控制操作。判断出手势为下拉手势之后，开始执行下拉 对应的控制操作。
[0128] 请参阅图9,为发明第一实施方式的一种基于超声波的全息图像交互式显示装置 的结构示意图，该交互式显示装置包括显示单元94、超声波检测单元91、位置确定单元92 和显示控制单元93。
[0129] 超声波检测单元91用于扫描一三维空间以确定位于所述三维空间的目标物体。
[0130] 位置确定单元92用于根据所述目标物体在所述三维空间中的角度以及所述超声 波检测单元91与所述目标物体之间的距离确定所述目标物体的第一位置。其中，所述目标 物体在所述三维空间中的角度以所述超声波检测单元91为球心的球形空间为参考坐标系 确定。
[0131] 显示控制单元93用于控制所述显示单元94在一显示区域的第二位置显示对应于 所述目标物体的可视图像，并且所述第二位置与所述第一位置具有映射关系。
[0132] 本实施例中，当手指进入超声波检测单元91扫描的三维空间之后，经过手指所在 位置超声波被手指反射，超声波检测单元91接收到反射回来的超声波之后，确定检测到手 指。确定检测到手指之后，位置确定单元92则根据手指在三维空间中的角度和超声波检测 单元91与手指之间的距离确定手指的第一位置。显示控制单元93则控制显示区域的第二 位置处显示对应于手指的图像，如图1-2中的可视图像。
[0133] 请参阅图10,为本发明第二实施方式的一种基于超声波的全息图像交互式显示装 置的结构示意图，该交互式显示装置包括显示单元105、超声波检测单元102、位置确定单 元103和显示控制单元104以及角度调整单元101。
[0134] 角度调整单元101用于持续地调整所述超声波检测单元102以改变所述超声波检 测单元102发出超声波的方向。
[0135] 超声波检测单元102接收到被所述目标物体反射的超声波时确定检测到所述目 标物体。
[0136] 位置确定单元103用于根据所述超声波检测单元102发出超声波至接收到反射回 的超声波所经历的时间计算所述超声波检测单元102与所述目标物体之间的距离L。
[0137] 显示控制单元104用于控制所述显示单元105在一显示区域的第二位置显示对应 于所述目标物体的可视图像，并且所述第二位置与所述第一位置具有映射关系。
[0138] 本实施例中的角度调整单元101持续调整超声波检测单元102旋转，从而使得超 声波的方向在不断改变。当手指进入超声波检测单元102扫描的三维空间之后，经过手指 所在位置超声波被手指反射，超声波检测单元102接收到反射回来的超声波之后，确定检 测到手指。
[0139] 位置确定单元103确定三维空间中一点的位置的方法如下：
[0140] 如图3-2,是三维空间中的点S的确定示意图，位置确定单元103根据超声波检测 单元102发出超声波至接收到反射回的超声波所经历的时间计算所述超声波检测单元102 与所述目标物体之间的距离L。
[0141] 再根据超声波遇到手指时的方向确定出超声波检测装置和手指的连线与X轴、Y 轴所在平面的夹角e，以及超声波检测装置和手指的点s的连线在X轴、Y轴所在平面的投 影与X轴的夹角小。
[0142] 手指到X轴、Y轴所在平面的距离h可以通过关系式h=L X Sin9计算出，其中，h 即为手指在Z轴上的坐标。超声波检测装置到手指之间的连线在X轴、Y轴所在平面的投影 的长度L'可以根据关系式L' = LXc〇S0计算出。其中，超声波检测装置在X轴和Y轴所 形成的平面上的坐标是已知的，为（Xtl, Ytl, Ztl),因此通过X' =X〇+TL' x COSCp可以计算出 手指在X轴和Y轴所形成的平面上的投影点s'在X轴上的坐标，通过y' =y〇+L' x sincp 可以计算出投影点S'在Y轴上的坐标。由此，由x = x'、y = y'、z = h可以确定手指在三 维空间中的位置坐标（x，y，z)。确定手指的位置之后，显示区域的第二位置处显示出对应 于手指的可视图像，如一个箭头或者手的形状的图标或者对应的全息图像等，该图像是通 过手指的空间位置（x，y，z)沿着Y轴映射到显示区域的，如图2-2所示。
[0143] 请参阅图11，为本发明第三实施方式的一种基于超声波的全息图像交互式显示装 置的结构示意图，该交互式显示装置包括显示单元117、超声波检测单元112、位置确定单 元113、显示控制单元115、角度调整单元111和手势确定单元114以及功能执行单元116。
[0144] 所述超声波检测单元112、显示控制单元115、角度调整单元111的作用如上述第 二实施例，位置确定单元113用于根据所述目标物体在所述三维空间中的角度以及所述超 声波检测单元112与所述目标物体之间的距离确定所述目标物体的第一位置之外，还用于 根据所述目标物体在一预定时间内的多个位置确定移动轨迹。
[0145] 手势确定单元114,用于根据所述位置确定单元113确定的所述目标物体的位置 及其移动轨迹确定对应的手势。
[0146] 功能执行单元116,用于执行所述手势确定单元114确定的所述手势对应的控制 操作。
[0147] 在本实施例中，手指在进行下拉的手势，位置确定单元113确定手指在三维空间 中的第一位置，并且根据手指在一预定时间内的多个位置确定手指的移动轨迹。如图4-3 所示，在预定时间内，手指沿着Z轴向下移动。手势确定单元114确定了手指在该预定时间 内的n个位置的坐标分别是（x, y, zl), (x, y, z2), (x, y, z3), ......，（x, y, zn),因而可以 确定出手指的移动轨迹是平行于Z轴的直线。手势确定单元114根据位置确定单元113确 定的手指的位置和移动轨迹确认出手指的手势是下拉手势。显示控制单元115则在显示区 域显示出对应于下拉手势的手势图标，该手势图标在显示区域中同样进行下拉动作。功能 执行单元116则执行对应的下拉操作。
[0148] 请参阅图12,为本发明第四实施方式的一种基于超声波的全息图像交互式显示装 置的结构示意图，该交互式显示装置包括显示单元125、超声波检测单元122、位置确定单 元123和显示控制单元124以及超声波发射区域调整单元121。所述显示单元125、超声波 检测单元122、位置确定单元123和显示控制单元124的作用均与一种交互式显示装置的第 二实施例相同，超声波发射区域调整单元121用于持续地调整所述超声波检测单元122以 改变所述超声波检测单元122发出超声波的区域。发出超声波的区域的调整如下：
[0149] 请再参阅图7-2和图7-3,在俯视方向，超声波的发射区域平均分为6个第一级区 域，分别是区域A、区域B、区域C、区域D、区域E和区域F，当超声波检测装置发出的超声波 遇到手指时，超声波被手指反射，超声波检测装置接收到该反射回来的超声波，接收到的反 射超声波来自区域B，从而可以确定点N在区域B。然后，其它是第一级区域停止发出超声 波，区域B再平均分为6个第二级区域发出超声波，如图7-3所示该6个第二级区域分别是 区域a、区域b、区域c、区域d、区域e和区域f，超声波检测装置再根据接收到的反射超声波 确定到手指所在位置为区域d。然后，其它的第二级区域停止发出超声波，区域d则再分成 6个第三级区域，以此类推，通过多次划分区域，多次确认位置，直到最终确定检测到目标物 体和目标物体所在的位置与超声波检测装置的连线。
[0150] 上述实施例是以超声波检测装置来扫描三维空间检测目标物体，实际上还可以使 用激光检测装置或者红外线检测装置等本领域技术人员常用的检测装置来替换。
[0151] 以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本 发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的 【技术领域】，均同理包括在本发明的专利保护范围内。
【权利要求】
1. 一种基于超声波的全息图像交互式显示方法，其特征在于，所述方法包括： 控制超声波检测装置扫描一三维空间以确定位于所述三维空间的目标物体； 根据所述目标物体在所述三维空间中的角度以及所述超声波检测装置与所述目标物 体之间的距离确定所述目标物体的第一位置；其中，所述目标物体在所述三维空间中的角 度以所述超声波检测装置为球心的球形空间为参考坐标系确定；以及 在一显示区域的第二位置显示对应于所述目标物体的可视图像，并且所述第二位置与 所述第一位置具有映射关系。
2. 根据权利要求1所述的基于超声波的全息图像交互式显示方法，其特征在于，所 述控制超声波检测装置扫描一三维空间以确定位于所述三维空间的目标物体的步骤具体 为： 持续地调整所述超声波检测装置以改变所述超声波检测装置发出的超声波的方向，并 当所述超声波检测装置接收到被所述目标物体反射的超声波时确定检测到所述目标物体。
3. 根据权利要求2所述的基于超声波的全息图像交互式显示方法，其特征在于，所述 根据所述目标物体在所述三维空间中的角度以及所述超声波检测装置与所述目标物体之 间的距离确定所述目标物体的第一位置的步骤包括： 根据所述超声波检测装置发出超声波至接收到反射回的超声波所经历的时间计算所 述超声波检测装置与所述目标物体之间的距离L; 确定所述超声波检测装置与所述目标物体连线的角度（0，（P)以得到所述目标物体 在所述三维空间中的角度；其中，9为所述超声波检测装置和所述目标物体的连线与X轴、 Y轴所在平面的夹角，9为所述超声波检测装置和所述目标物体的连线在X轴、Y轴所在平 面的投影与X轴或Y轴的夹角；以及 根据所述角度（0，q>)与所述距离L计算X轴、Y轴、Z轴的坐标以确定所述目标物体 的位置。
4. 根据权利要求1所述的基于超声波的全息图像交互式显示方法，其特征在于，所述 根据所述目标物体在所述三维空间中的角度以及所述超声波检测装置与所述目标物体之 间的距离确定所述目标物体的第一位置的步骤之后，还包括： 根据所述目标物体的位置及其移动轨迹确定对应的手势，所述移动轨迹根据所述目标 物体在一预定时间内的多个位置确定；以及 执行所述手势对应的控制操作。
5. 根据权利要求4所述的基于超声波的全息图像交互式显示方法，其特征在于，所述 根据所述目标物体的位置及其移动轨迹确定对应的手势的步骤之后，还包括： 根据所述手势在所述三维空间中的位置在所述显示区域中相对应的位置上显示一手 势图标。
6. 根据权利要求4所述的基于超声波的全息图像交互式显示方法，其特征在于，所述 根据所述目标物体的位置及其移动轨迹确定对应的手势的步骤之后，还包括： 在所述显示区域的一个或多个子显示区域中显示物件，并定义各所述子显示区域中用 以感应所述手势的感应区域； 判断所述手势在所述显示区域中对应的手势区域是否在所述感应区域内，以确定是否 依照所述手势操作控制所述显示区域中显示的物件。
7. 根据权利要求1所述的基于超声波的全息图像交互式显示方法，其特征在于，所述 在一显示区域的第二位置显示对应于所述目标物体的可视图像的步骤具体为：在所述显示 区域的第二位置显示对应于所述目标物体的全息图像。
8. -种基于超声波的全息图像交互式控制方法，其特征在于，所述方法包括： 控制超声波检测装置扫描一三维空间以确定在所述三维空间中一目标物体进行的手 势操作； 根据所述目标物体在所述三维空间中的角度以及所述超声波检测装置与所述目标物 体之间的距离确定所述手势；以及 执行所述手势对应的控制操作。
9. 一种基于超声波的全息图像交互式显示装置，包括显示单元，其特征在于，所述装置 包括： 超声波检测单元，用于扫描一三维空间以确定位于所述三维空间的目标物体； 位置确定单元，用于根据所述目标物体在所述三维空间中的角度以及所述超声波检测 单元与所述目标物体之间的距离确定所述目标物体的第一位置；其中，所述目标物体在所 述三维空间中的角度以所述超声波检测单元为球心的球形空间为参考坐标系确定；以及 显示控制单元，用于控制所述显示单元在一显示区域的第二位置显示对应于所述目标 物体的可视图像，并且所述第二位置与所述第一位置具有映射关系。
10. 根据权利要求8所述的基于超声波的全息图像交互式显示装置，其特征在于，所述 装置还包括角度调整单元，用于持续地调整所述超声波检测单元以改变所述超声波检测单 元发出超声波的方向； 所述超声波检测单元接收到被所述目标物体反射的超声波时确定检测到所述目标物 体； 所述位置确定单元用于： 根据所述超声波检测单元发出超声波至接收到反射回的超声波所经历的时间计算所 述超声波检测单元与所述目标物体之间的距离L; 确定所述超声波检测装置与所述目标物体连线的角度（0，（p)以得到所述目标物体 在所述三维空间中的角度；夹角，9为所述超声波检测单元和所述目标物体的连线在其中， 9为所述超声波检测单元和所述目标物体的连线与X轴、Y轴所在平面的X轴、Y轴所在平 面的投影与X轴或Y轴的夹角；以及 根据所述转动角度（0，9 )与所述距离L计算X轴、Y轴、Z轴的坐标以确定所述目标 物体的位置。
【文档编号】G06F3/048GK104407692SQ201410526303
【公开日】2015年3月11日 申请日期:2014年9月30日 优先权日:2014年9月30日
【发明者】刘美鸿, 陈易华 申请人:深圳市亿思达科技集团有限公司