一种基于HoloLens和传感器的全息电子沙盘自然交互实现方法与流程

本发明涉及混合现实自然交互技术领域，尤其涉及一种基于hololens和传感器的全息电子沙盘自然交互实现方法。

背景技术：

hololens是微软推出的一款混合现实设备。此款设备可以将计算机生成的虚拟对象叠加于现实世界之上，给使用者一种混合现实的视界。hololens的佩戴体验真实感、自然度都远远超过市面上任何一款ar眼镜。随着硬件的迭代、软件的定制、产品内容的不断提升，使得ar技术被越来越多的用户知晓，并在很多领域崭露头角，例如游戏产品、广告营销、教育(早教、玩具等)、旅游服务、服装、医疗教学、手术直播、异地药监、远程查房、智能维修、电气机械、大众传播等领域。hololens自带的自然交互方式除了语音和凝视，只有两种手势——开花(bloom)和点击(airtap)。

现有技术中，目前还没有针对电脑操作台的全息与自然交互技术，由于电脑操作台的制作费时费力，一旦确定型号，很难做出任何小改动，尤其是面向大型企业需要量产，更是牵一发而动全身，而且商家难以满足各类用户人群，传统的电脑操作台制作成本高、周期长、改造慢，使用十分不便。

中国发明专利“基于hololens的电脑操作台全息展现与自然交互应用方法”cn201710872591.5，公开一种基于hololens的电脑操作台全息展现与自然交互应用方法，依次包括以下步骤：依照实际电脑操作台等比例缩小尺寸，建立电脑操作台模型并以此搭建虚拟场景，将虚拟场景导入hololens眼镜，全息显示在真实空间；通过hololens利用slam技术进行环境理解，定位用户，得到真实环境数据；通过hololens实现用户与虚拟电脑操作台的友好交互。本发明面向电脑操作台的3d展现与自然交互应用，通过环境感知与虚拟物体投射，通过视线、手势、语音等自然交互方式，调整电脑操作台的高矮、大小、屏幕倾斜度、单个操作台摆放的位置、角度及多种操作台之间的组合摆放，也可根据用户喜好变换不同材质、颜色、风格、款式。该发明面向电脑操作台的3d展现与自然交互应用。

随着环境设备的不断增强，用于满足交互的基础设施逐渐完善，出现了多类型智能终端，一方面，体现在环境中多尺度显示屏的普及，以智能手机为代表的小型交互屏幕解决了交互屏的便携性问题，提供无处不在的交互界面；另一方面，以电子沙盘、数据墙、智能电视为代表的大型屏幕则具有较好的视觉效果和沉浸感，为基于肢体动作的交互提供了可能。全息技术分为物理全息、数字全息和计算全息。计算全息是基于波前再现的真三维显示技术，它的显示技术与光学全息显示相同，它的显示效果可与人眼三维视觉特性完全匹配，提供人眼视觉系统所需全部深度信息，它是信息时代光学全息发展的必然结果。计算全息技术具有极大的灵活性和独特的优点，它不仅可以把实际光波的振幅和相位全面地编码出来，还能把物理空间不存在的物体波前综合出来，因此计算全息是最有潜力的三维显示技术。hololens是当今全球最好的计算全息设备。

中国发明专利“一种基于hololens的指挥所协同作业电子沙盘系统”cn201710689811.0，公开了一种基于hololens的指挥所协同作业电子沙盘系统，包括硬件支撑层、资源管理层、应用支撑层和业务功能层，硬件支撑层通过系统中的硬件采集指挥员的交互信息并将交互信息传输至资源管理层；资源管理层管理系统中的资源数据并向应用支撑层提供系统管理、资源管控和数据访问接口；应用支撑层实现全息影像计算以及为业务功能层提供应用开发和运行环境支撑；业务功能层实现全息态势展示、多角色作战人员互动、自然交互、协同标绘、研讨过程管控和全息影像生成。

本领域的技术人员致力于开发一种基于hololens和传感器的全息电子沙盘自然交互实现方法。

技术实现要素：

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是目前的，如何简单有效地增加自然手势交互方式，弥补hololens自带的自然手势交互方式极其有限的缺陷。

为实现上述目的，本发明提供了一种基于hololens和传感器的全息电子沙盘自然交互实现方法，包括以下步骤：

步骤1、使用传感器获取指定区域的操作者骨骼位置信息；

步骤2、将所述操作者骨骼位置信息发送到hololens设备；

步骤3、所述hololens设备接收所述操作者骨骼位置信息；

步骤4、所述hololens设备反馈交互结果。

可选地，在上述实施例中的基于hololens和传感器的全息电子沙盘自然交互实现方法中，步骤1还包括：

步骤1.1、将上述传感器与计算机一相连；

步骤1.2、在计算机一安装上述传感器的开发套件；

步骤1.3、通过该开发套件获取上述传感器中的操作者骨骼位置信息；

步骤1.4、在计算机一编写脚本一，存储和分析操作者骨骼位置信息，判断姿势动作；

步骤1.5、在所述计算机一下载并安装hololens分享服务器，所述hololens分享服务器可以在其开源网站上获取；

步骤1.6、在上述计算机编写脚本二，连接上述hololens分享服务器和发送自定义消息，将上述步骤1.4存储的操作者骨骼位置信息发送到上述hololens分享服务器；

步骤1.7、将由所述脚本一、所述脚本二和所述开发套件中相关脚本组成的程序在所述计算机上运行。

可选地，在上述任一实施例中的基于hololens和传感器的全息电子沙盘自然交互实现方法中，步骤1中的传感器可以获取到操作者骨骼位置信息的传感器，包括但不限于kinect系列传感器。

可选地，在上述任一实施例中的基于hololens和传感器的全息电子沙盘自然交互实现方法中，步骤1.2中的开发套件满足从传感器数据中计算出操作者骨骼位置信息的需要，为hololens官方提供。

可选地，在上述任一实施例中的基于hololens和传感器的全息电子沙盘自然交互实现方法中，步骤1.4中的姿势动作包括“向右挥手”、“向左挥手”、“双手侧平举”、“坐下”等。

进一步地，在上述任一实施例中的基于hololens和传感器的全息电子沙盘自然交互实现方法中，步骤1.4中的脚本一包括两个数组nowjointspos和definedjointspos和dtw(dynamictimewarping，即动态时间调整算法)比对函数，所述nowjointspos数组存储所述传感器获取的人体关节的实时位置信息，数组大约存储5秒的数据(按传感器帧存储)，所述definedjointspos数组提前定义了一个动作的位置信息，比如向右挥手，dtw比对函数使用动态时间规整算法对这两个数组进行比对并根据设置的阈值判定所述传感器获取的动作是否是定义的动作。实现对操作者“向右挥手”、“向左挥手”、“双手侧平举”、“坐下”等姿势动作的判定。

可选地，脚本二发送自定义消息的函数如下：

发送步骤1.4中脚本一判定过的姿态动作与上述函数类似，修改入口参数为约定的动作即可。

可选地，在上述任一实施例中的基于hololens和传感器的全息电子沙盘自然交互实现方法中，步骤2，使用hololens分享服务器作为中转设备，或者通过使用unity3d编辑器提供的unet功能，将所述操作者骨骼位置信息发送到hololens设备。

可选地，在上述任一实施例中的基于hololens和传感器的全息电子沙盘自然交互实现方法中，步骤2还包括：

步骤2.1、配置步骤1.6中的脚本，连接到上述hololens分享服务器；

步骤2.2、在所述计算机一同网段或者不同网段的计算机二上开启hololens分享服务器；

步骤2.3、步骤1.7中的程序连接步骤2.2中的hololens分享服务器。

可选地，在上述任一实施例中的基于hololens和传感器的全息电子沙盘自然交互实现方法中，步骤2.2，计算机二也可以和计算机一在不同网段，只要保证步骤1.7中的程序和传感器都可以连接到此hololens分享服务器即可。

可选地，在上述任一实施例中的基于hololens和传感器的全息电子沙盘自然交互实现方法中，步骤2.3，可以采用自动连接，也可以手动连接。

可选地，在上述任一实施例中的基于hololens和传感器的全息电子沙盘自然交互实现方法中，步骤3还包括：

步骤3.1、根据步骤1.6中发送的自定义消息，编写解析脚本，从上述hololens分享服务器接收自定义消息，解析出所述操作者骨骼位置信息；

步骤3.2、根据上述解析脚本定义的操作逻辑在hololens中反馈。

可选地，在上述任一实施例中的基于hololens和传感器的全息电子沙盘自然交互实现方法中，步骤3.2中的操作逻辑为：当用户的手臂抬起并操作于hololens中虚拟物体时，虚拟物体呈现出放大、缩小、旋转或更换下一个虚拟物体的效果。给用户一种徒手自然操作hololens中虚拟物体的感觉。

可选地，在上述任一实施例中的基于hololens和传感器的全息电子沙盘自然交互实现方法中，步骤3.2中的反馈信息包括文字、声音、音效、模型颜色、模型大小、模型位置、模型朝向。

可选地，在上述任一实施例中的基于hololens和传感器的全息电子沙盘自然交互实现方法中，步骤3.1中从hololens分享服务器接收自定义消息包括操作者位置信息和步骤1.4中的姿势动作。

本发明提供的一种基于hololens和传感器的全息电子沙盘自然交互实现方法，极大的丰富了用户交互方式，通过增加交互逻辑可以使用单一的交互方式完成逻辑操作，降低用户使用难度，在全息电子沙盘情境下用户与目标对象的交互方式更加自然。

本发明通过增加自然交互方式补充原本单一的交互方式，降低了用户使用难度，丰富了用户交互方式，在全息电子沙盘情境下用户与目标对象的交互方式更加自然。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的示例性实施例的流程图；

图2是本发明的示例性实施例的示意图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，本发明的一个示例性实施例包括如下步骤：

步骤1、使用传感器获取指定区域的操作者骨骼位置信息，该传感器只需具备获取操作者骨骼位置信息即可，包括但不限于kinect系列传感器；

步骤2、将所述操作者骨骼位置信息发送到hololens设备；

步骤3、所述hololens设备接收所述操作者骨骼位置信息；

步骤4、所述hololens设备反馈交互结果。

为了实现步骤1，发明人做了如下细化，此细化步骤只是一个示例，也可以采用其他细化步骤，只要可以达到步骤1实现的功能即可：

步骤1.1、将上述传感器与计算机一相连；

步骤1.2、在计算机一安装上述传感器的开发套件，开发套件满足从传感器数据中计算出操作者骨骼位置信息的需要，由hololens官方提供；

步骤1.3、通过上述开发套件获取上述传感器中的操作者骨骼位置信息；

步骤1.4、在上述计算机一编写脚本一，存储和分析操作者骨骼位置信息，判断姿势动作，姿势动作为人体的常用动作，包括但不限于“向右挥手”、“向左挥手”、“双手侧平举”、“坐下”等；

步骤1.5、下载并在计算机一安装hololens分享服务器，所述hololens分享服务器可以在其开源网站上获取；

步骤1.6、在上述计算机编写脚本二，连接上述hololens分享服务器和发送自定义消息，将上述步骤1.4存储的操作者骨骼位置信息发送到上述hololens分享服务器；

步骤1.7、将程序在所述计算机上运行，所述程序为脚本一、脚本二和上述开发套件中相关脚本组成的程序。

对于步骤1.4，脚本一可以包括两个数组nowjointspos和definedjointspos和dtw(dynamictimewarping，即动态时间调整算法)比对函数，所述nowjointspos数组存储所述传感器获取的人体关节的实时位置信息，数组大约存储5秒的数据(按传感器帧存储)，所述definedjointspos数组提前定义了一个动作的位置信息，比如向右挥手，dtw比对函数使用动态时间规整算法对这两个数组进行比对并根据设置的阈值判定所述传感器获取的动作是否是定义的动作。实现对操作者“向右挥手”、“向左挥手”、“双手侧平举”、“坐下”等姿势动作的判定。

脚本二发送自定义消息的函数，实例如下：

发送步骤1.4中脚本一判定过的姿态动作在实现与上述函数类似，修改入口参数为约定的动作即可。

对于步骤2，由于传感器不能直接连接hololens设备，所以需要使用hololens分享服务器作为中转设备，或者通过使用unity3d编辑器提供的unet功能，将所述操作者骨骼位置信息发送到hololens设备。

为了实现步骤2，发明人做了如下细化，此细化步骤只是一个示例，也可以采用其他细化步骤，只要可以达到步骤2实现的功能即可：

步骤2.1、配置步骤1.6中的脚本，连接到上述hololens分享服务器；

步骤2.2、在步骤1.1中的计算机一同网段的计算机二上开启hololens分享服务器，当然，也可以使用不同网段的计算机二作为hololens分享服务器，只要保证hololens程序和传感器程序都可以连接到此服务器即可；

步骤2.3、步骤1.7中程序连接步骤2.2中的hololens分享服务器，可以采用自动连接，也可以手动连接。

为了实现步骤3，发明人做了如下细化，此细化步骤只是一个示例，也可以采用其他细化步骤，只要可以达到步骤3实现的功能即可：

步骤3.1、根据步骤1.6中发送的自定义消息，编写解析脚本，从上述hololens分享服务器接收自定义消息(包括但不限于操作者骨骼位置信息和步骤1.4中的姿势动作信息)，解析出所述操作者骨骼位置信息；

步骤3.2、根据上述解析脚本定义的操作逻辑在hololens中反馈，反馈信息包括但不限于文字、声音、音效、模型颜色、模型大小、模型位置、模型朝向。

传感器采用微软公司kinect传感器用于获取操作者骨骼位置信息；步骤1.2采用的开发套件由hololens官方提供，从传感器数据中计算出操作者骨骼位置信息；步骤1.4中编写的脚本一命名为bodysourceview.cs，存储和分析操作者骨骼位置信息，判断姿势动作；步骤1.6中编写的脚本命名为custommessage1.cs，用以连接hololens分享服务器和发送自定义消息，将操作者骨骼位置信息发送到hololens分享服务器。

步骤3.1中的编写的解析脚本命名为receivemessage.cs，用于从hololens分享服务器接收自定义消息，解析出所述操作者骨骼位置信息。另外，custommessage2.cs的脚本用于接收计算机一发送的自定义消息。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。