一种基于HoloLens的混合现实交互系统的制作方法

本发明涉及混合现实交互技术领域，尤其涉及一种基于hololens的混合现实交互系统。

背景技术：

hololens是微软推出的一款混合现实设备。此款设备可以将计算机生成的虚拟对象叠加于现实世界之上，给使用者一种混合现实的视界。hololens的佩戴体验真实感、自然度都远远超过市面上任何一款ar眼镜。随着硬件的迭代、软件的定制、产品内容的不断提升，使得ar技术被越来越多的用户知晓。

随着社会以及经济的不断发展，电子设备越来越多，譬如全息显示设备、体感设备等。microsofthololens是微软首个不受线缆限制的全息计算机设备，能让用户与数字内容交互，并与周围真实环境中的全息影像互动。hololens是微软推出的mr(混合现实)产品，即同时包含了vr(虚拟现实)技术与ar(增强现实)术，佩戴hololens可以令佩戴者在现实中看到全息虚拟影像。

但目前全息显示方法延时性高，无法实现实时全息显示，这就导致人物动作与全息投影不同步，大大降低了用户体验。

技术实现要素：

为了克服现有技术的不足，本发明提供一种基于hololens的混合现实交互系统，解决上述传统问题，其可降低时延，实现实时显示。

本发明采用如下技术方案实现：

一种基于hololens的混合现实交互系统，包括：

hololens显示设备，用于建立全息影像；

交互单元，用于使用手势输入及与全息影像交互；

共享坐标建立单元，用于建立具有公共参考点的坐标系；

头像显示单元，用于将播放机影像附加到坐标系中；

位置共享单元，用于根据玩家的位置信息，通过全息影像映射至坐标系中；

真实物理共享单元，用于共享炮弹，并显示在全息影像中；

位置跟踪单元，用于及时更新玩家、炮弹在全息影像中的共享位置。

进一步的，所述hololens显示设备中的全息影像通过unity系统进行开发。

进一步的，所述全息影像的开发包括如下步骤：

启动unity；

选择"打开"；

输入位置作为之前unarchived的sharedholograms文件夹；

选择"项目名称"，然后单击"选择文件夹"；

在层次结构中，右键单击主相机，然后选择"删除"；

在相机文件夹中，找到摄像机的主prefab；

将主相机拖放到层次结构中；

在层次结构中，单击"创建"并创建空；

右键单击新的"gameobject"，然后选择"重命名"；

将gameobject重命名为hologramcollection；

选择层次结构中的hologramcollection对象；

检查器中，将转换位置设置为：x：0，y：-0.25，z：2；

在"项目"面板的"全息影像"文件夹中，找到"energyhub资产"；

将energyhub对象从"项目"面板中拖放到层次结构中，将其作为hologramcollection的子项；

选择文件，将场景另存为；

将场景命名为sharedholograms，然后单击"保存"；

按下unity中的"播放"按钮，预览全息影像；

按第二次播放以停止预览模式；

将项目从unity导出到visualstudio；

放至hololens上，找到energyhub全息图。

进一步的，所述交互单元的建立方法包括如下步骤：

在"层次结构"面板中，选择"hologramcollection"对象；

在检查器面板中，单击"添加组件"按钮；

在菜单中，在"搜索"框中键入"注视经理"；选择搜索结果，进行编辑；

在文件夹中，找到光标资产；

将光标资产拖放到层次结构中；

在"层次结构"面板中，选择"hologramcollection"对象；

单击"添加组件"，并在搜索字段中键入笔势管理器；选择搜索结果，进行编辑；

在"层次结构"面板中，展开"hologramcollection"；

选择"子energyhub"对象；

在检查器面板中，单击"添加组件"按钮；

在"搜索"框中，键入"搜索"对话框；选择搜索结果，进行编辑；

通过选择"文件"的保存场景来保存场景；

生成适用于hololens设备的项目；

指定要首先部署到的一个hololens；

放置energyhub后，其位置将被上传到服务器，将其部署到所有其他hololens设备上。

进一步的，所述共享坐标建立单元的建立方法包括如下步骤：

在"项目"面板中，导航到文件夹；

将共享prefab拖放到层次结构面板；

接下来，我们需要启动共享服务；

在unity中，在顶部菜单中，选择"holotoolkit-240"菜单；

在下拉栏中选择"启动共享服务"项；

选中"专用网络"选项，并在出现防火墙提示时单击"允许访问"；

记下"共享服务控制台"窗口中显示的ipv6地址；

按照将加入共享体验的所有pc上的其余说明进行操作；

在层次结构中，选择共享对象；

在检查器的共享阶段组件上，将服务器地址从"localhost"更改为运行sharingservice的计算机的ipv6地址；

在层次结构中，选择"hologramcollection"对象；

在检查器中，单击"添加组件"按钮；

在搜索框中，键入"导入导出定位点管理器"；选择搜索结果，进行编辑；

在"项目"面板中，导航到scripts文件夹；

双击hologramplacement脚本，在visualstudio中将其打开；

返回unity，在"层次结构"面板中选择"hologramcollection"；

在检查器面板中，单击"添加组件"按钮；

在菜单中，在"搜索"框中键入"应用状态管理器"；选择搜索结果，进行编辑。

进一步的，所述头像显示单元的建立方法包括如下步骤：

在"项目"面板中，导航到"全息影像"文件夹；

将playeravatarstore拖放到层次结构中；

在"项目"面板中，导航到scripts文件夹；

双击avatarselector脚本，在visualstudio中将其打开；

在层次结构中，选择"hologramcollection"对象；

在检查器中单击"添加组件"；

在搜索框中，键入"本地播放机管理器"；选择搜索结果，进行编辑；

在层次结构中，选择"hologramcollection"对象；

在检查器中单击"添加组件"；

在搜索框中，键入"远程播放机管理器"；选择搜索结果，进行编辑；

生成项目并将其部署到hololens设备；

听到ping声音时，请找到头像选择菜单，并选择一个具有"轻攻器"手势的头像；

查看与此空间连接的其他人员，将有一个全息机器人浮在其肩上并模拟其头运动；

所述位置共享单元的建立方法包括如下步骤：

在"项目"面板中，导航到"全息影像"文件夹；

将customspatialmappingprefab拖放到层次结构中；

在"项目"面板中，导航到scripts文件夹；

双击appstatemanager脚本，在visualstudio中将其打开，进行编辑；

在"项目"面板中，导航到scripts文件夹；

双击hologramplacement脚本，在visualstudio中将其打开，进行编辑；

生成项目并将其部署到hololens设备；

点击以放置energyhub；

使用语音命令"重置目标"来选择energyhub备份，并以组的形式协同工作，以便将全息图移动到新位置；

所述真实物理共享单元的建立方法包括如下步骤：

在层次结构中，选择"hologramcollection"对象；

在检查器中单击"添加组件"；

在搜索框中，键入"projectile启动程序"；选择搜索结果；

生成并部署到hololens设备；

当应用程序在所有设备上运行时，请在实际的表面上执行轻点击以启动projectile；

所述位置跟踪单元的建立方法包括如下步骤：

在"项目"面板中，导航到"全息影像"文件夹；

将underworld资产拖放为hologramcollection的子项；

选择hologramcollection后，在检查器中单击"添加组件"按钮；

在菜单中，在"搜索"框中键入explodetarget；选择搜索结果；

选择hologramcollection后，从层次结构中，将energyhub对象拖到检查器中的目标字段；

选择hologramcollection后，从层次结构中，将underworld对象拖到检查器中的underworld字段；

生成并部署到hololens设备；

当应用程序启动时，在energyhub上协作以启动炮弹。

进一步的，所述基于hololens的混合现实交互系统还包括5g波束控制系统、云计算系统及边缘计算系统，所述5g波束控制系统、云计算系统、边缘计算系统协同以用于解决mr延时和hololens轻量化问题。

进一步的，所述边缘计算系统包括路由子系统、能力开放子系统、平台管理子系统及边缘云基础设施，所述子系统、能力开放子系统、平台管理子系统均部署于移动边缘计算服务器内；所述边缘云基础设施由部署在网络边缘的小型或微型数据中心构成。

进一步的，所述边缘计算系统通过vcpe和sd-wan进行分支网络连接，利用vcpe和sd-wan技术为虚拟网络，将云计算拓展到离终端最近的边缘计算的节点。

进一步的，所述基于hololens的混合现实交互系统还包括物联网边缘计算公共开放平台，所述物联网边缘计算公共开放平台用于面向物联网边缘计算开发的标准化互操作性框架，以边缘计算为节点与云计算构建分布式网络，各种传感器、可穿戴设备或其他物联网器件通过api接口与边缘节点实现交互，收集和数据分析并传至云计算中心做进一步处理。

与现有技术相比，本发明具有以下有益效果：

本发明通过设置有hololens显示设备、交互单元、共享坐标建立单元、头像显示单元、位置共享单元、真实物理共享单元、位置跟踪单元等设备，可降低时延，实现实时显示，从而大大地提供用户体验。

附图说明

图1为本发明的物联网边缘计算公共开放平台的架构图。

具体实施方式

下面，结合具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

一种基于hololens的混合现实交互系统，包括：

hololens显示设备，用于建立全息影像；

交互单元，用于使用手势输入及与全息影像交互；

共享坐标建立单元，用于建立具有公共参考点的坐标系；

头像显示单元，用于将播放机影像附加到坐标系中；

位置共享单元，用于根据玩家的位置信息，通过全息影像映射至坐标系中；

真实物理共享单元，用于共享炮弹，并显示在全息影像中；

位置跟踪单元，用于及时更新玩家、炮弹在全息影像中的共享位置。

进一步的，所述hololens显示设备中的全息影像通过unity系统进行开发。

进一步的，所述全息影像的开发包括如下步骤：

启动unity；

选择"打开"；

输入位置作为之前unarchived的sharedholograms文件夹；

选择"项目名称"，然后单击"选择文件夹"；

在层次结构中，右键单击主相机，然后选择"删除"；

在相机文件夹中，找到摄像机的主prefab；

将主相机拖放到层次结构中；

在层次结构中，单击"创建"并创建空；

右键单击新的"gameobject"，然后选择"重命名"；

将gameobject重命名为hologramcollection；

选择层次结构中的hologramcollection对象；

检查器中，将转换位置设置为：x：0，y：-0.25，z：2；

在"项目"面板的"全息影像"文件夹中，找到"energyhub资产"；

将energyhub对象从"项目"面板中拖放到层次结构中，将其作为hologramcollection的子项；

选择文件，将场景另存为；

将场景命名为sharedholograms，然后单击"保存"；

按下unity中的"播放"按钮，预览全息影像；

按第二次播放以停止预览模式；

将项目从unity导出到visualstudio；

放至hololens上，找到energyhub全息图。

进一步的，所述交互单元的建立方法包括如下步骤：

在"层次结构"面板中，选择"hologramcollection"对象；

在检查器面板中，单击"添加组件"按钮；

在菜单中，在"搜索"框中键入"注视经理"；选择搜索结果，进行编辑；

在文件夹中，找到光标资产；

将光标资产拖放到层次结构中；

在"层次结构"面板中，选择"hologramcollection"对象；

单击"添加组件"，并在搜索字段中键入笔势管理器；选择搜索结果，进行编辑；

在"层次结构"面板中，展开"hologramcollection"；

选择"子energyhub"对象；

在检查器面板中，单击"添加组件"按钮；

在"搜索"框中，键入"搜索"对话框；选择搜索结果，进行编辑；

通过选择"文件"的保存场景来保存场景；

生成适用于hololens设备的项目；

指定要首先部署到的一个hololens；

放置energyhub后，其位置将被上传到服务器，将其部署到所有其他hololens设备上。

进一步的，所述共享坐标建立单元的建立方法包括如下步骤：

在"项目"面板中，导航到文件夹；

将共享prefab拖放到层次结构面板；

接下来，我们需要启动共享服务；

在unity中，在顶部菜单中，选择"holotoolkit-240"菜单；

在下拉栏中选择"启动共享服务"项；

选中"专用网络"选项，并在出现防火墙提示时单击"允许访问"；

记下"共享服务控制台"窗口中显示的ipv6地址；

按照将加入共享体验的所有pc上的其余说明进行操作；

在层次结构中，选择共享对象；

在检查器的共享阶段组件上，将服务器地址从"localhost"更改为运行sharingservice的计算机的ipv6地址；

在层次结构中，选择"hologramcollection"对象；

在检查器中，单击"添加组件"按钮；

在搜索框中，键入"导入导出定位点管理器"；选择搜索结果，进行编辑；

在"项目"面板中，导航到scripts文件夹；

双击hologramplacement脚本，在visualstudio中将其打开；

返回unity，在"层次结构"面板中选择"hologramcollection"；

在检查器面板中，单击"添加组件"按钮；

在菜单中，在"搜索"框中键入"应用状态管理器"；选择搜索结果，进行编辑。

进一步的，所述头像显示单元的建立方法包括如下步骤：

在"项目"面板中，导航到"全息影像"文件夹；

将playeravatarstore拖放到层次结构中；

在"项目"面板中，导航到scripts文件夹；

双击avatarselector脚本，在visualstudio中将其打开；

在层次结构中，选择"hologramcollection"对象；

在检查器中单击"添加组件"；

在搜索框中，键入"本地播放机管理器"；选择搜索结果，进行编辑；

在层次结构中，选择"hologramcollection"对象；

在检查器中单击"添加组件"；

在搜索框中，键入"远程播放机管理器"；选择搜索结果，进行编辑；

生成项目并将其部署到hololens设备；

听到ping声音时，请找到头像选择菜单，并选择一个具有"轻攻器"手势的头像；

查看与此空间连接的其他人员，将有一个全息机器人浮在其肩上并模拟其头运动。

进一步的，所述位置共享单元的建立方法包括如下步骤：

在"项目"面板中，导航到"全息影像"文件夹；

将customspatialmappingprefab拖放到层次结构中；

在"项目"面板中，导航到scripts文件夹；

双击appstatemanager脚本，在visualstudio中将其打开，进行编辑；

在"项目"面板中，导航到scripts文件夹；

双击hologramplacement脚本，在visualstudio中将其打开，进行编辑；

生成项目并将其部署到hololens设备；

点击以放置energyhub；

使用语音命令"重置目标"来选择energyhub备份，并以组的形式协同工作，以便将全息图移动到新位置。

进一步的，所述真实物理共享单元的建立方法包括如下步骤：

在层次结构中，选择"hologramcollection"对象；

在检查器中单击"添加组件"；

在搜索框中，键入"projectile启动程序"；选择搜索结果；

生成并部署到hololens设备；

当应用程序在所有设备上运行时，请在实际的表面上执行轻点击以启动projectile。

进一步的，所述位置跟踪单元的建立方法包括如下步骤：

在"项目"面板中，导航到"全息影像"文件夹。

将underworld资产拖放为hologramcollection的子项。

选择hologramcollection后，在检查器中单击"添加组件"按钮。

在菜单中，在"搜索"框中键入explodetarget。选择搜索结果。

选择hologramcollection后，从层次结构中，将energyhub对象拖到检查器中的目标字段。

选择hologramcollection后，从层次结构中，将underworld对象拖到检查器中的underworld字段；

生成并部署到hololens设备；

当应用程序启动时，在energyhub上协作以启动炮弹。

与现有技术相比，本发明具有以下有益效果：

进一步的，所述基于hololens的混合现实交互系统还包括5g波束控制系统、云计算系统及边缘计算系统，所述5g波束控制系统、云计算系统、边缘计算系统协同以用于解决mr延时和hololens轻量化问题。

进一步的，所述边缘计算系统包括路由子系统、能力开放子系统、平台管理子系统及边缘云基础设施，所述子系统、能力开放子系统、平台管理子系统均部署于移动边缘计算服务器内；所述边缘云基础设施由部署在网络边缘的小型或微型数据中心构成。

进一步的，所述边缘计算系统通过vcpe和sd-wan进行分支网络连接，利用vcpe和sd-wan技术为虚拟网络，将云计算拓展到离终端最近的边缘计算的节点。

进一步的，所述基于hololens的混合现实交互系统还包括物联网边缘计算公共开放平台，物联网边缘计算公共开放平台用于面向物联网边缘计算开发的标准化互操作性框架，部署于路由器和交换机等边缘设备上，为各种传感器、设备或其他物联网器件提供即插即用功能并管理，进而收集和分析数据，或者导出至边缘计算应用或云计算中心做进一步处理。

由于mr降低延迟的难度也比ar和vr大，因为大多数mr设备都是移动设备，因为体积和功耗的限制计算能力比桌面电脑要低很多，所以要通过提高计算速度来降低延迟就很困难。延迟主要来自三个部分：追踪传感器、三维图形渲染、显示。传感器探测到运动后，gpu用新的位置参数渲染出一帧新的画面，然后显示器把画面显示出来被人眼看到。

5g网络在设计初就确定了低延迟高带宽的特性，因为5g预想的未来使用场景就包括了自动驾驶汽车、远程机器人手术、vr等对实时性和延迟要求极其严格的情况。5g网络的目标是达到1毫秒的延迟和最高10gbit/s的带宽。不过只凭5g移动网络还不足以消除延迟，因为信号传播虽然是光速也仍然是有限的，要达到1毫秒级别的延迟，云数据中心距离用户的距离最好还是要在几十公里以内。未来支持mr移动计算平台的云计算平台一定是基于5g网络和较高空间密度的云数据中心的。而这样解决方案要建大量数据中心会重复浪费。

移动边缘计算是一种可将计算能力由云端下沉到网络边缘侧，进一步提高数据处理与传输效率的新型计算技术，它可利用无线接入网络就近提供电信用户it所需服务和云端计算功能，而创造出一个具备高性能、低延迟与高带宽的电信级服务环境，加速网络中各项内容、服务及应用的快速下载，让消费者享有不间断的高质量网络体验。

移动边缘计算的基本组件包括：路由子系统、能力开放子系统、平台管理子系统及边缘云基础设施。前3个子系统部署于移动边缘计算服务器内，而边缘云基础设施则由部署在网络边缘的小型或微型数据中心构成。

移动边缘计算系统的核心设备是基于it通用硬件平台构建的mec服务器。移动边缘计算系统通过部署于无线基站内部或无线接入网边缘的云计算设施(即边缘云)，以提供本地化的公有云服务，并可连接其它网络(如企业网)内部的私有云实现混合云服务。移动边缘计算系统提供基于云平台的虚拟化环境，支持第三方应用在边缘云内的虚拟机(vm)上运行。相关的无线网络能力可通过服务器上的平台中间件向第三方应用开放。

云计算可以为大数据提供存储和计算支持。如果先通过移动边缘计算进行简单初步的处理，对于复杂的数据再上传至云端，通过云计算解决，这样既可以解决数据处理的时效性问题，同时降低传输成本，又可以减轻云计算的压力。因此，云计算与移动边缘计算配合的运行模式是这样的：边缘端先对数据进行预处理，提取特征传输给云端再进行计算分析。

边缘计算并不能代替云计算，也离不开云计算。云计算将与边缘计算形成一种互补、协同的关系。

技术方案：边缘计算将主要负责那些实时、短周期数据的处理，负责本地业务的实时处理与执行，为云端提供高价值的数据；云计算通过大数据分析，负责非实时、长周期数据的处理，优化输出的业务规则或模型，下放到边缘侧，使边缘计算更加满足本地的需求，同时完成应用的全生命周期管理。

mr和控制器之无线连接。尤其是在高分辨率和高刷新率情况下。cdn端点边缘计算将内容交付网络(cdn)端点通过塔传输到用户设备并进行渲染。在系统的一端或两端同时发生移动的过程中，传输发挥出mr的有效性能所需的海量数据，已经被证明是极其困难的。为了以极高的效率在运动的网络之间传输大量的数据，一种称为“波束控制”的技术将发挥关键的作用。波束控制技术不再在所有方向上发射宽带无线数据信号，而是将数据发送到需要该数据的具体的用户位置处。这样可以节省功率，使更多的用户可以获得高带宽的无线信号，防止信号之间相互干扰。

mr计算搬到云端。mr实时数据由边缘计算负责。模型运算则交由云计算负责。

实施方式：塔传输指5g基站，移动通信的网络，不只是有基站设备、天线等构成，还包括铁塔、传输光缆、电源设备、机房配套(空调)等，5g是不能利用的4g基站设备、天线等，但对于铁塔、光缆、电源、配套等还是可以利旧或者使用4g原先的资源的。

将数字信号与宽带基带或if信号相互转换，连接执行上变频和下变频处理的无线电收发器。在射频(例如，28ghz)中，我们将单个射频路径分成多条路径，通过控制每个路径的相位来执行波束合成，从而在远场朝目标用户的方向形成波束，最实用、最有效的波束合成方法是混合数模波束成型，它实质上是将数字预编码和模拟波束合成结合起来，在一个空间(空间复用)中同时产生多个波束。通过将功率引导至具有窄波束的目标用户，基站可以重用相同的频谱，同时在给定的时隙中为多个用户服务。虽然文献中报道的混合波束成型有几种不同的方法，但这里显示的子阵方法是最实际的实现方法，本质上是模拟波束成型的步骤和重复。目前，报告的系统实际上支持2到8个数字流，可以用于同时支持单个用户，或者向较少数量的用户提供2层或更多层的mimo。波束成型功能受到许多因素的推动，包括分段形状和距离、功率电平、路径损耗、热限制等，是毫米波系统的区段，需要各种传输功率电平，以解决从小型蜂窝到宏的不同部署情形。另一方面，用于基站的位到毫米波无线电需要的灵活性则要小得多，并且在很大程度上可以从当前release15规格中派生出来。换言之，设计人员可以结合多个波束成型配置重用相同的无线电。这与当前的蜂窝无线电系统没有什么不同，在这些系统中，小信号段跨平台很常见，而且每个用例的前端更多都是定制的。当我们从数字转向天线时，就已经为信号链绘制了潜在技术的进展图。当然，数字信号和混合信号都是在细线体cmos工艺中产生的。根据基站的要求，整个信号链可以用cmos开发，或者更有可能的是，采用多种技术的混合开发，为信号链提供最佳性能。例如，一种常见的配置是使用具有高性能sigebicmosif到毫米波转换的cmos数据转换器。波束成型可采用多种技术实现，具体取决于系统需求，我们将在下面讨论。根据所选的天线尺寸和发射功率要求，可以实现高度集成的硅方法，也可以是硅波束成型与离散pa和lna的组合。功率放大器技术的选择基于综合考虑所需的变送器功率、天线增益(元件数)和所选技术的rf发电能力，5g毫米波无线电的架构与技术”中进行的分析得出，最佳天线尺寸介于128至256个元件之间，较低的数量通过gaas功率放大器实现，而较大的数量可采用全硅波束成型基于rfic的技术实现。

物联网边缘计算公共开放平台针对的问题是物联网器件的互操作性问题。目前，具有大量设备的物联网产生大量数据，迫切需要结合边缘计算的应用，但物联网的软硬件和接入方式的多样性给数据接入功能带来困难，影响了边缘计算应用的部署。简化物联网边缘计算的架构，创建一个围绕互操作性组件的生态系统。

如图1，在图中的最下方是“南侧”，指的是所有物联网器件，以及与这些设备，传感器或可穿戴设备直接通信的边缘网络。边缘网络通过vcpe和sd-wan进行分支网络连接。利用vcpe和sd-wan等技术为虚拟网络，将云计算拓展到离终端最近的边缘计算的节点的分布式网络。在图的最上方是“北侧”，指的是云计算中心或企业系统，指的是云计算中心或企业系统，以及与云中心通信的网络部分。南侧是数据产生源，而北侧收集来自南侧的数据，并对数据进行存储、聚合和分析。如图所示，位于南侧和北侧两者之间，由一系列微服务组成，而这些微服务可以被分成4个服务层和2个底层增强系统服务。微服务之间通过一套通用的应用程序编程接口(api)进行通信。常见的应用领域包括智能交通、智能工厂和智能家居等多种场景，边缘视频处理和无人车等对响应时延敏感的应用场景常见的应用领域包括智能交通、智能工厂和智能家居等多种场景，还有增强现实(ar)/虚拟现实(vr)应用。vr是纯虚拟数字画面，而ar虚拟数字画面加上裸眼现实，mr是数字化现实加上虚拟数字画面。从概念上来说，mr与ar更为接近，mr技术结合了vr与ar的优势智能硬件最后都会从ar技术逐步向mr技术过渡。同样可用于mr。

(1)设备服务层。设备服务层主要提供设备接入的功能，由多个设备服务组成。每个设备服务是用户根据设备服务软件开发工具包(sdk)编写生成的一个微服务。物联网边缘计算公共开放平台使用设备文件去定义一个南侧设备的相关信息，包括源数据格式，存储在物联网边缘计算公共开放平台中的数据格式以及对该设备的操作命令等信息。设备服务将来自设备的数据进行格式转换，并发送至核心服务层。目前，提供了消息队列遥测传输协议(mqtt)、modbus串行通信协议和低功耗蓝牙协议(ble)等多种接入方式。

(2)核心服务层。核心服务层由核心数据、命令、元数据、注册表和配置4个微服务组件组成。核心数据微服务存储和管理来自南侧设备的数据、元数据微服务存储和管理设备的元数据。命令微服务将定义在设备文件的操作命令转换成通用的api，提供给用户以监测控制该设备。注册表和配置微服务存储设备服务的相关信息。

(3)支持服务层。支持服务层提供边缘分析和智能服务，以规则引擎微服务为例，允许用户设定一些规则，当检测到数据满足规则要求时，将触发一个特定的操作。例如规则引擎可监测控制温度传感器，当检测到温度低于25度时，触发对空调的关闭操作。

(4)导出服务层。导出服务层用于将数据传输至云计算中心，由客户端注册和分发等微服务组件组成。前者记录已注册的后端系统的相关信息，后者将对应数据从核心服务层导出至指定客户端。

统管理和安全服务：系统管理服务提供安装、升级、启动、停止和监测控制微服务的功能。安全服务用以保障来自设备的数据和对设备的操作安全。

本发明通过设置有hololens显示设备、交互单元、共享坐标建立单元、头像显示单元、位置共享单元、真实物理共享单元、位置跟踪单元等设备，可降低时延，实现实时显示，从而大大地提供用户体验。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。