混合现实多组协同的方法、系统、电子设备和存储介质与流程

本发明涉及混合现实的，尤其是涉及一种混合现实多组协同的方法、系统、电子设备和存储介质。

背景技术：

1、在非数据驱动方面，混合现实技术作为新型可视化技术和人机交互技术，在仿真教学、展览展示、工业巡检、企培教培等领域推陈出新，大幅提高工作效率和创新能力的同时，因其运行状态不可编辑性被体验者们称之为“沉浸式视频”。

2、在算法上，rokhsaritalemi等人将混合现实的相关算法分为校准、空间建模与仿真、物体识别、物体跟踪、注册与映射、可视化与渲染、便携式设备的信息传输七个部分，分属于光学、计算机视觉、计算机图形学等多个领域。在技术上，混合现实与增强现实有共通点，azuma等人总结的增强现实技术的三个特征为虚实结合、实时交互和三维注册。虚实结合指的是虚拟场景和真实场景能够叠加之后显示在一个界面中，实时交互指的是用户可以和虚实结合的场景中的对象进行自然实时的交互，三维注册指的是虚拟物体可以精准的在真实三维中锚定。混合现实也具备这三个特征，但在虚实结合的特点上，混合现实相比于增强现实更进一步，虚拟物体和真实物体在混合现实场景中不区分主体，主体可以是虚拟的场景，也可以是真实的环境。对于普通用户而言，他们接触的最多、感知最明显的是混合现实交互技术。

3、混合现实最底层的交互依赖于硬件设备，设备的性能和传感器的种类直接决定了设备拥有的基本交互方式，对于hololens，微软的混合现实开发工具包mrtk（mixedreality toolkit）提供了基本的交互操作，使用unity引擎通过mrtk即可将手势、语音、眼动交互应用于自身项目，可以加速项目的研发。除了基本的交互方式之外，为了更好的实现用户与混合现实场景的交互，很多学者在探索混合现实下更多的交互方式和交互应用，但在细分方向上又有所不同，主要从虚拟代理辅助交互、多用户协作交互、徒手交互、虚实交互四个方面进行国内外现状分析。

4、虚拟代理是一个虚拟的角色，用于辅助用户与交互系统交互，虚拟代理可以更好的提升用户的交互体验。在虚拟代理辅助交互方面，2019年lang等人提出了一种基于场景语义的虚拟代理的定位方法，其利用混合现实设备上的rgb-d摄像头，重建场景的三维模型，对场景使用mask r-cnn进行实例分割，之后使用马尔可夫链蒙特卡罗优化技术在三维空间中搜索放置虚拟代理的最佳位置，然后在混合现实场景中的对应位置渲染出对应的虚拟代理，后续可以使用虚拟代理指导用户完成一系列交互任务。

5、多用户协作交互是指多个用户可以通过相同（例如多台混合现实设备之间）或不同的平台（例如混合现实设备与pc端、手机、平板之间），同时对同一个场景进行交互，各个用户之间的交互操作都将同步给其它所有用户。在多用户协作交互方面，piumsomboon等人设计了一个混合现实的远程协作系统covar，该系统使混合现实设备hololens与虚拟现实设备htc vive进行远程协助，混合现实端捕获物理空间信息并重建其三维信息传输至虚拟现实端，虚拟现实设备通过leap motion设备采集手势信息进行交互，另外，所有的用户还配备了pupil labs设备以采集用户的眼动信息，该系统实现了vr与mr之间的眼动手势协作交互。

6、徒手交互指的是仅通过识别各个手指，使裸手可以直接与虚拟物体进行交互。hololens中原生的手势交互也属于徒手交互，但出于性能上的考量，hololens一代仅识别“air tap”和“bloom”两种手势，hololens二代可以识别出整个手部关节点的位置，在一代的基础上增加了触摸、抓取等手势。在徒手交互的研究方面，song等人利用立体相机，使用计算机视觉方法在3d空间中准确跟踪用户的手和所有手指的位置信息，并将该交互方法用于虚拟的三维交互游戏。taejin等人设计并实现了一个可穿戴增强现实系统we arhand，允许用户在带有深度摄像头的增强现实头戴中用裸手操纵虚拟3d对象，并显示出半透明的虚拟手作为反馈。al-kalbani等人在增强现实中渲染出手势抓取过程的阴影，得出使用阴影可以增加ar抓取的可用性的结论，并且使用阴影可以有效减少相应任务的完成时间。

7、数字孪生是一种数字化理念和技术手段，它以数据与模型的集成融合为基础与核心，通过在数字空间实时构建物理对象的精准数字化映射，基于数据整合与分析预测来模拟、验证、预测、控制物理实体全生命周期过程，最终形成智能决策的优化闭环。

8、从行业应用层面来看，数字孪生成为垂直行业数字化转型的重要使能技术，数字孪生加速与dict领域最新技术融合，逐渐成为一种基础性、普适性、综合性的理论和技术体系，在经济社会各领域的渗透率不断提升，行业应用持续走深向实。工业领域中，在石化、冶金等流程制造业中，数字孪生聚焦工艺流程管控和重大设备管理等场景，赋能生产过程优化；在装备制造、汽车制造等离散制造业中，聚焦产品数字化设计和智能运维等场景，赋能产品全生命周期管理。智慧城市领域中，数字孪生赋能城市规划、建设、治理、优化等全生命周期环节，实现城市全要素数字化、全状态可视化、管理决策智能化。另外，数字孪生在自动驾驶、站场规划、陈队管理、智慧地铁等交通领域中，在基于bim的建筑智能设计与性能评估、智慧工地管理、智能运营维护、安全应急协同等建筑领域中，在农作物监测、智慧农机、智慧农场等农业领域中，在虚拟人、身体机能监测、智慧医院、手术模拟等健康医疗领域中也有不同程度的应用。2021年开始，在全球范围内引起了数字孪生与vr/ar/mr、元宇宙结合的热潮。

9、目前，市面上的混合现实产品存在以下3大问题：

10、1、mr（即混合现实）任务场景多人协同队伍单一的问题；

11、2、mr场景缺乏数据驱动，不可即时配置，即时体验；

12、3、mr设备性能低，数据驱动时无法承载大量数据和内容。

13、综上，如何在混合现实多组协同的过程中，实现多队伍、mr场景实时驱动和承载大量数据内容成为目前亟需解决的技术问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种混合现实多组协同的方法、系统、电子设备和存储介质，以缓解现有技术在混合现实多组协同的过程中，无法实现多队伍、mr场景实时驱动和承载大量数据内容的技术问题。

2、第一方面，本发明实施例提供了一种混合现实多组协同的方法，应用于由pc终端、mr计算终端和mr眼镜组成的混合现实多组协同的系统，所述方法包括：

3、所述mr计算终端向所述pc终端发起创建房间请求/加入目标房间请求后，所述mr计算终端进入当前房间；

4、所述pc终端根据用户的配置实时生成当前mr场景，并根据用户的触发将所述当前mr场景推送至所述当前房间对应的mr计算终端，以使所述mr计算终端和所述pc终端采用多计算节点并行处理的方式将所述当前mr场景与所述mr眼镜采集的现实空间信息进行融合渲染，得到mr融合场景；

5、所述mr眼镜显示所述mr融合场景，以使对应的佩戴者与所述mr融合场景进行交互。

6、进一步的，所述pc终端根据用户的配置实时生成当前mr场景，包括：

7、所述pc终端获取用户配置的场景数据；

8、根据所述场景数据进行场景态势展示、仿真推演与效能评估，进而得到所述当前mr场景，其中，所述仿真推演采用pie-map、pie-pusher和pie-stk。

9、进一步的，所述mr计算终端和所述pc终端采用多计算节点并行处理的方式将所述当前mr场景与所述mr眼镜采集的现实空间信息进行融合渲染，包括：

10、将所述佩戴者的最佳视觉区域对应的所述当前mr场景与所述mr眼镜采集的现实空间信息作为优先级最高的计算节点进行优先融合渲染；

11、将所述佩戴者的边角区域对应的所述当前mr场景与所述mr眼镜采集的现实空间信息作为优先级次高的计算节点进行排队融合渲染；

12、将所述佩戴者的视觉盲区对应的所述当前mr场景与所述mr眼镜采集的现实空间信息作为优先级最低的计算节点进行最后融合渲染。

13、进一步的，在所述mr计算终端将所述当前mr场景与所述mr眼镜采集的现实空间信息进行融合渲染的过程中，所述mr计算终端对每个计算节点采用cpu+gpu并行的两级并行计算架构，其中，所述计算节点为所述当前mr场景与所述mr眼镜采集的现实空间信息进行融合渲染的计算节点。

14、进一步的，在所述融合渲染的过程中，将所述mr眼镜采集的现实空间信息转换至创建房间的房主坐标系。

15、进一步的，所述pc终端中安装有mr空间场景管理系统；

16、所述mr空间场景管理系统包括：首页模块、场景配置模块、数据管理模块和权限管理模块。

17、进一步的，根据用户的触发将所述当前mr场景推送至所述当前房间对应的mr计算终端，包括：

18、根据用户选择的所述当前mr场景和所述当前房间的房间号将所述当前mr场景推送至所述当前房间对应的mr计算终端。

19、第二方面，本发明实施例还提供了一种混合现实多组协同的系统，所述混合现实多组协同的系统包括：pc终端、mr计算终端和mr眼镜；

20、所述mr计算终端向所述pc终端发起创建房间请求/加入目标房间请求后，所述mr计算终端进入当前房间；

21、所述pc终端根据用户的配置实时生成当前mr场景，并根据用户的触发将所述当前mr场景推送至所述当前房间对应的mr计算终端，以使所述mr计算终端和所述pc终端采用多计算节点并行处理的方式将所述当前mr场景与所述mr眼镜采集的现实空间信息进行融合渲染，得到mr融合场景；

22、所述mr眼镜显示所述mr融合场景，以使对应的佩戴者与所述mr融合场景进行交互。

23、第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。

24、第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述第一方面任一项所述的方法。

25、在本发明实施例中，提供了一种混合现实多组协同的方法，应用于由pc终端、mr计算终端和mr眼镜组成的混合现实多组协同的系统，该方法包括：mr计算终端向pc终端发起创建房间请求/加入目标房间请求后，mr计算终端进入当前房间；pc终端根据用户的配置实时生成当前mr场景，并根据用户的触发将当前mr场景推送至当前房间对应的mr计算终端，以使mr计算终端和pc终端采用多计算节点并行处理的方式将当前mr场景与mr眼镜采集的现实空间信息进行融合渲染，得到mr融合场景；mr眼镜显示mr融合场景，以使对应的佩戴者与mr融合场景进行交互。通过上述描述可知，本发明的混合现实多组协同的方法中，可以创建多个房间，即队伍更加多样化，mr场景可以即时配置，实时驱动，加之mr计算终端和pc终端可以采用多计算节点并行处理的方式将当前mr场景与mr眼镜采集的现实空间信息进行融合渲染，即mr计算终端可以依靠pc终端的强大算力承载大量的数据内容，缓解了现有技术在混合现实多组协同的过程中，无法实现多队伍、mr场景实时驱动和承载大量数据内容的技术问题。