一种基于多混合现实设备的虚拟装填协同训练系统的制作方法

本方法与混合现实技术、人机交互和虚拟仿真相关，具体涉及一种基于多混合现实设备的虚拟装填协同训练系统。

技术背景

混合现实技术(mr)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感；

传统的装填训练需要主操作员用操纵手柄对模型部件执行一系列的：平移、旋转、伸缩、抓放、刚柔转换等操作，辅助操作员在操作控制台处手动进行模型的解锁和开锁操作。这种传统的装填训练因占用较大物理空间须在室外进行，极受外界环境因素的干扰。在装填训练过程中教练评价的主观性太强，导致训练没有一套科学的评价方法。同时，因装填设备成本高，某些训练只能单人单机进行，导致训练效率低。操作员与装填设备的交互完全通过操纵控制台，导致操作员交互方式单一且操作不灵活。在训练过程中有可能发生不可预测的意外事故，这样会对装填设备造成损坏，重则导致操作员受伤。

本发明通过将装填模型构建成虚拟三维仿真模型并投影在混合现实智能眼镜上，提高了操作员训练时的操作感和沉浸感；训练时操作员能够通过操纵手柄、手势、语音的方式操作虚拟模型，提高了操作的灵活性，使交互方式更加多元化；操作过程中系统会给予操作员智能提示并将提示信息通过碰撞块校准、碰撞检测、全息文字以及智能语音播报的形式呈现出来，使得操作更加简单。本发明支持多人协同训练，提升了训练效果和操作效率；系统会将训练过程中的操作指

技术实现要素：

为了解决传统装填训练存在的问题，本发明的目的在于提供一种基于多混合现实设备的虚拟装填协同训练系统；为操作员提供简单易操作、交互方式多元化、高沉浸感的多用户协同装填训练体验。

为了达到上述目的，本方法采用的技术方案为：

一种基于多混合现实设备的虚拟装填协同训练系统的硬件设施主要包括：一台服务器、多台计算机、多台混合现实智能眼镜、一个操纵控制手柄及一台无线路由器。

服务器、多台计算机以及多台混合现实智能眼镜是通过无线路由器进行网络连接。

服务器将构建的高仿真度的虚拟装填设备三维模型影像投影至所述多台混合现实设备。

操作员通过操作控制手柄、手势、语音的方式来与三维虚拟装填模型进行交互。

操纵控制手柄通过手柄驱动将操作的数字信号传输至服务器。

混合现实智能眼镜包括：处理器、存储器、摄像头、耳麦，混合现实智能眼镜能够通过摄像头、耳麦采集操作员的手势及语音信息，智能眼镜将采集到的音频数据以及摄像头捕捉到的手势影像数据实时同步至服务器。

进一步地，服务器具有处理器和存储器，所述处理器能够把接收到的交互信息解析成模型运动相对应的指令信息，三维虚拟装填模型根据特定的指令做出运动，模型影像信息同步到多台混合现实智能设备中。所述存储器可以将训练时模型的运动状态信息记录并保存。

本发明的有益效果体现在：

本发明通过将装填模型构建成虚拟三维仿真模型并投影在混合现实智能眼镜上，提高了操作员训练时的操作感和沉浸感；训练时操作员能够通过操纵手柄、手势、语音的方式操作虚拟模型，提高了操作的灵活性，使交互方式更加多元化；操作过程中系统会给予操作员智能提示并将提示信息通过碰撞块校准、碰撞检测、全息文字以及智能语音播报的形式呈现出来，使得操作更加简单。本发明支持多人协同训练，提升了训练效果和操作效率；系统会将训练过程中的操作指令存储在数据库中，便于日后操作重现。

附图说明

图1为本发明一种基于多混合现实设备的虚拟装填协同训练系统的结构图。

图2为本发明一种基于多混合现实设备的虚拟装填协同训练系统的网络连接图。

图3为本发明一种基于多混合现实设备的虚拟装填协同训练系统的指令信息传输图。

图4为本发明一种基于多混合现实设备的虚拟装填协同训练系统的设备间消息同步机制图。

图5为本发明一种基于多混合现实设备的虚拟装填协同训练系统的模型运动信息保存图。

图6为本发明一种基于多混合现实设备的虚拟装填协同训练系统的模型运动复现图。

具体实施方式

下面结合附图和实施例对本方法作详细描述。

本发明设计了一种基于多混合现实设备的虚拟装填协同训练系统。其中软件包括自主开发的一套基于unity3d显示引擎的虚拟装填协同训练系统，硬件包括：一台服务器、多台计算机、多台混合现实智能眼镜、一个操纵控制手柄、及一台无线路由器；

如图1，一种基于多混合现实设备的虚拟装填协同训练系统的实现包括以下内容：1.构建高仿真度的虚拟装填设备三维模型；2.服务器、多混合现实设备及计算机的网络连接；3.三维虚拟装填模型空间位置的绝对化和模型位姿的多视角观察；4.多操作员协同与模型进行交互；5.交互信息传输至服务器并解析成可控制模型运动的指令；6.多混合现实设备模型状态的一致性；7.模型运动信息的保存以及训练过程的复现；

本发明具有良好的操作性且沉浸感高，设备简单便捷，易于携带，不受外界环境干扰，能够在室内空间穿戴混合现实设备进行虚拟装填协同训练；通过语音、手势识别与混合现实设备交互，解放双手；多人协同训练，提升了体验感和训练效果；训练过程中的操作指令以文本的方式保存在计算机中，便于日后操作重现。

一种基于多混合现实设备的虚拟装填协同训练系统的实现如下：

第一，构建高仿真度的虚拟装填设备三维模型；本发明利用3dsmax三维建模工具进行虚拟装填模型的构建，其中选用的建模方法有：网格建模、面片建模以及nurbs建模；其中，对于外表看起来坚硬且细节较少的模型可以使用网格建模方法；而对于复杂的、表面光滑的、有组织的模型选择面片建模和nurbs建模方法更合适；这三种建模方法多样化的结合使用可以得到最完美的建模效果。

运动部件建模完成后，将模型导入至unity3d渲染引擎中，利用unity3d中的shader着色器对模型表面纹理进行渲染。为保证虚拟渲染场景的仿真度，利用unity3d渲染引擎为模型部件提供重力、碰撞、柔性、惯性、天气等逼真的物理仿真特性。通过分析模型各个部件之间的运动依赖关系设置模型部件之间的父子嵌套关系，最终完成整个三维虚拟装填模型运动场景树的构建；

第二，服务器、多混合现实设备及计算机的网络连接；

服务器、多混合现实智能眼镜以及pc通过无线路由器进行连接，如图2；网络连接中遵循tcp/ip协议，系统运行时服务器自动打开网络监听，实时监控网络，等待混合现实智能眼镜客户端与其进行匹配连接；操作员佩戴上混合现实智能眼镜进入虚拟训练场景，对模型的操作信息通过无线网络传入服务器，同时每个混合现实智能眼镜都对应连接了一台pc，每个pc端都会将智能眼镜观察的模型影像显示在屏幕上，满足了多视角的模型观察体验。

第三，三维虚拟装填模型空间位置的绝对化和模型位姿的多视角观察；本发明利用室内slam标定技术将三维虚拟装填模型的空间坐标位置绝对化，并确定了以三维模型为参照的统一的世界坐标系，多名操作员同时佩戴混合现实设备时均可在三维场景中漫游，全方位地观察模型，混合现实设备将实时观察到的模型影像发送给多台计算机，计算机将影像显示在屏幕中；操作员可以在虚拟三维场景中全方位观察模型，其他人员也能够通过计算机显示器观察到模型多视角的状态。

第四，多操作员协同与模型进行交互；本发明支持多个操作员同时佩戴多台混合现实智能眼镜协同化训练；装填训练任务被细分成多个子任务，整个训练任务的完成依赖于每个子任务的完成；在每一个子任务进行之前，需要先将子任务中要操作的模型运动部件进行解锁，之后才能用操纵控制手柄控制该部件的运动；在子任务结束之后，也需要对这个运动部件进行上锁。如图3，在训练过程中，有一名主操作员和若干名辅助操作员，主操作员佩戴智能眼镜进入虚拟训练场景，通过操纵控制手柄控制模型的运动状态；辅助操作员主要辅助主操作员，在每个子任务进行之前对目标部件进行解锁，在任务结束之后对目标部件进行上锁。辅助操作员在对某一部件进行解锁和上锁时，会凝视目标部件，将视点放在目标部件上，然后做出固定的手势或者说出“解锁”/“上锁”，就能够对目标部件进行解锁/上锁。

第五，交互信息传输至服务器并解析成可控制模型运动的指令；如图3，操作员通过操作手柄、手势、语音的方式与三维虚拟装填模型进行交互。与手柄配套的手柄操作驱动连接在服务器的usb接口上，手柄操作驱动将手柄输入的操作控制流解析为模型的操作指令流传送给服务器；服务器中有相应的代码程序，用来设定每条指令模型的特定响应；操作员进行手势、语音操作时，混合现实智能眼镜会将视点集中在要被操作的三维虚拟模型部件上，当操作员给出特定的手势动作或者语音时，混合现实智能眼镜中就将视点中的模型部件信息和手势、语音信息传送到服务器上；服务器上有一套特定的程序用来解析当前的手势操作和语音操作对应的指令信息，并将指令信息作用在三维虚拟装填模型上来控制模型的运动；

第六，多混合现实设备模型状态的一致性；针对本发明涉及到的多人多设备实时操作协同的特点，在服务器-客户端一对一通讯模式中引入host域内消息一致性检测，在传统socket网络连接的基础上加入设备间实时消息同步机制。如图4，在服务器和客户端中有任意被标记为[syncvar]标签的host域共享消息数据被修改时，数据通过无线网络共享到在host域内的所有设备，并且在响应接受到的数据操作前，设备将收到的数据信息在host域进行公示，检查所有设备收到的数据信息是否一致，如果一致，则根据消息数据进行进一步渲染，否则，所有设备都放弃对此消息的响应，直至设备共享消息数据变为一致。

第七，模型运动信息的保存以及训练过程的复现；训练过程中模型的运动信息以指令集的形式保存在数据库中，模型的每一种操作对应一种特定的指令，时间轴顺序上特定指令集的连接就构成了完整的训练过程。如图5，训练开始时，先将模型的运动指令信息保存在内存中，如果指令在训练过程中中断，就将内存中保存的指令清空，只有当整个训练过程结束时，才将内存中所有的指令保存至数据库中；如图6，当要回顾某训练过程时，首先在系统中选择训练过程，之后系统将载入该训练场景的信息，载入场景信息主要是先锁定数据库中的指令集，再将指令集存储在服务器的内存中；播放视频即将内存中的指令逐条读取，复现模型的运动。