一种虚拟现实人机交互系统及方法与流程

本发明属于虚拟现实仿真技术领域，具体涉及一种虚拟现实人机交互系统及方法。

背景技术：

近年，虚拟现实(virtualreality，简称vr)技术及vr交互设备在在大型装备的虚拟训练、虚拟维修等方面有了越来越广泛的应用，在国内外陆续出现了诸如基于vr的飞机虚拟维修系统、工程机械虚拟操作训练系统、战车驾驶模拟与操控系统等。这样的vr虚拟系统中大多采用手柄或数据手套进行交互输入，虽然也能达到虚拟交互的目的，但普遍存在交互操作不直接，与实际装备使用的过程不一致，更不能提供交互操作的触觉感受，用户体验感不强。在手势识别技术发展的基础上，出现了手势识别与vr技术的结合，但几乎大多数的应用中操作者的手仅仅与空间的空气“交互”，仍不能给操作者以更为真实的实操体验。

技术实现要素：

本发明提供一种虚拟现实人机交互系统及方法，能获得触觉感受，达到更接近真实的用户体验效果。

为了解决以上技术问题，本发明提供了一种虚拟现实人机交互系统，其特征在于：包括虚拟现实头盔、图形工作站、双目摄像头和半实物操作对象；所述虚拟现实头盔用于呈现沉浸感视觉图像，提供虚拟场景和用户手势的显示功能；所述双目摄像头用于采集用户手势图像信息并发送给图形工作站；所述半实物操作对象是用于模拟实际操作对象的纯硬件设备；图形工作站与双目摄像头通讯，用于获取左眼摄像头和右眼摄像头采集的手势图像信息，并提取视差信息，进行手势分割、手势三维建模、指尖识别，将生成的手势模型显示于虚拟现实头盔的显示器中，用于用户可视化操作。

一种虚拟现实人机交互方法，其特征在于，具体包括如下步骤：

步骤1、虚拟空间设备及场景建模：建立仿真对象设备以及场景在虚拟现实空间中的三维模型，尤其还包括虚拟手模型，用于用户手形在虚拟空间中的动态显示；

步骤2、设计及布置半实物操作对象设备；

步骤3、对虚拟操作设备与实际空间半实物操作设备进行空间坐标匹配：分别建立虚拟空间三维坐标系和实际空间三维坐标系，在实际空间中确定一点作为坐标原点，采用激光测距方式测量出操作对象与坐标原点之间的距离；将实际空间中确定的坐标原点投射到虚拟空间中，建立虚拟空间中的坐标原点，即完成了实际空间和虚拟空间的坐标匹配；

步骤4、采集用户手势图像信息：通过双目摄像头的左右眼摄像头分别采集获取左右通道手势图像，并将数据发送给图形工作站；

步骤5、识别处理用户手势信息：图形工作站根据接收到的双目手势图像进行手势分割、手势识别、指尖识别、手势三维建模；

步骤6、用户手势图像虚拟场景显示：图形工作站将建模生成的三维手势图像数据发送给头盔，在头盔的显示屏上进行同步实时显示。

有益效果：本发明基于空间定位与手势识别的，将虚实空间坐标匹配与手势识别相结合。通过手势图像的采集和处理能够实时获得用户操作实时变化的手势模型，在头盔显示器显示可给用户提供视觉感受。通过空间坐标标定后的半实物操作设备与虚拟场景中的操作对象准确映射，给用户提供操作过程中的触觉体验。本发明与常用实现方式相比，具有交互直接、接近实际和体验感强等优点；通过头盔进行显示的虚拟现实系统的人手操作输入脱离手柄、手套等的限制，使虚拟现实系统的人机交互操作直接、自然，并能获得触觉感受，达到更接近真实的用户体验效果。

附图说明

图1为本发明人机交互系统示意图。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面对本发明的具体实施方式作进一步详细描述。

本发明提出的一种虚拟现实人机交互系统，包括虚拟现实头盔、图形工作站、双目摄像头和半实物操作对象；

所述虚拟现实头盔用于呈现沉浸感视觉图像，提供虚拟场景和用户手势的显示功能，其与图形工作站相连；

所述双目摄像头用于采集类似具有左右眼视差的用户手势图像信息并发送给图形工作站；

所述图形工作站是信息综合处理设备。

所述半实物操作对象是用于模拟实际操作对象的纯硬件设备，如面板、按键、摇杆等。

图形工作站与双目摄像头通讯，用于获取左眼摄像头和右眼摄像头采集的手势图像信息，并提取视差信息，进行手势分割、手势三维建模、指尖识别等。将生成的手势模型显示于头盔显示器中，用于用户可视化操作。

半实物操作对象为简单的纯结构件设备，用于提供用户操作的触觉感受，同时用于确定实际空间的坐标系与坐标原点；

所述双目摄像头为小型化设备，可单独安装固定，也可固定在头盔正前部位置。

所述手势图像信息包括滑动、点击和抓握等形式。

本发明还提供了一种虚拟现实人机交互方法的具体实现过程，包括如下步骤：

步骤1、虚拟空间设备及场景建模

建立仿真对象设备以及场景在虚拟现实空间中的三维模型，尤其还包括虚拟手模型，用于用户手形在虚拟空间中的动态显示。

步骤2、半实物操作对象设备设计及布置

实际装备成本较高，方案中仅设计实际装备中用户需要接触操作的结构件部分，如面板、按键、摇杆等，采用低成本方式按照实体装备的几何尺寸设计实现和安装布置。

步骤3、虚拟操作设备与实际空间半实物操作设备空间坐标匹配

分别建立虚拟空间三维坐标系和实际空间三维坐标系，在实际空间中确定一点作为坐标原点，采用激光测距方式测量出操作对象与坐标原点之间的距离。将实际空间中确定的坐标原点投射到虚拟空间中，建立虚拟空间中的坐标原点。即完成了实际空间和虚拟空间的坐标匹配。

步骤4、用户手势图像信息采集

用户操作过程中，通过双目摄像头的左右眼摄像头分别采集获取左右通道手势图像，并将数据发送给图形工作站。

步骤5、用户手势信息识别处理

图形工作站根据接收到的双目手势图像进行手势分割、手势识别、指尖识别、手势三维建模等。

步骤6、用户手势图像虚拟场景显示

图形工作站将建模生成的三维手势图像数据发送给头盔，在头盔的显示屏上进行同步实时显示。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

技术特征：

技术总结
本发明公开了一种虚拟现实人机交互系统及方法，基于空间定位与手势识别，将虚实空间坐标匹配与手势识别相结合，通过手势图像的采集和处理能够实时获得用户操作实时变化的手势模型，在头盔显示器显示可给用户提供视觉感受。通过空间坐标标定后的半实物操作设备与虚拟场景中的操作对象准确映射，给用户提供操作过程中的触觉体验。本发明与常用实现方式相比，具有交互直接、接近实际和体验感强等优点；通过头盔进行显示的虚拟现实系统的人手操作输入脱离手柄、手套的限制，使虚拟现实系统的人机交互操作直接、自然，并能获得触觉感受，达到更接近真实的用户体验效果。

技术研发人员：杨佳楠;吕应明
受保护的技术使用者：北京特种机械研究所
技术研发日：2018.11.12
技术公布日：2019.03.12