一种基于虚拟现实的虚拟现实驾驶系统及方法与流程

1.本发明涉及虚拟驾驶技术领域，特别是涉及一种基于虚拟现实的虚拟现实驾驶系统及方法。


背景技术：

2.近年来，随着虚拟现实技术的逐步成熟，各种虚拟现实头盔陆续出现。虚拟现实技术是一种可以将真实景观和虚拟景观“无缝”集成的新技术，可实时地获知相机图像的位置和角度并叠加相应图像、视频、三维模型等信息，可以把现实中不能体验到的景观，通过ar技术与现实相叠加和融合，从而获得超越现实的旅游体验。
3.目前，飞行员的培训多采用理论培训及模拟机培训。理论培训阶段由地面教员负责，模拟机培训则由飞行教员结合操作讲解。模拟机1:1还原机舱内实景，仪表、设备、材质都和真正的客机一模一样，包括起飞、降落失重感和气流颠簸等都能精准模拟，让学员们体会到100％实际操作感受。但是目前的模拟机价格非常昂贵，许多学员无法直接使用模拟机进行训练。
4.目前，虚拟现实成像系统在对头部动作进行追踪时，只能根据头部的动作在x和y方向进行跟踪和判断，而人的眼球转动时，所看到的虚拟现实影像存在畸变，为使虚拟现实影像能完全模拟真实的人眼视界，需要一种能够追踪人的眼球动作，并根据眼球动作，使虚拟现实影像根据人眼球的动作方向和轨迹，实时进行调整，从而使人眼球进行任意方向动作时能看到无限趋近真实的虚拟现实影像。


技术实现要素：

5.鉴于此，本发明的目的是提供一种基于虚拟现实的虚拟现实驾驶系统及方法，驾驶过程中，能够身临其境，且成本低，驾驶效果好。
6.为了实现上述目的，本发明采用如下技术方案：
7.一种基于虚拟现实的虚拟现实驾驶系统，包括：驾驶舱虚拟现实框架、虚拟现实座椅、虚拟现实操纵面板、虚拟现实操纵器件、用于供使用者穿戴的头戴式虚拟现实显示模块、用于供使用者穿戴的姿态捕捉模块、用于跟踪捕捉使用者眼球运动的眼球运动捕捉模块和处理模块；所述虚拟现实座椅、虚拟现实操纵面板、虚拟现实操纵器件均设置在所述驾驶舱虚拟现实框架内；所述处理模块与所述姿态捕捉模块、眼球运动捕捉模块、虚拟现实操纵器件、虚拟现实操纵面板和头戴式虚拟现实显示模块连接，所述姿态捕捉模块用于实时捕捉使用者的姿态信息并反馈至所述处理模块，所述虚拟现实操纵器件、虚拟现实操纵面板用于实时反馈使用者触发的操纵信息至所述处理模块，所述处理模块用于根据所述姿态捕捉模块、虚拟现实操纵器件、虚拟现实操纵面板实时反馈的信息，将对应的虚拟现实图像发送到头戴式虚拟现实显示模块进行显示。
8.进一步的，所述眼球运动捕捉模块包括：眼球扫描装置、眼皮跟踪模块、接收模块、处理模块、显示模块和头盔，其中，所述眼球扫描装置，与所述接收模块相连，用于扫描眼球
虹膜和/或视网膜、获取眼球虹膜和/或视网膜信息；并将所述扫描球虹膜和/或视网膜信息发送至所述接收模块；所述眼皮跟踪模块，与所述接收模块相连，用于跟踪人眼皮动作形态、获取人眼皮动作形态信息；并将所述人眼皮动作形态信息发送至所述接收模块；所述接收模块，与所述眼球扫描装置和眼皮跟踪模块相连，用于接收所述眼球扫描装置发送的所述眼球虹膜和/或视网膜信息以及所述眼皮跟踪模块发送的所述眼皮动作形态信息；所述处理模块，与所述接收模块相连，用于分析、比对和处理所述接收模块接收的所述眼球虹膜和/或视网膜信息以及眼皮动作形态信息，判断眼球运动状态；所述显示模块，与所述处理模块相连，用于根据所述处理模块判断的所述眼球运动状态，显不对应的图像信息；所述眼球扫描装置、所述眼皮跟踪模块、所述接收模块、所述处理模块和所述显示模块设置在所述头盔上。
9.进一步的，所述驾驶舱虚拟现实框架的下方设置有可控制驾驶舱虚拟现实框架产生晃动的角度控制模块，所述角度控制模块用于与头戴式虚拟现实显示模块配合共同虚拟现实飞机飞行过程中的颠簸和晃动场景。
10.进一步的，所述角度控制模块包括多个电缸，多个电缸通过伸缩控制所述驾驶舱虚拟现实框架虚拟现实不同的飞行角度，所述驾驶舱虚拟现实框架内还设置有显示模块，
11.一种基于虚拟现实的虚拟现实驾驶方法，所述方法执行以下步骤：步骤1：姿态捕捉模块实时捕捉使用者的姿态信息并反馈至处理模块，模拟操纵器件、模拟操纵面板实时反馈使用者触发的操纵信息至所述处理模块；步骤2：眼球运动捕捉模块实时捕捉使用者的眼球运动信息并反馈至处理模块，模拟操纵器件、模拟操纵面板实时反馈使用者触发的眼球运动信息至所述处理模块；步骤3：所述处理模块根据所述姿态捕捉设备、模拟操纵器件、模拟操纵面板实时反馈的信息，将对应的虚拟现实图像发送到头戴式虚拟现实显示模块进行显示。
12.进一步的，所述眼球运动捕捉模块包括：眼球扫描装置、眼皮跟踪模块、接收模块、处理模块、显示模块和头盔，其中，所述眼球扫描装置，与所述接收模块相连，用于扫描眼球虹膜和/或视网膜、获取眼球虹膜和/或视网膜信息；并将所述扫描球虹膜和/或视网膜信息发送至所述接收模块；所述眼皮跟踪模块，与所述接收模块相连，用于跟踪人眼皮动作形态、获取人眼皮动作形态信息；并将所述人眼皮动作形态信息发送至所述接收模块；所述接收模块，与所述眼球扫描装置和眼皮跟踪模块相连，用于接收所述眼球扫描装置发送的所述眼球虹膜和/或视网膜信息以及所述眼皮跟踪模块发送的所述眼皮动作形态信息；所述处理模块，与所述接收模块相连，用于分析、比对和处理所述接收模块接收的所述眼球虹膜和/或视网膜信息以及眼皮动作形态信息，判断眼球运动状态；所述显示模块，与所述处理模块相连，用于根据所述处理模块判断的所述眼球运动状态，显不对应的图像信息；所述眼球扫描装置、所述眼皮跟踪模块、所述接收模块、所述处理模块和所述显示模块设置在所述头盔上
13.进一步的，所述所述驾驶舱虚拟现实框架的下方设置有可控制驾驶舱虚拟现实框架产生晃动的角度控制模块，所述角度控制模块用于与头戴式虚拟现实显示模块配合共同虚拟现实飞机飞行过程中的颠簸和晃动场景。
14.与现有技术相比，本发明实现的有益效果：本发明通过追踪用户的姿态和眼球运动，结合虚拟驾驶设备，实现虚拟驾驶。比单纯的模拟驾驶更能准确模拟真实驾驶情况。另
外，本发明不需要通过人为进行监督，通过系统自动捕捉的图像可以监督用户的操作，进而提升驾驶培训的效率。
附图说明
15.以下结合附图和具体实施方式来进一步详细说明本发明：
16.图1为本发明实施例公开的基于虚拟现实的虚拟现实驾驶方法的方法流程示意图。
17.图2为本发明实施例公开的基于虚拟现实的虚拟现实驾驶方法的系统结构示意图。
具体实施方式
18.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
19.请参阅图1。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用于配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用于限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用于限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
20.实施例1
21.一种基于虚拟现实的虚拟现实驾驶系统，包括：驾驶舱虚拟现实框架、虚拟现实座椅、虚拟现实操纵面板、虚拟现实操纵器件、用于供使用者穿戴的头戴式虚拟现实显示模块、用于供使用者穿戴的姿态捕捉模块、用于跟踪捕捉使用者眼球运动的眼球运动捕捉模块和处理模块；所述虚拟现实座椅、虚拟现实操纵面板、虚拟现实操纵器件均设置在所述驾驶舱虚拟现实框架内；所述处理模块与所述姿态捕捉模块、眼球运动捕捉模块、虚拟现实操纵器件、虚拟现实操纵面板和头戴式虚拟现实显示模块连接，所述姿态捕捉模块用于实时捕捉使用者的姿态信息并反馈至所述处理模块，所述虚拟现实操纵器件、虚拟现实操纵面板用于实时反馈使用者触发的操纵信息至所述处理模块，所述处理模块用于根据所述姿态捕捉模块、虚拟现实操纵器件、虚拟现实操纵面板实时反馈的信息，将对应的虚拟现实图像发送到头戴式虚拟现实显示模块进行显示。
22.具体的，眼球追踪术的主要设备包括红外设备和图像采集设备。在精度方面，红外线投射方式有比较大的优势，大概能在30英寸的屏幕上精确到1厘米以内，辅以眨眼识别、注视识别等技术，已经可以在一定程度上替代鼠标、触摸板，进行一些有限的操作。此外，其他图像采集设备，如电脑或手机上的摄像头，在软件的支持下也可以实现眼球跟踪，但是在准确性、速度和稳定性上各有差异。
23.实施例2
24.在上一实施例的基础上，所述眼球运动捕捉模块包括：眼球扫描装置、眼皮跟踪模块、接收模块、处理模块、显示模块和头盔，其中，所述眼球扫描装置，与所述接收模块相连，
用于扫描眼球虹膜和/或视网膜、获取眼球虹膜和/或视网膜信息；并将所述扫描球虹膜和/或视网膜信息发送至所述接收模块；所述眼皮跟踪模块，与所述接收模块相连，用于跟踪人眼皮动作形态、获取人眼皮动作形态信息；并将所述人眼皮动作形态信息发送至所述接收模块；所述接收模块，与所述眼球扫描装置和眼皮跟踪模块相连，用于接收所述眼球扫描装置发送的所述眼球虹膜和/或视网膜信息以及所述眼皮跟踪模块发送的所述眼皮动作形态信息；所述处理模块，与所述接收模块相连，用于分析、比对和处理所述接收模块接收的所述眼球虹膜和/或视网膜信息以及眼皮动作形态信息，判断眼球运动状态；所述显示模块，与所述处理模块相连，用于根据所述处理模块判断的所述眼球运动状态，显不对应的图像信息；所述眼球扫描装置、所述眼皮跟踪模块、所述接收模块、所述处理模块和所述显示模块设置在所述头盔上。
25.具体的，所谓虚拟现实，顾名思义，就是虚拟和现实相互结合。从理论上来讲，虚拟现实技术(vr)是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象，这些现象可以是现实中真真切切的物体，也可以是我们肉眼所看不到的物质，通过三维模型表现出来。因为这些现象不是我们直接所能看到的，而是通过计算机技术模拟出来的现实中的世界，故称为虚拟现实。
26.具体的，虚拟现实技术受到了越来越多人的认可，用户可以在虚拟现实世界体验到最真实的感受，其模拟环境的真实性与现实世界难辨真假，让人有种身临其境的感觉；同时，虚拟现实具有一切人类所拥有的感知功能，比如听觉、视觉、触觉、味觉、嗅觉等感知系统；最后，它具有超强的仿真系统，真正实现了人机交互，使人在操作过程中，可以随意操作并且得到环境最真实的反馈。正是虚拟现实技术的存在性、多感知性、交互性等特征使它受到了许多人的喜爱。
27.实施例3
28.在上一实施例的基础上，所述驾驶舱虚拟现实框架的下方设置有可控制驾驶舱虚拟现实框架产生晃动的角度控制模块，所述角度控制模块用于与头戴式虚拟现实显示模块配合共同虚拟现实飞机飞行过程中的颠簸和晃动场景。
29.实施例4
30.在上一实施例的基础上，所述角度控制模块包括多个电缸，多个电缸通过伸缩控制所述驾驶舱虚拟现实框架虚拟现实不同的飞行角度，所述驾驶舱虚拟现实框架内还设置有显示模块。
31.具体的，虚拟驾驶是指利用现代高科技手段让体验者在一个虚拟的驾驶环境中，感受到接近真实效果的视觉、听觉和体感的汽车驾驶体验。又被称为汽车驾驶仿真，或汽车模拟驾驶。
32.其中用到了三维图像即时生成技术、汽车动力学仿真物理系统、大视场显示技术(如多通道立体投影系统)、六自由度运动平台(或三自由度运动平台)、用户输入硬件系统、立体声音响、中控系统等。
33.实施例5
34.如图2所示，一种基于虚拟现实的虚拟现实驾驶方法，所述方法执行以下步骤：步
骤1：姿态捕捉模块实时捕捉使用者的姿态信息并反馈至处理模块，模拟操纵器件、模拟操纵面板实时反馈使用者触发的操纵信息至所述处理模块；步骤2：眼球运动捕捉模块实时捕捉使用者的眼球运动信息并反馈至处理模块，模拟操纵器件、模拟操纵面板实时反馈使用者触发的眼球运动信息至所述处理模块；步骤3：所述处理模块根据所述姿态捕捉设备、模拟操纵器件、模拟操纵面板实时反馈的信息，将对应的虚拟现实图像发送到头戴式虚拟现实显示模块进行显示。
35.实施例6
36.在上一实施例的基础上，所述眼球运动捕捉模块包括：眼球扫描装置、眼皮跟踪模块、接收模块、处理模块、显示模块和头盔，其中，所述眼球扫描装置，与所述接收模块相连，用于扫描眼球虹膜和/或视网膜、获取眼球虹膜和/或视网膜信息；并将所述扫描球虹膜和/或视网膜信息发送至所述接收模块；所述眼皮跟踪模块，与所述接收模块相连，用于跟踪人眼皮动作形态、获取人眼皮动作形态信息；并将所述人眼皮动作形态信息发送至所述接收模块；所述接收模块，与所述眼球扫描装置和眼皮跟踪模块相连，用于接收所述眼球扫描装置发送的所述眼球虹膜和/或视网膜信息以及所述眼皮跟踪模块发送的所述眼皮动作形态信息；所述处理模块，与所述接收模块相连，用于分析、比对和处理所述接收模块接收的所述眼球虹膜和/或视网膜信息以及眼皮动作形态信息，判断眼球运动状态；所述显示模块，与所述处理模块相连，用于根据所述处理模块判断的所述眼球运动状态，显不对应的图像信息；所述眼球扫描装置、所述眼皮跟踪模块、所述接收模块、所述处理模块和所述显示模块设置在所述头盔上。
37.具体的，汽车动力学仿真物理系统，做为汽车运动仿真中最核心的环节，成为模拟驾驶中最为关键的部分。可以模拟逼真的刚体动力学特性，如运动物体具有密度、质量、速度、加速度、旋转角速度、冲量等各种现实的物理动力学属性。在发生碰撞、摩擦、受力的运动模拟中，不同的动力学属性能得到不同的运动效果。
38.在上一实施例的基础上，所述所述驾驶舱虚拟现实框架的下方设置有可控制驾驶舱虚拟现实框架产生晃动的角度控制模块，所述角度控制模块用于与头戴式虚拟现实显示模块配合共同虚拟现实飞机飞行过程中的颠簸和晃动场景。
39.需要说明的是，上述实施例提供的系统，仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元来完成，即将本发明实施例中的单元或者步骤再分解或者组合，例如，上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子单元，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的单元、步骤的名称，仅仅是为了区分各个单元或者步骤，不视为对本发明的不当限定。
40.所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储单元、处理单元的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
41.本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的单元、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件单元、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd～rom、或技术领域内所公知的任意其它形式的存储介
质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
42.术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
43.术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者模块/单元不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者模块/单元所固有的要素。
44.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
45.以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
46.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。