基于增强现实和生物反馈的驾驶培训系统的制作方法

本实用新型涉及人机交互技术领域，具体涉及一种基于增强现实和生物反馈的驾驶培训系统。

背景技术：

随着人口的增长，人均收入的增加，越来越多人购买了汽车，但随之而来的车祸事件也越发增多。这样，正确的驾驶技术十分必要。前瞻产业研究院发布的《2013-2017年中国机动车驾驶培训行业深度调研与投资战略规划分析报告》显示，截至2012年年底，全国共有驾驶员培训机构10347 所，教练车37.7万辆，教练员43.9万人，分别比2006年增长42.2％、75.3％和106.6％。同时，驾校的学费日渐升高，但用户却得不到全面的指导。2015 年中国颁布了《关于推进机动车驾驶人培训考试制度改革的意见》，现在可以驾驶证可以自学直考，不必非去驾校，一款便捷的虚拟驾驶培训系统，可以缓解驾校压力从而降低驾校成本。虚拟驾驶，又称为汽车驾驶仿真，或者汽车模拟驾驶。是指利用现代高科技技术如：实时三维图像技术、汽车动力学仿真物理系统、大视场显示技术(如多通道立体投影系统)、六自由度运动平台(或三自由度运动平台)、用户输入硬件系统、立体声音响、中控系统等，让体验者在一个虚拟的驾驶环境中，感受到接近真实效果的视觉、听觉和体感的汽车驾驶体验。当前的虚拟驾驶产品，普遍不能反馈全面的用户驾驶过程的物理和生理信息和不能矫正用户的驾驶不良习惯，这样的虚拟驾驶产品性能是不够完善的。

近年来产生了许多与此相关的论文和专利，分别如下：

中国公开专利号：CN105390042A，名称：模拟驾驶平台。该设备仿照车内结构搭建出一个平台。该设备能在很大程度上模拟出真实的车内环境，但该设备没有触觉反馈，不能逼真地仿真出车辆的真实驾驶情况，更为重要的是该专利不能实时检测出用户的生理信息，没有自动纠错功能。

中国公开专利号：CN202171880U，名称：一种三维视景仿真驾驶系统。该设备使用模拟驾驶座椅，配合投影仪，并利用计算机实时同步生成的立体三维虚拟场景，造成一套逼真、立体、完全沉浸的仿真驾驶系统。但该设备同样没有实时监测用户的驾驶状态及驾驶姿势，不能实时对用户驾驶技能进行校正。实用性有待提高。

中国公开专利号：CN204856968U，名称：一种用于驾驶员学习的汽车模拟驾驶系统装置。该设备同样能够出色的模拟出真实驾驶环境，很好的结合了视觉听觉和触觉反馈。但同样存在现有模拟驾驶类专利的缺陷，不能实时监测用户的驾驶状态，不能更出色的发挥出人机交互平台应有的体验与性能。一个成熟的驾驶培训系统，在提供模拟驾驶的基本功能的同时，还应该带有矫正用户驾驶习惯的功能。

技术实现要素：

本实用新型的目的是解决现有技术中的上述缺陷，如用户体验差，虚拟现实沉浸感不够强，没有加入触觉输入输出，没能实时检测用户生理信息、没能矫正用户驾驶习惯、反馈信号单一等问题，提供一种基于增强现实和生物反馈的驾驶培训系统。

本实用新型的目的可以通过采取如下技术方案达到：

一种基于增强现实和生物反馈的驾驶培训系统，所述驾驶培训系统包括：曲面3D显示器2、半透明曲面玻璃板4、支撑平台7、控制主机8、方向盘6、油门离合器及刹车合成9和换挡装置12，其中，所述曲面3D 显示器2与所述控制主机8通过信号线连接，用于将所述控制主机8产生的3D影像投影到所述半透明曲面玻璃板4上；所述曲面3D显示器2与所述半透明曲面玻璃板4由上至下分别设置于所述支撑平台7的上方，固定在与所述支撑平台7相连的显示器支架固定杆3；所述方向盘6和所述换挡装置12设置在所述支撑平台7上，所述油门离合器及刹车合成9设置在所述支撑平台7的下方，所述方向盘6、所述油门离合器及刹车合成9、所述换挡装置12与所述控制主机8通过信号线连接；

所述驾驶培训系统还包括：脑电采集设备10和肌电采集设备14，其中，所述脑电采集设备10用于采集佩戴用户的脑电信号，然后将其信号输送到与所述脑电采集设备10信号连接的所述控制主机8进行处理；所述肌电采集设备14佩戴在用户的大臂和小臂上，用于采集用户的表面肌电信号，然后将其信号输送到与所述肌电采集设备14信号连接的所述控制主机8进行处理。

进一步地，所述曲面3D显示器2与所述半透明曲面玻璃板4分别通过3D显示器支架1与半透明曲面玻璃板支架5固定在所述显示器支架固定杆3上。

进一步地，所述半透明曲面玻璃板支架5通过转向角件及螺丝与所述显示器支架固定杆3固定连接，所述半透明曲面玻璃板支架5的高度和水平角度可根据需要调节。

进一步地，所述方向盘6、所述油门离合器及刹车合成9、所述换挡装置12为带力反馈的设备，上述设备在采集用户操作控制信息的同时，将来自所述控制主机8的用户精神状态信息、肌肉状态信息、模拟驾驶信息回馈给驾驶培训用户。

进一步地，所述脑电采集设备10为易带式脑电采集头盔，采集用于提取注意力集中程度的脑电信号。

进一步地，所述肌电采集设备14为无线肌电信号测量手环，采集用于提取肌肉紧张程度的肌电信号。

进一步地，所述驾驶培训系统还包括：汽车座椅15，所述汽车座椅 15的高度及前后位置可调节。

进一步地，所述汽车座椅15上设置有安全带13，与所述控制主机8 通过信号线连接，所述控制主机8可检测所述汽车座椅15上的用户是否系扣安全带13，并将安全带系扣状态通过所述曲面3D显示器2投影显示在所述半透明曲面玻璃板4上。

进一步地，所述驾驶培训系统还包括：多媒体音频装置11，所述多媒体音频装置11与所述控制主机8通过信号线连接，所述多媒体音频装置 11用于播放所述控制主机8模拟车辆行驶时的引擎声、刹车时的刹车声。

本实用新型相对于现有技术具有如下的优点及效果：

1)本实用新型提供一种基于增强现实和生物反馈的驾驶培训系统，能够让用户在室内进行真实逼真的驾驶训练，矫正司机的不良驾驶习惯。在虚拟现实技术方面，该系统能将用户的生理信息、方向盘力反馈信息、虚拟路面情况、虚拟引擎声及刹车声等多信息进行融合处理，提高了人机互动的精确性和效率。

2)本系统能够提供逼真的3D虚拟现实影像，拥有独特的视觉、听觉及触觉感受系统，实现了三者的同步渲染和配合，大大增强了虚拟现实技术的沉浸感。

3)本系统具有自动纠错功能和实时检测用户生理信息功能，脑电信号提取注意力集中程度，肌电信号提取肌肉紧张程度，实时投影到半透膜屏幕上，能更加全面训练用户驾驶技能。

附图说明

图1是本实用新型中基于增强现实和生物反馈的驾驶培训系统的结构示意图；

图2是半透明曲面玻璃板支架的左视图；

图3是半透明曲面玻璃板支架的立体结构示意图；

图4是汽车仪表投影示意图；

图5是双臂肌肉状态界面示意图；

图6是多信息融合处理算法流程图；

其中，1---3D显示器支架，2---曲面3D显示器，3---显示器支架固定杆，4---半透明曲面玻璃板，5---半透明曲面玻璃板支架，6---方向盘，7--- 支撑平台，8---控制主机，9---油门离合器及刹车，10---脑电采集设备，11--- 多媒体音频装置，12---换挡装置，13---安全带，14---肌电采集设备，15--- 汽车座椅。

具体实施方式

为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

实施例

本实施例公开了一种基于增强现实和生物反馈的驾驶培训系统，通过使用计算机模拟真实汽车内的环境，通过曲面3D显示器显示。同时，该系统含有车内的带力反馈的方向盘6、油门离合器及刹车合成9、换挡装置12来模拟车内操作环境，此外还含有多种信息采集设备，通过增强现实和生物反馈技术给用户营造一个逼真的模拟驾驶环境。

如附图1所示，图1公开了一种基于增强现实和生物反馈的驾驶培训系统，该系统包括下列组成构件：3D显示器支架1、曲面3D显示器2、显示器支架固定杆3、半透明曲面玻璃板4、半透明曲面玻璃板支架5、方向盘6、支撑平台7、控制主机8、油门离合器及刹车9、脑电采集设备10、多媒体音频装置11、换挡装置12、安全带13、肌电采集设备14、汽车座椅15。

所述曲面3D显示器2与所述控制主机8通过信号线连接，用于将所述控制主机8产生的3D影像投影到所述半透明曲面玻璃板4上。

通过使用曲面3D显示器2，从而加大模拟驾驶环境的显示范围，使用户拥有更加广阔的模拟驾驶环境。半透明曲面玻璃板4的使用是为了将虚拟模拟驾驶影像完整投影到半透明玻璃板上，同时，曲面玻璃板的曲面弧度需要根据2曲面3D显示器做特定的定制，以达到完美投影效果。

控制主机8通过计算机模拟出车内环境景象，由曲面3D显示器2通过半透明曲面玻璃板4的反射原理，使虚拟影像和用实物搭建的仿真驾驶平台重合并实时同步，这样就可以达到用户直接在操控虚拟影像的效果。通过调节3D显示器支架1的高度和位置从而调节曲面3D显示器2，通过调节半透明曲面玻璃板支架5可以调节半透明曲面玻璃板4的位置，在有必要的情况下还有添加3D眼镜，以满足不同用户的各种需求。

所述曲面3D显示器2与所述半透明曲面玻璃板4由上至下分别设置于所述支撑平台7的上方，固定在与所述支撑平台7相连的显示器支架固定杆3。

本实施例中，所述曲面3D显示器2与所述半透明曲面玻璃板4分别通过3D显示器支架1与半透明曲面玻璃板支架5固定在所述显示器支架固定杆3上。

其中，所述半透明曲面玻璃板支架5通过转向角件及螺丝与所述显示器支架固定杆3固定连接，所述半透明曲面玻璃板支架5的高度和水平角度可根据需要调节。

根据附图2和附图3中半透明曲面玻璃板支架的左视图和立体结构示意图所示，半透明曲面玻璃板支架5由两根型材a2和一根型材a3通过角件b1和螺丝b2组合成一U型支架，同样，由两根型材a1和一根型材a4 通过角件b1和螺丝b2组合成另一U型支架，通过使用转向角件b3连接起型材a3和型材a4，由角件b1和螺丝b2固定在支撑平台7。由于型材自带的凹槽结构以及角件的使用，可以实现半透明曲面玻璃板支架5的高度和水平角度的调节。

该基于增强现实和生物反馈的驾驶培训系统还包括：脑电采集设备 10，所述脑电采集设备10用于采集佩戴用户的脑电信号，然后将其信号输送到与所述脑电采集设备10信号连接的所述控制主机8进行处理，最终，将用户的精神状态通过曲面3D显示器2投影显示在半透明曲面玻璃板4上。

本实施例中，脑电采集设备10采用易带式脑电采集头盔，易带式脑电采集头盔和控制主机中的脑电信号处理软件构成脑电采集分析系统，该脑电采集分析系统能实时采集用户脑电信号，把脑电信号实时反馈到控制主机中进行滤波、特征提取、分类等相关操作，主要用来提取驾驶员的脑电α波。

该基于增强现实和生物反馈的驾驶培训系统还包括：肌电采集设备 14，所述肌电采集设备14佩戴在用户的大臂和小臂上，用于采集用户的表面肌电信号，然后将其信号输送到与所述肌电采集设备14信号连接的所述控制主机8进行处理，最终，将用户的肌肉状态通过曲面3D显示器2 投影显示在半透明曲面玻璃板4上。

本实施例中，肌电采集设备14采用无线肌电信号测量手环，无线肌电信号测量手环和控制主机中的肌电信号处理软件构成肌电信号采集分析系统，该肌电信号采集分析系统通过无线肌电信号测量手环上的EMG 传感器对用户的sEMG进行实时采集，控制主机8接收到无线肌电信号测量手环的信号后，对信号使用自动小波变换算法进行滤波、去噪，对去噪后的信号进行快速傅里叶转换得到sEMG信号的频谱。当用户的sEMG频谱出现左移现象，则表明用户出现肌肉疲劳。肌电信号采集分析系统主要通过肌电信号的采集，来监测驾驶员的手臂的紧张程度，控制主机8做出提示驾驶员调整状态和姿势。

该基于增强现实和生物反馈的驾驶培训系统还包括：方向盘6、油门离合器及刹车合成9、换挡装置12，所述方向盘6和所述换挡装置12设置在所述支撑平台7上，所述油门离合器及刹车合成9设置在所述支撑平台7的下方，所述方向盘6、油门离合器及刹车合成9、换挡装置12与所述控制主机8通过信号线连接。用户坐在汽车座椅15上，可以方便操作方向盘6、油门离合器及刹车合成9、换挡装置12。

所述方向盘6、所述油门离合器及刹车合成9、所述换挡装置12为带力反馈的设备，上述设备在采集用户操作控制信息的同时，将来自控制主机8的信息，包含用户精神状态信息、肌肉状态信息、模拟驾驶信息回馈给用户，给用户真实的驾驶体验以及适当的驾驶提醒。

方向盘6、油门离合器及刹车合成9、换挡装置12与控制主机8上的相关处理软件构成力反馈系统，可以实时向控制主机8反馈方向盘旋转角度及角速度，并从控制主机8中向用户回馈方向盘所在3D影像中的状态。当车辆速度过快时，油门上的力反馈装置震动，提醒用户松动油门。

该基于增强现实和生物反馈的驾驶培训系统在模拟驾驶环境的同时，通过脑电采集设备10和肌电采集设备14实时检测用户的生理信息，如用户的肌肉紧张程度、疲劳程度及注意力集中程度，通过控制平台8的计算，判别出用户注意力集中度和驾驶双臂肌肉疲劳情况，并反馈给用户。

通过附图4的状态显示表显示在半透明曲面玻璃板4上。其状态主要分为肌肉状态和注意力状态，注意力状态分为好、中、差三个级别，而肌肉状态主要分为好、紧张、疲劳三个级别。此外，肌肉状态还细分到两只手臂的主要肌肉群，如附图5，当其肌肉群紧张时，其亮红灯，正常时亮绿灯。

总之，控制主机8根据用户的状态信息、驾驶输入信息以及正确的驾驶姿态信息，计算出用户的操作指导信息，反馈给力反馈设备，通过力反馈设备对用户进行操作指导，修改用户的不良驾驶习惯。

该基于增强现实和生物反馈的驾驶培训系统还包括：多媒体音频装置 11，所述多媒体音频装置11与所述控制主机8通过信号线连接，构成听觉反馈系统，所述多媒体音频装置11用于播放所述控制主机8仿真出车辆行驶时的引擎声，刹车时的刹车声，提高了该基于增强现实和生物反馈的驾驶培训系统在听觉上的体验和大大提高了虚拟环境的沉浸感。

所述汽车座椅15设置有安全带13，与所述控制主机8通过信号线连接，控制主机8可检测用户是否系扣安全带13，并将安全带系扣状态通过曲面3D显示器2投影显示在半透明曲面玻璃板4上。

下面，结合附图6对本实用新型公开的基于增强现实和生物反馈的驾驶培训系统中多信息融合处理算法进行说明。首先，用户要在注意力集中时采集脑电信号，这个过程需要多次的训练，经过训练，可以得出用户的精神集中的脑电信号模型。然后，进入判别阶段。通过采集用户的实时脑电信号数据，期间利用频域滤波、空域滤波等算法对原始脑电信号进行预处理，提高信噪比，使得信号特征更为明显，将经过处理的脑电信号与用户之前的脑电信号模型进行对比，主要对比α波，当用户疲劳驾驶时α波会增强。同时也通过无线肌电信号测量手环对肌电信号进行采集，通过无线肌电信号测量手环上的EMG传感器对用户的sEMG进行实时采集，计算机接收到无线肌电信号测量手环的信号后，对信号使用自动小波变换算法进行滤波、去噪，对去噪后的信号进行快速傅里叶转换得到sEMG信号的频谱。当用户的sEMG频谱出现左移现象，则表明用户出现肌肉疲劳。判别得出用户状态后，通过计算机反馈给用户。用户在操作方向盘实物时，通过方向盘的力反馈，计算机可以得到用户操作方向盘的信息，如旋转角度、角速度，虚拟影像也会做出对应的操作。在逼真的虚拟驾驶环境中，在脑电和肌电信号的协助下，用户可以得到良好的驾驶体验和正确的驾驶指导。

综上所述，本实用新型公开的基于增强现实和生物反馈的驾驶培训系统通过使用计算机模拟真实汽车内的环境如仪表、方向盘、换挡装置等等以及路面情况，通过曲面3D显示器投影，经半透明曲面玻璃板的反射成像原理显示成像，通过调整半透明曲面玻璃板的高度和水平角度，可以使虚拟影像和搭建的实物平台重合，方向盘、油门离合器及刹车合成、换挡装置带有力反馈，能够实时与模拟的车辆行驶状态同步，让用户体验到真实的驾驶体验。使用半透明曲面玻璃板，可以增大用户观看虚拟影像的可视范围，同时用户可以根据具体显示器的类型选择添加3D眼镜以增强沉浸感。此外，该系统具有自动纠错功能，带力反馈的方向盘提示用户转向，油门力反馈提示用户减速，同时通过使用无线肌电信号测量手环和易带式脑电采集头盔采集用户的生理信息，脑电信号提取注意力集中程度，肌电信号提取肌肉紧张程度，实时投影到半透明曲面玻璃板上，达到实时提示用户驾驶状态，通过生物反馈，帮助用户了解并改善自我驾驶习惯。该系统通过3D虚拟影像向用户无缝展现控制台仪表盘和车前路面信息，从而节省了硬件制作成本。

上述实施例为本实用新型较佳的实施方式，但本实用新型的实施方式并不受上述实施例的限制，其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都属于本实用新型要求保护的范围。