基于脑电解译的疲劳驾驶检测方法及装置

本发明涉及人工智能领域，具体涉及一种基于脑电解译的疲劳驾驶检测方法及装置。

背景技术：

1、基于脑电解译的疲劳驾驶检测是指通过分析驾驶员的脑电波信号，以识别和检测驾驶员是否处于疲劳状态，对疲劳驾驶进行预警，从而提高道路交通安全，减少事故发生的可能性。

2、目前，以卷积神经网络为代表的深度学习技术快速发展，基于深度学习的疲劳驾驶检测方法相继被提出。借用神经网络强大的拟合能力，这些方法取得了较好的成果。与本发明技术最接近的现有的疲劳驾驶识别技术是基于视频的疲劳识别技术，该技术主要采用视频面部特征映射（facial feature mapping, ffm）作为疲劳检测的输入特征。该方法首先需要收集驾驶员的面部视频数据。通常，摄像头被安装在车辆内部，以捕捉驾驶员的面部表情和动作。在数据采集过程中，系统会针对每一帧的视频图像提取面部特征，包括脸部的关键点、表情、眼睛的状态、嘴巴的动作等。这些特征有助于捕捉驾驶员的生理变化，尤其是与疲劳相关的特征。提取到的面部特征被映射到神经网络的输入层。这一过程称为面部特征映射（ffm）。神经网络通过大量的已标记数据进行训练，这些标记数据包括了与疲劳状态相关的面部特征，输出对疲劳状态分类的神经网络模型。在训练完成后，神经网络模型可以用于实时的疲劳驾驶检测，模型通过驾驶员的实时面部特征来判断其是否处于疲劳状态。一旦系统检测到疲劳迹象，可能会触发相应的警告系统，提醒驾驶员采取必要的休息或行动。

3、面部特征映射提取方法简单，也能很好的表现驾驶员的疲劳程度等特征。但基于视频的疲劳识别系统仍然存在很大弱点。

4、首先，使用面部特征映射作为疲劳识别特征单纯利用驾驶员面部五官的相关状态，难以有效反映两种情况下的驾驶员的疲劳状态。一种是光线变化剧烈情况下的面部状态，例如从普通公路进入隧道时，光线由亮到暗，面部特征随光线变化较大，给稳健的特征提取带来巨大挑战；另一种是特殊人群的面部特征状态，例如有些人的眼睛很小，对于“眯缝眼”的特征识别，将对采用眼睛张开角度大小来判别疲劳的方法，带来不确定性。其次，现有的基于影像视频和深度学习的疲劳驾驶检测容易产生误判。在通过面部特征映射和躯干特征映射进行疲劳程度计算时，会将驾驶员某些自主的面部运动和躯干活动识别为疲劳，例如正常的眨眼，低头等，如何提高疲劳驾驶检测的准确率，减少因驾驶员的面部表情或是身体活动产生的误判，是一个非常难的问题。

5、脑电波数据是利用头皮电位传感器记录人的大脑节律波数据，传感器精度的优劣决定了脑电波的质量。来自同一段数据的不同时刻的脑节律波数据在时序上存在紧密联系。通过提取和分析不同时间段之间脑电波数据特征的联系与差异，能够估计脑电波反映疲劳状态的规律，从而可以充分利用驾驶员的脑节律波数据与驾驶员疲劳状态之间的联系，提高疲劳状态识别的准确率。因此，开展基于脑电波解译的疲劳驾驶识别方法研究，具有重要的现实意义。

技术实现思路

1、本发明为了提高疲劳驾驶识别的准确度，提出了一种基于脑电波解译的疲劳驾驶识别和检测方法及装置。其输入为头皮电位传感器检测的端口序列信号和惯性传感器的加速度信号，输出为对疲劳状态特征分类的标签。

2、本发明的基于脑电解译的疲劳驾驶检测方法包含以下步骤：

3、获取若干驾驶员非疲劳驾驶状态和疲劳驾驶状态下的脑电波信号和与脑电波信号同步的头部加速度数据；

4、分别求非疲劳状态下的脑电波信号和头部加速度数据的平均值，再分别用疲劳状态下的脑电波信号和头部加速度数据减去各自对应非疲劳状态下的平均值，得到脑电波数据集和加速度数据集；

5、构建疲劳状态检测网络，该网络包括信号特征提取模块和决策树判别模块；信号特征提取模块的输入为脑电波数据集和加速度数据集，用于描述脑电波信号和加速度信号特征，并将该特征输入到决策树判别模块，决策树判别模块输出驾驶疲劳状态值；

6、利用脑电波数据集和加速度数据集对疲劳状态检测网络进行训练，得到疲劳驾驶检测模型。

7、进一步地，所述脑电波信号由头皮电位传感器获取，所述头部加速度数据由陀螺仪采集。

8、进一步地，所述特征提取模块由卷积神经网络和递归神经网络组成，卷积网络用于捕捉信号的空间特征，提取不同尺度的特征映射，递归神经网络用于捕捉特征之间的时间关联信息。

9、优选地，所述卷积网络为特征编码网络，采用通用的骨干网络，所述骨干网络包括但不限于vgg16、resnet34、resnet101。

10、进一步地，将脑电波信号和头部加速度数据进行维度的拼装后输入特征提取模块。

11、进一步地，所述决策树判别模块基于随机森林模型，具体创建过程如下：

12、创建一个空的随机森林模型，确定集成中包含的决策树数量，针对每个决策树，从数据集中进行有放回的自举法bootstrap抽样，以创建每个决策树的随机子集的数据，针对每个子集，随机选择一部分特征，以减少每个决策树之间的相关性；使用选定的数据子集和特征子集，为每个决策树训练一个决策树回归模型，每个决策树将学会从特征中预测疲劳状态，重复上述步骤多次，以创建多个决策树，构建随机森林，对于每个决策树，使用模型进行预测，每个决策树将为每个输入样本产生一个疲劳状态的预测值，集成所有决策树的预测，生成一个连续性的疲劳状态预测值。

13、进一步地，决策树的分裂过程基于不纯度减小的准则，采用均方误差来评估分裂点的好坏。

14、进一步地，网络训练过程中采用交叉熵作为损失函数，衡量模型的预测与真实标签之间的差距；使用adam优化算法来最小化损失函数，更新深度学习网络的权重和参数。

15、进一步地，使用训练好的模型进行检测时的具体过程如下：

16、对实时采集的数据进行与训练数据相似的预处理步骤，对于每个时刻，计算过去若干秒接收到的实时采集数据的平均数据值，并将当前时刻的数据值与该平均值做差，以获得一个差异化的数值，这一步骤在装置运行时将连续进行，每个时刻将计算过去五秒的平均值，并将当前时刻的数值与该平均值相减，以得到差异化的数据作为神经网络的输入，确保数据格式与训练数据相匹配，使用训练好的模型来进行推理，将实时的差异化数据传递给模型，模型将输出一个疲劳状态的预测值。

17、基于同一发明构思，本发明还设计了一种电子设备，包括：

18、一个或多个处理器，两种传感器；

19、存储装置，用于存储一个或多个程序报警装置，用于检测到疲劳状态时进行报警；

20、当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的基于脑电波解译的疲劳驾驶识别和检测方法。

21、基于同一发明构思，本发明还设计了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的基于脑电波解译的疲劳驾驶识别和检测方法。

22、本发明的优点：

23、1.本发明创新性地结合脑电信号和加速度信号对疲劳驾驶进行检测，两种模态信号的融合增加了疲劳驾驶的检测精度，可有效减低误判率；其中，采用卷积网络和递归网络分别提取特征的空间信息和时间信息，实现了时空信息的无缝融合，提高了检测准确度。

24、2.本发明创新性使用随机森林模块，集成多个决策树的结果进行回归训练，经过多个决策树的结果抽样和集成，大大增强了网络的收敛速度和泛化能力，进而提高了疲劳驾驶判别的准确率。

25、3.本发明在数据预处理时，采用了求差的方式，通过大样本量的估计，得到具有普遍意义的数据分布，从而能显著减小噪声数据的影响。