一种基于多模态融合的驾驶状态识别方法及系统

本发明属于智能交通，涉及一种基于多模态融合的驾驶状态识别方法及系统。

背景技术：

1、疲劳驾驶和分心驾驶是导致重大事故最常见的两种原因。在多种交通方式并存的情况下，对驾驶人的驾驶状态进行准确检测，可以极大地提高城市道路交通的安全性和道路运行效率。目前主流研究依赖视觉特征、脑电、眼电、肌电等来识别不良驾驶状态，但这些数据采集设备价格高昂且与身体接触影响正常操作，以及易受光照和遮挡物等影响，几乎不适用。

2、疲劳驾驶行为和分心驾驶行为是两种常见的不良驾驶行为。疲劳驾驶通常由于驾驶员休息不充分、长时间驾驶或夜间驾驶等原因产生的，其表现包括注意力不集中、反应迟缓、频繁打哈欠和眨眼等现象。分心驾驶是由于驾驶员习惯性地接打电话、抽烟等行为导致的，这些行为同样导致注意力分散和反应迟缓。上述现象都极易导致交通事故的发生。因此，快速准确地检测驾驶员的不良驾驶行为，对于保障驾驶员、乘客及行人的安全至关重要。

3、尽管现有技术中曾提出一些驾驶状态识别方法，然而这些方法往往由于特征关联性差、采集设备具有侵入性、数据源单一、特征融合精度低等原因，导致最终识别效果不佳。

4、在特征关联性方面，现有技术对不同特征的贡献没有进行有效评估，导致不同特征的处理权重不合理，将所有特征都作为输入，输入到识别模型中，影响了模型的准确度。

5、在采集设备侵入性方面，传统的生理检测设备成本高昂且舒适性低，可能会干扰驾驶员的驾驶行为，进而影响其状态识别。此外，使用脑电设备或生理信号传感器的组合进行不良驾驶状态检测时，需要在驾驶员身上贴上许多电极或传感器，这可能是侵入性的。实际驾驶中的许多动作都会在测量信号中产生伪迹，影响不良驾驶状态检测的准确性。

6、在数据源来源方面，现有的不良驾驶状态识别系统主要依靠单一信号来源作为输入，从而导致了较高的误报率和漏报率。尽管许多研究者曾提出利用传感器来获取多模态信息，从而综合检测驾驶员的不良驾驶状态。然而，由于许多数据采集困难、算法识别复杂、检测结果易受外部因素的影响等原因，给不良驾驶状态识别带来了极大的挑战。

7、在特征融合精度方面，现有的不良驾驶状态识别方法往往未能有效融合来自不同来源的特征，导致识别精度不高。此外，许多方法未充分评估各特征的重要性，导致特征处理权重分配不合理，直接将所有特征均匀输入到模型中，从而影响了模型的准确性。更重要的是，现有技术在实时性和计算效率上存在不足，难以满足实际应用需求。

技术实现思路

1、本发明的目的在于提出一种基于多模态融合的驾驶状态识别方法，该方法基于多模态数据特征融合，通过引入加权融合机制，根据各特征对特定驾驶状态识别的贡献度自动调整其权重，利于提高了驾驶状态识别精度，同时有效提升了模型的实时性和计算效率。

2、本发明为了实现上述目的，采用如下技术方案：

3、一种基于多模态融合的驾驶状态识别方法，包括如下步骤：

4、步骤1. 对心理信号数据、生理信号数据、驾驶绩效数据以及手腕运动信息进行多模态数据信息综合采集，并对采集到的多模态数据进行预处理；

5、步骤2. 针对预处理后的多模态数据进一步进行特征提取，并通过friedman检验和bonferroni修正，从特征提取结果中筛选出在不同驾驶状态下具有显著性差异的特征；

6、步骤3. 搭建特征动态加权模型，用于捕捉驾驶状态下的特征动态变化和特征间的关联性并根据特征状态变化实时调整特征的重要性权重；

7、该特征动态加权模型包括lstm模块、交叉注意力机制模块以及transformer模块；

8、将筛选出的特征送入lstm模块，lstm模块捕捉不同特征的时间依赖关系；

9、每个输入lstm模块的特征，在lstm模块中都会经历时序建模过程，lstm从每个特征的时序模式中学习驾驶员在不同行为状态下的动态变化；

10、lstm模块将每个特征在不同时间步的隐藏状态向量输出；将lstm模块输出的隐藏状态向量分为四类，分别对应生理信号数据、心理信号数据、驾驶绩效数据及手腕运动信息；

11、其中，每类隐藏状态向量分别包含对应模态中各特征的时间依赖信息；

12、将四类隐藏状态向量输入交叉注意力机制模块，交叉注意力机制模块计算多个模态之间的注意力权重，动态调整每个模态特征的贡献，并融合不同模态的信息；

13、将交叉注意力机制模块的输出特征输入transformer模块，进一步利用transformer模块的多头自注意力机制，实现不同模态数据的深度交互和特征增强，得到融合特征，即加权后的生理信号数据、心理信号数据、驾驶绩效数据以及手腕运动信息特征；

14、步骤4. 搭建基于xgboost的驾驶状态识别模型，并进行模型训练，训练后的驾驶状态识别模型基于步骤3计算得到的融合特征，从而预测得到驾驶状态识别结果。

15、此外，在上述基于多模态融合的驾驶状态识别方法的基础上，本发明还提出了一种与之对应的基于多模态融合的驾驶状态识别系统，其采用如下技术方案：

16、一种基于多模态融合的驾驶状态识别系统，包括传感设备以及计算机设备；其中，传感设备包括非侵入性生理手环、以及踏板传感器和惯性导航传感器；

17、非侵入性生理手环用于采集生理、心理信号数据和手腕运动信息，其中生理信号和心理信号数据是由手环中内置传感器采集；手腕运动信息通过手环中加速度仪和陀螺仪采集；

18、驾驶绩效数据是由车辆的踏板传感器和惯性导航传感器采集得到的；

19、其中各传感设备均与计算机设备相连，并用于将采集的数据传递给所述计算机设备；

20、计算机设备包括存储器和一个或多个处理器； 所述存储器中存储有可执行代码，当处理器执行所述可执行代码时，用于实现如上所述的基于多模态融合的驾驶状态识别方法。

21、本发明具有如下优点：

22、如上所述，本发明述及了一种基于多模态融合的驾驶状态识别方法，该方法通过非侵入性的生理手环采集驾驶员的手腕运动信息，为驾驶状态识别提供了额外的维度。手腕运动信息的引入能够更精确地捕捉驾驶员在动态驾驶过程中的微小运动变化，增强了对驾驶员状态的监控，手腕运动信息与传统的生理信号（包括hrv、eda）和驾驶绩效数据相结合，全面提升了驾驶状态识别的准确性和鲁棒性。此外，本发明还提出了一种基于lstm模块、交叉注意力机制模块cross-attention以及transformer模块组成的特征动态加权模型(简称lca-transformer)，在lca-transformer模型中，lstm模块用于捕捉时间序列中的长期依赖关系，而cross-attention模块通过自注意力机制对不同模态间的特征进行加权，使得各个特征的动态重要性能够根据不同驾驶状态发生调整，这一机制显著提高了模型在复杂驾驶场景中的适应性和性能，能够精准识别驾驶员的驾驶状态。本发明在传统的lstm网络基础上，结合transformer的多头自注意力机制，实现了不同模态数据的深度交互和特征增强，此外通过cross-attention机制，使得各个模态特征之间建立了更强的关联性。lca-transformer模型能够充分利用多模态信息，增强了特征间的非线性关系理解，从而利于提升驾驶状态的分类精度。通过多模态特征的综合分析，本发明利用xgboost模型进行分类，模型能够基于手腕运动信息、驾驶绩效数据以及心理生理信号特征，准确区分不同的驾驶状态。本发明能够精确地进行三分类任务，即识别驾驶员的三种驾驶状态：正常驾驶、疲劳驾驶和分心驾驶，这种三分类能力为实时驾驶员行为监控提供了重要支持，能有效预防交通事故的发生。