一种基于多源生理信息的驾驶员疲劳及情绪评价方法与流程

本发明涉及汽车辅助驾驶领域，尤其是一种基于多源生理信息的驾驶员疲劳及情绪评价方法。

背景技术：

近年来随着中国汽车保有量的迅速增加，道路交通安全问题和驾驶人员舒适度体验已经成为社会焦点。据不完全统计，我国每年都有近10万人因车辆交通事故失去生命，已经连续10年位列世界第一，交通事故成为全国各项事故中伤亡人数最多的一项，其中由于驾驶疲劳、突发疾病及路怒症等驾驶状况异常引发的交通安全事故占比35％以上，严重威胁着广大社会群体的生命财产安全。因此，对影响驾驶行为的疲劳度、情绪等生理状态进行监测和调节，减少危险驾驶行为保障交通安全意义重大。

近年来，国内外学者对脑电和心电等生理信号以及使用神经网络识别驾驶员疲劳程度进行了大量的研究。目前针对驾驶员疲劳的评价方法几乎使用的是单一的疲劳检测指标(脑电或心电)，本身错误率就很高，而且使用传统的分类方法(如参数估计和模糊回归)识别效果不好。而模糊神经网络尤其适用于构建高度非线性模型，通过模仿神经网络的行为特性进行分布式并行信息处理，通过训练数据调整神经元的权重达到处理信息的目的。

技术实现要素：

本发明目的在于提供一种基于多源生理信息的驾驶员疲劳及情绪评价方法，所述方法采集驾驶员脑电、心电、肌电和姿态信息这四种生理指标，利用模糊神经网络进行疲劳及情绪评价，最终基于遗传算法不断学习驾驶员疲劳和情绪评价指标并提取规则，提高评价的准确性。

为实现上述目的，采用了以下技术方案：本发明所述方法包括以下步骤：

步骤1，利用mp150wsw同步采集脑电信号、心电信号和肌电信号，通过惯性传感器模块采集头部姿态信息；

步骤2，利用mp150wsw设备数据处理软件对采集到的脑电信号、心电信号和肌电信号进行预处理，并对生理信号进行特征提取；

步骤3，利用脑电、心电、肌电和姿态信号作为模糊神经网络的输入，输出为驾驶员的疲劳和情绪状态；

步骤4，基于神经网络评估模型，利用遗传算法不断学习驾驶员的评价指标，提取驾驶员疲劳及情绪评价的规则方法。

进一步的，在步骤1中，使用mp150wsw同步采集脑电信号、心电信号和肌电信号；其中，脑电电极采用国际10—20系统标准，以双耳电极作为参考电极，记录相应的脑电信号；心电电极的布置采用胸骨导联方式；肌电电极放置在颈部处；使用jy901九轴惯性传感器采集驾驶员头部位置信息。

进一步的，在步骤2中，预处理后的实测数据构建脑电信号x(t)、心电信号y(t)、肌电信号z(t)和姿态信号h(t)；提取脑电的功率谱特征数据—脑电疲劳指数f(α+θ)/β/fβ/α和反应情绪变化的β波/γ波的平均功率谱能量值、心电的时域特征数据—心率(hr)、rr间期的标准差(sdnn)和相邻rr间期差值的均方根(rmssd)、肌电信号的频域特征数据—平均功率频率(mpf)和中值频率(mf)。

进一步的，所述步骤3的具体方法如下：

构建模糊神经网络模型，基于步骤2中的生理特征指标作为神经网络的输入，输出为驾驶员疲劳情绪状态，输出—输入的关系可以写为：

y＝wlogsig(vx-b)-c(1)

式中，logsig(x)表示对数s形函数：

并引入lm算法训练神经网络参数的值(即输入到隐含层权值矩阵v，隐含层到输出权值矩阵w，隐含节点偏差矩阵b，和输出节点偏差矩阵c，)和隐藏层中使用的隐藏节点(即k)；利用训练好的神经网络对驾驶员的eeg、ecg、emg和姿态信号进行分类，计算出驾驶员的“清醒—疲劳”和“愉快—悲伤”。

进一步的，所述步骤4的具体方法如下：基于神经网络分类模型提取驾驶员疲劳及情绪评价的规则方法；基于神经网络分类单元可以看出当驾驶员处于疲劳(情绪愤怒)驾驶时，驾驶员生理指标(x0,x1,x2…x9)在一些特定的阈值里面；基于驾驶员生理参数指标的阈值可以直接评价驾驶员的疲劳及情绪状态；生成的规则可以表示如下：

r1:x11＜x1≤x′11andx12＜x2≤x′12......x19＜x9≤x′19theny＝1

andx″1＜x1≤x″′11andx″12＜x2≤x″′12......x19＜x9≤x″′19theny′＝1

r2:x21＜x1≤x′21andx22＜x2≤x′22......x29＜x9≤x′29theny＝1

andx″21＜x1≤x″′21andx″22＜x2≤x″′22......x″29＜x9≤x″′29theny′＝1

rn:xn1＜x1≤x′n1andxn2＜x2≤x′n2......xn9＜x9≤x′n9theny＝1

andx″n1＜x1≤x″′n1andx″n2＜x2≤x″′n2......x″n9＜x9≤x″′n9theny′＝1

使用遗传算法搜索参数(x10,x′10,x″10,x″′10……xn9,x′n9,x″n9,x″′n9)，在遗传算法中，n是从神经网络提取的规则数量；n越大，神经网络产生的数据越可能被规则覆盖，更可能实现更好的精度。

与现有技术相比，本发明具有如下优点：

1、融合驾驶员脑电、心电、肌电和姿态信号评价驾驶员的疲劳及情绪，强调决策信息的全面性，分类效果比单体特征好；

2、基于评估模型并利用遗传算法不断学习驾驶员的评价指标，提取驾驶员疲劳及情绪评价的规则方法，极大地提高了驾驶员疲劳及情绪评价的准确率，降低了交通事故的发生概率。

附图说明

图1为本发明方法的工作结构框图。

图2为本发明中mp150wsw设备的结构示意图。

图3为本发明中模糊神经网络评估模型结构示意图。

图4为本发明中规则发现系统的机构示意图。

图5为本发明方法的流程框图。

附图标号：1-惯性信息采集仪、2-脑电电极、3-生理信息采集仪、4-心电电极、5-肌电电极。

具体实施方式

下面结合附图对本发明做进一步说明：

如图1、5所示，本发明方法包括以下步骤：

步骤1，利用mp150wsw同步采集脑电信号、心电信号和肌电信号，通过惯性传感器模块采集头部姿态信息；

步骤2，利用mp150wsw设备数据处理软件对采集到的脑电信号、心电信号和肌电信号进行预处理，并对生理信号进行特征提取；

步骤3，利用脑电、心电、肌电和姿态信号作为模糊神经网络的输入，输出为驾驶员的疲劳和情绪状态；

步骤4，基于神经网络评估模型，利用遗传算法不断学习驾驶员的评价指标，提取驾驶员疲劳及情绪评价的规则方法。

如图2所示同步采集驾驶员脑电信号、心电信号、肌电信号和姿态信号：

脑电信号采集及处理：脑电电极采用国际标准10—20电极放置标准，通过电极帽1实现电极与头皮接触，m1、m2导联分别连接到左右耳后乳突作为参考电极，从32导头皮脑电采集设备中选择fp1、fp2、f3、f4、c3、c4、p3、p4区对应的脑电信号，去除基线漂移、溢出、眼动和工频干扰，提取脑电的功率谱特征数据—脑电疲劳指数f(α+θ)/β/fβ/α和反应情绪变化的β波/γ波的平均功率谱能量值；

心电信号采集及处理：心电电极布置采用胸骨导联方式，对心电信号进行预处理并提取心电时域特征参数—心率(hr)和心率变异性(hrv)，其中hrv主要选取与驾驶员疲劳及情绪相关的rr间期的标准差(sdnn)、相邻rr间期差值的均方根(rmssd)。

肌电信号采集及处理：采集驾驶员颈部肌电信号，对肌电信号进行预处理并提取肌电频域特征参数—平均功率频率(mpf)和中值频率(mf)。

姿态信号采集及处理：使用jy901九轴惯性传感器采集驾驶员头部姿态信息。

如图3所示，建立三层模糊神经网络，输入层为以上生理特征参数：疲劳指标f(α+θ)/β(x0)、疲劳指标fβ/α(x1)、β波平均功率谱能量(x2)、γ波平均功率谱能量(x3)、心率变化(x4)、rr间期的标准差(x5)、相邻rr间期差值的均方根(x6)、肌电mpf(x7)、mf(x8)和头部姿态信息(x9)。每组训练数据要求被试者采取自我评价模式，对愉快度和清醒度进行9等级量表(1-9分)评分，评分越高，疲劳度(悲伤度)越高，如表1所示。可以划分为：

表1被试者疲劳情绪自我评价统计表：

模糊神经网络的输入向量为x＝(x0,x1,x2,x3……x9)^t，输出向量y＝(y1,y2)^t，输入到隐含层的权值为式中，k表示隐藏节点的数量，隐含层到输出的权值为隐藏节点偏差b＝(b1,b2,b3……bk)^t，输出节点偏差c＝(c1,c2)^t,输出—输入的关系可以写为：

y＝wlogsig(vx-b)-c(1)

式中，logsig(x)表示对数s形函数：

引入lm算法训练神经网络参数值(即输入到隐含层权值矩阵v，隐含层到输出权值矩阵w，隐含节点偏差矩阵b，和输出节点偏差矩阵c，)和隐藏层中使用的隐藏节点(即k)，这两个参数的设置极大地影响了神经网络估计的准确性。其中，隐藏层k分别取5层，8层，11层，14层，17层和20层，建立6种不同的神经网络架构并测试训练误差。

如图4所示，基于神经网络分类单元可以看出当驾驶员处于疲劳(情绪愤怒)驾驶时，驾驶员生理指标(x0,x1,x2…x9)在一些特定的阈值里面。r1，r2，r3…rn即是驾驶员生理参数x0，x1，x2…x9的域，基于这些域可以提取驾驶员疲劳及愤怒指标的n个规则：

r1:x11＜x1≤x′11andx12＜x2≤x′12......x19＜x9≤x′19theny＝1

andx″′11＜x1≤x″′11andx″12＜x2≤x″′12......x19＜x9≤x″′19theny′＝1

r2:x21＜x1≤x′21andx22＜x2≤x′22......x29＜x9≤x′29theny＝1

andx″21＜x1≤x″′21andx″22＜x2≤x″′22......x″29＜x9≤x″′29theny′＝1

rn:xn1＜x1≤x′n1andxn2＜x2≤x′n2......xn9＜x9≤x′n9theny＝1

andx″n1＜x1≤x″′n1andx″n2＜x2≤x″′n2......x″n9＜x9≤x″′n9theny′＝1

其中，n是规则的数量，n越大，驾驶员处于疲劳及愤怒的生理指标数据越可能被规则覆盖，并且更可能实现更好的精度。因此，n的值最初设置为1。如果遗传算法不能满足终止条件，则在下一个遗传算法运行之前n增加1。随着n的增加，更可能实现更好的准确率。

遗传算法首先创建一个随机种群p(t)＝{α1(t),α2(t),α3(t)……αm(t)}，其中t＝0，表示群体进化次数，m是群体中串的数目，α1(t)表示n个规则的生理参数，可以表示为：α1(t)＝{x11,x′11,x″11,x″′11,x12,x′12,x″12,x″′12……xn9,x′n9,x′n9,x″′n9}。然后基于适应度函数来评估每个字符串，将适应度得分分配给每个串，串选择过程是基于每个串的得分来确定下一代的潜在串的选择。使用轮盘算法选择字符串α1(t),α2(t),α3(t)……αm(t)，进入下一个进化群体p(t)，最后通过交叉和突变进行字符串的进化。每个字符串的适应度函数定义为：

其中α和β分别是该字符串表示疲劳状态的灵敏度和特异性，α′和β′分别是该字符串表示情绪状态的灵敏度和特异性，并且λ∈[0，1]是控制灵敏度和特异性的重要常数值。α，α′，β，β′定义如下

其中ntp为真阳性的数目，意味着疲劳驾驶员被正确判断为疲劳；nfn是假阴性的数量，意味着疲劳驾驶员被错误判断为清醒；nfp是假阳性的数量，意味着清醒状态被错误判断为疲劳；ntn是真阴性的数目，意味着清醒状态被正确判断为清醒。ntp′为真阳性的数目，意味着情绪悲伤驾驶员被正确判断为悲伤；nfn′是假阴性的数量，意味着情绪悲伤驾驶员被错误判断为愉快；nfp′是假阳性的数量，意味着情绪愉快驾驶员被错误判断为悲伤；ntn′是真阴性的数目，意味着情绪愉快驾驶员被正确判断为愉快。通过使用遗传算法将α和β最大化，通过进化、交叉和突变改进字符串，直至满足终止条件。

交叉主要为选择两个父字符串进行交叉产生新字符串，一个新字符串{x11,x′11,x″11,x″′11,x12,x′12,x″12,x″′12……xn9,x′n9,x″n9,x″′n9}的生成如下式所示：

其中，α∈[-0.5,1.5]中随机选取的缩放因子。

突变为随机改变所选字符串中的一个或多个参数值来执行操作。例如参数xij执行突变后，其值变为：

x′ij＝xij+a×rij×δ(9)

其中，a为等概率随机取的1或-1，rij为xij上限和下限和的一半，δ为δ∈[0,1]。

将新生成的字符串随机重新插入旧群体p(t)产生下一代新的群体p(t+1)，进化过程持续进行，直到满足终止条件，即只需找到具有α，α′＞0.75和β，β′＞0.6的字符串。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。