一种驾驶员疲劳状态识别方法及系统与流程

本发明涉及属于汽车智能交互技术领域，尤其涉及一种驾驶员疲劳状态识别方法及系统。

背景技术：

随着汽车智能化的起步，人们对于汽车良好的体验的需求，使得人们希望汽车越来越懂自己，并且根据自己的状态和需求定制对应的服务内容和辅助驾驶。

疲劳驾驶是导致交通事故的重要原因之一，当前，被动检测驾驶员疲劳状态的方法存在多种问题，具体而言，针对检测驾驶车辆状态(方向盘静止时间，偏离车道频次等)的方法，存在准确率低，误报警率高等问题。针对检测驾驶员生理特征(脉搏，脑电，心电，肌电，皮电等)的方法，存在测试条件苛刻，价格过高，接触式测量等问题。针对检测驾驶员行为(头部姿态，瞳孔大小，眨眼行为，打哈欠行为等)的方法，存在技术难度大，环境适应性差(如光照条件)等问题。

技术实现要素：

鉴于上述的分析，本发明实施例旨在提供一种驾驶员疲劳状态识别方法及系统，用以解决现有技术中疲劳状态识别准确率低、技术难度大，环境适应性差的问题。

一方面，本发明提供了一种驾驶员疲劳状态识别方法，包括以下步骤：

采集驾驶员图像信息、驾驶员操作信息以及车辆行驶信息中的至少一种信息；

根据采集的信息，对驾驶员的疲劳状态进行初步识别，得到驾驶员疲劳状态初步识别结果；

根据得到的驾驶员疲劳状态初步识别结果以及车辆所处的行驶场景，改变车辆行驶状态；

根据驾驶员调整车辆行驶状态的操作数据以及对应的车辆行驶数据，进一步判定得到驾驶员疲劳状态。

上述技术方案的有益效果为：通过采集信息，对驾驶员的疲劳状态进行初步识别，根据得到的驾驶员疲劳状态初步识别结果以及车辆所处的行驶场景，改变车辆行驶状态，最后，根据驾驶员调整车辆行驶状态的操作数据以及对应的车辆行驶数据，进一步判定得到驾驶员疲劳状态；这种主动识别的方法，提高了驾驶员疲劳状态识别的准确性，并且有很强的环境适应性，因而，所识别出的驾驶员疲劳状态更加符合实际的驾驶员状态。

进一步地，通过图像采集装置采集驾驶员图像信息，通过车辆can总线采集驾驶员操作信息，通过布设在车上的设备传感器采集驾驶车辆的车辆行驶信息。

进一步地，根据采集的图像信息，对驾驶员的疲劳状态进行初步识别，具体包括，

在识别前的离线阶段，使用人脸数据库训练人脸检测器；同时在人脸图像上标定标记点，根据所述标记点训练标记点拟合器；

通过标记点和驾驶员疲劳状态的关系训练驾驶员疲劳驾驶分类器；

进行人脸的在线识别时，通过人脸检测器在图像信息中检测得到人脸图像，然后通过标记点拟合器拟合人脸图像上的标记点，利用疲劳驾驶分类器根据拟合得到的标记点初步识别驾驶员疲劳状态。

上述进一步方案的有益效果为：通过上述方案实现，根据采集的图像信息，对驾驶员的疲劳状态进行初步识别。

进一步地，根据采集的驾驶员操作信息，对驾驶员的疲劳状态进行初步识别，包括，从所述操作信息中提取操作特征参数，根据操作特征参数在预设的分类器中进行分类，所述分类器中的分类结果识别与所述操作特征相对应的驾驶员驾驶状态；其中所述操作特征参数包括但不限于：触觉信息中的方向盘转角、方向盘角加速度，方向盘静止时间、制动踏板位置、加速踏板位置、离合器踏板位置和变速器档位。

上述进一步方案的有益效果为：通过上述方法实现，根据采集的驾驶员操作信息，对驾驶员的疲劳状态进行初步识别。

进一步地，建立上述预设的分类器，具体包括，

采集预设时间内驾驶员的训练操作信息，并从所述训练操作信息中提取训练操作特征；标注对不同训练操作特征的标签以标示其对应的驾驶员是否处于疲劳驾驶状态；基于预设的分类算法对不同标签下的训练操作特征进行学习、训练，形成预设的分类器。

进一步地，根据采集的车辆行驶信息，对驾驶员疲劳状态进行初步识别，包括，

从所述的车辆行驶信息中提取相关的车辆行驶特征参数，根据所述的车辆行驶特征参数在预设的分类器中进行分类，根据所述分类器中的分类结果识别与所述车辆行驶特征参数相对应的驾驶员疲劳状态；其中，所述驾驶车辆行驶特征参数包括但不限于：驾驶车辆行驶信息中的车辆速度、位置、加速度、横摆角速度、车辆相对周围车辆的速度，距离和加速度。

上述进一步方案的有益效果为：通过上述方案实现，根据采集的车辆行驶信息，对驾驶员疲劳状态进行初步识别。

进一步地，建立上述预设的分类器，包括，

采集预设时间内车辆行驶中的训练行驶信息，并从所述训练行驶信息中提取训练行驶特征；标注获取的不同训练行驶特征的标签，以标示其对应的驾驶员是否处于疲劳驾驶状态，并基于预设的分类算法，对不同标签下的训练行驶特征进行学习、训练，形成预设的分类器。

进一步地，根据得到的驾驶员疲劳状态初步识别结果以及车辆所处的行驶场景，改变车辆行驶状态，包括，

根据得到的驾驶员疲劳状态初步识别结果和车辆所处的行驶场景，在预先建立的各场景主动探测模型中匹配与该场景对应的主动探测模型，所述主动探测模型根据当前车辆状态，主动改变车辆行驶状态；

所述行驶场景，包括，本车车道内前方无车场景、本车车道内后方无车场景、本车右侧车道内无车场景和本车左侧车道内无车场景中至少一种；

建立各场景主动探测模型，具体包括，设定行驶场景，设定改变驾驶车辆行驶状态的方式，采集驾驶员在不同车辆速度和加速度下，对不同幅度的车辆行驶状态改变做出的调整，根据调整数据和相对应的车辆行驶数据，利用逆强化学习求出驾驶员回报函数以及对应的车辆回报函数，从而建立以最大化车辆回报函数和最大化驾驶员回报函数为优化目标的主动探测模型。

上述进一步方案的有益效果为：通过上述方案实现，根据得到的驾驶员疲劳状态初步识别结果以及车辆所处的行驶场景，改变车辆行驶状态。

进一步地，根据驾驶员调整车辆行驶状态的操作数据以及对应的车辆行驶数据，进一步判定得到驾驶员疲劳状态，包括，

检测驾驶员调整车辆行驶状态时的操作数据以及相对应的车辆行驶数据；从所述操作数据和车辆行驶数据中提取疲劳特征参数，将疲劳特征参数在预设分类器中进行分类，通过所述分类器识别出与疲劳特征参数相对应的驾驶员疲劳状态，从而进一步判断得到驾驶员疲劳状态；其中，所述疲劳特征参数包括操作特征参数和车辆行驶特征参数。

上述进一步方案的有益效果为：通过上述方案实现，进一步判定驾驶员疲劳状态。

另一方面，本发明提供了一种驾驶员疲劳状态识别系统，包括疲劳信息采集模块、疲劳驾驶判定模块、行驶场景识别模块、车辆主动探测模块和疲劳状态识别模块；

疲劳信息采集模块，用于采集驾驶员的图像信息，操作信息以及驾驶车辆行驶信息中的一种；

疲劳驾驶判定模块，用于根据采集的信息，对驾驶员的疲劳状态进行初步识别，得到驾驶员疲劳状态初步识别结果；

车辆主动探测模块，用于根据驾驶员疲劳状态和车辆所处的行驶场景，改变车辆行驶状态；

疲劳状态识别模块，用于根据驾驶员调整车辆行驶状态的操作数据以及相对应的车辆行驶数据，进一步识别得到驾驶员疲劳状态结果。

上述技术方案的有益效果为：通过上述系统实现了驾驶员疲劳状态的识别，提高了驾驶员疲劳状态识别的准确性和环境适应性。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例1所述方法流程示意图；

图2为本发明实施例2所述系统示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

实施例1

本实施例提供一种驾驶员疲劳状态识别方法，如图1为本实施例所述方法流程示意图。

包括以下步骤：

步骤s101、采集驾驶员图像信息、驾驶员操作信息以及车辆行驶信息中的至少一种信息；

具体的，通过图像采集装置，如摄像头，采集驾驶员的图像信息；通过车辆can总线获取驾驶员的操作信息；通过布设在车上的设备传感器采集驾驶车辆的车辆行驶信息，所述车辆行驶信息包括车辆的姿态信息、当前车况信息、驾驶时长、车辆行驶轨迹信息等，所述设备传感器可以包括至少以下一种或者几种传感器的组合：加速度传感器、速度传感器、红外传感器等。

步骤s102、根据采集的信息，驾驶员的疲劳状态进行初步识别，得到驾驶员状态初步识别结果；

具体实施时，可以通过图像信息、驾驶员操作信息以及车辆行驶信息中的任一信息识别驾驶员疲劳状态。

当根据采集的图像信息，对驾驶员疲劳状态进行初步识别，包括：在识别前，离线阶段需要进行人脸的离线训练，所述离线训练使用人脸数据库训练人脸的检测器；同时在人脸图像上标定标记点，根据所述人脸图像标记点训练标记点拟合器；通过人脸标记点和驾驶员疲劳状态的关系训练驾驶员疲劳驾驶分类器。当进行人脸的在线识别时(即需要根据图像数据进行驾驶员疲劳驾驶状态的识别时)，通过人脸检测器在图像数据中检测人脸图像，然后通过标记点拟合器拟合人脸图像上的标记点，疲劳驾驶分类器根据拟合所得到的标记点识别驾驶员疲劳状态。

当根据获取的驾驶员操作信息，对驾驶员的疲劳状态进行初步识别时，包括：从所述相关操作信息中提取相关的操作特征参数，根据相关操作特征参数在预设的分类器中进行分类，根据所述的分类器中的分类结果识别与所述相关操作特征相对应的驾驶员驾驶状态。

具体的，建立上述预设的分类器，包括：采集预设时间内驾驶员的训练操作信息，并从所述训练操作信息中提取训练操作特征；标注对不同训练操作特征的标签以标示其对应的驾驶员是否处于疲劳驾驶状态；基于预设的分类算法对不同标签下的训练操作特征进行学习、训练，形成预设的分类器。

当根据获取的车辆行驶信息，对驾驶员疲劳状态进行初步识别时，包括：从所述的车辆行驶信息中提取相关的车辆行驶特征参数，根据所述的车辆行驶特征参数在预设的分类器中进行分类，根据所述分类器中的分类结果识别与所述行驶特征相对应的驾驶员疲劳状态。

具体的，建立上述预设的分类器包括，包括：采集预设时间内车辆行驶中的训练行驶信息，并从所述训练行驶信息中提取训练行驶特征；标注获取的不同训练行驶特征的标签，以标示其对应的驾驶员是否处于疲劳驾驶状态，并基于预设的分类算法，对不同标签下的训练行驶特征进行学习、训练，形成预设的分类器。

步骤s103、根据得到的驾驶员疲劳状态初步识别结果以及车辆所处的行驶场景，按照设定好的主动探测模型，适当的改变车辆行驶状态；

具体的，根据交通环境信息，判断车辆所处的行驶场景，在预先建立的各场景主动探测模型中匹配与该场景对应的主动探测模型，所述的主动探测模型根据当前车辆状态，适当地改变车辆行驶状态。

上述改变车辆行驶状态，具体包括：改变所有能引起驾驶员视觉或触觉上反应的车辆行驶状态(如，减速、加速、左转和右转等)。

上述车辆状态包括车辆行驶状态(例如，减速、加速、左转和右转等)和操作信息(方向盘转角、方向盘角加速度，方向盘静止时间、制动踏板位置等)。

根据交通环境信息，判断车辆所处的行驶场景的过程具体包括：通过布设在车上的设备传感器采集驾驶车辆所处的环境信息；所述的设备传感器可以包括至少以下一种或者几种传感器的组合：激光测距传感器、超声波传感器、摄像头、车车通讯仪等；根据车上布设的这些传感器获取的信息，就可以得到当前车辆周围车辆的位置、速度、加速度、姿态信息以及道路的宽度、曲率信息等，从而根据以上道路环境信息判断车辆所处的行驶场景。

本发明实施例中，所述行驶场景包括：本车车道内前方无车场景、本车车道内后方无车场景、本车右侧车道内无车场景和本车左侧车道内无车场景中至少一种。

预先建立各场景主动探测模型过程具体包括：设定场景为本车车道内后方无车场景，改变驾驶车辆行驶状态的方式是缓慢减速；未疲劳状态下采集驾驶员在不同车速υ(t)和加速度a(t)下，对不同幅度的车辆缓慢减速a-(t)作出的调整加速度a+(t)，根据所述的调整数据以及车辆行驶数据，利用逆强化学习求出未疲劳状态下的驾驶员回报函数以及对应的车辆回报函数rv(υ(t),a(t),a-(t),a+(t))，从而建立以最大化车辆回报函数

和最大化驾驶员回报函数为优化目标的主动减速探测模型。

其他各场景主动探测模型，基于上述类似方式建立；具体包括：设定改变驾驶车辆行驶状态的方式，采集驾驶员在不同车辆速度和加速度下，对不同幅度的车辆行驶状态改变做出的调整，根据调整数据和车辆行驶数据，利用逆强化学习求出驾驶员回报函数以及对应的车辆回报函数，从而建立以最大化车辆回报函数和最大化驾驶员回报函数为优化目标的主动探测模型。

在预先建立的各场景主动探测模型中匹配与该场景对应的主动探测模型；所述的主动探测模型根据当前车辆行驶状态，适当地改变车辆行驶状态的过程具体包括：

设定行驶场景为本车车道内后方无车场景，设定驾驶员处于疲劳驾驶状态；车辆检测到车辆当前行驶场景为本车道内后方无车场景后，将当前时刻的行驶车辆的车速υ(t)和加速度a(t)输入到上述的主动减速探测模型中，从而得到最优化的下一时刻的车辆探测减速度(即求出使得所述的车辆回报函数取得最大值的车辆减速度)。

步骤s104、根据驾驶员调整车辆行驶状态的操作数据以及对应的车辆行驶数据，进一步判定得到驾驶员疲劳状态。

具体的，当检测到驾驶员对车辆行驶状态进行调整时，从相关的操作数据和车辆行驶数据中提取相关的疲劳特征参数，根据相关疲劳特征参数在预设的分类器中进行分类，根据所述的分类器识别出与所述相关行驶特征相对应的驾驶员疲劳状态。

本发明实施例中，所述的疲劳状态包括但不限于为：未疲劳，轻度疲劳和重度疲劳。

上述预设分类器的建立过程具体包括：分别采集驾驶员在未疲劳轻度疲劳重度疲劳三种状态下，对不同车辆减速度a-(t)和速度υ(t)探测行为，调整车辆行驶状态的操作参数和车辆行驶参数(如，车辆开始实施减速动作到驾驶员开始加速的时间差驾驶员开始加速时的车速驾驶员开始加速时车辆加速度驾驶员开始加速时所提供的加速度等)作为训练数据；标记采集到训练数据所对应的驾驶员疲劳状态；利用预设的分类算法，如bp神经网络，对不同标签下的训练数据进行学习、训练，形成预设的分类器。

根据所述的分类器识别出与所述相关行驶特征相对应的驾驶员疲劳状态过程具体包括：采集驾驶员针对车辆以减速度为a-(t)的探测行为所调整的操作数据和相对应的车辆行驶数据，提取出的上述的操作参数(δt，a+)和车辆行驶参数(υ0，a0)，并输入到所述的分类器中，得到驾驶员的疲劳状态

本发明实施例提供了一种驾驶员疲劳状态识别方法，所述方法可以通过主动探测驾驶员的疲劳状态，依据驾驶员的对车辆主动探测动作的反应识别出驾驶员的疲劳状态；所述方法避免了被动检测疲劳方法所带有的误报率高问题以及被动检测驾驶员生理信息所具有的负作用大，成本高，测试条件苛刻等问题，提高了驾驶员状态识别准确性及环境适应性，使得所识别出的驾驶员疲劳状态更加符合实际情况。

实施例2

本实施例提供一种驾驶员疲劳状态识别系统；所述系统具体包括疲劳信息采集模块、疲劳驾驶判定模块、行驶场景识别模块、车辆主动探测模块和疲劳状态识别模块；

疲劳信息采集模块，用于采集驾驶员的图像信息，操作信息以及驾驶车辆行驶信息中的一种；

具体的，疲劳信息采集模块包括布设在车内外的设备传感器、图像采集装置以及车辆can总线；

通过布设在车内外的设备传感器采集驾驶车辆行驶信息，所述设备传感器可以包括至少以下一种或者几种传感器的组合：加速度传感器、速度传感器、角速度传感器、红外传感器、激光测距传感器、超声波传感器等；所述车辆驾驶行驶信息包括车辆的姿态信息、车况信息、路况信息、驾驶时长、车辆驾驶轨迹信息等；

通过图像采集装置，如摄像头采集驾驶员的图像信息；以及通过can总线采集驾驶员的操作信息；

疲劳驾驶判定模块，用于根据采集的信息，对驾驶员的疲劳状态进行初步识别，得到驾驶员疲劳状态初步识别结果；

进一步地，所述疲劳驾驶判定模块从所述的相关操作数据中提取相关的操作特征参数，根据所述的操作特征参数在预设的判别器中进行判别，最后得到驾驶员疲劳状态初步识别结果；

所述疲劳驾驶判定模块采集预设时间内汽车行驶中的训练操作信息，并从所述训练操作信息中提取训练操作特征；标注采集的预设时间内训练操作特征所对应的驾驶员是否处于疲劳驾驶状态的标签，并基于预设的判别算法对不同标签下的训练操作特征进行学习、训练、形成预设的判别器，对驾驶员的疲劳状态进行初步识别；

疲劳驾驶判定模块根据采集的图像信息，对驾驶员疲劳状态进行初步识别，具体包括：预先需要进行人脸的离线训练，所述离线训练使用人脸的数据库训练人脸的检测器、同时在人脸上标定标记点，根据所述人脸标记点训练标记点拟合器，并且，通过人脸标记点和疲劳驾驶的关系训练疲劳驾驶判别器；当进行人脸的在线运行时(既需要根据图像数据进行疲劳驾驶判定时)通过人脸检测器在图像数据中检测人脸，然后通过标记点拟合器拟合人脸的标记点，疲劳驾驶判别器根据人脸标记点识别当前驾驶员疲劳状态。

行驶场景识别模块，用于采集车辆周围的道路环境信息，根据采集到的道路环境信息，识别车辆的行驶场景；

具体的，所述行驶场景识别模块采集车辆所处的道路环境信息，并根据采集到的道路环境信息，识别车辆的行驶场景，具体包括：通过布设在车上的设备传感器采集车辆周围的道路环境信息；根据车上布设的设备传感器获取的信息，就可以得到当前车辆周围车辆的位置、速度、加速度、姿态信息以及道路的宽度、曲率信息等，从而根据以上道路环境信息判断车辆所处的行驶场景。所述的设备传感器可以包括至少以下一种或者几种传感器的组合：激光测距传感器、超声波传感器、摄像头、车车通讯仪等。

车辆主动探测模块，用于根据驾驶员疲劳状态和车辆所处的行驶场景，按照设定好的主动探测模型，适当的改变车辆行驶状态；

具体的，所述车辆主动探测模块根据车辆所处的行驶场景和状态，按照设定好的主动探测模型，适当的改变车辆行驶状态，具体包括：根据所述的行驶场景识别模块得到的行驶场景，在预先建立的各场景主动探测模型中匹配与该场景对应的主动探测模型，并将所述的行驶场景识别模块得到的车辆行驶状态参数输入到匹配的主动探测模型中，主动改变车辆行驶状态。

疲劳状态识别模块，用于根据驾驶员调整车辆行驶状态的操作数据以及相对应的车辆行驶数据，进一步判别出驾驶员疲劳状态。

具体的，所述疲劳状态判别模块根据驾驶员调整车辆行驶状态的操作数据以及相对应的车辆行驶数据，进一步判别出驾驶员疲劳状态，具体包括：当检测到驾驶员对车辆行驶状态进行调整时，提取相关的驾驶员操作特征参数以及车辆行驶特征参数，根据所述的操作特征参数以及车辆行驶特征参数，判定驾驶员疲劳状态；未检测到驾驶员对车辆行驶状态进行调整时，判定驾驶员为重度疲劳状态。

本发明实施例中，所述驾驶员疲劳状态识包括但不限于：未疲劳驾驶、轻度疲劳驾驶、重度疲劳驾驶。

本发明实施例提供了一种驾驶员疲劳状态识别系统，所述方法可以通过主动探测驾驶员的疲劳状态，依据驾驶员的对车辆主动探测动作的反应识别出驾驶员的疲劳状态；所述方法避免了被动检测疲劳方法所带有的误报率高问题以及被动检测驾驶员生理信息所具有的负作用大，成本高，测试条件苛刻等问题，提高了驾驶员状态识别准确性及环境适应性，使得所识别出的驾驶员疲劳状态更加符合实际情况。

需要说明的是，上述实施例之间，其相同或相似之处可相互借鉴。尤其对于系统实施例而言，由于其基本相似与方法实施例，所以，描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。