一种基于视觉的驾驶疲劳检测及预警系统及方法与流程

本发明涉及安全驾驶技术领域，特别涉及一种基于视觉的驾驶疲劳检测及预警系统及方法。

背景技术

中国每年发生交通事故50万起，因交通事故死亡人数均超过10万人。据道路交通事故数据统计，有超过半数的交通事故是由驾驶员的危险或错误车辆操作所导致的。然而，此类人为事故中大部分是由于疲劳驾驶所引发的，因而驾驶行为智能分析预警系统具有重要的应用价值。现有乘用车以及商用车的主动安全系统很少有涉及驾驶员行为分析与提醒的功能，尤其是对于商业运输车辆而言，长时间以及长途驾驶导致上述疲劳驾驶的发生概率更高。现有大部分商用营运车辆不具备功能完善的驾驶员行为监测系统，此类系统大多通过限定驾驶员的长途行车时间来避免疲劳驾驶的行为发生，部分车辆具备行车记录以及操作记录功能，不具备疲劳或危险驾驶行为预警系统，因而无法有效保障长途驾驶的行车安全。

近年来市场中出现的部分驾驶疲劳预警系统，或通过驾驶操纵信号(方向盘转角以及油门、制动踏板信号)，或通过驾驶员眼部开闭程度进行疲劳驾驶行为判断。此类系统所能预警的疲劳行为比较单一，且对于不同驾驶员的预警一致性相对较差。本发明集成包括瞌睡、打哈欠、低头等行为在内的疲劳驾驶行为检测与预警功能，能够有效提升商业运营车辆驾驶员疲劳驾驶行为的监管能力，同时降低此类行为所造成的潜在生命与财产损失。

技术实现要素：

本发明的一个目的在于利用基于频闪远红外补光的驾驶室视觉输入，对驾驶员长途驾驶过程中的疲劳驾驶行为(包括瞌睡、哈欠、低头等)进行智能分析，并通过相应的视觉以及听觉输出设备提示驾驶员，通过特定传输协议将相应的事件上报平台，提供了一种基于视觉的驾驶疲劳检测及预警系统及方法。

本发明解决其技术问题所采用的技术方案是：一种基于视觉的驾驶疲劳检测及预警系统，包括：人脸检测与身份验证模块，用于采集驾驶室图像，提取人脸信息及身份信息；正常驾驶基线数据库模块，用于建立与更新驾驶员疲劳基线；疲劳驾驶行为检测模块，用于基于所述提取到的人脸信息，生成疲劳驾驶roi，进行疲劳驾驶行为识别；疲劳驾驶行为预警模块，用于根据疲劳驾驶行为检测模块的监测结果，判断驾驶员疲劳状态与驾驶疲劳等级，对驾驶员发出疲劳预警信号；以及，疲劳驾驶行为管控模块，用于根据疲劳预警信号，触发驾驶数据记录，上传数据。

进一步地，所述人脸检测与身份验证模块，输入为远红外补光下驾驶室图像，输出为人脸关键点位置、特定部分特定部分人脸特征图谱以及身份编号。

本发明解决其技术问题还提供了一种基于视觉的驾驶疲劳检测及预警系统，分为输入层、分析决策层以及输出层；所述输入层包括：用于采集驾驶室图像的驾驶室监测系统；所述分析决策层包括：图像预处理单元、图像编码单元、图像分析单元以及预警决策生成单元；所述输出单元包括：扬声器、图像输入/输出端口、存储设备以及行车记录单元；所述驾驶室监测系统的采集信号传输至图像预处理单元，经图像预处理后进行图像分析，根据分析结果生成预警策略，通过视觉或听觉的方式输出至扬声器或图像输入/输出端口；图像预处理后进行编码后输出至存储设备以及运营平台的行车记录单元；所述输入层还包括用于采集车速信号、转向信号等的can数据总线，连接至图像编码单元。

本发明解决其技术问题还提供了一种基于视觉的驾驶疲劳检测及预警方法，包括：采集驾驶室图像，提取人脸信息及身份信息，进行人脸检测与身份验证；建立新增驾驶员疲劳基线，更新已有驾驶员疲劳基线；基于所述人脸检测与身份验证模块输出的人脸关键点位置、特定部分特定部分人脸特征图谱，进行疲劳驾驶应用检测；基于疲劳驾驶应用检测结果，判断驾驶员疲劳状态与驾驶疲劳等级，根据不同疲劳行为的预警阈值，发出疲劳预警信号，预警驾驶疲劳行为并显示驾驶疲劳等级状态；根据疲劳预警信号，触发驾驶数据记录，上传数据。

本发明，系统级联人脸以及疲劳驾驶行为多任务检测网络，通过共享人脸检测网络浅层特征以减少网络参数与运算量，从而优化前端网络运行耗时；依据时序确认的疲劳驾驶行为预警信号，兼有事件触发类型的视频记录与上传功能，具备商业运营车辆平台应用前景，通过疲劳事件预警以及总体疲劳监测两种方式提示驾驶员疲劳状态，预警鲁棒性更好。

进一步地，所述采集驾驶室图像，提取人脸信息及身份信息，进行人脸检测与身份验证，包括：将采集的驾驶室图像输入进行网络训练得到的检测网络，输出特定部分特定部分人脸特征图谱和人脸关键点位置，将所述特定部分特定部分人脸特征图谱与录入的人脸信息特征图谱库标准对齐后，与预录入驾驶员人脸库特征进行特征相似度匹配，利用预设相似度阈值，获取驾驶员身份编号。

进一步地，所述建立新增驾驶员疲劳基线，更新已有驾驶员疲劳基线；对于新增驾驶员，利用驾驶开始阶段的驾驶行为分析结果，建立驾驶员疲劳判别基线,包括平均眼睛开度和平均头部俯仰角；对于已录入信息驾驶员，读取驾驶疲劳判别基线数据，利用驾驶开始阶段驾驶行为分析结果，验证并调整对应疲劳基线。

进一步地，所述基于所述人脸检测与身份验证模块输出的人脸关键点位置、特定部分特定部分人脸特征图谱，进行疲劳驾驶应用检测，包括：瞌睡、哈欠行为以及低头行为检测；瞌睡行为检测：对特定部分人脸特征图谱进行眼部roi-pooling，然后利用瞌睡检测网络进行眼部睁闭状态识别以及眼部关键点回归，经公式将关键点位置转换为眼睛张开程度λ，输出当前时刻眼睛睁闭状态s1以及睁闭程度λ；哈欠行为检测：对特定部分人脸特征图谱进行嘴部roi-pooling，然后利用哈欠行为识别网络进行嘴部开闭状态识别，输出嘴部开闭状态s2；低头行为检测：根据预先设置的3d人脸模型，结合采集驾驶室图像的相机内参，通过奇异值分解得到平移向量t和旋转矩阵r，旋转矩阵r分解可得面部平面俯仰角φ。

本发明中，基于瞌睡、哈欠以及低头行为特征联合判断疲劳驾驶状态，疲劳行为定义更完善，可避免疲劳行为漏报。

进一步地，所述基于疲劳驾驶应用检测结果，判断驾驶员疲劳状态与驾驶疲劳等级，根据不同疲劳行为的预警阈值，发出疲劳预警信号，预警驾驶疲劳行为，包括：瞌睡预警提示：定义瞌睡预警参考指标瞌睡行为置信度c1和半分钟平均眼部开度，根据瞌睡行为检测输出的眼部睁闭状态s1计算瞌睡行为置信度c1：c1t+1＝max(0,c1t+(s1-1)*k1+s1*k2)；根据眼部睁闭开度λ，计算半分钟平均眼部开度λ0.5：其中，ts为相机采样周期，k1,k2为配置预警阈值参数，基于驾驶员疲劳基线数据，设定相应的瞌睡置信度预警阈值t1和半分钟平均眼部开度阈值t1’，若c1大于t1或λ0.5小于t1’，则通过事件触发的方式以视觉与听觉信号告警驾驶员；

哈欠预警提示：定义哈欠预警参考指标哈欠行为置信度c2，根据哈欠行为检测输出的哈欠状态s2计算瞌睡行为置信度c2：c2t+1＝max(0,c2t+(s2-1)*k1′+s2*k2′)，其中，k1’,k2’可配置预警阈值参数，设定相应的哈欠置信度预警阈值t2，若c2大于t2，则通过事件触发的方式以视觉与听觉信号告警驾驶员；

低头预警提示：定义低头预警参考指标半分钟平均头部俯仰角φ0.5，根据低头行为检测所得的面部朝向角的俯仰角部分，计算半分钟平均头部俯仰角φ0.5：其中，ts为相机采样周期，基于驾驶员疲劳基线数据，设定相应的半分钟平均头部俯仰角阈值t2’，若φ0.5大于t2’，则通过事件触发方式以视觉与听觉信号告警驾驶员。

进一步地，所述驾驶疲劳等级包括：驾驶正常、轻度疲劳以及重度疲劳；

驾驶疲劳等级判断方法为：根据所述眼部睁闭开度和面部朝向角的俯仰角部分，计算参考指标15分钟平均眼部开度λ15和15分钟平均头部俯仰角φ15，

基于驾驶员疲劳基线数据λref和φref，设定驾驶疲劳等级判定阈值th，tm和tl；若则提示驾驶正常；若则提示轻度疲劳；若则提示中度疲劳；若则提示重度疲劳。

本发明的实质性效果：相比于已有驾驶监测系统本发明的优势在于：(1)此系统级联人脸以及疲劳驾驶行为多任务检测网络，通过共享人脸检测网络浅层特征以减少网络参数与运算量，从而优化前端网络运行耗时；(2)人脸检测中间结果的特定部分人脸特征图谱可用于驾驶员身份比对，并且以此为依据建立驾驶员驾驶行为基线；(3)此系统基于瞌睡、哈欠以及低头行为特征联合判断疲劳驾驶状态，疲劳行为定义更完善，可避免疲劳行为漏报；(4)此系统依据时序确认的疲劳驾驶行为预警信号，兼有事件触发类型的视频记录与上传功能，具备商业运营车辆平台应用前景；(5)本发明通过疲劳事件预警以及总体疲劳监测两种方式提示驾驶员疲劳状态，预警鲁棒性更好。

附图说明

图1为本发明的一种系统结构总图；

图2为本发明的一种算法流程总图；

图3为本发明的一种人脸检测神经网络(face-net)结构示意图；

图4为本发明的一种疲劳检测神经网络(drowsiness-net)结构示意图。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。

一种基于视觉的驾驶疲劳检测及预警系统，包括：人脸检测与身份验证模块，用于采集驾驶室图像，提取人脸信息及身份信息，输入为远红外补光下驾驶室图像，输出为人脸关键点位置、特定部分特定部分人脸特征图谱以及身份编号；正常驾驶基线数据库模块，用于建立与更新驾驶员疲劳基线；疲劳驾驶行为检测模块，用于基于所述提取到的人脸信息，生成疲劳驾驶roi，进行疲劳驾驶行为识别；疲劳驾驶行为预警模块，用于根据疲劳驾驶行为检测模块的监测结果，判断驾驶员疲劳状态与驾驶疲劳等级，对驾驶员发出预警信号；以及，疲劳驾驶行为管控模块，用于根据疲劳预警信号，触发驾驶数据记录，上传数据。

一种基于视觉的驾驶疲劳检测及预警系统还可分为输入层、分析决策层以及输出层，如图1所示，输入层包括：用于采集驾驶室图像的驾驶室监测系统，分析决策层包括：图像预处理单元、图像编码单元、图像分析单元以及预警决策生成单元，输出单元包括：扬声器、图像输入/输出端口、存储设备以及运营平台的行车记录单元。驾驶室监测系统的采集信号传输至图像预处理单元，图像预处理后进行图像分析，根据分析结果生成预警策略，通过视觉或听觉的方式输出至扬声器或图像输入/输出端口；图像预处理后进行编码后输出至存储设备以及运营平台的行车记录单元。输出层还可包括用于采集车速信号、转向信号等的can数据总线，连接至图像编码单元。

一种基于视觉的驾驶疲劳检测及预警方法，处理流程如图2所示，包括：

s1：采集驾驶室图像，提取人脸信息及身份信息，进行人脸检测与身份验证，包括：

1.1设计人脸检测网络架构：基于级联区域建议网络、区域回归网络以及关键点回归网络结构，采用深度卷积神经网络，设计人脸检测网络架构；所采用的深度卷积神经网络如图3所示，所述区域建议网络输入为16*16*3图像数据,网络由全卷积架构构成，输出为人脸区域建议框的置信度以及粗略顶点位置；所述区域回归网络输入为32*32*3图像数据,网络由卷积和全连接架构构成，输出为人脸区域的置信度以及精确顶点位置；所述关键点回归网络输入为64*64*3图像数据,网络由卷积和全连接架构构成，输出为人脸区域的置信度、位置以及人脸关键点位置；

1.2训练数据采集与标定：训练数据采集与标定：离线采集远红外驾驶室场景数据，提取离散时序训练样本80000张，人工标注生成样本标签；标签内容包含：人脸类别(0-背景，1-人脸)，人脸区域位置(x,y,w,h)以及人脸关键点(6个-双眼、鼻尖、嘴角、下颚)，利用图像色域、几何等空间变换，进行样本扩充。若采集样本进一步扩充，此步骤可省略。

1.3分步离线网络训练：采用随机梯度下降的方式进行训练，学习率，batchsize等为可配置参数(默认值为64)，对于不同分支训练任务，分类损失函数l_cls设置为交叉熵，回归损失函数l_reg设置为相应回归点的欧式距离训练分三个步骤顺序执行：

第一步训练区域建议网络，训练样本根据标签生成，训练损失函数设置如下(α1，β1为可配置参数，默认值为0.6和0.4)：loss1＝α1*l_cls+β1*l_reg

第二步训练区域回归网络，训练样本根据区域建议网络在原始训练样本集输出结果生成，训练损失函数设置如下(α2，β2为可配置参数，默认值为0.4和0.6)：loss2＝α2*l_cls+β2*l_reg

第三步训练区域回归网络，训练样本根据区域回归网络在原始训练样本集输出结果生成，训练损失函数设置如下(α3，β3为可配置参数，默认值为0.2和0.8)：loss2＝α3*l_cls+β3*l_reg。

1.4在线人脸检测：将驾驶室图像输入1.3中训练所得检测网络，输出区域回归网络特征图谱以及人脸关键点位置。

1.5身份验证：将1.4中特征图谱按录入人脸信息特征图谱库标准对齐后，与预录入驾驶员人脸库特征进行特征相似度匹配。利用预设相似度阈值，获取驾驶员身份编号。

s2：建立新增驾驶员疲劳基线，更新已有驾驶员疲劳基线；

对于新增驾驶员，利用驾驶开始阶段(预设特定时常t1)的驾驶行为分析结果，建立驾驶员疲劳判别基线,包含平均眼睛开度，平均头部俯仰角等。对于已录入信息驾驶员，读取驾驶疲劳判别基线数据，利用驾驶开始阶段(预设特定时常t2)驾驶行为分析结果，验证并微调上述疲劳判别基线。

s3：基于所述人脸检测与身份验证模块输出的人脸关键点位置、特定部分特定部分人脸特征图谱，进行疲劳驾驶应用检测；

基于s1中人脸检测网络输出的特定部分人脸特征图谱以及人脸关键点位置信息，进行本发明所定义的三种疲劳驾驶应用检测。瞌睡、哈欠行为检测采用深度卷积神经网络完成，训练方法与1中人脸关键点回归网络来相似，低头行为基于面部关键点几何方法完成。

算法流程如图4所示，详细信息如下：

3.1瞌睡行为检测：对特定部分人脸特征图谱进行眼部roi-pooling，然后利用瞌睡检测网络进行眼部睁闭状态识别以及眼部关键点(4个)回归。经如下公式将关键点位置转换为眼睛张开程度输出当前时刻眼睛睁闭状态s1以及睁闭程度λ。

3.2哈欠行为检测：对特定部分人脸特征图谱进行嘴部roi-pooling，然后利用哈欠行为识别网络进行嘴部开闭状态识别，输出嘴部开闭状态s2。

3.3低头行为检测：利用1中人脸检测网络输出的人脸关键点位置信息，根据预先设置的3d人脸模型，通过解决pnp问题，可以得到3x4投影变换矩阵p。利用已知相机内参，通过奇异值分解得到平移向量t和旋转矩阵r，r接偶分解可得面部平面俯仰角φ。

s4：基于疲劳驾驶应用检测结果，判断驾驶员疲劳状态与驾驶疲劳等级，根据不同疲劳行为的预警阈值，发出疲劳预警信号，以图标与声音两种提示方式，预警驾驶疲劳行为并显示驾驶疲劳等级状态；

4.1瞌睡预警提示：定义瞌睡预警参考指标瞌睡行为置信度c1和半分钟平均眼部开度。根据3.1瞌睡检测网络输出眼部睁闭状态s1计算瞌睡行为置信度c1：c1t+1＝max(0,c1t+(s1-1)*k1+s1*k2)；根据眼部睁闭开度λ，计算半分钟平均眼部开度λ0.5：其中，ts为相机采样周期，k1,k2为可配置预警阈值参数。基于驾驶员疲劳基线数据，设定相应的瞌睡置信度预警阈值t1和半分钟平均眼部开度阈值t1’，若c1大于t1或λ0.5小于t1’，则通过事件触发的方式以视觉与听觉信号告警驾驶员。

4.2哈欠预警提示：定义哈欠预警参考指标哈欠行为置信度c2。根据3.2哈欠检测网络输出哈欠状态s2计算瞌睡行为置信度c2：c2t+1＝max(0,c2t+(s2-1)*k1′+s2*k2′)。其中，k1’,k2’为可配置预警阈值参数。设定相应的哈欠置信度预警阈值t2，若c2大于t2，则通过事件触发的方式以视觉与听觉信号告警驾驶员。

4.3低头预警提示：定义低头预警参考指标半分钟平均头部俯仰角φ0.5。根据3.3中所得的面部朝向角的俯仰角部分，计算半分钟平均头部俯仰角φ0.5：其中，ts为相机采样周期。基于驾驶员疲劳基线数据，设定相应的半分钟平均头部俯仰角阈值t2’，若φ0.5大于t2’，则通过事件触发的方式以视觉与听觉信号告警驾驶员。

4.4总体驾驶疲劳等级：定义总体驾驶疲劳等级参考指标15分钟平均眼部开度λ15和15分钟平均头部俯仰角φ15。根据3.1中所得眼部睁闭开度和3.3中所得的面部朝向角的俯仰角部分，按如下公式分别计算上述指标：

基于驾驶员疲劳基线数据λref和φref，设定驾驶疲劳等级判定阈值th，tm和tl。若则提示驾驶正常；若则提示轻度疲劳；若则提示中度疲劳；若则提示重度疲劳。以图标与提示音方式告警驾驶员行车疲劳等级，注意行车安全，作为优选可通过导航模块提示驾驶员最近距离的休息区域。

s5：根据疲劳预警信号，触发驾驶数据记录，上传数据。

对于商用车平台，作为可选项，利用实时录像与事件记录的方式，缓存当前时刻前10秒的驾驶室视频数据，根据预警信号延迟10秒触发此部分缓存数据以时间、驾驶者身份编号和预警信号命名，以h264或h265的编码方式写入硬盘，即记录预警信号出发时刻前后各10秒(共20秒)的驾驶室数据，并通过通讯模块将危险驾驶行为记录上报远端管控平台。根据车辆总线数据接入情况，作为优选，可将视频对应时刻的车速与转向信号以智能帧或字符叠加的方式编入视频流文件，以便后续其他应用。

以上所述实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其他的变体及改型。