一种驾驶员疲劳检测方法

本发明涉及疲劳检测，具体涉及一种驾驶员疲劳检测方法。

背景技术：

1、当前市面上根据面部特征的变化来判断疲劳状态是公认的最有实用性的方法。这个方法是非接触式的检测方法，不会造成驾驶员的不适，可以很容易的应用到实际驾驶环境中。在之前的研究中，很多是通过提取单一的特征来检测疲劳。在一定的时间内眼睛闭合时所占的时间比例(perclos)这个判定特征是疲劳驾驶检测中使用的最多的方法，也是公认的最合理的方法之一但由于perclos的时间分辨率较低，因此仅仅基于时间特征的检测效果达不到预期的效果。与此同时，仅仅基于空间特征只能逐层学习特征，缺乏连通性。

技术实现思路

1、本发明的目的在于提供一种驾驶员疲劳检测方法，能够将眼睛特征转化为时间特征和空间特征，以从不同的角度深入挖掘局部特征，从而最大化疲劳检测的效果。

2、本发明解决上述技术问题的技术方案如下：

3、本发明提供一种驾驶员疲劳检测方法，所述驾驶员疲劳检测方法包括：

4、s1：利用wider_face人脸数据集训练多任务级联卷积神经网络(mtcnn)模型结构，得到训练好的mtcnn模型结构；

5、s2：利用所述训练好的mtcnn模型结构对人脸图像中的人脸关键特征进行定位，得到定位后的人脸图像；

6、s3：对所述定位后的人脸图像进行眼部特征提取，得到眼部时间特征和眼部空间特征；

7、s4：利用多维度的深度融合网络对所述眼部时间特征和所述眼部空间特征进行融合，得到融合结果；

8、s5：对所述融合结果进行状态识别，得到驾驶员疲劳检测结果。

9、可选择地，所述mtcnn模型结构包括：依次设置的p-net层、r-net层和o-net层；

10、所述p-net层用于将不同尺度的输入图片进行三次卷积操作以的到一个大致的人脸窗口框；

11、所述r-net层用于对所述大致的人脸窗口框进行尺寸调整，再经过三次卷积操作，全连接后得到更为精确的人脸区域位置图像；

12、所述o-net层用于将所述更为精确的人脸区域位置图像的大小调整为48×48，以得到人脸的最终位置和5个关键特征点的位置。

13、可选择地，所述s3中：

14、利用perclos提取所述眼部时间特征。

15、可选择地，所述利用perclos提取所述眼部时间特征包括：

16、

17、其中，perclos表示闭眼百分比，interval表示总时间且interval＝blink+clos+fixation+saccade，blink表示眨眼状态，clos表示闭眼状态，fixation表示眼睛的注视状态，saccade表示眼睛的扫描状态。

18、可选择地，所述s3中，所述眼部空间特征通过以下方式获得：

19、将所述perclos的计算结果转化为一维面部特征信号；

20、将所述一维面部特征信号通过空间投影作三维多粒度重建，以得到所述眼部空间特征。

21、可选择地，所述一维面部特征信号为：

22、

23、其中，n表示样本数量，teye表示最终的一维面部特征信号，tieye(i∈[1，n])表示第i个样本的一维面部特征信号；

24、所述眼部空间特征为：

25、

26、其中，n表示样本数量，seye表示最终的眼部空间特征，sieye(i∈[1，n])表示第i个样本的眼部空间特征，r表示实数。

27、可选择地，所述高斯时域子网包括双层的双向长短期记忆网络和高斯误差线性单元，所述双向长短期记忆网络包括多个间隔设置的记忆单元结构；

28、所以多层注意力空间子网包括多个间隔设置的注意力网络模块，在各所述注意力网络模块之前，所述多层注意力空间子网还包括卷积神经网络和relu函数，以做升维操作和网络间的线性变换。

29、可选择地，所述注意力网络模块为基于通道注意力网络和空间注意力网络构成的全局注意力网络模块；

30、所述全局注意力网络为：

31、g1＝mchannel(fi)×fi

32、g2＝mspatial(g1)×g1

33、其中，g1表示全局注意力网络第一部分的输出结果，g2表示全局注意力网络第二部分的输出结果，mchannel和mspatial分别为通道注意力网络的输出图和空间注意力网络的输出图，fi表示第i个卷积层的输出结果。

34、可选择地，所述多维度的深度融合网络的损失函数为：

35、

36、其中，m表示数据量的大小，yi表示实际值，表示预测值。

37、本发明具有以下有益效果：

38、1)本发明训练了一个mtcnn人脸检测器，在使用其定位人脸关键特征后，对驾驶员的面部关键特征做分割提取，基于此，可以实现在压缩参数的同时提取到有效的局部特征和全局特征，减少计算成本；

39、2)本发明将眼睛特征转化为时间特征和空间特征，以从不同的角度深入挖掘局部特征，从而最大化疲劳检测的效果；

40、3)本发明使用自制数据集和nthu-ddd公开数据集评估本发明，实验结果显示本发明所提供的方法性能指标优于现有的方法，本发明具有实际应用价值。

技术特征：

1.一种驾驶员疲劳检测方法，其特征在于，所述驾驶员疲劳检测方法包括：

2.根据权利要求1所述的驾驶员疲劳检测方法，其特征在于，所述mtcnn模型结构包括：依次设置的p-net层、r-net层和o-net层；

3.根据权利要求1所述的驾驶员疲劳检测方法，其特征在于，所述s3中：

4.根据权利要求3所述的驾驶员疲劳检测方法，其特征在于，所述利用perclos提取所述眼部时间特征包括：

5.根据权利要求3所述的驾驶员疲劳检测方法，其特征在于，所述s3中，所述眼部空间特征通过以下方式获得：

6.根据权利要求5所述的驾驶员疲劳检测方法，其特征在于，所述一维面部特征信号为：

7.根据权利要求1所述的驾驶员疲劳检测方法，其特征在于，所述高斯时域子网包括双层的双向长短期记忆网络和高斯误差线性单元，所述双向长短期记忆网络包括多个间隔设置的记忆单元结构；

8.根据权利要求7所述的驾驶员疲劳检测方法，其特征在于，所述注意力网络模块为基于通道注意力网络和空间注意力网络构成的全局注意力网络模块；

9.根据权利要求1-9中任意一项所述的驾驶员疲劳检测方法，其特征在于，所述多维度的深度融合网络的损失函数为：

技术总结
本发明公开了一种驾驶员疲劳检测方法，所述驾驶员疲劳检测方法包括：S1：利用Wider_face人脸数据集训练MTCNN模型结构，得到训练好的MTCNN模型结构；S2：利用所述训练好的MTCNN模型结构对人脸图像中的人脸关键特征进行定位，得到定位后的人脸图像；S3：对所述定位后的人脸图像进行眼部特征提取，得到眼部时间特征和眼部空间特征；S4：利用多维度的深度融合网络对所述眼部时间特征和所述眼部空间特征进行融合，得到融合结果；S5：对所述融合结果进行状态识别，得到驾驶员疲劳检测结果。本发明能够将眼睛特征转化为时间特征和空间特征，以从不同的角度深入挖掘局部特征，从而最大化疲劳检测的效果。

技术研发人员：郜东瑞,沈艳,王录涛,李孝杰,李芃锐,张永清,汪曼青
受保护的技术使用者：成都信息工程大学
技术研发日：
技术公布日：2024/1/13