一种车辆驾驶危险程度动态判断方法与流程

本发明涉及危险驾驶判断，具体涉及一种车辆驾驶危险程度动态判断方法。

背景技术：

1、近年来，由于驾驶员疲劳而造成的交通事故明显增多，为此驾驶员状态监控(driver status monitoring，dsm)系统应运而生。dsm系统通过检测驾驶员的眨眼频率、视线方向、表情、心率等信息，来判断驾驶员是否处于疲劳状态并报警，从而确保驾驶安全。

2、现有dsm系统主要采用以下方式对驾驶员疲劳状态进行监控：通过摄像头或手环等设备采集驾驶员的眨眼频率、视线方向、表情、心率等信息，并采集车辆的加速踏板信号、制动信号、方向盘操作信号等信息综合判断驾驶员是否处于疲劳状态。

3、然而，上述技术方案由于无法准确检测各疲劳状态特征指标，造成驾驶员的疲劳状态识别准确性较低，从而导致无法对车辆驾驶危险程度进行准确判断。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术所存在的上述缺点，本发明提供了一种车辆驾驶危险程度动态判断方法，能够有效克服现有技术所存在的因对驾驶员的疲劳状态识别准确性较低而导致无法对车辆驾驶危险程度进行准确判断的缺陷。

3、(二)技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：

5、一种车辆驾驶危险程度动态判断方法，包括以下步骤：

6、s1、通过dsm系统采集行车数据和驾驶员的面部图像；

7、s2、利用基于卷积核均值控制和基于卷积核方差控制的卷积神经网络模型对面部图像进行特征提取和特征识别，得到第一驾驶员疲劳状态识别结果；

8、s3、对面部图像中的人脸区域进行人脸关键点检测，提取人脸关键点坐标；

9、s4、根据人脸关键点坐标计算疲劳状态特征指标，并基于疲劳状态特征指标得到第二驾驶员疲劳状态识别结果；

10、s5、结合第一驾驶员疲劳状态识别结果、第二驾驶员疲劳状态识别结果和行车数据对驾驶状态进行综合研判，判断当前驾驶状态是否存在风险，并向驾驶员发出预警。

11、优选地，s2中利用基于卷积核均值控制和基于卷积核方差控制的卷积神经网络模型对面部图像进行特征提取和特征识别，得到第一驾驶员疲劳状态识别结果，包括：

12、通过控制卷积核的均值和方差，利用均值较大的卷积核提取面部图像的低频信号，得到整体表情特征；

13、利用方差较大的卷积核提取面部图像的高频信号，得到包含眼睛、眉毛和嘴巴在内的局部表情特征；

14、对整体表情特征、局部表情特征进行特征识别，得到第一驾驶员疲劳状态识别结果。

15、优选地，所述卷积神经网络模型的训练方法，包括：

16、获取表情图像的面部区域图像，并对各类图像进行数据增强；

17、将表情图像输入基于卷积核均值控制的卷积神经网络模型，同时将对应的面部区域图像输入基于卷积核方差控制的卷积神经网络模型，对多角度融合表情识别模型进行模型训练；

18、将多角度融合表情识别模型输出的整体表情特征、局部表情特征输入softmax分类器进行特征识别，得到分类结果。

19、优选地，所述多角度融合表情识别模型的第一层卷积层采用6个5×5的卷积核进行卷积操作；所述多角度融合表情识别模型的第二层卷积层为池化层，使用2×2的滑动窗口进行最大池化；所述多角度融合表情识别模型的第三层卷积层采用16个5×5的卷积核进行卷积操作；所述多角度融合表情识别模型的第四层卷积层为池化层，使用2×2的滑动窗口进行最大池化。

20、优选地，s3中对面部图像中的人脸区域进行人脸关键点检测，提取人脸关键点坐标之后，包括：

21、建立卷积专家约束局部模型，并利用卷积专家约束局部模型计算人脸关键点对齐概率；

22、根据人脸关键点对齐概率，通过预设激活函数建立人脸关键点对齐概率响应图，并基于人脸关键点对齐概率响应图利用点分布模型对未对齐的人脸关键点进行优化；

23、其中，卷积专家约束局部模型包括卷积专家网络模型和点分布模型。

24、优选地，s4中根据人脸关键点坐标计算疲劳状态特征指标，包括：

25、根据人脸关键点坐标提取眼部关键点，并计算眼部关键点横纵轴上的距离；

26、基于眼部关键点横纵轴上的距离计算眼部纵横比，得到眼睛闭合比例，并统计眼睛闭合时间占比。

27、优选地，s4中根据人脸关键点坐标计算疲劳状态特征指标，包括：

28、利用预设标定方法计算相机内外参，并基于卷积专家网络模型计算人脸模型世界坐标；

29、根据相机内外参将人脸模型世界坐标转换至相机坐标系下的人脸模型相机坐标；

30、根据人脸关键点坐标和人脸模型相机坐标获取头部旋转信息，并计算出头部欧拉角。

31、优选地，s4中根据人脸关键点坐标计算疲劳状态特征指标，包括：

32、根据人脸关键点坐标提取眼部关键点，并计算出眼球中心位置；

33、根据面部图像中的人脸区域提取眼部虹膜位置，并计算出瞳孔位置；

34、计算眼球中心位置至瞳孔位置的向量，得到视线凝视方向。

35、优选地，s4中基于疲劳状态特征指标得到第二驾驶员疲劳状态识别结果，包括：

36、根据眼睛闭合时间占比、头部欧拉角和视线凝视方向得到第二驾驶员疲劳状态识别结果。

37、优选地，s5中结合第一驾驶员疲劳状态识别结果、第二驾驶员疲劳状态识别结果和行车数据对驾驶状态进行综合研判，判断当前驾驶状态是否存在风险，并向驾驶员发出预警，包括：

38、结合第一驾驶员疲劳状态识别结果、第二驾驶员疲劳状态识别结果得到驾驶员疲劳状态；

39、根据驾驶员疲劳状态、实时行驶速度、车辆运行时间、连续驾驶时长、行驶区域和历史驾驶行为对驾驶状态进行综合研判，判断当前驾驶状态是否存在风险；

40、在当前驾驶状态存在风险时，通过实时消息、语音对讲的方式接通车载智能终端，向驾驶员发出预警。

41、(三)有益效果

42、与现有技术相比，本发明所提供的一种车辆驾驶危险程度动态判断方法，具有以下有益效果：

43、1)利用基于卷积核均值控制和基于卷积核方差控制的卷积神经网络模型对面部图像进行特征提取和特征识别，得到第一驾驶员疲劳状态识别结果，通过控制卷积核的均值和方差，利用均值较大的卷积核提取面部图像的低频信号，得到整体表情特征，利用方差较大的卷积核提取面部图像的高频信号，得到包含眼睛、眉毛和嘴巴在内的局部表情特征，结合整体表情特征、局部表情特征对驾驶员进行表情识别，能够得到准确的第一驾驶员疲劳状态识别结果；

44、2)对面部图像中的人脸区域进行人脸关键点检测，提取人脸关键点坐标，根据人脸关键点坐标计算疲劳状态特征指标，并基于疲劳状态特征指标得到第二驾驶员疲劳状态识别结果，通过进行人脸关键点检测，并根据人脸关键点坐标计算表征疲劳度的疲劳状态特征指标，能够得到准确的第二驾驶员疲劳状态识别结果；

45、3)结合第一驾驶员疲劳状态识别结果、第二驾驶员疲劳状态识别结果得到驾驶员疲劳状态，从而能够有效提高驾驶员疲劳状态识别的准确性，根据驾驶员疲劳状态、实时行驶速度、车辆运行时间、连续驾驶时长、行驶区域和历史驾驶行为对驾驶状态进行综合研判，判断当前驾驶状态是否存在风险，实现对车辆驾驶危险程度的多变量智能预警，有效提高车辆驾驶危险程度判断的准确性。