一种监测驾驶员疲劳状态的方法及系统与流程

本发明涉及车辆领域，特别是涉及一种监测驾驶员疲劳状态的方法及系统。

背景技术：

1、dms(driver monitor system，即驾驶员疲劳监测系统)驾驶员疲劳监测系统目前在乘用车应用领域已经比较成熟，且在中高端车型中都已逐渐演变成标配的趋势，而当前市场上dms技术应用最广泛的主要采用的是基于红外照相机的技术方案，即采用带有红外补光功能的高清摄像头，采集驾驶员的面部图像，采用神经网络算法模型提取关键特征点并进行分析，判断驾驶员的疲劳状态，并根据疲劳状态发出报警提示，单摄像头的方案在环境光照的适应性方面也存在一些不足。

2、目前存在多种基于毫米波雷达实现驾驶员疲劳监测的技术，其方案基于毫米波雷达发射出电磁波，探测驾驶员胸腔的轻微振动，并对反射回来的电磁波进行换算和频谱分析，得到驾驶员的呼吸频率和/或心率，根据设定的驾驶员疲劳状态下的心率和呼吸频率阈值，判断驾驶员此时的疲劳状态。发明人认为，该种技术有以下两个缺点：1)由于是基于图像检测的技术，而摄像头的成像效果受环境光的影响较大，在图像效果不佳时，会影响最终检测效果的判断，造成误报，漏报的情况；2)一致性偏弱，每个人的外貌特征差异比较大，对于软件预设的眼睛开合度和嘴角开合度模型阈值难以覆盖所有人群，对于一些天生小眼睛，或者肤色很黑的人员也可能会造成误报偏多的情况。而且毫米波雷达受限于杂波干扰，本身性能原因，对于舱内微震动的检测会产生的一定概率的误判

技术实现思路

1、本发明的一个目的是要提供一种对自动驾驶系统能力进行评估以规避未来交通环境风险的方法及系统。

2、本发明一个进一步的目的是要依照实时的风险情况提前改变驾驶员的参与度或调节车辆行驶状态。

3、特别地，本发明提供了一种监测驾驶员疲劳状态的方法，包括以下步骤：

4、获取驾驶员面部图像信息和雷达波信息；

5、根据驾驶员面部图像信息计算第一疲劳值以及第一置信度；

6、以雷达波相位作为参考计算第二疲劳值以及第二置信度；

7、根据所述第一置信度和第一疲劳值比例系数计算第一加权置信度，根据所述第二置信度和第二疲劳值计算第二加权置信度，

8、以第一加权置信度和第二加权置信度之和作为驾驶员疲劳结果的置信度，以第一疲劳值和第二疲劳值之和作为综合疲劳值，以综合疲劳值和驾驶员疲劳的置信度作为驾驶员疲劳检测结果；

9、若驾驶员疲劳检测结果超过设定值，则报警。

10、进一步地，在步骤以雷达波相位作为参考计算第二疲劳值以及第二置信度，具体包括以下步骤：

11、根据雷达波信息计算呼吸和心率；

12、建立第二疲劳度检测模型；

13、使用第二疲劳度检测模型对呼吸和心率进行估计和分析，得到第二疲劳值并对第二疲劳值赋予第二置信度。

14、进一步地，在步骤根据雷达波信息计算呼吸和心率中，具体包括以下步骤：

15、通过所述雷达波相位的变化获取胸腔的振动和位移；

16、根据所述振动和位移对所述雷达波相位进行展开，并根据所述位移的傅立叶变换结果中循环周期的变化将相位区分开，并过滤杂波；

17、分离判断出呼吸和心率的相位，进行频谱分析，进而得到呼吸和心率。

18、进一步地，在步骤建立第二疲劳度检测模型中，第二疲劳度检测模型是通过深度学习算法训练得到的。

19、进一步地，在步骤根据驾驶员面部图像信息计算第一疲劳值以及第一置信度中，具体包括以下步骤：

20、根据驾驶员面部图像信息分离驾驶员面部关键点特征；

21、统计每个驾驶员面部关键点特征的活动信息；

22、根据每个驾驶员面部关键点特征的活动信息计算驾驶员的第一疲劳值，并对第一疲劳值赋予第一置信度。

23、进一步地，所述面部关键点特征包括眼皮和嘴巴。

24、进一步地，所述驾驶员面部关键点特征的活动信息包括闭眼的频率、闭眼的持续时间、嘴巴开合度和嘴巴开合次数。

25、特别地，本发明还公开了一种监测驾驶员疲劳状态的系统，包括处理器和存储器，存储器中存储用于执行所述的监测驾驶员疲劳状态的方法。

26、本发明中，根据所述第一置信度和第一疲劳值比例系数计算第一加权置信度，根据所述第二置信度和第二疲劳值计算第二加权置信度，以第一加权置信度和第二加权置信度之和作为驾驶员疲劳结果的置信度，以第一疲劳值和第二疲劳值之和作为综合疲劳值，以综合疲劳值和驾驶员疲劳的置信度作为驾驶员疲劳检测结果，通过综合判断疲劳值，多种疲劳值取值能够增强最终检测数据的一致性，提高对不同面部生理特征的用户的疲劳检测的准确性。

27、本发明中，除面部图像采集外，还使用雷达波进行面部信息采集，两种检测方式采集的驾驶员生理数据/结果互为依据，相互参考，提升了对驾驶员疲劳检测结果的准确性，摆脱了图像检测的技术的限制，受环境光的影响较小。

28、根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

技术特征：

1.一种监测驾驶员疲劳状态的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的监测驾驶员疲劳状态的方法，其特征在于，在步骤以雷达波相位作为参考计算第二疲劳值以及第二置信度，具体包括以下步骤：

3.根据权利要求2所述的监测驾驶员疲劳状态的方法，其特征在于，在步骤根据雷达波信息计算呼吸和心率中，具体包括以下步骤：

4.根据权利要求2所述的监测驾驶员疲劳状态的方法，其特征在于，在步骤建立第二疲劳度检测模型中，第二疲劳度检测模型是通过深度学习算法训练得到的。

5.根据权利要求1所述的监测驾驶员疲劳状态的方法，其特征在于，在步骤根据驾驶员面部图像信息计算第一疲劳值以及第一置信度中，具体包括以下步骤：

6.根据权利要求5所述的检测驾驶员疲劳状态的方法，其特征在于，所述面部关键点特征包括眼皮和嘴巴。

7.根据权利要求5所述的检测驾驶员疲劳状态的方法，其特征在于，所述驾驶员面部关键点特征的活动信息包括闭眼的频率、闭眼的持续时间、嘴巴开合度和嘴巴开合次数。

8.一种监测驾驶员疲劳状态的系统，其特征在于，包括处理器和存储器，存储器中存储用于执行如权利要求1～7任意一项所述的监测驾驶员疲劳状态的方法。

技术总结
本发明提供了一种监测驾驶员疲劳状态的方法及系统。其中监测驾驶员疲劳状态的方法包括以下步骤：根据所述第一置信度和第一疲劳值比例系数计算第一加权置信度，根据所述第二置信度和第二疲劳值计算第二加权置信度，以第一加权置信度和第二加权置信度之和作为驾驶员疲劳结果的置信度，以第一疲劳值和第二疲劳值之和作为综合疲劳值，以综合疲劳值和驾驶员疲劳的置信度作为驾驶员疲劳检测结果；若驾驶员疲劳检测结果超过设定值，则报警。本发明通过综合判断疲劳值，多种疲劳值取值能够增强最终检测数据的一致性，提高对不同面部生理特征的用户的疲劳检测的准确性。

技术研发人员：栾承业,王超
受保护的技术使用者：宁波路特斯机器人有限公司
技术研发日：
技术公布日：2024/1/15