一种模拟驾驶中疲劳状态检测方法及系统与流程

本发明涉及模拟驾驶，尤其涉及一种模拟驾驶中疲劳状态检测方法及系统。

背景技术：

1、《模拟驾驶》又称汽车驾驶仿真，或汽车虚拟驾驶。模拟驾驶让体验者在一个虚拟的驾驶环境中，使其感受接近真实效果的视觉、听觉和体感的汽车驾驶体验。驾驶模拟效果逼真、节能、安全、经济，不受时间、气候、场地的限制，驾驶训练效率高、培训周期短等优势，在新车型开发和驾驶培训方面应用十分广泛。

2、疲劳是指由于持续地进行体力和脑力劳动而造成的生理和心理的失调。人在疲劳状态下，其反应就会变得迟钝，对身体的控制能力会下降。虽然模拟驾驶并不是真正的在公路上进行驾驶，但是如果疲劳驾驶仍然会对生命造成危险，目前的主流检测方法一般是基于操纵行为与车辆行驶参数的检测方法和基于生理参数的检测方法。基于操纵行为与车辆行驶参数的检测方法常见的是检测方向盘转动角度、车辆行驶轨迹和手握方向盘的压力等，这类方法对驾驶员的操作影响小，检测更加直接，但是缺乏具体的阈值标准进行疲劳判断；基于生理参数的检测方法以检测驾驶员的心电、脉搏和脑电信号为主，识别更为准确，但传感器在一定程度上会影响驾驶员的操作，采集较为困难，综上所述，现有的驾驶疲劳状态检测方法存在以下问题：在检测过程中会影响驾驶员的驾驶操作，提高了风险性，同时无法实现对于驾驶员疲劳度的精确判定，降低了实用性。

技术实现思路

1、针对上述所显示出来的问题，本发明提供了一种模拟驾驶中疲劳状态检测方法及系统用以解决背景技术提到在检测过程中会影响驾驶员的驾驶操作，提高了风险性，同时无法实现对于驾驶员疲劳度的精确判定，降低了实用性。的问题。

2、一种模拟驾驶中疲劳状态检测方法，包括以下步骤：

3、检测目标对象所在的模拟驾驶环境，当符合要求时采集所述目标对象的驾驶视频；

4、基于所述驾驶视频获取所述目标对象的脸部图像；

5、基于所述脸部图像对所述目标对象进行疲劳检测，得到疲劳检测结果；

6、根据所述疲劳检测结果对所述目标对象进行提醒。

7、优选的，检测目标对象所在的模拟驾驶环境，当符合要求时采集所述目标对象的驾驶视频，包括：

8、当所述目标对象位于模拟驾驶位置上时，对所述目标对象进行人脸图像的提取，并基于提取到的人脸图像进行身份识别，得到身份识别结果；

9、根据所述身份识别结果判断所述目标对象是否具有驾驶权限，若所述目标对象没有驾驶权限，则发出权限注册需求，以使所述目标对象进行权限注册；

10、若所述目标对象具有驾驶权限，则对所述目标对象所在的模拟驾驶环境进行干扰因素的检测，当检测到干扰因素时，提醒目标对象将干扰因素进行排除，得到无干扰的模拟驾驶环境；

11、基于所述无干扰的模拟驾驶环境对所述目标对象进行驾驶视频的采集，得到所述目标对象的驾驶视频。

12、优选的，基于所述驾驶视频获取所述目标对象的脸部图像，包括：

13、在所述驾驶视频中识别出所述目标对象的左眼、右眼及嘴巴，并记录所述左眼的位置为第一位置、右眼的位置为第二位置及嘴巴的位置为第三位置；

14、将第三位置分别与第一位置和第二位置连线，得到第一连接线和第二连接线；

15、将所述第一位置沿第一连接线向外延伸第一预设距离，得到第四位置；

16、将所述第二位置沿第二连接线向外延伸第二预设距离，得到第五位置；

17、确定所述第一连接线与第二连接线的中线为第三连接线，并将所述第三位置沿所述第三连接线向外延伸第三预设距离，得到第六位置；

18、基于所述第四位置、第五位置及所述第六位置进行圆形绘制，获取绘制圆形区域，将所述绘制圆形区域确认为所述目标对象的脸部区域；

19、基于所述脸部区域对所述驾驶视频进行连续帧脸部图片的提取，得到所述目标对象的脸部图像。

20、优选的，基于所述脸部图像对所述目标对象进行疲劳检测，得到疲劳检测结果，包括：

21、基于所述脸部图像记录所述目标对象在预设时间内的打呵欠次数及眨眼次数，其中，所述脸部图像具有若干帧；

22、在所述脸部图像中定位所述目标对象的额头区域，并在所述额头区域进行roi区域的选取，得到脸部roi区域；

23、对所述脸部roi区域通过使用luv颜色空间进行通道分离，以提取u通道中的图像数据，并进行像素均值的计算，得到像素均值点；

24、根据所述像素均值点进行绘制，得到原始心率曲线；

25、基于所述原始心率曲线进行hrv特征工程的建立，得到hrv参数；

26、获取疲劳检测模型，并将所述打呵欠次数、眨眼次数及所述hrv参数进行特征组合输入至所述疲劳检测模型中，得到所述疲劳检测结果。

27、优选的，基于所述原始心率曲线进行hrv特征工程的建立，得到hrv参数，包括：

28、确定所述原始心率曲线的信号频率及采样频率；

29、选取db4小波基，并基于所述采样频率对所述原始心率曲线进行三层小波分解，得到小波分解结果；

30、基于所述小波分解结果对第三层低频小波分解系数进行重构，得到重构后的心率曲线；

31、利用滑动平均滤波对所述重构后的心率曲线进行平滑处理，得到平滑处理后的心率曲线；

32、采用三次样条函数对所述平滑处理后的心率曲线进行插值处理，得到纯净的心率曲线；

33、对所述纯净的心率曲线进行hrv特征工程的提取，得到所述hrv参数。

34、优选的，获取疲劳检测模型，包括：

35、分别确定预设数目个非疲劳驾驶对象、轻度疲劳驾驶对象和重度疲劳驾驶对象；

36、对所述非疲劳驾驶对象、轻度疲劳驾驶对象和重度疲劳驾驶对象进行预设时间内打呵欠次数及眨眼次数的记录，得到非疲劳驾驶对象的第一打呵次数及眨眼次数、轻度疲劳驾驶对象的第二打呵欠次数及眨眼次数、重度疲劳驾驶对象的第三打呵欠次数及眨眼次数；

37、分别采集预设时间内所述非疲劳驾驶对象、轻度疲劳驾驶对象和重度疲劳驾驶对象分别对应的心率曲线，并进行hrv参数的提取，得到非疲劳驾驶对象、轻度疲劳驾驶对象和重度疲劳驾驶对象分别对应hrv参数；

38、将所述非疲劳驾驶对象设置为标签一、轻度驾驶疲劳对象设置为标签二及所述重度疲劳驾驶对象设置为标签三；

39、基于所述标签一、标签二、标签三及所述非疲劳驾驶对象、轻度疲劳驾驶对象和重度疲劳驾驶对象分别对应的第一打呵欠次数及眨眼次数、第二打呵欠次数及眨眼次数、第三打呵欠次数及眨眼次数及hrv参数进行模型构建，得到所述疲劳检测模型。

40、优选的，根据所述疲劳检测结果对所述目标对象进行提醒，包括：

41、检测所述目标对象当前是否在驾驶位置，若是，对所述疲劳检测结果进行分析，得到分析结果；

42、设定无需提醒、轻度提醒和重度提醒三个等级；

43、当所述分析结果显示需要进行轻度提醒时，则发出第一分贝范围内的声音提醒；

44、当所述分析结果显示需要进行重度提醒时，则发出第二分贝范围内的声音提醒；

45、若提醒后所述目标对象无变化，则发送报警指令至管理人员，以使所述管理人员对所述目标对象进行提醒。

46、优选的，在采集所述目标对象的驾驶视频之后，基于所述驾驶视频获取所述目标对象的脸部图像之前，还包括：

47、根据驾驶视频的采集专注点设置驾驶视频采集事件特征库；

48、从采集的驾驶视频提取每个像素点的元数据变化信息；

49、根据每个像素点的元数据变化信息抽取出该像素点的空间要素变化信息；

50、根据每个像素点的空间要素变化信息结合驾驶视频采集事件特征库生成初始采集视频事件特征；

51、根据预设驾驶视频合格评估条件生成驾驶视频采集事件初始概要框架；

52、基于所述驾驶视频采集事件初始概要框架中的各维度因素构建事件特征抽取规则；

53、基于所述事件特征抽取规则从初始采集视频事件特征筛选出关键事件特征数据；

54、将所述关键事件特征数据转化为一维数据序列；

55、根据所述事件特征抽取规则从预设视频数据集中获取学习特征；

56、将所述学习特征导入到包含视频解读信息的预训练模型，生成输入的学习特征的动态视频向量；

57、利用输入的学习特征的动态视频向量训练预设学习网络模型以生成序列标注模型；

58、获取所述一维数据序列中各个序列因子的显示属性，将每个序列因子的显示属性输入到所述序列标注模型中获取每个序列因子的关键性评分值；

59、将关键性评分值大于等于预设分值的目标序列因子的相关像素点视频数据进行整合以提取关键视频集；

60、将所述关键视频集作为对目标对象的脸部图像的提取参考样本。

61、优选的，所述基于所述脸部图像对所述目标对象进行疲劳检测，得到疲劳检测结果，包括：

62、基于所述脸部图像通过预设器官判定算法确定目标对象的多个脸部器官并对其进行初步定位；

63、以所述初步定位结果为基础，根据每个脸部器官的形状信息和纹理特征利用人脸描述模型对多个脸部器官进行准确定位；

64、根据每个脸部器官的初步定位结果和精确定位结果的定位误差和相同定位逻辑构建该脸部器官的追踪上层策略；

65、根据每个脸部器官在脸部图像内的位置信息设置多个疲劳评估特征点，其中，一个疲劳评估特征点对应脸部图像中的一个脸部器官；

66、根据每个脸部器官的追踪上层策略在多帧脸部图像中获取每个疲劳评估特征点的相关运动特征变化信息；

67、根据每个疲劳评估特征点的相关运动特征变化信息获取该疲劳评估特征点相关脸部特征的多个显示状态以及每个显示状态的量化描述因子；

68、根据每个疲劳评估特征点相关脸部特征的多个显示状态以及每个显示状态的量化描述因子计算出该疲劳评估特征点的疲劳评估分值：

69、

70、其中，fi表示为第i个疲劳评估特征点的疲劳评估分值，f()表示为预设疲劳分值判定函数，α表示为标准因子，ni表示为第i个疲劳评估特征点相关脸部特征的显示状态的数量，j表示为第j个显示状态，pj表示为第j个显示状态的量化描述因子，qj表示为第j个显示状态的疲劳判定概率，dj表示为第j个显示状态的疲劳判定误导率，bj表示为第j个显示状态的形态稳定系数，aj表示为第j个显示状态的抽象系数；

71、根据每个疲劳评估特征点的疲劳评估分值计算出目标对象的疲劳度系数：

72、

73、其中，k表示为目标对象的疲劳度系数，m表示为疲劳评估特征点的数量，s表示为第s个疲劳评估特征点，a表示为脸部图像中目标对象的精神状态指数，x表示为脸部图像中目标对象的肌肉松弛状态，u表示为脸部图像中目标对象的眼神空洞判定指数；

74、根据目标对象的疲劳度系数所处区间判断出目标对象的当前疲劳状态等级，其中，当前疲劳状态等级包括：轻度疲劳状态等级、中度疲劳状态等级和高度疲劳状态等级。

75、一种模拟驾驶中疲劳状态检测系统，该系统，包括：

76、采集模块，用于检测目标对象所在的模拟驾驶环境，并采集所述目标对象的驾驶视频；

77、获取模块，用于基于所述驾驶视频获取所述目标对象的脸部图像；

78、检测模块，用于基于所述脸部图像对所述目标对象进行疲劳检测，得到疲劳检测结果；

79、提醒模块，用于根据所述疲劳检测结果对所述目标对象进行提醒。

80、通过本发明的技术方案，可以取得如下有益效果：

81、1)通过以图像采集和判定的方式对模拟驾驶中人群的疲劳检测，可以在不影响驾驶员驾驶操作的前提下实现精准的疲劳判断，避免出现安全隐患，提高了安全性，同时根据采集图像中的各个脸部器官的实时状态可以精准地判断出目标对象的疲劳度，提高了数据的有效参考意义。

82、2)可以防止未成年等一些没有权限的人进行危险驾驶，之后当目标对象具有驾驶权限时，对模拟驾驶环境进行干扰因素的检测，并提醒目标对象将干扰因素排除，以防止在驾驶过程中影响驾驶，造成安全隐患。

83、3)通过在额头区域选取roi区域，能够更好的体现目标对象的血流变化，便于心率曲线的获取，之后进行颜色空间的通道分离，并提取u通道中的数据，求取像素均值来得到心率曲线，便于与呵欠次数及眨眼次数结合来进行疲劳检测结果的获取。

84、4)可以对驾驶视频进行精确地关键信息提取，降低了视频存储难度的同时也避免了无用环境空间因子带来的影响，为后续进行疲劳度判定奠定了条件，提高了实用性和稳定性。

85、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、以及附图中所特别指出的结构来实现和获得。

86、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。