驾驶员疲劳检测方法、系统、设备及存储介质

1.本技术涉及疲劳状态监测技术领域，尤其是涉及一种驾驶员疲劳检测方法、系统、设备及存储介质。


背景技术：

2.目前，随着我国经济的高速发展，机动车辆的保有量快速增加。机动车辆的增加，给人们生活带来快捷与方便的同时，频繁的交通事故带来了惨重的经济损失，人民的生命也受到了威胁。而现代快节奏的生活加上长时间的工作，经常诱发人们处于疲劳状态。人在疲劳状态下，反应变得迟钝，身体控制能力降低。在特定的环境下，例如疲劳驾驶中，驾驶员会出现注意力不集中等现象，不能准确判断和迅速处理各种异常情况，容易引发交通事故。因此，对驾驶员驾驶机动车过程中疲劳状态的监测显得十分必要。
3.现有技术中一般采用统计驾驶时长的方案，若连续驾驶时间过长则判断驾驶员疲劳驾驶。然而，不同的驾驶员对驾驶时长造成的疲劳可能存在一定的差异性，因此，这种仅仅根据连续驾驶时间的检测方式对识别驾驶员是否疲劳不具有针对性，识别精度低。


技术实现要素：

4.有鉴于此，本技术提供一种驾驶员疲劳检测方法、系统、设备及存储介质，用以解决驾驶员疲劳检测精度低的技术问题。
5.为了解决上述问题，第一方面，本技术提供一种驾驶员疲劳检测方法，所述方法包括：
6.获取驾驶员的脸部图像；
7.根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像；
8.基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息；
9.根据驾驶员眼睛、嘴巴的姿态相关信息，并基于预设规则检测驾驶员是否处于疲劳状态。
10.可选的，所述获取驾驶员的脸部图像，包括：
11.获取设置于驾驶室内的摄像头实时采集的驾驶员的图像信息；
12.利用基于深度学习的人脸识别算法对采集的图像信息进行识别，得到驾驶员的脸部图像。
13.可选的，所述基于深度学习的人脸识别算法为卷积神经网络算法，所述利用基于深度学习的人脸识别算法对采集的图像信息进行识别，得到驾驶员的脸部图像包括：
14.利用卷积神经网络算法对采集的图像信息中的特征进行提取，并对卷积神经网络中不同的卷积层特征进行级连接操作，得到提取的特征图；
15.采用改进核函数的支持向量机分类算法对提取的特征图进行分类；
16.根据分类结果，从采集的图像信息中确定出驾驶员的脸部图像；
17.其中，所述改进核函数k(m,n)的表达式如下：
[0018][0019]
(m,n)表示经过卷积神经网络提取的特征点坐标，exp表示指数函数，δ表示标准方差；
[0020]
所述采用改进核函数的支持向量机分类算法对提取的特征图进行分类，还包括采用以下函数约束优化问题计算极值，以对提取的特征图进行分类：
[0021][0022][0023][0024]
其中l(a,b,c)为拉格朗日函数，(x
i
,y
i
)为分类超平面上的点坐标，a为分类超平面的法向量，b为位移项，c为拉格朗日乘子，t为转置符号。
[0025]
可选的，所述眼睛识别模型为预先通过对预设第一数量的眼睛区域及非眼睛区域样本图像进行标注并训练得到的卷积神经网络模型；所述嘴巴识别模型为预先通过对预设第二数量的嘴巴区域及非嘴巴区域样本图像进行标注并训练得到的卷积神经网络模型；所述根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像，包括：
[0026]
对所述脸部图像进行裁剪，将所述脸部图像归一化为预设第一尺寸大小；
[0027]
利用预先训练的眼睛识别模型提取出裁剪后脸部图像中的眼睛图像特征，并采用激励函数进行分类识别得到脸部图像中的眼睛区域图像；
[0028]
利用预先训练的嘴巴识别模型提取出裁剪后脸部图像中的嘴巴图像特征，并采用激励函数进行分类识别得到脸部图像中的嘴巴区域图像。
[0029]
可选的，所述基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息，包括：
[0030]
对所述眼睛区域图像进行裁剪，将所述眼睛区域图像归一化为预设第二尺寸大小；利用眼睛状态识别模型对剪裁后眼睛区域图像中的眼睛眨眼状态进行识别，并统计得到预设第一时间段内眼睛区域图像序列中的眨眼次数；其中，所述眼睛状态识别模型为预先通过对预设第三数量的眼睛眨眼状态样本图像及眼睛正常状态样本图像进行标注并训练得到的卷积神经网络模型；
[0031]
对所述嘴巴区域图像进行裁剪，将所述嘴巴区域图像归一化为预设第三尺寸大小；利用嘴巴状态识别模型对剪裁后嘴巴区域图像中的打哈欠状态进行识别，并统计得到预设第二时间段内嘴巴区域图像序列中的打哈欠次数；其中，所述嘴巴状态识别模型为预
先通过对预设第四数量的嘴巴打哈欠状态样本图像及嘴巴正常状态样本图像进行标注并训练得到的卷积神经网络模型。
[0032]
可选的，所述根据驾驶员眼睛、嘴巴的姿态相关信息，并基于预设规则检测驾驶员是否处于疲劳状态，包括：
[0033]
获取驾驶员在预设第三时间段内的眨眼次数及打哈欠次数；
[0034]
根据驾驶员在预设第三时间段内的眨眼次数及打哈欠次数，计算出预设第三时间段内驾驶员的眨眼频率及打哈欠频率；
[0035]
检测所述眨眼频率是否超过预设第一阈值，以及所述打哈欠频率是否超过预设第二阈值；
[0036]
若是，则判断驾驶员处于疲劳状态。
[0037]
可选的，在所述判断驾驶员处于疲劳状态之后，还包括：
[0038]
播放预设语音警示信息，和/或，接入预设辅助驾驶系统以辅助控制车辆。
[0039]
第二方面，本技术提供一种驾驶员疲劳检测系统，所述系统包括：
[0040]
获取模块，用于获取驾驶员的脸部图像；
[0041]
第一识别模块，用于根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像；
[0042]
第二识别模块，用于基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息；
[0043]
检测模块，用于根据驾驶员眼睛、嘴巴的姿态相关信息，并基于预设规则检测驾驶员是否处于疲劳状态。
[0044]
第三方面，本技术提供的一种计算机设备，采用如下的技术方案：
[0045]
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述驾驶员疲劳检测方法的步骤。
[0046]
第四方面，本技术提供的一种计算机可读存储介质，采用如下的技术方案：
[0047]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述驾驶员疲劳检测方法的步骤。
[0048]
采用上述实施例的有益效果是：通过获取驾驶员脸部图像中的眼睛区域图像及嘴巴区域图像，并识别出驾驶员眼睛、嘴巴的姿态相关信息，根据驾驶员眼睛、嘴巴的姿态相关信息检测驾驶员是否处于疲劳状态。由于是根据驾驶员的面部特征信息如驾驶员眼睛、嘴巴的姿态相关信息来进行疲劳检测，能针对不同驾驶员在驾驶车辆时眼睛、嘴巴的姿态来综合判断是否疲劳，识别精度更高。
附图说明
[0049]
图1为本技术提供的驾驶员疲劳检测方法一实施例的方法流程图；
[0050]
图2为本技术提供的驾驶员疲劳检测方法一实施例中获取驾驶员脸部图像的示意图；
[0051]
图3为本技术提供的驾驶员疲劳检测方法一实施例中识别眼睛区域图像及嘴巴区域图像的示意图；
[0052]
图4为本技术提供的驾驶员疲劳检测系统一实施例的原理框图；
[0053]
图5为本技术提供的计算机设备一实施例的原理框图。
具体实施方式
[0054]
下面结合附图来具体描述本技术的优选实施例，其中，附图构成本技术一部分，并与本技术的实施例一起用于阐释本技术的原理，并非用于限定本技术的范围。
[0055]
在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0056]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0057]
本技术提供了一种驾驶员疲劳检测方法、系统、设备及存储介质，以下分别进行详细说明。
[0058]
参照图1为本技术提供的驾驶员疲劳检测方法一种实施例的方法流程图，该驾驶员疲劳检测方法，包括下述步骤：
[0059]
步骤s101，获取驾驶员的脸部图像；
[0060]
步骤s102，根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像；
[0061]
步骤s103，基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息；
[0062]
步骤s104，根据驾驶员眼睛、嘴巴的姿态相关信息，并基于预设规则检测驾驶员是否处于疲劳状态。
[0063]
本实施例通过获取驾驶员脸部图像中的眼睛区域图像及嘴巴区域图像，并识别出驾驶员眼睛、嘴巴的姿态相关信息，根据驾驶员眼睛、嘴巴的姿态相关信息检测驾驶员是否处于疲劳状态。由于是根据驾驶员的面部特征信息如驾驶员眼睛、嘴巴的姿态相关信息来进行疲劳检测，能针对不同驾驶员在驾驶车辆时眼睛、嘴巴的姿态来综合判断是否疲劳，识别精度更高。
[0064]
参照图2，图2为本技术提供的驾驶员疲劳检测方法一实施例中获取驾驶员脸部图像的示意图。在一实施例中，步骤s101包括：
[0065]
获取设置于驾驶室内的摄像头实时采集的驾驶员的图像信息；
[0066]
利用基于深度学习的人脸识别算法对采集的图像信息进行识别，得到驾驶员的脸部图像。
[0067]
具体地，可通过安装在驾驶室正前方或侧方的摄像头实时采集驾驶员的图像信息，例如，可采用视角为30度，焦距为35mm的摄像头采集驾驶员的人脸图像。利用基于深度学习的人脸识别算法对采集的图像信息进行识别，该人脸识别算法为卷积神经网络算法，可利用卷积神经网络算法对采集的图像信息中的特征进行提取，并对卷积神经网络中不同的卷积层特征进行级连接操作，得到提取的特征图；采用改进核函数的支持向量机分类算法对提取的特征图进行分类；根据分类结果，从采集的图像信息中确定出驾驶员的脸部图像。
[0068]
具体的，可采用15层网络、5
×
5的卷积模板、3
×
3的最大池化模板的卷积神经网络提取摄像头采集到的图像信息，并对不同的卷积层特征进行级连接操作，进一步地增强提取特征的鲁棒性。然后采用改进核函数的支持向量机分类算法对提取的特征图进行分类。所述改进核函数k(m,n)的表达式如下：
[0069][0070]
(m,n)表示经过卷积神经网络提取的特征点坐标，exp表示指数函数，δ表示标准方差；
[0071]
所述采用改进核函数的支持向量机分类算法对提取的特征图进行分类，还包括采用以下函数约束优化问题计算极值，以对提取的特征图进行分类：
[0072][0073][0074][0075]
其中l(a,b,c)为拉格朗日函数，(x
i
,y
i
)为分类超平面上的点坐标，a为分类超平面的法向量，b为位移项，c为拉格朗日乘子，t为转置符号。
[0076]
根据分类结果，在采集的图像信息中框选出驾驶员的人脸区域即脸部图像。
[0077]
进一步地，参照图3，图3为本技术提供的驾驶员疲劳检测方法一实施例中识别眼睛区域图像及嘴巴区域图像的示意图。在一实施例中，所述眼睛识别模型为预先通过对预设数量的眼睛区域及非眼睛区域样本图像进行标注并训练得到的卷积神经网络模型；所述嘴巴识别模型为预先通过对预设数量的嘴巴区域及非嘴巴区域样本图像进行标注并训练得到的卷积神经网络模型；所述根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像，包括：
[0078]
对所述脸部图像进行裁剪，将所述脸部图像归一化为预设第一尺寸大小；
[0079]
利用预先训练的眼睛识别模型提取出裁剪后脸部图像中的眼睛图像特征，并采用激励函数进行分类识别得到脸部图像中的眼睛区域图像；
[0080]
利用预先训练的嘴巴识别模型提取出裁剪后脸部图像中的嘴巴图像特征，并采用激励函数进行分类识别得到脸部图像中的嘴巴区域图像。
[0081]
例如，以眼睛识别模型为例进行具体说明，所述眼睛识别模型的训练过程如下：
[0082]
a、为眼睛区域及非眼睛区域(例如鼻子、嘴巴、耳朵等人脸五官区域)设定对应的预设数量(例如各区域对应100张)的样本图片，为每个样本图片标注对应的标签(例如眼睛区域样本图片标注为“眼睛”，鼻子区域样本图片标注为“鼻子”、等)；
[0083]
b、将各个样本图片进行图片预处理以获得待模型训练的训练图片；
[0084]
c、将所有训练图片分为第一比例的训练集和第二比例的验证集；
[0085]
d、利用所述训练集训练所述预先确定的眼睛识别模型；
[0086]
e、利用所述验证集验证训练的眼睛识别模型的准确率，若准确率大于或者等于预设准确率，则训练结束，或者，若准确率小于预设准确率，则增加各个眼睛区域及非眼睛区域对应的样本图片数量并重新执行上述步骤b、c、d、e。
[0087]
本实施例中其他卷积神经网络模型的训练方式可参见上述眼睛识别模型。在训练好眼睛识别模型后，可利用眼睛识别模型识别脸部图像中的眼睛区域图像。具体的，首先对脸部图像进行裁剪，并将裁剪之后的图像尺寸归一化大小为256
×
256像素图像；根据前期训练好的眼睛识别模型，通过5层卷积网络，7
×
7的卷积模板、2
×
2的最大池化模板的网络提取图像特征，并采用激励函数softmax识别出眼睛的区域图像。
[0088]
同样的，首先对脸部图像进行裁剪，并将裁剪之后的图像尺寸归一化大小为256
×
256像素图像；根据前期训练好的嘴巴识别模型，通过5层卷积网络，7
×
7的卷积模板、2
×
2的最大池化模板的网络提取图像特征，并采用激励函数softmax识别出嘴巴的区域图像。
[0089]
进一步地，所述基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息，包括：
[0090]
对识别到的眼睛区域图像进行裁剪，将所述眼睛区域图像归一化为预设第二尺寸大小，例如可将裁剪之后的眼睛区域图像尺寸归一化大小为64
×
64像素图像。利用眼睛状态识别模型对剪裁后眼睛区域图像中的眼睛眨眼状态进行识别，并统计得到预设第一时间段内眼睛区域图像序列中的眨眼次数，其中，眼睛区域图像序列为在不同时间、不同方位对目标即眼睛区域依序连续获取的系列图像。所述眼睛状态识别模型为预先通过对预设第三数量的眼睛眨眼状态样本图像及眼睛正常状态样本图像进行标注并训练得到的卷积神经网络模型。例如，可预先设定眼睛眨眼状态图像为眼睛完全闭合或眼睛打开的角度小于一定阈值的图像，眼睛正常状态图像为眼睛正常打开的图像，为避免眼睛眨眼状态与眼睛正常状态混淆，可将设定的阈值尽量调低。准备预设数量(例如各1000张)的眼睛眨眼状态样本图像及眼睛正常状态样本图像，为每个样本图像标注对应的标签(例如眼睛眨眼状态样本图像标注为“眨眼”，眼睛正常状态样本图像标注为“正常”)；将所有样本图像划分为训练集和验证集，其中，训练集和验证集中均包括有眼睛眨眼状态样本图像及眼睛正常状态样本图像。利用具有深度学习的卷积神经网络对训练集中的样本图像进行训练，获取初步训练好的模型；再利用初步训练好的模型对验证集中的样本图像进行反复验证、训练，直至模型收敛，将收敛的模型作为最终训练好的眼睛状态识别模型。例如，在一种可选的实施方式中，可通过3层卷积网络，5
×
5的卷积模板、2
×
2的最大池化模板的眼睛状态识别网络模型提取剪裁后眼睛区域图像中的眼睛眨眼状态图像特征，并采用激励函数softmax识别得到眼睛的状态。
[0091]
对识别到的嘴巴区域图像进行裁剪，将所述嘴巴区域图像归一化为预设第三尺寸大小，例如可将裁剪之后的嘴巴区域图像尺寸归一化大小为64
×
64像素图像。利用嘴巴状态识别模型对剪裁后嘴巴区域图像中的嘴巴打哈欠状态进行识别，并统计得到预设第二时间段内嘴巴区域图像序列中的打哈欠次数，其中，嘴巴区域图像序列为在不同时间、不同方位对目标即嘴巴区域依序连续获取的系列图像。所述嘴巴状态识别模型为预先通过对预设第四数量的嘴巴打哈欠状态样本图像及嘴巴正常状态样本图像进行标注并训练得到的卷积神经网络模型。例如，可预先设定嘴巴打哈欠状态图像为嘴巴张开角度超过一定阈值的
图像，嘴巴正常状态图像为嘴巴正常张开的图像，为避免嘴巴打哈欠状态与嘴巴正常状态混淆，可将设定的张开角度阈值尽量调高。准备预设数量(例如各1000张)的嘴巴打哈欠状态样本图像及嘴巴正常状态样本图像，为每个样本图像标注对应的标签(例如嘴巴打哈欠状态样本图像标注为“打哈欠”，嘴巴正常状态样本图像标注为“正常”)；将所有样本图像划分为训练集和验证集，其中，训练集和验证集中均包括有嘴巴打哈欠状态样本图像及嘴巴正常状态样本图像。利用具有深度学习的卷积神经网络对训练集中的样本图像进行训练，获取初步训练好的模型；再利用初步训练好的模型对验证集中的样本图像进行反复验证、训练，直至模型收敛，将收敛的模型作为最终训练好的嘴巴状态识别模型。例如，在一种可选的实施方式中，可通过3层卷积网络，5
×
5的卷积模板、2
×
2的最大池化模板的嘴巴状态识别网络模型提取剪裁后嘴巴区域图像中的嘴巴打哈欠状态图像特征，并采用激励函数softmax识别得到嘴巴的状态。
[0092]
进一步地，在一实施例中，所述根据驾驶员眼睛、嘴巴的姿态相关信息，并基于预设规则检测驾驶员是否处于疲劳状态，包括：
[0093]
获取驾驶员在预设第三时间段内的眨眼次数及打哈欠次数；
[0094]
根据驾驶员在预设第三时间段内的眨眼次数及打哈欠次数，计算出预设第三时间段内驾驶员的眨眼频率及打哈欠频率；
[0095]
检测所述眨眼频率是否超过预设第一阈值，以及所述打哈欠频率是否超过预设第二阈值；
[0096]
若是，则判断驾驶员处于疲劳状态。
[0097]
本实施例中主要是结合驾驶员在一段时间内眨眼的频率和打哈欠的频率进行驾驶员疲劳判断。例如，当驾驶员在时间段60分钟内眨眼的频率超过预设第一阈值30次，打哈欠的频率超过预设第二阈值3次，则可综合判断驾驶员处于疲劳驾驶状态。其中，所述时间段、预设第一阈值、预设第二阈值可根据实际应用场景进行调整设定，已达到准确的检测效果，当然，也可以根据不同驾驶员的行为习惯进行个性化设定，在此不作限定。
[0098]
此外，在另一种可选的实施方式中，在通过眨眼频率和打哈欠频率综合判断驾驶员疲劳后，还可同时自动发送语音至驾驶员确认，根据驾驶员对语音的反馈来进一步确认驾驶员是否处于疲劳状态，从而更加准确的检测驾驶员疲劳，同时还能防止系统误判的情况发生。
[0099]
进一步地，在一实施例中，在判断驾驶员处于疲劳状态后，还包括：
[0100]
播放预设语音警示信息，如可播放较大音量的语音来提醒驾驶员自身处于疲劳驾驶状态，需注意行车安全。或者，自动接入预设辅助驾驶系统以辅助控制车辆，如可自动开启防碰撞预警、车道保持功能等，也可缓慢地降低车速，以保证驾驶员的安全。
[0101]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0102]
本实施例还提供一种驾驶员疲劳检测系统，该驾驶员疲劳检测系统与上述实施例中驾驶员疲劳检测方法一一对应。如图4所示，该驾驶员疲劳检测系统包括获取模块401、第一识别模块402、第二识别模块403、检测模块404。各功能模块详细说明如下：
[0103]
获取模块401，用于获取驾驶员的脸部图像；
[0104]
第一识别模块402，用于根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像；
[0105]
第二识别模块403，用于基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息；
[0106]
检测模块404，用于根据驾驶员眼睛、嘴巴的姿态相关信息，并基于预设规则检测驾驶员是否处于疲劳状态。
[0107]
关于驾驶员疲劳检测系统各个模块的具体限定可以参见上文中对于驾驶员疲劳检测方法的限定，在此不再赘述。上述驾驶员疲劳检测系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0108]
参照图5，本实施例还提供了一种计算机设备，该计算机设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该计算机设备包括处理器10、存储器20及显示器30。图4仅示出了计算机设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
[0109]
存储器20在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器20在另一些实施例中也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，存储器20还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器20用于存储安装于计算机设备的应用软件及各类数据，例如安装计算机设备的程序代码等。存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有驾驶员疲劳检测计算机程序40。
[0110]
处理器10在一些实施例中可以是一中央处理器(central processing unit,cpu)，微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行驾驶员疲劳检测方法等。
[0111]
显示器30在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light
‑
emitting diode，有机发光二极管)触摸器等。显示器30用于显示在计算机设备的信息以及用于显示可视化的用户界面。计算机设备的部件10
‑
30通过系统总线相互通信。
[0112]
在一实施例中，当处理器10执行存储器20中驾驶员疲劳检测计算机程序40时实现以下步骤：
[0113]
获取驾驶员的脸部图像；
[0114]
根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像；
[0115]
基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息；
[0116]
根据驾驶员眼睛、嘴巴的姿态相关信息，并基于预设规则检测驾驶员是否处于疲劳状态。
[0117]
本实施例还提供了一种计算机可读存储介质，其上存储有驾驶员疲劳检测计算机
程序，计算机程序被处理器执行时实现以下步骤：
[0118]
获取驾驶员的脸部图像；
[0119]
根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像；
[0120]
基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息；
[0121]
根据驾驶员眼睛、嘴巴的姿态相关信息，并基于预设规则检测驾驶员是否处于疲劳状态。
[0122]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
[0123]
本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0124]
以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。