基于深度学习的驾驶员疲劳检测方法及装置与流程

本发明涉及图像处理、视频监控以及智能交通，特别涉及基于深度学习的驾驶员疲劳检测方法及装置。

背景技术：

驾驶员疲劳检测是引发交通事故的一个重要因素，因此到了广泛的研究。目前，驾驶员疲劳检测方法主要是从驾驶员的生理信息、面部信息以及车辆状态对驾驶员是否处于疲劳状态进行检测。

基于驾驶员生理信息的检测方法需要在驾驶员的身体上加一些测量设备，检测驾驶员的生理参数，如心电图、脑电图、脉搏等，但是这种方法容易对驾驶员产生干扰。基于车辆状态的检测方法通过检测方向盘转动、车辆速度、转弯角度的异常，来判断驾驶员是否处于疲劳状态，但容易受路况、驾驶员的驾驶习惯等外界的影响。基于驾驶员面部信息的检测方法通过检测驾驶员的眼睛闭合度、眨眼频率、头部位置、打哈欠等信息判断驾驶员是否疲劳，该方法是非接触的，受外界影响较少，近年来得到了广泛的关注。

公开号为CN104881955A的中国发明专利申请公开了一种驾驶员疲劳驾驶检测方法及系统，该方法通过定位驾驶员眼睛区域，计算眼睛的开合度，根据比较眼睛的开合度与设定的阈值来判断驾驶员是否处于疲劳状态。公开号为CN104574819A的中国发明专利申请公开了一种基于嘴巴特征的疲劳驾驶检测方法，该方法通过精确定位驾驶员的嘴巴位置，判断驾驶员嘴巴的张开程度，根据单位时间内，嘴巴张开程度较大的帧数所占比例，判断驾驶员是否处于疲劳驾驶状态。

然而，上述驾驶员疲劳检测方法检测准确率较差。

综上所述，目前迫切需要提出一种检测准确率较好的驾驶员疲劳检测方法及装置。

技术实现要素：

有鉴于此，本发明的主要目的在于实现驾驶员的疲劳检测，且检测准确率较高。

为达到上述目的，按照本发明的第一个方面，提供了基于深度学习的驾驶员疲劳检测方法，该方法包括：

第一步骤，选取不同状态的驾驶员图像作为样本图像，对具有深度学习的神经网络进行训练，获取训练好的驾驶员状态识别模型；

第二步骤，采集驾驶员的视频图像；

第三步骤，采用人脸检测算法从每帧视频图像中获取人脸区域；

第四步骤，采用训练好的驾驶员状态识别模型对每帧视频图像的人脸区域进行识别，获取每帧视频图像中驾驶员的状态；及

第五步骤，根据连续帧的视频图像中驾驶员的状态，采用眨眼分析、打哈欠分析、综合分析判断驾驶员是否疲劳，并输出结果。

所述第一步骤进一步包括：

样本选取步骤，分别选取DNum1个闭眼的驾驶员图像、DNum2个打哈欠的驾驶员图像、DNum3个正常状态的驾驶员图像为样本图像，并将样本图像缩放为宽度为Th_Width、高度为Th_Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；

初步样本训练步骤，利用具有深度学习的神经网络对灰度的样本图像进行训练，获取初步训练好的模型；

二次训练步骤，选取TNum个由闭眼、打哈欠、正常状态的驾驶员图像组成的测试图像，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为驾驶员状态识别模型输出。

所述二次训练步骤进一步包括：

测试图像选取步骤，选取TNum个测试图像，测试图像由闭眼、打哈欠、正常状态的驾驶员图像组成，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；

训练特征提取步骤，根据初步训练好的模型提取灰度的测试图像的特征；

训练分类判定步骤，计算灰度的测试图像的特征与闭眼的驾驶员的特征的相似度Simi₁、与打哈欠的驾驶员的特征的相似度Simi₂、以及与正常状态的驾驶员的特征的相似度Simi₃，选取Simi_k值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}；

反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤和训练分类判定步骤，直至该模型收敛，将收敛的模型作为驾驶员状态识别模型并输出。

所述第四步骤进一步包括：

人脸区域预处理步骤，将当前帧视频图像内人脸区域缩放为宽度为Th_Width、高度为Th_Height，若人脸区域为彩色图像，对人脸区域进行灰度化处理，获取灰度化的人脸区域；

人脸特征提取步骤，对于当前帧视频图像，利用训练好的驾驶员状态识别模型提取当前帧视频图像内人脸区域的特征；

驾驶员状态类别判定步骤，计算当前帧视频图像内人脸特征与闭眼的驾驶员的特征的相似度Simi₁、与打哈欠的驾驶员的特征的相似度Simi₂、与正常状态的驾驶员的特征的相似度Simi₃，选取Simi_k值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}。

所述第五步骤进一步包括：

驾驶员状态统计步骤，对于连续FINum帧视频图像，分别统计属于闭眼的驾驶员的帧数CNum、打哈欠的驾驶员的帧数YNum；

眨眼分析步骤，计算连续FINum帧视频图像内的眨眼频率Bfre，若Bfre≥Th_BF，则输出驾驶员处于疲劳状态，否则转入打哈欠分析步骤；

打哈欠分析步骤，计算连续FINum帧视频图像内的哈欠频率Yfre，若Yfre≥Th_YF，则输出驾驶员处于疲劳状态，否则转入综合分析步骤；

综合分析步骤，计算连续FINum帧视频图像内的眨眼打哈欠总和频率Cfre，若Cfre≥Th_CF，则输出驾驶员处于疲劳状态，否则输出驾驶员处于清醒状态。

按照本发明的另一个方面，提供了基于深度学习的驾驶员疲劳检测装置，该装置包括：

驾驶员状态识别模型获取模块(1)，用于选取不同状态的驾驶员图像作为样本图像，对具有深度学习的神经网络进行训练，获取训练好的驾驶员状态识别模型；

视频图像获取模块(2)，用于采集驾驶员的视频图像；

人脸区域获取模块(3)，用于采用人脸检测算法从每帧视频图像中获取人脸区域；

驾驶员状态获取模块(4)，用于采用训练好的驾驶员状态识别模型对每帧视频图像的人脸区域进行识别，获取每帧视频图像中驾驶员的状态；及

驾驶员疲劳判断模块(5)，用于根据连续帧的视频图像中驾驶员的状态，采用眨眼分析、打哈欠分析、综合分析判断驾驶员是否疲劳，并输出结果。

所述驾驶员状态识别模型获取模块(1)进一步包括：

样本选取模块(11)，用于分别选取DNum1个闭眼的驾驶员图像、DNum2个打哈欠的驾驶员图像、DNum3个正常状态的驾驶员图像为样本图像，并将样本图像缩放为宽度为Th_Width、高度为Th_Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；

初步样本训练模块(12)，用于利用具有深度学习的神经网络对灰度的样本图像进行训练，获取初步训练好的模型；

二次训练模块(13)，用于选取TNum个由闭眼、打哈欠、正常状态的驾驶员图像组成的测试图像，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为驾驶员状态识别模型输出。

所述二次训练模块(13)进一步包括：

测试图像选取模块(131)，用于选取TNum个测试图像，测试图像由闭眼、打哈欠、正常状态的驾驶员图像组成，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；

训练特征提取模块(132)，用于根据初步训练好的模型提取灰度的测试图像的特征；

训练分类判定模块(133)，用于计算灰度的测试图像的特征与闭眼的驾驶员的特征的相似度Simi₁、与打哈欠的驾驶员的特征的相似度Simi₂、以及与正常状态的驾驶员的特征的相似度Simi₃，选取Simi_k值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}；

反复训练模块(134)，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块和训练分类判定模块，直至该模型收敛，将收敛的模型作为驾驶员状态识别模型并输出。

所述驾驶员状态获取模块(4)进一步包括：

人脸区域预处理模块(41)，用于将当前帧视频图像内人脸区域缩放为宽度为Th_Width、高度为Th_Height，若人脸区域为彩色图像，对人脸区域进行灰度化处理，获取灰度化的人脸区域；

人脸特征提取模块(42)，用于对于当前帧视频图像，利用训练好的驾驶员状态识别模型提取当前帧视频图像内人脸区域的特征；

驾驶员状态类别判定模块(43)，用于计算当前帧视频图像内人脸特征与闭眼的驾驶员的特征的相似度Simi₁、与打哈欠的驾驶员的特征的相似度Simi₂、与正常状态的驾驶员的特征的相似度Simi₃，选取Simi_k值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}。

所述驾驶员疲劳判断模块(5)进一步包括：

驾驶员状态统计模块(51)，用于对于连续FINum帧视频图像，分别统计属于闭眼的驾驶员的帧数CNum、打哈欠的驾驶员的帧数YNum；

眨眼分析模块(52)，用于计算连续FINum帧视频图像内的眨眼频率Bfre，若Bfre≥Th_BF，则输出驾驶员处于疲劳状态，否则转入打哈欠分析模块；

打哈欠分析模块(53)，用于计算连续FINum帧视频图像内的哈欠频率Yfre，若Yfre≥Th_YF，则输出驾驶员处于疲劳状态，否则转入综合分析模块；

综合分析模块(54)，用于计算连续FINum帧视频图像内的眨眼打哈欠总和频率Cfre，若Cfre≥Th_CF，则输出驾驶员处于疲劳状态，否则输出驾驶员处于清醒状态。

与现有的驾驶员疲劳检测技术相比，本发明基于深度学习的驾驶员疲劳检测方法及装置检测准确率较高。

附图说明

图1示出了按照本发明基于深度学习的驾驶员疲劳检测方法的流程图。

图2示出了按照本发明基于深度学习的驾驶员疲劳检测装置的框架图。

具体实施方式

为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。

图1给出了按照本发明基于深度学习的驾驶员疲劳检测方法的流程图。如图1所示，按照本发明基于深度学习的驾驶员疲劳检测方法包括：

第一步骤S1，选取不同状态的驾驶员图像作为样本图像，对具有深度学习的神经网络进行训练，获取训练好的驾驶员状态识别模型；

第二步骤S2，采集驾驶员的视频图像；

第三步骤S3，采用人脸检测算法从每帧视频图像中获取人脸区域；

第四步骤S4，采用训练好的驾驶员状态识别模型对每帧视频图像的人脸区域进行识别，获取每帧视频图像中驾驶员的状态；及

第五步骤S5，根据连续帧的视频图像中驾驶员的状态，采用眨眼分析、打哈欠分析、综合分析判断驾驶员是否疲劳，并输出结果。

所述第一步骤S1进一步包括：

样本选取步骤S11，分别选取DNum1个闭眼的驾驶员图像、DNum2个打哈欠的驾驶员图像、DNum3个正常状态的驾驶员图像为样本图像，并将样本图像缩放为宽度为Th_Width、高度为Th_Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；

初步样本训练步骤S12，利用具有深度学习的神经网络对灰度的样本图像进行训练，获取初步训练好的模型；

二次训练步骤S13，选取TNum个由闭眼、打哈欠、正常状态的驾驶员图像组成的测试图像，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为驾驶员状态识别模型输出。

所述样本选取步骤S11中正常状态的驾驶员图像为睁着眼睛、没打哈欠的驾驶员图像。优选地，驾驶员图像选为只包含人脸区域的图像。

所述初步样本训练步骤S12中具有深度学习的神经网络可以为深度卷积神经网络(Convolutional Neural Network，简称CNN)、深度信念网络(Deep Belief Network，简称DBN)等。优选地，具有深度学习的神经网络选为深度卷积神经网络。

所述二次训练步骤S13进一步包括：

测试图像选取步骤S131，选取TNum个测试图像，测试图像由闭眼、打哈欠、正常状态的驾驶员图像组成，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；

训练特征提取步骤S132，根据初步训练好的模型提取灰度的测试图像的特征；

训练分类判定步骤S133，计算灰度的测试图像的特征与闭眼的驾驶员的特征的相似度Simi₁、与打哈欠的驾驶员的特征的相似度Simi₂、以及与正常状态的驾驶员的特征的相似度Simi₃，选取Simi_k值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}；

反复训练步骤S134，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤S132和训练分类判定步骤S133，直至该模型收敛，将收敛的模型作为驾驶员状态识别模型并输出。

所述DNum1≥1000，DNum2≥1000，DNum3≥1000，Th_Width∈[32,64]，Th_Height∈[36,72]，TNum≥1000。优选地，DNum1≥5000，DNum2≥5000，DNum3≥5000，Th_Width选为32，Th_Height选为36，TNum≥5000。

优选地，所述深度卷积神经网络络包括：

输入层，输入Th_Width*Th_Height的图像；

第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；

第一层采样层，采用最大池化法输出大小为KSi*KSi、步长为KSi的采样核；

第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；

第二层采样层，采用最大池化法输出大小为KSi*KSi、步长为KSi的采样核；

全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；

全连接层，输出3个神经元，即3个驾驶员状态类别。

其中，Th_Width和Th_Height分别为输入图像的宽度和高度，Th_Width∈[32，64]，Th_Height∈[36,72]。Th_CK1∈[6,20]。CKSi1∈[3,7]。KSi∈[2,4]。Th_CK2∈[10,40]。CKSi2∈[3,5]。Th_Neur∈[80,10000]。

优选地，Th_Width选为32，Th_Height选为36，Th_CK1选为16，CKSi1选为5，KSi选为2，Th_CK2选为32，CKSi2选为3，Th_Neur选为84。

所述第一层采样层和第二层采样层中的最大池化法可以替换为平均池化法或者随机池化法。

所述全连接层中ReLU全称为Rectified Linear Units，中文译为修正线性单元，可以参考文献“Taming the ReLU with Parallel Dither in a Deep Neural Network.AJR Simpson.Computer Science,2015”。

所述全连接层中ReLU可以替换为sigmoid函数或者tanh函数作为激活函数。

所述第二步骤S2中采集驾驶员的视频图像可以替换为输入驾驶员的视频图像。

所述第三步骤S3中人脸检测算法可以通过现有的人脸检测算法实现。例如，“梁路宏，艾海舟，何克忠.基于多模板匹配的单人脸检测.《中国图象图形学报》,1999(10):825-830”。

所述第四步骤S4进一步包括：

人脸区域预处理步骤S41，将当前帧视频图像内人脸区域缩放为宽度为Th_Width、高度为Th_Height，若人脸区域为彩色图像，对人脸区域进行灰度化处理，获取灰度化的人脸区域；

人脸特征提取步骤S42，对于当前帧视频图像，利用训练好的驾驶员状态识别模型提取当前帧视频图像内人脸区域的特征；

驾驶员状态类别判定步骤S43，计算当前帧视频图像内人脸特征与闭眼的驾驶员的特征的相似度Simi₁、与打哈欠的驾驶员的特征的相似度Simi₂、与正常状态的驾驶员的特征的相似度Simi₃，选取Simi_k值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}。

所述第五步骤S5进一步包括：

驾驶员状态统计步骤S51，对于连续FINum帧视频图像，分别统计属于闭眼的驾驶员的帧数CNum、打哈欠的驾驶员的帧数YNum；

眨眼分析步骤S52，计算连续FINum帧视频图像内的眨眼频率Bfre，若Bfre≥Th_BF，则输出驾驶员处于疲劳状态，否则转入打哈欠分析步骤S53；

打哈欠分析步骤S53，计算连续FINum帧视频图像内的哈欠频率Yfre，若Yfre≥Th_YF，则输出驾驶员处于疲劳状态，否则转入综合分析步骤S54；

综合分析步骤S54，计算连续FINum帧视频图像内的眨眼打哈欠总和频率Cfre，若Cfre≥Th_CF，则输出驾驶员处于疲劳状态，否则输出驾驶员处于清醒状态。

其中，所述FINum∈[20,50]，Th_BF∈[0.35,0.45]，Th_YF∈[0.55,0.65]，Th_CF∈[0.4,0.6]。优选地，FINum选为30，Th_BF选为0.4，Th_YF选为0.6，Th_CF选为0.5。

图2给出了按照本发明基于深度学习的驾驶员疲劳检测装置的框架图。如图2所示，按照本发明基于深度学习的驾驶员疲劳检测装置包括：

驾驶员状态识别模型获取模块1，用于选取不同状态的驾驶员图像作为样本图像，对具有深度学习的神经网络进行训练，获取训练好的驾驶员状态识别模型；

视频图像获取模块2，用于采集驾驶员的视频图像；

人脸区域获取模块3，用于采用人脸检测算法从每帧视频图像中获取人脸区域；

驾驶员状态获取模块4，用于采用训练好的驾驶员状态识别模型对每帧视频图像的人脸区域进行识别，获取每帧视频图像中驾驶员的状态；及

驾驶员疲劳判断模块5，用于根据连续帧的视频图像中驾驶员的状态，采用眨眼分析、打哈欠分析、综合分析判断驾驶员是否疲劳，并输出结果。

所述驾驶员状态识别模型获取模块1进一步包括：

样本选取模块11，用于分别选取DNum1个闭眼的驾驶员图像、DNum2个打哈欠的驾驶员图像、DNum3个正常状态的驾驶员图像为样本图像，并将样本图像缩放为宽度为Th_Width、高度为Th_Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；

初步样本训练模块12，用于利用具有深度学习的神经网络对灰度的样本图像进行训练，获取初步训练好的模型；

二次训练模块13，用于选取TNum个由闭眼、打哈欠、正常状态的驾驶员图像组成的测试图像，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为驾驶员状态识别模型输出。

所述样本选取模块11中正常状态的驾驶员图像为睁着眼睛、没打哈欠的驾驶员图像。优选地，驾驶员图像选为只包含人脸区域的图像。

所述初步样本训练模块12中具有深度学习的神经网络可以为深度卷积神经网络(Convolutional Neural Network，简称CNN)、深度信念网络(Deep Belief Network，简称DBN)等。优选地，具有深度学习的神经网络选为深度卷积神经网络。

所述二次训练模块13进一步包括：

测试图像选取模块131，用于选取TNum个测试图像，测试图像由闭眼、打哈欠、正常状态的驾驶员图像组成，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；

训练特征提取模块132，用于根据初步训练好的模型提取灰度的测试图像的特征；

训练分类判定模块133，用于计算灰度的测试图像的特征与闭眼的驾驶员的特征的相似度Simi₁、与打哈欠的驾驶员的特征的相似度Simi₂、以及与正常状态的驾驶员的特征的相似度Simi₃，选取Simi_k值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}；

反复训练模块134，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块132和训练分类判定模块133，直至该模型收敛，将收敛的模型作为驾驶员状态识别模型并输出。

所述DNum1≥1000，DNum2≥1000，DNum3≥1000，Th_Width∈[32,64]，Th_Height∈[36,72]，TNum≥1000。优选地，DNum1≥5000，DNum2≥5000，DNum3≥5000，Th_Width选为32，Th_Height选为36，TNum≥5000。

优选地，所述深度卷积神经网络络包括：

输入层，输入Th_Width*Th_Height的图像；

第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；

第一层采样层，采用最大池化法输出大小为KSi*KSi、步长为KSi的采样核；

第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；

第二层采样层，采用最大池化法输出大小为KSi*KSi、步长为KSi的采样核；

全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；

全连接层，输出3个神经元，即3个驾驶员状态类别。

其中，Th_Width和Th_Height分别为输入图像的宽度和高度，Th_Width∈[32，64]，Th_Height∈[36,72]。Th_CK1∈[6,20]。CKSi1∈[3,7]。KSi∈[2,4]。Th_CK2∈[10,40]。CKSi2∈[3,5]。Th_Neur∈[80,10000]。

优选地，Th_Width选为32，Th_Height选为36，Th_CK1选为16，CKSi1选为5，KSi选为2，Th_CK2选为32，CKSi2选为3，Th_Neur选为84。

所述第一层采样层和第二层采样层中的最大池化法可以替换为平均池化法或者随机池化法。

所述全连接层中ReLU全称为Rectified Linear Units，中文译为修正线性单元，可以参考文献“Taming the ReLU with Parallel Dither in a Deep Neural Network.AJR Simpson.Computer Science,2015”。

所述全连接层中ReLU可以替换为sigmoid函数或者tanh函数作为激活函数。

所述视频图像获取模块2中采集驾驶员的视频图像可以替换为输入驾驶员的视频图像。

所述人脸区域获取模块3中人脸检测算法可以通过现有的人脸检测算法实现。例如，“梁路宏，艾海舟，何克忠.基于多模板匹配的单人脸检测.《中国图象图形学报》,1999(10):825-830”。

所述驾驶员状态获取模块4进一步包括：

人脸区域预处理模块41，用于将当前帧视频图像内人脸区域缩放为宽度为Th_Width、高度为Th_Height，若人脸区域为彩色图像，对人脸区域进行灰度化处理，获取灰度化的人脸区域；

人脸特征提取模块42，用于对于当前帧视频图像，利用训练好的驾驶员状态识别模型提取当前帧视频图像内人脸区域的特征；

驾驶员状态类别判定模块43，用于计算当前帧视频图像内人脸特征与闭眼的驾驶员的特征的相似度Simi₁、与打哈欠的驾驶员的特征的相似度Simi₂、与正常状态的驾驶员的特征的相似度Simi₃，选取Simi_k值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}。

所述驾驶员疲劳判断模块5进一步包括：

驾驶员状态统计模块51，用于对于连续FINum帧视频图像，分别统计属于闭眼的驾驶员的帧数CNum、打哈欠的驾驶员的帧数YNum；

眨眼分析模块52，用于计算连续FINum帧视频图像内的眨眼频率Bfre，若Bfre≥Th_BF，则输出驾驶员处于疲劳状态，否则转入打哈欠分析模块53；

打哈欠分析模块53，用于计算连续FINum帧视频图像内的哈欠频率Yfre，若Yfre≥Th_YF，则输出驾驶员处于疲劳状态，否则转入综合分析模块54；

综合分析模块54，用于计算连续FINum帧视频图像内的眨眼打哈欠总和频率Cfre，若Cfre≥Th_CF，则输出驾驶员处于疲劳状态，否则输出驾驶员处于清醒状态。

其中，所述FINum∈[20,50]，Th_BF∈[0.35,0.45]，Th_YF∈[0.55,0.65]，Th_CF∈[0.4,0.6]。优选地，FINum选为30，Th_BF选为0.4，Th_YF选为0.6，Th_CF选为0.5。

与现有的驾驶员疲劳检测技术相比，本发明基于深度学习的驾驶员疲劳检测方法及装置检测准确率较高。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。