一种基于人脸特征检测疲劳驾驶的方法与流程

本发明涉及一种人工智能检测疲劳驾驶的方法。
背景技术：
：交通安全是目前世界所面临的一个重要问题，相关研究表明，交通事故在人类非自然死亡中所占的比例最大，许多人因此而失去了宝贵的生命，并给国家的经济带来了很大的负面影响。为了解决由疲劳驾驶引发的一系列问题，在国内外许多专家和学者的努力下，出现了许多新颖有效的方法。如今，疲劳检测算法基本可以分为两大类，即客观和主观两类。主观方面大部分是由驾驶员自己感觉或者是由他人观察来对实时的状态进行判断，但由于个人体质差异以及观察的仔细程度等，没有统一的标准，无法保证正确率，通常只用作检测的辅助手段。客观方面的研究是疲劳检测算法研究的重点。客观方面的研究主要是对于驾驶员的一些内在及外在的指标进行测试，研究主要分为以下3种方法：(1)采用传感器对驾驶员的生理指标进行监视，如心电图，呼吸的频率，心脏跳动的频率等。(2)采用机器视觉技术对驾驶员的外部变化进行监测，比如打哈欠，眼睛闭合等。(3)采用车载传感器对车辆的行驶特征以及驾驶员的行为进行监测，例如车速，转向快慢，刹车速度等。这些方法虽均能达到一定的检测效果，但大多未考虑到驾驶员戴眼镜的情况，且一般仅针对眼睛或嘴部单一部位进行检测与识别，特别是采用机器视觉技术根据驾驶员的外部特征变化进行监测的技术手段，容易导致检测效果不如人意，存在误判、准确性低的缺陷。技术实现要素：本发明对眼睛与嘴部特征联合检测可判断驾驶员的疲劳状态，避免了因佩戴眼镜而无法进行准确检测，本发明与传统监测方法相比联合运用眼睛与嘴部状态进行疲劳状态的特征提取，提高了判断的准确性、降低了疲劳驾驶检测的误判几率。本发明基于人脸特征检测疲劳驾驶的方法按以下步骤进行：一、图像采集；二、图像处理：采用自适应中值滤波法对采集的图像进行去噪、并采用自适应阈值法对采集的图像进行光照均衡；三、基于改进的adboost算法分类器进行人脸定位；其中仅在样本的权值比此时的更新阈值小，并且此样本被分类不正确的情况下权值才会做出相应的调整，增加权重；除此之外，权重将会被缩小；四、检测到人脸进行下一步，未检测到人脸进行步骤一；五、人脸特征识别5.1人眼定位：gaboreye模型结合辐射对称算法定位眼睛所在位置；5.2人眼状态判别：采用ostu法将选取图像处理为灰度直方图，以背景和目标的类间方差的取值端点作为对阈值选取依据，以二值化后图像中白色像素的数目作为眼睛的面积，眼睛处于睁开状态，眼睛区域中白色像素的数目远远多于眼睛闭合时白色像素的数目；利用眼睛最大面积对驾驶员某一时刻的眼睛面积进行归一化，归一化公式为其中，current_area为白色像素区域面积，max_area为眼睛最大面积；若a>0.6，眼睛是睁开的；若a≤0.6，则判定眼睛为闭合状态；5.3嘴部粗检：以嘴巴在脸部区域中分布的几何规则，由公式选择矩形部分；其中(xface,yface)代表提取人脸的矩形的左上角的坐标，(xm0,ym0)代表提取的嘴巴部分的左上角的坐标，wmouth代表嘴部粗检部分的宽度，hmouth代表嘴部粗检部分的高度；5.4嘴部状态判别：对图像进行二值化计算嘴部面积，公式为其中嘴巴部分的灰度值用fmouth(x,y)代表，经过二值化处理后得到图像用b(x,y)表示，阈值设定为0.2；然后对二值化处理后的图像进行腐蚀：利用结构对图像中的所有元素，之后对被结构元素所处理过的二值化图像与结构元素进行逻辑中的“与”操作，若得到的结果都是1，则被处理的像素得到新的像素值255，否则被处理的像素得到新的像素值0；对处理后图像中的连通域进行提取，并通过相互比较，找到其中最大的面积，将最大面积所在地方作为嘴巴部分的连通域；采用sobel算子对图像中嘴巴部分的边缘进行提取；采用似圆度的方法对嘴部所处的状态进行判定：计算出图像中最大的连通域中白色像素的个数，将此看作是嘴部的面积，利用所求的边缘，得到边缘上白色像素的数目，将此看作嘴部的周长；采用e代表似圆度，e∈[0,1]，嘴部的面积采用s表示，嘴部周长采用p表示，采用公式计算嘴巴部分的似圆度；若e<0.4，则嘴巴是闭合的，若e≥0.4，则嘴巴是张开的；六、疲劳状态判定选用从视频中获得的连续的图片，如果检测到驾驶员眼睛闭合并打哈欠，认定为疲劳状态；检测到驾驶员眼睛闭合未打哈欠，认定为疲劳状态；检测到驾驶员打哈欠但眼睛不闭合，认定为非疲劳状态；检测到驾驶员眼睛不闭合且未打哈欠，认定为非疲劳状态。本发明方法具有驾驶员疲劳状态检测准确性高的优点，本发明方法对于不同背景、光照强度、是否配戴眼镜都能作出准确的判断，提高了判断的准确性、降低了疲劳驾驶检测的误判几率，能够挽救更多驾驶员和行人的生命。附图说明图1是实施例1步骤二中用到的去噪原始图像；图2是实施例1步骤二中椒盐噪声后图像；图3是实施例1步骤二中椒盐噪声后采用中值滤波的图像；图4是实施例1步骤二中椒盐噪声后采用高斯滤波的图像；图5是实施例1步骤二中椒盐噪声后采用均值滤波的图像；图6是实施例1步骤二中椒盐噪声后采用本发明自适应中值滤波的图像；图7是实施例1步骤二中光照均衡实验用到的光照较强情况下的原始图像；图8是实施例1步骤二中光照均衡实验中光照较强的光照分量图；图9是实施例1步骤二中光照均衡实验中光照较强的自适应阈值法光照均衡图；图10是实施例1步骤二中光照均衡实验用到的光照较暗情况下的原始图像；图11是实施例1步骤二中光照均衡实验中光照较暗的光照分量图；图12是实施例1步骤二中光照均衡实验中光照较暗的自适应阈值法光照均衡图；图13是实施例1步骤三中在光照较暗的情况下采用本发明改进方法人脸定位效果图；图14是实施例1步骤三中在光照较强的情况下采用本发明改进方法人脸定位效果图；图15是实施例1步骤三中在光照强背景较杂乱的情况下采用本发明改进方法人脸定位效果图；图16是实施例1步骤三中在光照好背景杂乱的情况下采用本发明改进方法人脸定位效果图；图17是实施例1步骤三中在背景简单、光照强的情况下采用本发明改进方法人脸定位效果图；图18是实施例1步骤三中在背景简单、光照暗的情况下采用本发明改进方法人脸定位效果图；图19是实施例1步骤三中在背景复杂、光照强的情况下采用本发明改进方法人脸定位效果图；图20是实施例1步骤三中在背景复杂、光照暗的情况下采用本发明改进方法人脸定位效果图；图21～图28分别是图13～图20采用本发明人眼定位方法定位到的人眼睛位置图；图29是眼睛闭合原始图及对应二值化图；图30是眼睛睁开原始图及对应二值化图；图31是眼睛半睁开原始图及对应二值化图；图32是戴眼镜原始图及对应二值化图；图33是实施例1中嘴部粗检图；图34是实施例1中嘴部张开的二值化处理进行腐蚀的结果图；图35是实施例1中嘴部半张开的二值化处理进行腐蚀的结果图；图36是实施例1中嘴部闭合的二值化处理进行腐蚀的结果图。具体实施方式本发明技术方案不局限于以下所列举具体实施方式，还包括各具体实施方式间的任意组合。具体实施方式一：本实施方式基于人脸特征检测疲劳驾驶的方法按以下步骤进行：一、图像采集；二、图像处理：采用自适应中值滤波法对采集的图像进行去噪、并采用自适应阈值法对采集的图像进行光照均衡；三、基于改进的adboost算法分类器进行人脸定位；其中仅在样本的权值比此时的更新阈值小，并且此样本被分类不正确的情况下权值才会做出相应的调整，增加权重；除此之外，权重都将被缩小；四、检测到人脸进行下一步，未检测到人脸进行步骤一；五、人脸特征识别5.1人眼定位：gaboreye模型结合辐射对称算法定位眼睛所在位置；5.2人眼状态判别：采用ostu法将选取图像处理为灰度直方图，以背景和目标的类间方差的取值端点作为对阈值选取依据，以二值化后图像中白色像素的数目作为眼睛的面积，眼睛处于睁开状态，眼睛区域中白色像素的数目远远多于眼睛闭合时白色像素的数目；利用眼睛最大面积对驾驶员某一时刻的眼睛面积进行归一化，归一化公式为其中，current_area为白色像素区域面积，max_area为眼睛最大面积；若a>0.6，眼睛是睁开的；若a≤0.6，则判定眼睛为闭合状态；5.3嘴部粗检：以嘴巴在脸部区域中分布的几何规则，由公式选择矩形部分；其中(xface,yface)代表提取人脸的矩形的左上角的坐标，(xm0,ym0)代表提取的嘴巴部分的左上角的坐标，wmouth代表嘴部粗检部分的宽度，hmouth代表嘴部粗检部分的高度；5.4嘴部状态判别：对图像进行二值化计算嘴部面积，公式为其中嘴巴部分的灰度值用fmouth(x,y)代表，经过二值化处理后得到图像用b(x,y)表示，阈值设定为0.2；然后对二值化处理后的图像进行腐蚀：利用结构对图像中的所有元素，之后对被结构元素所处理过的二值化图像与结构元素进行逻辑中的“与”操作，若得到的结果都是1，则被处理的像素得到新的像素值255，否则被处理的像素得到新的像素值0；对处理后图像中的连通域进行提取，并通过相互比较，找到其中最大的面积，将最大面积所在地方作为嘴巴部分的连通域；采用sobel算子对图像中嘴巴部分的边缘进行提取；采用似圆度的方法对嘴部所处的状态进行判定：计算出图像中最大的连通域中白色像素的个数，将此看作是嘴部的面积，利用所求的边缘，得到边缘上白色像素的数目，将此看作嘴部的周长；采用e代表似圆度，e∈[0,1]，嘴部的面积采用s表示，嘴部周长采用p表示，采用公式计算嘴巴部分的似圆度；若e<0.4，则嘴巴是闭合的，若e≥0.4，则嘴巴是张开的；六、疲劳状态判定选用从视频中获得的连续的图片，如果检测到驾驶员眼睛闭合并打哈欠，认定为疲劳状态；检测到驾驶员眼睛闭合未打哈欠，认定为疲劳状态；检测到驾驶员打哈欠但眼睛不闭合，认定为非疲劳状态；检测到驾驶员眼睛不闭合且未打哈欠，认定为非疲劳状态。本实施方式步骤三对样本的权重进行更新效果明显，保证了若困难样本一直分类不正确，其权重也不会无限制的增大，从而提高了本发明方法分类器的准确度。本实施方式方法为了排除说话对检测结果的影响，如果检测到驾驶员的眼睛持续处于闭合状态，系统立刻得出驾驶员处于疲劳状态。具体实施方式二：本实施方式与具体实施方式一的不同点是：步骤二中自适应中值滤波法采用3×3的中值滤波模板、δ＝0.8、的高斯模板和的均值滤波模板。其它步骤及参数与实施方式一相同。具体实施方式三：本实施方式与具体实施方式一的不同点是：步骤二中自适应中值滤波法的最小窗口为3，最大窗口为19。其它步骤及参数与实施方式一相同。实施例1基于人脸特征检测疲劳驾驶的方法按以下步骤进行：一、图像采集；二、图像处理：采用自适应中值滤波法对采集的图像进行去噪、并采用自适应阈值法对采集的图像进行光照均衡；其中自适应中值滤波法采用3×3的中值滤波模板、δ＝0.8、的高斯模板和的均值滤波模板；自适应中值滤波法的最小窗口为3，最大窗口为19；将去噪原始图像(如图1所示)用噪声密度为0.4的椒盐噪声进行污染(椒盐噪声后图像如图2所示)，分别采用中值滤波如图3所示，采用高斯滤波如图4所示，采用均值滤波图如图5所示，采用本发明自适应中值滤波如图6所示；去噪结果显示中值滤波和均值滤波能达到一定的去噪效果，但是不能很好地保留图像中的有用信息，高斯滤波不易造成模糊失真，但是由于其滤除效果与其中的参数δ有关，所以普遍适用性较差，本发明自适应均值滤波不但能较好的滤除图像中的噪声，还能很好的保留有用的信息，去噪效果好，使得本发明处理后的图像更适合于进行后续各种操作。本实施例采用自适应阈值的方法给所采集到的图像进行光照均衡，先将所采集的图像变换至ycbcr空间，之后得到cb、cr的平均值meb、mer；计算cb和cr的均方差db和dr；对图像进行分割，若图像的某个部分的db、dr太小，即表明该部分的色差没有明显的变化，则对此部分不进行处理；采用图像中的最大亮度与各信道中参考点的平均值的比值，作为信道增益；然后对图像进行调整，使得图像在经过处理后，光照得以均衡；本发明方法无论是在强光下采集的图像还是在较暗情况下采集的图像，通过自适应的光照均衡算法都能对图像中的光照分量进行调整，使得图像的亮度和颜色得到均衡，排除了光照不均衡对后续图像处理的影响，解决了光的亮度对图像的影响。三、基于改进的adboost算法分类器进行人脸定位；其中仅在样本的权值比此时的更新阈值小，并且该样本被分类不正确的情况下权值才会做出相应的调整，增加权重；除此之外，权重都将被缩小；adboost算法是迭代算法中的一种，对于收集到的样本进行训练，得到不同的弱分类器，由这些分类器通过级联的方式形成强分类器，再将这些强分类器结合在一起，得到最终的分类器。在此基础上，本发明进行改进，只有当样本的权值比此时的更新阈值小，并且这个样本被分类不正确时，权值才会做出相应的调整，增加权重；除此之外，权重都将会被缩小；保证了若困难样本一直分类不正确，其权重也不会无限制的增大，从而提高了分类器的准确度。构建强分类器的过程使得被错误分类的样本获得更大的权重，加强了对这些样本的训练，使得准确率不断地提高。图13是在光照较暗的情况下采用本发明改进方法人脸定位效果图，图14是在光照较强的情况下采用本发明改进方法人脸定位效果图，图15是在光照强背景较杂乱的情况下采用本发明改进方法人脸定位效果图，图16是在光照好背景杂乱的情况下采用本发明改进方法人脸定位效果图，图17是在背景简单、光照强的情况下采用本发明改进方法人脸定位效果图，图18是在背景简单、光照暗的情况下采用本发明改进方法人脸定位效果图，图19是在背景复杂、光照强的情况下采用本发明改进方法人脸定位效果图，图20是在背景复杂、光照暗的情况下采用本发明改进方法人脸定位效果图。本实施例在图13～图20情况下都能将无关区域排除并定位到人脸，结果准确。四、检测到人脸进行下一步，未检测到人脸进行步骤一；五、人脸特征识别5.1人眼定位：gaboreye模型结合辐射对称算法定位眼睛所在位置；对眉毛的位置进行大致的估计，由眉毛的位置大致的确定眼睛的位置，并利用辐射对称变换迅速的找到特征点所在的位置，并利用模板对此特征点进行规整，由此得到眼睛的大致区域，重复该步骤，以达到对人眼的精确定位。本实施例对于人的面部图像，根据面部图像的尺寸，采用较为合适的gabor核函数，经过卷积之后，将处理后的图像进行扩张，由此获得gaboreye模型。图21～图28分别是图13～图20采用本发明人眼定位方法定位到的人眼睛位置图，由此可见，本发明方法在背景不同，光照不同以及样本不同的情况下都能够对人眼进行定位，精确的框选出人眼所在的位置，准确率高。而且即使实验者配戴眼镜也能定位出眼睛。5.2人眼状态判别：采用ostu法将选取图像处理为灰度直方图，以背景和目标的类间方差的取值端点作为对阈值选取依据，以二值化后图像中白色像素的数目作为眼睛的面积，眼睛处于睁开状态，眼睛区域中白色像素的数目远远多于眼睛闭合时白色像素的数目；利用眼睛最大面积对驾驶员某一时刻的眼睛面积进行归一化，归一化公式为其中current_area为白色像素区域面积，max_area为眼睛最大面积；若a>0.6，眼睛是睁开的；若a≤0.6，则判定眼睛为闭合状态；通过二值化能够得到人眼所在区域的白色像素，得到眼睛的面积，从而对眼睛所处的位置进行判别。由图29～图32可以看出，即使配戴眼镜二值化后也能得到眼睛的面积。由此分析，本发明方法的处理效果好。5.3嘴部粗检：以嘴巴在脸部区域中分布的几何规则，由公式选择矩形部分；其中(xface,yface)代表提取人脸的矩形的左上角的坐标，(xm0,ym0)代表提取的嘴巴部分的左上角的坐标，wmouth代表嘴部粗检部分的宽度，hmouth代表嘴部粗检部分的高度，如图33所示。5.4嘴部状态判别：对图像进行二值化计算嘴部面积，公式为其中嘴巴部分的灰度值用fmouth(x,y)代表，经过二值化处理后得到图像用b(x,y)表示，阈值设定为0.2；然后对二值化处理后的图像进行腐蚀，以达到降低背景对检测嘴巴部分的影响。步骤是：利用结构对图像中的所有元素，之后对被结构元素所处理过的二值化图像与结构元素进行逻辑中的“与”操作，若得到的结果都是1，则被处理的像素得到新的像素值255，否则被处理的像素得到新的像素值0；对处理后图像中的连通域进行提取，并通过相互比较，找到其中最大的面积，将最大面积所在地方作为嘴巴部分的连通域；采用sobel算子对图像中嘴巴部分的边缘进行提取(经过处理得到的结果如图34～图36所示)；采用似圆度的方法对嘴部所处的状态进行判定：计算出图像中最大的连通域中白色像素的个数，将此看作是嘴部的面积，利用所求的边缘，得到边缘上白色像素的数目，将此看作嘴部的周长；采用e代表似圆度，e∈[0,1]，嘴部的面积采用s表示，嘴部周长采用p表示，采用公式计算嘴巴部分的似圆度；若e<0.4，则嘴巴是闭合的，若e≥0.4，则嘴巴是张开的。经过5.4节方法处理不同嘴巴状态得到的结果如图34～图36所示，本发明通过对不同状态下嘴巴的图像进行采集，并对其进行二值化和边缘提取，检测嘴部状态。由图34～图36可以看出，经由二值化处理后能方便的得到嘴巴部分白色像素的数目，即嘴巴的面积，通过sobel边缘检测能检测到嘴巴的边缘，并得到边缘部分白色像素的数目，即嘴巴周长。六、疲劳状态判定选用从视频中获得的连续的图片，如果检测到驾驶员眼睛闭合并打哈欠，认定为疲劳状态；检测到驾驶员眼睛闭合未打哈欠，认定为疲劳状态；检测到驾驶员打哈欠但眼睛不闭合，认定为非疲劳状态；检测到驾驶员眼睛不闭合且未打哈欠，认定为非疲劳状态。本实施方式步骤三对样本的权重进行更新效果明显，保证了若困难样本一直分类不正确，其权重也不会无限制的增大，从而提高了本发明方法分类器的准确度。本实施例中采用混合核函数用于支持向量机，该混合核函数是k型核函数与logistic核函数的结合，混合核函数公式为k＝n·klogistic+(1-n)kk型，0≤n≤1。本发明混合核函数对n取不同值时(0≤n≤1)，都在0处出现峰值，因此0领域内的测试点对结果具有较大的影响，并且在0之后也会出现峰值，也会有对结果影响较大的点。因此可以看出，混合函数不仅学习能力强，适用性也非常广泛。本实施例支持向量机作用于疲劳驾驶的判定，即将所识别出的眼部与嘴部的状态作为数据输入，以此来对疲劳进行判别。本实施方式方法为了排除说话对检测结果的影响，如果检测到驾驶员的眼睛持续处于闭合状态，系统立刻得出驾驶员处于疲劳状态。采用本实施例方法对四名实验者的图像进行采集，对本文所述的算法进行验证，统计结果如表1所示，其中实验者1光照较暗，背景简单，不戴眼镜；实验者2光线较亮，不戴眼镜，背景简单；实验者3光线较亮，配戴眼镜，背景复杂；实验者4光线适中，配戴眼镜，背景复杂。表1疲劳判定统计实验者眼睛状态嘴巴状态疲劳判定真实状态结果实验者1闭合打哈欠疲劳疲劳准确实验者2闭合紧闭疲劳疲劳准确实验者3睁开打哈欠不疲劳不疲劳准确实验者4睁开紧闭不疲劳不疲劳准确经实验证明，以上四种情况下都能准确的判断出实验者所处的状态。当前第1页12