一种基于移动智能手机的驾驶员疲劳检测系统的制作方法
【专利摘要】本发明公开了一种基于移动智能手机的驾驶员疲劳检测系统，视频采集模块（1）对驾驶员人脸及眼睛的图像采集；图像预处理模块（2）通过图像像素点的灰度调整去除图像噪声；人脸检测及定位模块（3）基于图像像素非线性分段色彩变换实现人脸检测及定位；人脸跟踪模块（4）利用相邻两帧图像的相关性，提高驾驶员脸部区域检测的速度；眼睛检测模块（5）基于改进的水平Sobel边缘检测的方法二值化图像；眼睛特征参数提取模块（6）提取眼睛的瞳孔开度特征参数；疲劳判断模块（7）基于PERCLOS方法，判断驾驶员是否为疲劳驾驶；本发明脸部检测快速高效准确，对像素要求不高，普通的手机摄像头即可实现图像的采集和检测，方便推广应用，成本低，准确度高。
【专利说明】一种基于移动智能手机的驾驶员疲劳检测系统【技术领域】
[0001]本发明涉及一种汽车安全辅助工具，具体为一种基于移动智能手机的驾驶员疲劳检测系统。
【背景技术】
[0002]在智能化技术迅猛发展的今天，汽车驾驶也在朝着智能化、安全化的方向发展，对驾驶员疲劳状态的检测是汽车智能辅助驾驶的关键技术。本专利主要实现驾驶员脸部状态的监测、跟踪及疲劳的判定，为安全驾驶车辆提供保障。
[0003]疲劳驾驶是造成交通事故的主要原因之一。据美国国家高速公路交通安全部(NHSA)报告，2000年美国国内仅由于驾驶员注意力不集中、疲劳、缺少睡眠等原因造成的死亡约有4700人。据我国公安部提供的资料显示，2002年I月至11月全国道路运输行业共发生了一次死亡30人以下、10人以上的重大道路交通事故27起。在这27起重大交通事故中，有19起的直接或间接诱发因素是疲劳驾驶。
[0004]由于超长时间驾驶、夜间驾驶、或缺少睡眠等原因，驾驶员在驾驶时会出现疲劳或困倦的状态。驾驶员疲劳是生理疲 劳和心理疲劳的混合因素造成的，一般包括以下特征:注意力不集中、睡意、打哈欠、反应慢、眼睛酸痛或疲劳、厌烦感、有要发怒的感觉、旋转方向盘的次数减少且角度变大、看不见路标、在车道内驾驶有困难，以及微睡眠等。医学专家指出，疲劳不但会影响驾驶员的反应速度、判断和视觉，也会影响他的警觉性和对问题的处理能力。特别是疲劳而产生的三分之二秒左右的“微睡眠”期增多，是交通事故发生的重要诱因。
[0005]现有疲劳检测方案一是依靠检测生理信号，如电波、眨眼频率、心率、脉搏频率以及皮肤电压等变化。此方案准确较好，但实际中无法使用方便的设备采集到这些信息。
[0006]第二种方案是检测驾驶员的驾驶行为。如操纵方向盘、加速器、刹车踏板、档位等的力度与速度。此方案因为要从汽车系统中读取驾驶行为数据，所以要与汽车系统进行某种程度的集成，无法在独立的设备上实现。
[0007]例如专利CN103465857公开一种基于手机的汽车主动安全的预警方法，主要通过手机上集成的单目摄像头对前方道路、车辆、行人的信息进行图像采集，并通过手机的摄像头的图像分析、模式识别算法等智能处理单元对摄像头采集到得信息进行实时分析计算，从而估算所在车道的位置、与前方车辆的距离、前方是否有行人等结果，并将结果显示在手机屏幕上，在有危险的情况下，及时提醒驾驶员，防止驾驶员在疲劳或走神的情况下发生交通事故；可以有效地减少交通事故的发生率。但是，该申请是基于外界环境的检测，对驾驶员本身的疲劳检测没有涉及，而驾驶员的疲劳驾驶是引起驾驶不安全的重要因素，当驾驶员处于疲劳状态时，即使检测到的外界预警可能不能够引起驾驶员的注意。
[0008]例如专利CN2461804公开了一种汽车驾驶员防瞌睡报警安全装置，依据司机对方向盘握紧力的变化判断驾驶员是否疲劳，检测不准确，误报多。
[0009]专利CN101763711公开了一种开车防瞌睡装置，依据驾驶员手的运动频率，判断是否处于瞌睡状态，当汽车直行，驾驶员手运动频率低，误报概率大。
[0010]专利CN202855027公开了一种驾驶员防疲劳瞌睡警示装置，通过驾驶员头部的反应来检测驾驶员的状态，要求驾驶员头部一直处于相同的状态，实用不方便。
[0011]现有技术中，人脸识别技术是一个前言课题，人脸有复杂的三维表面结构，同时面部肌肉的运动使得人脸成为一种非刚体目标，识别比较困难，人脸表情丰富，同时，人脸所成图像受光照、成像角度及成像距离的影响，人脸以及眼睛识别系统非常复杂。
[0012]近年来，汽车安全辅助工具领域开始探索通过检测眼部活动，提供一种驾驶员疲劳检测系统，例如论文《基于DSP的驾驶疲劳检测系统的研究与实现》公开了一种通过眼睛检测、跟踪与疲劳识别方法，基于主动红外光的人眼定位方法，提高了人眼检测的准确性，可以保证检测的实时性，但该论文直接对眼睛进行检测，图像处理，对图像采集装置像素要求高，且需要对视频序列进行奇偶帧差分处理，处理复杂，如果采集的图像像素较低，高斯平滑滤波有可能滤除了关键数据，导致检测失败。
[0013]目前，移动智能手机被广泛应用，如果能够基于移动智能手机的图像采集和处理系统，提供一种成本低，检测速度快，检验精确，对驾驶员束缚少的驾驶员疲劳检测系统，将能够极大的解决现有技术中的问题。
【发明内容】
[0014]发明目的:为解决上述问题，本发明提供一种检验准确快速，实施方便的一种基于移动智能手机的驾驶员疲劳检测系统。本发明可以基于移动设备实现，基于手机上的摄像头对人脸及眼睛的检测，实现驾驶员疲劳检测，实施方便，不增加额外成本，与智能手机的图像采集功能充分结合，提供一种方便 使用的基于移动智能手机的驾驶员疲劳检测系统。
[0015]本发明的技术方案为:
[0016]一种基于移动智能手机的驾驶员疲劳检测系统，包括视频采集模块、图像预处理模块、人脸检测及定位模块、人脸跟踪模块、眼睛检测模块、眼睛特征参数提取模块、疲劳判断模块和报警模块；视频采集模块、图像预处理模块、人脸检测及定位模块、人脸跟踪模块、眼睛检测模块、眼睛特征参数提取模块、疲劳判断模块和报警模块顺序连接。
[0017]视频采集模块包括移动智能手机的摄像头，用于对驾驶员人脸及眼睛的图像采集。
[0018]图像预处理模块通过对图像像素点的灰度调整去除图像噪声，用于光照补偿。
[0019]人脸检测及定位模炔基于图像像素非线性分段色彩变换实现人脸检测及定位，最终得出的人脸图像为人脸脸部的外接矩形。
[0020]人脸跟踪模块根据视频图像的连续帧间有较大相关性的特点，利用相邻两帧图像的相关性，获取脸部外接矩形，采用卡尔曼滤波跟踪方法提高驾驶员脸部区域检测的速度；为了提高检测速度，在人脸跟踪过程中，跟踪的是脸部外接矩形。
[0021]眼睛检测模炔基于改进的水平Sobel边缘检测的方法二值化图像，检测眼睛区域，将眼睛区域的图像近似为眼睛矩形区域，本申请中，对人脸和眼睛的检测并不针对眼睛所有图像像素处理，仅对相应矩形区域中的像素和轮廓进行检测，检测效率高。
[0022]眼睛特征参数提取模块提取眼睛的瞳孔开度特征参数。
[0023]疲劳判断模块依据瞳孔开度与眼睛大小的百分比，基于PERCL0S方法，判断驾驶员是否为疲劳驾驶。
[0024]报警模块包括语音报警和显示报警，报警模块当接收到疲劳判断模块的疲劳判断结果为疲劳时，启动语音报警和显示报警。
[0025]图像预处理模块光照补偿具体包括以下步骤:
[0026]将视频采集模块采集的整幅图像中所有像素的亮度从高到低排列，
[0027]设最高亮度阈值为I，预设基准亮度为x*I，其中X表示最高亮度阈值的百分比，X的取值范围为O~100% ;—般，X取值为95% ；
[0028]如果图像中像素的亮度值大于预设基准亮度的像素点数与图像总的像素点数的比例到达预设比例限定值，一般预设比例限定值为2%，则将预设基准亮度调整为参考白，参考白的灰度值为255，将整幅图像的其他像素点的灰度值按预设基准亮度与参考白的亮度调整的尺度进行变换。图像预处理模块光照补偿能够增强图像的边缘信息，提高人脸检测追踪效率，人脸及眼睛检测速度快。
[0029]人脸检测及定位模块执行人脸检测及定位具体包括以下步骤，
[0030]301，使用非线性分段色彩变换，将每个像素点的颜色值从三维的YCbCr色彩空间投射到Cb’ Cr’ 二维子空间，在Cb’ Cr’ 二维子空间中，代表肤色的像素点聚集在一起，从而易于与非肤色像素点分离。
[0031]302，在检测出肤色像素点后，采用基于边界的方法和基于区域的方法相结合的算法，进行人脸区域的分割；首先基于边界的算法通过亮度梯度得到一系列边界，边界用于前期初始矩形序列的产生，能够快速得到包含人脸区域的外接矩形；然后用基于区域的方法，对属于边界的每个像素点，检查像素点周边的限定数量的像素点的亮度值，若亮度值超过边界阈值，则将像素点也包含进边界，经区域合并后闭合的边界即为人脸轮廓，得到最终的输出脸部外接矩形。本申请快速识别人脸轮廓，对人脸的三维表面结构，快速变换到二维空间，去除不必要的脸部图像，快速获取人脸轮廓。
[0032]人脸跟踪模块对于人脸跟踪具体包括以下步骤，
[0033]401，根据驾驶员行车时面部运动连续帧间有较大相关性，在连续两帧图像中人脸不会有显著的位置变化，即人脸的运动是线性的，因此采用基于卡尔曼(Kalman)滤波跟踪方法从当前帧预测出下一帧中脸部的位置；
[0034]402，卡尔曼滤波跟踪方法用一组递归算法估计运动目标在下一帧图像中的位置以及位置预测的不确定性，自适应地确定在下一帧中的搜索窗口位置和大小，卡尔曼滤波跟踪具体包括:
[0035]脸部在每一帧的运动用帧的位置和速度来描述，用(mtnt)表示脸部矩形图像中一个像素的t时刻的位置，(ut，vt)表示所述像素在t时刻在水平方向m和垂直方向η上的速度，Xt为时刻t的状态向量表示为式⑴，
[0036]xt = [mtntutvt]T (I)
[0037]其中矩形[mtntutvt]T为矩形[mtntutvt]的转置矩阵；
[0038]人脸跟踪模型表示为式(2)，
[0039]xt+1 = Axt+wt (2)
[0040] 其中，A为状态迁移矩阵，Wt为所述像素t时刻的状态误差量，所述Wt服从正态分布，表示为Wt~N(0，Q)，N (O, Q)表示正态分布，Q为状态协方差矩阵；[0041]在驾驶员视频中，认为脸部的运动是线性的，因此状态迁移矩阵A为式(3):
【权利要求】
1.一种基于移动智能手机的驾驶员疲劳检测系统，其特征在于，包括视频采集模块(I)、图像预处理模块(2)、人脸检测及定位模块(3)、人脸跟踪模块(4)、眼睛检测模块(5)、眼睛特征参数提取模块(6)、疲劳判断模块(7)和报警模块(8)； 所述视频采集模块(1)、图像预处理模块(2)、人脸检测及定位模块(3)、人脸跟踪模块(4)、眼睛检测模块(5)、眼睛特征参数提取模块(6)、疲劳判断模块(7)和报警模块⑶顺序连接； 所述视频采集模块(1)包括移动智能手机的摄像头，用于对驾驶员人脸及眼睛的图像米集； 所述图像预处理模块(2)通过对图像像素点的灰度调整去除图像噪声，用于光照补偿； 所述人脸检测及定位模块(3)基于图像像素非线性分段色彩变换实现人脸检测及定位； 所述人脸跟踪模块⑷根据视频图像的连续帧间相关性的特点，利用相邻两帧图像的相关性，获取脸部外接矩形，采用卡尔曼滤波跟踪方法提高驾驶员脸部区域检测的速度；所述眼睛检测模块(5)基于改进的水平Sobel边缘检测的方法二值化图像，检测眼睛区域； 所述眼睛特征参数提取模块(6)提取眼睛的瞳孔开度特征参数； 所述疲劳判断模块(7)依据瞳孔开度与眼睛大小的百分比，基于PERCL0S方法，判断驾驶员是否为疲劳驾驶； 所述报警模块(8)包括语音报警和显示报警。
2.根据权利要求1所述的一种基于移动智能手机的驾驶员疲劳检测系统，其特征在于，所述图像预处理模块(2)光照补偿具体包括以下步骤， 将整幅图像中所有像素的亮度从高到低排列， 设最高亮度阈值为1，预设基准亮度为x*1，其中X表示最高亮度阈值的百分比，X的取值范围为O~100% ； 如果图像中像素的亮度值大于预设基准亮度的像素点数与图像总的像素点数的比例到达预设比例限定值，则将所述预设基准亮度调整为参考白，所述参考白的灰度值为255，将整幅图像的其他像素点的灰度值按预设基准亮度与所述参考白的亮度调整的尺度进行变换。
3.根据权利要求1所述的一种基于移动智能手机的驾驶员疲劳检测系统，其特征在于，所述人脸检测及定位模块(3)执行人脸检测及定位具体包括以下步骤， .301，使用非线性分段色彩变换，将每个像素点的颜色值从三维的YCbCr色彩空间投射到Cb’ Cr’ 二维子空间，在Cb’ Cr’ 二维子空间中，代表肤色的像素点聚集在一起，从而易于与非肤色像素点分离； .302，在检测出肤色像素点后，采用基于边界的方法和基于区域的方法相结合的算法，进行人脸区域的分割；首先基于边界的算法通过亮度梯度得到一系列边界，所述边界用于前期初始矩形序列的产生，能够快速得到包含人脸区域的外接矩形；然后用基于区域的方法，对属于所述边界的每个像素点，检查像素点周边的限定数量的像素点的亮度值，若所述亮度值超过边界阈值，则将所述像素点也包含进边界，经区域合并后闭合的边界即为人脸轮廓，得到最终的输出脸部外接矩形。
4.根据权利要求1所述的一种基于移动智能手机的驾驶员疲劳检测系统，其特征在于，所述人脸跟踪模块(4)对于人脸跟踪具体包括以下步骤， .401，根据驾驶员行车时面部运动连续帧间的相关性，在连续两帧图像中人脸不会有显著的位置变化，即人脸的运动是线性的，因此采用基于卡尔曼滤波跟踪方法从当前帧预测出下一帧中脸部的位置； .402，卡尔曼滤波跟踪方法用一组递归算法估计运动目标在下一帧图像中的位置以及位置预测的不确定性，自适应地确定在下一帧中的搜索窗口大小，卡尔曼滤波跟踪具体包括: 脸部在每一帧的运动用帧的位置和速度来描述，用(mtnt)表示脸部矩形图像中一个像素的t时刻的位置，(ut，vt)表示所述像素在t时刻在水平方向m和垂直方向η上的速度，Xt为时刻t的状态向量,表示为式(I),xt = [mtntutvt]T (I)， 其中矩形[mtntutvt]T为矩形[mtntutvt]的转置矩阵； 人脸跟踪模型表示为式⑵，xt+1为时刻t+Ι的状态向量， xt+i = Axt+wt (2) 其中，A为状态迁移矩阵，Wt为所述像素t时刻的状态误差量，所述wt服从正态分布，表示为Wt~N(0，Q)，N (O, Q)表示正态分布，Q为状态协方差矩阵； 在驾驶员视频中，认为脸部的运动是线性的，因此状态迁移矩阵A为式(3):
5.根据权利要求1所述的一种基于移动智能手机的驾驶员疲劳检测系统，其特征在于，所述眼睛检测模块(5)对眼睛检测过程具体包括以下步骤，。 501，对图像预处理模块(2)预处理过的驾驶员脸部图像采用改进的水平Sobel边缘检测的方法二值化图像，用连通区域标记的方法检测出候选的眼睛区域，得到眼睛外接矩形； 。 502，对于所述检测出的眼睛外接矩形，去除干扰矩形；。 503，去除干扰矩形后，求出每个眼睛外接矩形区域的重心，对于每个区域的重心，在以该重心为顶点，以脸部外接矩形高的20%~30%为高的等腰直角三角形内搜寻其它区域的重心，若成功搜寻到其它区域的重心，则这两个区域可视为一对眉毛-眼睛区域；。 504，在完成寻找全部的眉毛-眼睛区域后，依据左右两对眉毛-眼睛的关系，最终确定眼睛位置； 。 505，步骤504后，若检测眼睛失败，则提示用户调整摄像头角度，摄像头调整后，重新进入501步骤。
6.根据权利要求1所述的一种基于移动智能手机的驾驶员疲劳检测系统，其特征在于，所述眼睛特征参数提取模块(6)用于疲劳判定的眼睛特征参数为瞳孔开度占眼睛大小的百分比，将预设时间内的图像按眼睛区域所占像素个数的百分比由多到少排列，取所述百分比的前5%~10%的图像，将所述眼睛区域像素数的平均值视为张开时眼睛的大小，所述眼睛区域的瞳孔开度则为眼睛检测模块(5)对当前眼睛区域的检测的像素值。
7.根据权利要求1所述的一种基于移动智能手机的驾驶员疲劳检测系统，其特征在于，所述疲劳判断模块(7)定义眼睛瞳孔开度占眼睛大小的百分比大于20%为眼睛睁开，等于或者小于20%为眼睛闭合，疲劳检测采用PERCL0S方法，根据PERCL0S方法，当在连续。2~5秒时间内检测到眼睛闭合的时间超过1.6~2秒时判定为疲劳。
8.根据权利要求5所述的一种基于移动智能手机的驾驶员疲劳检测系统，其特征在于，所述步骤502干扰矩形包括高度大于长度的矩形区域，小于或者等于2mmx2_的矩形区域，大于脸部区域5%的矩形区域。
9.根据权利要求5所述的一种基于移动智能手机的驾驶员疲劳检测系统，其特征在于，所述步骤504眉毛-眼睛的关系为两眼重心连线与图像X轴的夹角小于30°。
10.根据权利要求2所述的一种基于移动智能手机的驾驶员疲劳检测系统，其特征在于，所述图像预处理模块(2)光照补偿中最高亮度阈值的百分比X取值为95%，即所述预设基准亮度为95% I，所述预设比例限定值为2%。
【文档编号】A61B5/18GK104013414SQ201410181705
【公开日】2014年9月3日 申请日期:2014年4月30日 优先权日:2014年4月30日
【发明者】刘国清, 王启程, 周翔, 杨广 申请人:南京车锐信息科技有限公司