专利名称：驾驶员疲劳检测装置的制作方法
技术领域：
本实用新型属于数字图像信号处理应用领域，具体地说是一种对机动车驾驶员在驾驶 过程中出现的疲劳驾驶状态进行检测并预警的装置。
技术背景随着汽车消费的普及，人们对交通安全越来越关注。交通问题已经成为社会安全的瓶 颈。全世界每年因交通事故而导致的死亡人数也已经超过60万，造成的直接经济损失达125 亿美元。在我国，汽车拥有量虽然只有全世界总量的3%,但每年因为交通事故死亡的人数 却占了全世界的20%。交通安全成为我们安全的重大威胁。为了大力改善交通安全，减少 交通事故，在交通法规、监管措施日益完备的同时，致力于改进汽车安全的电子设备也越 来越多。例如ABS, TCS， ESP等，都受到了人们的普遍欢迎。从汽车市场的考察来看，汽车的安全性能的优劣已经成为人们购车的主导因素。各大 汽车生产公司也在竞相开发安全设备。例如VOLVO汽车公司就推出了 "驾驶员警示系统"， 该系统可根据行车状况及时的在驾驶员进入睡眠前给予警告。而法国的图卢兹西门子VDO 汽车公司则在开发一种通过监测司机注意力下降的系统。在国内虽然生产汽车电子的企业 超过1000家，但是大多从事生产附加值低的产品，缺乏核心技术，国内汽车电子市场70% 以上的份额都为外企把持。特别是从汽车安全这个方面来看，中国汽车安全产品还处于初 级阶段，所以产品的市场潜力巨大，仅国内每年新增车辆市场容量已经达到48.45亿元人民 币，还有2300亿元的社会保有车辆市场，此外还有及其广阔的国外市场。所以驾驶员疲劳 预警系统的研究既有技术价值，又有市场前景。驾驶员疲劳检测技术一般可分为主观检测技术和客观检测技术。主观检测主要通过主 观调査表、驾驶员自我记录表、睡眠习惯调査表、斯坦福睡眠尺度表和皮尔逊疲劳量表等 评定，由于种种因素主观检测技术的检测结果往往不能令人满意。客观检测技术是利用各种 仪器设备检测驾驶员的生理和心理的疲劳反映。生理反映有神经系统的功能、血液和眼睛 的变化等，研究人员往往用脑电、心电、眼睑眨动、眼球运动、头部的位移加以鉴别；心 理反映有反应时延长、注意分散、动作不协调等。从现有的研究结果看，疲劳驾驶与清醒 驾驶相比，较有特异性的指标是方向盘的微调，头部前倾，眼睑的眨动，甚至闭合。利 用客观检测技术可针对不同的驾驶员进行评价，其检测结果比较客观准确。因此，驾驶疲 劳检测技术的研究主要集中在客观检测技术方面。脑电图一直被誉为监测疲劳的"金标 准"，但由于目前检测脑电图，心电图，肌电图等仪器较精密，在机车上容易受到机车电 磁信号的干扰，而且价格昂贵，因此应用较少。另外有些检测方法需要司机的互动参与， 或需要司机直接接触传感器，以采集疲劳特征信号，但是这些检测方法大多需要驾驶员主 动配合或需要身体接触，会影响司机的驾驶状态。目前的发展趋势是非接触式疲劳检测，大量的人体生理实验表明驾驶员的眼部状态跟 他的精神状态关系密切，当驾驶员精神集中时眼睛张开的程度较大，而当驾驶员在打瞌睡 时眼睛会闭合，而且眨眼频繁。目前大部分研究驾驶疲劳的机构都采用PERCLOS (Percent Eyelid Closure眼睛闭合时间占特定时间的百分率)作为生理疲劳程度的指标。根据美国 联邦公路管理局和汽车联合会资助的研究结果表明 一般情况下人们眼睛闭合的时间在 0.12—0.13秒之间，驾驶时若眼睛皮和时间达到O. 15秒就很容易发生交通事故。因此我们可以通过摄像头实时采集分析处理司机驾驶时的图片，用基于图像处理和模式识别的方法 来解析PERCLOS指标以检测驾驶员的疲劳状态。数字图像处理技术应用于检测系统的研究开始于上个世纪末，早期的研究主要针对提 高检测算法的精确性，检测的速度进步相对较慢。大量的图像数据处理完全不能满足检测 系统的实时性，这也一直是将该算法用于实际的瓶颈。例如，根据PERCLOS检测疲劳状态， 据抽样定理可知，检测速度至少需要达到(1/0.12*2)帧/秒(约等于17帧/秒)。即需要 系统在一秒内完成17帧图像的检测与判断，这是一个相当有难度的速度。2001年P. Viola 文章的发表是人脸检测速度提高的一个转折点。他将人脸检测的速度比以前提高了 15倍， 在700Mhz Pentium III处理器的PC机上仿真速度达到了 15帧/秒，实现了实时的人脸检 测系统，使得人脸检测真正意义上的走向了实用的道路。这也给我们实现驾驶员疲劳检测 系统的算法研究与具体实现提供了可行性基础。 发明内容本实用新型的目的是提供一种驾驶员疲劳检测装置，满足非接触性、客观性、实时性、 准确性，快速准确的判断出驾驶员的精神状态，在必要的情况下采取相应措施，最大限度 的避免疲劳驾驶所引起的交通事故。本装置通过摄像头实时捕捉驾驶员的面部图像，采用一系列的数字图像处理技术对图 片进行分析和处理，实时地判断驾驶员的眼状态，并记录闭眼频率以获取PERCLOS指标，从 而判断驾驶员是否瞌睡，并通过短信和声音报警方式及时通知驾驶员和相关部门。实现本实用新型的技术方案如下 一种驾驶员疲劳的检测装置，GENE—8310主板、摄 像头、GPRS模块、扬声器模块、黑匣子模块，GENE—8310主板分别与摄像头、GPRS模块、扬声器模块、黑匣子模块相连。以lntel⑧Celeron M Processor为核心的GENE—8310是一款面向移动设备和嵌入式 系统的平台，有如下特点①小尺寸，仅为micro-ATX主板尺寸的25W;②低功耗，使用英 特尔奔腾M处理器；③无需风扇的散热方案，可以降低噪音，以及省去风扇的供电；④支持 多种接口，可以满足不同应用的需求，如车载系统，医疗设备等。而本系统的要求和特点 恰恰符合GENE—8310的这些优点，比如①极高的性能本系统实时性要求极高，所以需 要在一个高性能的平台上运行，而以Intel⑧Celeron M Processor为核心的GENE —8310 性能极高，可以提供与PC机相比拟的性能，这在极大意义上为本系统的实现提供了可行性； ②低功耗本系统需要长时间运行，所以一个低功耗的平台是必要的；③无需风扇的散热 方案由于该检测系统不能给司机带来不舒适感，没有风扇，便几乎没有噪音产生，不会 对司机的驾驶行为带来干扰； 技术支持十分良好我们可以使用V-tune、 IPP等intel系 列处理器独享的优秀工具，这为本系统的实现与改进提供了良好的条件；⑤小尺寸由于 本系统是车载系统，所以体积越小越好；⑥支持多种接口这一特点则保证了本系统强大 的扩展性能，如可以外接GPRS、 GPS等模块。摄像头使用中星微电子的zc-0301芯片，这是一种廉价摄像头常用的DSP控制芯片， 在廉价型摄像头市场中占据了绝对统治地位。这款摄像头支持高达38万像素超高解析度， 还有自动感光红外夜视成像/红外线补光功能，在黑暗环境下也可成像，这样就方便的解决 了夜晚或光线不足情况下系统的使用问题。GPRS模块采用Sony Ericsson的GR47， GENE—8310可以通过RS232控制串口向其发送文 本和PDU模式短消息。在本系统中，我们使用该模块发送警告信息(如"车牌号为粤AA123 的车辆驾驶员正处于疲劳状态，请尽快处理！")给交通管理部门或者汽车公司的安全部 门等，以达到在事故出现前做到预防的目的。由于我们的FedoraCore4的本地locale是utf8, 而要发中文短信必须采用PDU模式,但是发送中文短信时PDU的编码是釆用UCS-2,所以要解 决的问题是从uft8到UCS-2(Unicode-16)的编码，编码完成后就是利用AT指令对其进行发 送。扬声器模块用来发出声音警告疲劳中的驾驶员，以免驾驶员因为过度疲劳而引起事故。 黑匣子模块选用WD800BB，用来存储司机驾驶时能反应驾驶员精神状态的具体数据，即 能反应睁闭眼的具体数据，比如时间、复杂度、黑色象素占总象素的比例、角点特征等， 根据这些数据，我们就可以定期的检査司机驾车时的精神状况，或在事故发生以后读取出 存储在黑匣子中的数据库，从而判断出该肇事司机在驾驶车辆时的疲劳程度，以此帮助査 明事故原因。用于驾驶员疲劳的监控方法，主要由三个模块组成驾驶员疲劳状态的识别模块、短 信发送模块、关键数据保存模块。驾驶员疲劳状态的识别模块，是通过相关方法提取驾驶员的疲劳特征，快速准确的识 别出驾驶员的精神状态。
短信发送模块，是及时的通过短信将包含车牌信息和能反映驾驶员精神状态的数据发 送给交通管理等相关部门，本装置在发送短信时选择了PDU短信编码。数据保存模块是对驾驶员疲劳状态的记录，所记录的数据可以做事后评估的数据，在 两次系统循环评估驾驶员疲劳程度的间隔保存数据，这样保存数据的时间不会影响系统评 估的速度。驾驶员疲劳状态识别模块包括以下步骤第一步，图像预处理，由于图像采集设备本身或者环境的因素，图像的质量和效果差 异很大，需要对图像进行一些预处理，去掉无用或造成干扰的冗余信息，使得有利于后续 的特征提取和识别，本系统是对摄像头拍摄的图像进行平滑去噪声处理。第二步，人脸区域定位及确认，从预处理后的图像中，搜索并定位出人脸，本系统先在HSV空间中，用一14〈H〈14的肤色范围对图像进行肤色匹配，去除背景、服饰等非肤 色区域；再用国际上流行的Viola方法检测并标记出人脸。第三步，人脸区域跟踪，由于驾驶员疲劳检测系统是实时系统，在经过一个相当 短的时间间隙后要取得下一帧图像，这样相邻的两帧图像中静止物体的位置及背景 是不变的，而人脸为动态物体，会有所区别，这样我们就可以充分利用这两帧的关 系来跟踪人脸，去除背景，提取运动区域，以减少搜索的区域和时间，节省资源。第四步，人眼定位及确认，将定位出的人脸图像进行水平灰度投影，从灰度曲线 中初步定位第二个局部最小点为眼睛候选区域，而第一个局部最小点为眉毛，第三 个局部最小点为鼻孔，第四个局部最小点为嘴巴；再根据以下特征进行确认人眼 位于人脸的上半部分；眉毛与眼睛的距离小于眼睛与鼻孔的距离；对提取出的候选 眼区域做垂直灰度投影，投影曲线必须满足一个波峰、两个波谷状。第五步，眼睛状态判别，在定位到人眼区域后，判断人眼区域的人眼状态是睁开 还是闭合，本系统结合复杂度特征、眼白特征、角点特征来综合判断眼睛状态。第六步，PERCLOS特征分析，PERCL0S (Percent Eyelid Closure)是指眼睛闭合时间 占特定时间的百分率，在采样频率足够的情况下，PERCL0S可以转换为闭眼的帧占特 定时间段帧总数的比例。这样就需要我们在检测到人眼状态后，分时段分别记录判 别状态为闭眼的帧数和采集到的帧总数，以判断驾驶员的疲劳程度。本实用新型的优点与积极效果在于(1)开发平台是以Inte^ Celeron M Processor为核心的GENE—8310，充分发挥了该平台的特点，真正意义上实现了资源充分利用。(2)可以在不同光线、背景、人脸姿势、面部细节等条件下，快速，准确的判别驾驶员 精神状态，判别速度为平均10帧/秒，(3) 在疲劳检测的基础上扩展了系统功能，加入了GPRS模块和黑匣子模块，使该系统使 用范围更广，可以用于一般的驾车安全配件，交通监管等多种场合。(4) 在开发过程中使用了针对Intel处理器专门打造的IPP库(Intel Integrated Performance Primitives)对代码进行了优化，使系统更好的满足了实时性的要求。(5)系统扩展性极强，可接入GPS定位系统来及时发现疲劳驾驶的司机的位置，为了增加 系统准确性，可通过GPRS模块发送多张司机疲劳时的眼部图像到相关部门，由相关人员确 定该司机是否疲劳或将图片备份备用。
图1是驾驶员疲劳检测系统硬件总体结构框图； 图2是驾驶员疲劳检测系统方法流程图； 图3是驾驶员疲劳状态的识别流程图。
具体实施方式
以下结合附图及实施例对本实用新型说明如下-一.驾驶员疲劳检测系统的硬件组成参见图1，本系统的硬件总体结构由五个模块组成，包括以Intel Celeron M Processor为核心的GENE—8310主板、摄像头、GPRS模块、扬声器模块、黑匣子模块。1. 以Intel Celeron M Processor为核心的GENE—8310主板以lntel⑧Celeron M Processor为核心的GENE—8310是一款面向移动设备和嵌入式 系统的平台，有如下特点①小尺寸，仅为micro-ATX主板尺寸的25免；②低功耗，使用英特尔奔腾M处理器；③无需风扇的散热方案，可以降低噪音，以及省去风扇的供电；④支持多种接口，可以满足不同应用的需求，如车载系统，医疗设备等。而本系统的要求和特点恰恰符合GENE—8310的这些优点，比如①极高的性能本系统实时性要求极高，所以需 要在一个高性能的平台上运行，而以InteW Celeron M Processor为核心的GENE—8310 性能极高，可以提供与PC机相比拟的性能，这在极大意义上为本系统的实现提供了可行性； ②低功耗本系统需要长时间运行，所以一个低功耗的平台是必要的；③无需风扇的散热 方案由于该检测系统不能给司机带来不舒适感，没有风扇，便几乎没有噪音产生，不会 对司机的驾驶行为带来干扰；④技术支持十分良好我们可以使用V-tune、 IPP等intel系 列处理器独享的优秀工具，这为本系统的实现与改进提供了良好的条件；⑤小尺寸由于 本系统是车载系统，所以体积越小越好；⑥支持多种接口这一特点则保证了本系统强大 的扩展性能，如可以外接GPRS、 GPS等模块。2. 摄像头摄像头使用中星微电子的zc-0301芯片，这是一种廉价摄像头常用的DSP控制芯片,
在廉价型摄像头市场中占据了绝对统治地位。这款摄像头支持高达38万像素超高解析度， 还有自动感光红外夜视成像/红外线补光功能，在黑暗环境下也可成像，这样就方便的解决 了夜晚或光线不足情况下系统的使用问题。3. GPRS模块GPRS模块采用Sony Ericsson的GR47， GENE—8310可以通过RS232控制串口向其发送文 本和PDU模式短消息。在本系统中，我们使用该模块发送警告信息(如"车牌号为粤M123 的车辆驾驶员正处于疲劳状态，请尽快处理！")给交通管理部门或者汽车公司的安全部 门等，以达到在事故出现前做到预防的目的。由于我们的FedoraCore 4的本地locale是utf8, 而要发中文短信必须采用PDU模式,但是发送中文短信时PDU的编码是采用UCS-2,所以要解 决的问题是从uft8到UCS-2(unicode-16)的编码，编码完成后就是利用AT指令对其进行发 送。4. 扬声器模块扬声器模块用来发出声音警告疲劳中的驾驶员，以免驾驶员因为过度疲劳而引起事故。5. 黑匣子模块黑匣子模块选用WD800BB,用来存储司机驾驶时能反应驾驶员精神状态的具体数据， 即能反应睁闭眼的具体数据，比如时间、复杂度、黑色象素占总象素的比例、角点特征 等，根据这些数据，我们就可以定期的检査司机驾车时的精神状况，或在事故发生以后读 取出存储在黑匣子中的数据库，从而判断出该肇事司机在驾驶车辆时的疲劳程度，以此帮 助査明事故原因。二.数字图像信号处理的软件系统数字图像信号处理的软件系统采用VC+十编程，在基于fedora core 4. 0的linux操 作系统的开发环境下实现，。1. 主模块主要有三个部分组成驾驶员疲劳状态的识别模块、短信发送模块、关键 数据保存模块，如图2所示。驾驶员疲劳状态的识别模块，是通过相关方法提取驾驶员的疲 劳特征，快速准确的识别出驾驶员的精神状态；短信发送模块，是及时的通过短信将包含 车牌信息和能反映驾驶员精神状态的数据发送给交通管理等相关部门，本装置在发送短信 时选择了PDU短信编码；数据保存模块是对驾驶员疲劳状态的记录，所记录的数据可以做事 后评估的数据，在两次系统循环评估驾驶员疲劳程度的间隔保存数据，这样保存数据的时 间不会影响系统评估的速度。2. 驾驶员疲劳状态的识别模块快速准确的识别出驾驶员的精神状态，如图3所示， 主要包含以下几个工作步骤第一步，图像预处理，由于图像采集设备本身或者环境的因素，图像的质量和效果差
异很大，需要对图像进行一些预处理，去掉无用或造成干扰的冗余信息，使得有利于后续 的特征提取和识别，本系统是对摄像头拍摄的图像进行平滑去噪声处理。第二步，人脸区域定位及确认，从预处理后的图像中，搜索并定位出人脸，本系统先 在HSV空间中，用一14〈H〈14的肤色范围对图像进行肤色匹配，去除背景、服饰等非肤色区 域；再用国际上流行的Viola方法检测并标记出人脸。第三步，人脸区域跟踪，由于驾驶员疲劳检测系统是实时系统，在经过一个相当 短的时间间隙后要取得下一帧图像，这样相邻的两帧图像中静止物体的位置及背景 是不变的，而人脸为动态物体，会有所区别，这样我们就可以充分利用这两帧的关 系来跟踪人脸，去除背景，提取运动区域，以减少搜索的区域和时间，节省资源。第四步，人眼定位及确认，将定位出的人脸图像进行水平灰度投影，从灰度曲线 中初步定位第二个局部最小点为眼睛，而第一个局部最小点为眉毛，第三个局部最 小点为鼻孔，第四个局部最小点为嘴巴；再根据以下特征进行确认人眼位于人脸 的上半部分；眉毛与眼睛的距离小于眼睛与鼻孔的距离；对提取出的候选眼区域做 垂直灰度投影，投影曲线必须满足一个波峰、两个波谷状。第五步，眼睛状态判别，在定位到人眼区域后，判断人眼区域的人眼状态是睁开 还是闭合，本系统结合复杂度特征、眼白特征、角点特征来综合判断眼睛状态。第六步，PERCLOS特征分析，PERCL0S (Percent Eyelid Closure)是指眼睛闭合时间 占特定时间的百分率，在采样频率足够的情况下，PERCLOS可以转换为闭眼的帧占特 定时间段帧总数的比例。这样就需要我们在检测到人眼状态后，分时段分别记录判 别状态为闭眼的帧数和采集到的帧总数，以判断驾驶员的疲劳程度。
权利要求1、一种驾驶员疲劳的检测装置，其特征在于包括GENE-8310主板、摄像头、GPRS模块、扬声器模块、黑匣子模块，GENE-8310主板分别与摄像头、GPRS模块、扬声器模块、黑匣子模块相连。
2、 根据权利要求1所述的检测装置，其特征在于所述摄像头包括中星微电子的 zc-0301芯片。
3、 根据权利要求1所述的检测装置，其特征在于所述的GPRS模块采用Sony Ericsson 的GR47， GENE—8310主板通过RS232控制串口向其发送文本和PDU模式短消息。
专利摘要本实用新型公开了一种驾驶员疲劳检测装置，包括GENE-8310主板、摄像头、GPRS模块、扬声器模块、黑匣子模块，GENE-8310主板分别与摄像头、GPRS模块、扬声器模块、黑匣子模块相连。本实用新型能够消除疲劳驾驶隐患，确保交通安全的目的，可广泛使用于机动车。
文档编号A61B5/16GK201048946SQ20072005227
公开日2008年4月23日 申请日期2007年6月1日 优先权日2007年6月1日
发明者秦华标, 高永萍 申请人:华南理工大学