专利名称：司机疲劳预警生物识别的方法和系统的制作方法
技术领域：
本发明涉及一种汽车的自动驾驶控制，尤其是通过生物信号识别司机疲劳对机动车辆的预警系统。
背景技术：
涉及汽车自动驾驶系统已经是现有技术，其中利用轴角编码器、力矩电机和动作油缸可以控制方向转角、行车速度和刹车等。如中国专利申请98122574.8涉及汽车自动驾驶系统，它采用双目摄像系统可自动收集车前1-200m内路况情报地面标识、隔离带、防撞护栏、车道标识线识别、路障；机动车辆数量、车道分布、距离、相对速度以及道路标识牌信息。系统软件自动决策汽车行驶速度、汽车行进方向和位置、自动超车驾驶、紧急刹车、可以采用闭环系统进行方向盘控制、速度控制。它可用于高速公路上的汽车自动驾驶。
公路，尤其是高速公路，汽车的速度相当高，以80公里/小时计，时钟“嘀嗒”一秒瞬间，汽车行进20余米。如果在这一瞬间由于司机过度疲劳而打瞌睡时，方向盘失控极易发生事故，造成重大损失，甚至致人于死命。尤其在当今竞争激烈，快节奏的市场经济时代，公路上如何保护司机在这方面的驾驶安全是当务之急的研究课题。这里研究发明的司机疲劳预警系统就是可自动保护司机在驾驶汽车疲劳有睡意时使之安全驾驶的装置。列车更是如此，其速度甚至达到近二百公里。如因司机疲劳错失信号提示也可能会极为不利的后果。
发明内容
本发明目的是提供一种通过生物信号提取识别司机的疲劳，从而发出警报(包括车内提醒警报和车辆向外的警报)或直接对机动车辆干预的预警系统。
本发明的目的是这样实现的司机疲劳预警系统，包括用生物信号提取识别司机的疲劳的装置和警报发出装置构成，生物信号提取识别司机的疲劳的装置包括将红外摄像或摄像提取的面部与睡眠有关信息及实时记录的电生理信息有机结合，输出融合成多参数控制信息以自动控制后车灯、减速和刹车。视频图像传感器、电生理信息采集器、信号处理器视频图像传感器、电生理信息采集器、信号处理器、警示信号产生器、控制汽车信号输出部分构成。
司机疲劳预警生物识别的方法，当从生物图像提取瞳孔信号，如变小信号、眼睑信号，如眼睑闭合频率增加、眼睑闭合时间延长、嘴形信号，如哈欠嘴形变大时的信号为主要判断依据，再结合心率变慢、脑电出现慢波等生物信号综合判断司机进入睡眠状态。从而发出警报和控制汽车信号。上述判断依据消除时解除上述信号。
在汽车司机疲劳有睡意而尚未失控方向盘时，该控制信息已发出刺激警示信号光声信号(如音乐或警报声)，同时后车红灯亮，开始减速。当汽车司机在刺激信号刺激下睡意消失，前述的一切刺激信号均消失。
本发明将检测汽车司机驾驶时有睡意时的面部状态(瞳孔大小、眼睑闭合频率、眼睑闭合时间、哈欠嘴形等)、心率、脑电的信息的硬件模块与信号分析处理模块、控制信号模块、警示信号模块构成的设备系统称为司机疲劳预警系统设备系统。只要有类似于本“预警系统”设计方法的设备或装置，均没有超出本发明要求保护的范围。
本发明的特点是司机疲劳预警系统构思新颖，将红外摄像提取的面部与睡眠有关信息及实时记录的电生理信息有机结合，采用先进的电子技术和信号处理技术，融合成多参数控制信息以自动控制后车灯、减速和刹车。在汽车司机疲劳有睡意而尚未失控方向盘时，该控制信息已发出刺激警示信号(音乐或警报声)，同时后车红灯亮，开始减速。当汽车司机在刺激信号刺激下睡意消失，前述的一切刺激信号均消失，汽车后车红灯熄，速度恢复正常。如果司机睡意加深，将要使方向失控的一瞬间，控制信息可使汽车后车灯亮、减速刹车，使汽车很安全的停下来，以保人和汽车的安全。
图1是本发明司机疲劳预警系统构成框2是本发明利用图像处理方法提取睡眠特征参数的流程的软件编程框3是本发明利用心电分析方法提取睡眠特征参数的流程图4是本发明利用图像处理方法提取睡眠特征参数的流程图5是本发明利用脑电分析方法提取睡眠特征参数的流程图6是本发明心电数据实时处理与分析的软件流程图7是本发明脑电数据实时处理与分析的软件流程具体实施方式
本“预警系统”设备由红外摄像头、视频图像传感器、电生理信息采集器、信号处理器、警示信号产生器、控制汽车信号输出部分等组成，如图1所示框图。
1、本“预警系统”设备的发明思路将检测汽车司机驾驶有睡意时的面部状态(瞳孔大小、眼睑闭合频率、眼睑闭合时间、哈欠嘴形等)、心率、脑电的信息的硬件模块与信号分析处理模块、控制信号模块、警示信号模块构成的设备系统称为司机疲劳预警系统设备系统。只要有类似于本“预警系统”设计思路的设备或装置，均没有超出本发明的保护范围。
2、本“预警系统”分析处理软件发明实施例(1)面部状态参数分析由红外摄像头摄像(亦可由普通摄像)，通过视频图像传感器获取的面部图像数据信息，采用图像处理技术提取有睡意的特征信息参数瞳孔大小，眼睑闭合频率、程度及时间，打哈欠频率以及持续时间等。软件编程框图如图2所示，利用图像处理方法提取睡眠特征参数的流程。序列图像特征处理睡眠特征参数提取。瞳孔大小，眼睑闭合频率、程度及时间，打哈欠频率以及持续时间与正常时相比瞳孔变小，眼睑闭合频率增高、时间延长，打哈欠频率增高以及持续了一段时间均作为发出睡眠警报的依据。
(2)电生理信息参数通过心电检测模块检测有睡意时间的心电(与无睡意时的心电比较而得)，该有睡意时的心电应有变化但其值因人而异。因此在驾驶员正常状态驾驶时应取得他的正常心电参数，随后的心电参数均与它比较。软件编程框图如图3所示。心电参数的获取用常规心电图信号提取方式或高频心电图信号提取方式。如图6心电数据实时处理与分析的软件流程(3)脑电信息参数通过脑电检测模块检测脑电波数据李分析其频率，当有睡意时，脑电波出现θ波(4～8Hz)，编程框图如图5所示。
实时处理分析程序流程如图7所示。图7脑电数据实时处理与分析的软件流程中，在这里，采取了二次采样。因为只需要30Hz以下频段的信号，而第一次以1000Hz采样率进行采样，为了更好地恢复被采样信号，又不产生过多冗余数据，故进行低通滤波后再以100Hz进行再抽样。脑电参数的获取用常规方式。
3、各参数有机结合，综合鉴别以面部参数为主，有机结合电生理参数，敏感的综合鉴别睡意有否。是本发明的主要内容。
对刹车和灯光的控制采取的方法是自动液压油缸，根据刹车与后部刹车灯的连动情况，亦能自动控制后部灯光，车内报警器为常用的光电声音报警器。
生物图像提取识别装置检测汽车司机驾驶时有睡意时，瞳孔变小、眼睑闭合频率增加、眼睑闭合时间延长、哈欠嘴形变大时为主要判断依据，再结合心率变慢、脑电出现慢波等生物信号综合判断司机进入睡眠状态。从而发出警报和控制汽车信号。上述判断依据消除时解除上述信号。
生物图像提取识别装置一般是在与正常精神状态时给定一生物图像如瞳孔、眼睑闭合频率、眼睑闭合时间、哈欠嘴形，当监测识别时，生物指标比正常状态的差别至一定范围，如20％以上时发出信号。
权利要求
1.司机疲劳预警系统，其特征是包括用提取识别司机的疲劳的生物信号装置和警报发出装置构成，生物信号提取识别司机的疲劳的装置包括将红外摄像提取的面部与睡眠有关信息及实时记录的电生理信息有机结合，输出融合成多参数控制信息以自动控制后车灯、减速和刹车；生物信号提取识别装置包括视频图像传感器、电生理信息采集器、信号处理器，视频图像传感器、电生理信息采集器、信号处理器经微处理器输出至警示信号产生器和控制汽车信号输出。
2.如权利要求1所述的司机疲劳预警系统，其特征是警示信号产生器产生声光警示信号，控制汽车信号输出为后车红灯亮信号和减速信号。
3.司机疲劳预警生物识别的方法，其特征是从生物图像提取眼睑信号闭合频率和眼睑闭合时间信号，并与正常状态比较后判断司机进入睡眠状态，从而发出警报和控制汽车信号。
4.如权利要求3所述的司机疲劳预警生物识别的方法，其特征是从生物图像提取瞳孔信号，并与正常状态比较后判断司机进入睡眠状态，从而发出警报和控制汽车信号。
5.如权利要求3所述的司机疲劳预警生物识别的方法，其特征是从生物图像提取哈欠嘴形变大时信号，并与正常状态比较后判断司机进入睡眠状态，从而发出警报和控制汽车信号。
6.如权利要求3或4所述的司机疲劳预警生物识别的方法，其特征是结合心率变慢、脑电出现慢波等生物信号，并与正常状态比较后判断司机进入睡眠状态，从而发出警报和控制汽车信号。
7.如权利要求3所述的司机疲劳预警生物识别的方法，其特征是生物图像提取识别在与正常状态比较后差别至20％以上时发出信号。
8.如权利要求3所述的司机疲劳预警生物识别的方法，其特征是睡眠状态判断依据消除时解除上述信号。
9.如权利要求3或4所述的司机疲劳预警生物识别的方法，其特征是眼睑信号是眼脸闭合频率和眼睑闭合时间信号。
全文摘要
司机疲劳预警系统，包括用提取识别司机的疲劳的生物信号装置和警报发出装置构成，生物信号提取识别司机的疲劳的装置包括将红外摄像提取的面部与睡眠有关信息及实时记录的电生理信息有机结合，生物信号提取识别装置包括视频图像传感器、电生理信息采集器、信号处理器，视频图像传感器、电生理信息采集器、信号处理器经微处理器输出至警示信号产生器和控制汽车信号输出。生物识别的方法是当从生物图像提取瞳孔变小、眼睑闭合频率增加、眼睑闭合时间延长、哈欠嘴形变大时为主要判断依据，再结合心率变慢、脑电出现慢波等生物信号，并与正常状态比较后判断司机进入睡眠状态，从而发出警报和控制汽车信号。
文档编号B60T7/12GK1613425SQ20041004199
公开日2005年5月11日 申请日期2004年9月15日 优先权日2004年9月15日
发明者宁新宝, 陈颖, 马小飞, 何爱军 申请人:南京大学