专利名称：多模态驾驶员疲劳检测方法及其专用设备的制作方法
技术领域：
本发明涉及一种驾驶员疲劳检测的方法及其专用设备，尤其涉及一种多模态驾驶 员疲劳检测方法及其专用设备。
背景技术：
疲劳驾驶是引发交通事故的一个重要因素，如果能够对驾驶员疲劳状态进行自动 检测，并及时报警，将有效减少交通事故的发生。现有疲劳检测方法具有检测和评价手段单 一、实际工作环境复杂等问题，难以满足实际应用需要。而火车以及长途运输汽车作为重要 的交通工具，运输量大、驾驶员工作时间长，易困倦，容易导致交通事故，目前国内尚没有实 用的驾驶员疲劳检测和报警装置。
发明内容
发明目的本发明提供一种多模态驾驶员疲劳检测方法及其专用设备，其目的是 解决以往的检测方法中存在的检测和评价手段单一、实际工作环境复杂等问题。技术方案本发明是通过以下技术方案来实现的
多模态驾驶员疲劳检测方法，其特征在于所述方法的具体步骤如下 第一步双通道图像采集；
(1)、通道一为广角摄像头，该摄像头位置和方向固定，广角摄像头采集驾驶室内完整图 像，建立空间三维坐标系，在采集到的图像中结合背景先验知识，进行人脸检测，判断驾驶 员头部在空间中的三维坐标信息；
⑵、通道二为高分辨率摄像头，其位置和角度可以三维移动，根据通道1获得的头部坐 标信息传递给通道二，由此定位通道二摄像头的拍摄角度，获取驾驶员脸部图像； 第二步头部位置三维坐标及运动轨迹确定
(1)、通过通道一中位置和方向固定的广角摄像头提供的图像，根据先验知识和人脸颜 色信息定位图像中的人脸部分，确定人脸在三维空间中的坐标信息；
⑵、再通过通道一中位置和方向固定的广角摄像头提取序列图像中的人脸部分及其坐 标信息，获取序列坐标在三维空间中的轨迹；根据头部的运动轨迹确定是否为疲劳状态； 第三步眼睛闭合状态检测
结合模板匹配和积分投影法，在三维移动的高分辨率摄像头采集的图像上确定人眼位 置；然后在人眼位置判断眼睛张开程度，如果小于一定暴露面积，则判断为闭合；根据人眼 的闭合程度判断是否疲劳； 第四步嘴部张开状态检测
(1)、根据三维移动的高分辨率摄像头采集的人眼的位置，估计嘴部位置，在该位置附近 寻找嘴部边缘特征点；
⑵、分析嘴部特征点的分布，如果上下特征点分离太远，则判断为张大嘴巴动作；根据 嘴巴动作判断是否疲劳；
4第五步多点压力检测及疲劳状态检测
⑴、分别在驾驶员的座椅四角和靠背两角放置压力传感器，实时读取这六点的压力
值；
⑵、将获取的压力值进行滤波操作，除去车辆行进中振动引起的压力波动；在压力曲线 上寻找奇异值，判断是否为疲劳状态； 第六步无线脉搏实时检测装置
通过脉搏传感器采集脉搏信号与驾驶员正常脉搏频率比较，判断是否为疲劳状态； 第二步中判断是否为疲劳状态的方法为根据头部三维运动轨迹，判断如果驾驶员在 1秒内头部有向下快速移动，或者头部和身体的角度超出允许范围，则可判断为疲劳状态。第三步中判断是否为疲劳状态的方法为对序列对象进行人眼闭合状态判断，如 果连续闭合状态大于0. 5秒，则判断为疲劳状态。第四步中判断是否为疲劳状态的方法为对序列对象进行嘴部张开状态判断，如 果连续张大状态大于3秒，则判断为疲劳状态。第五步中判断是否为疲劳状态的方法为在压力曲线上寻找奇异值，如果有3条 或以上的压力曲线超过100秒为平坦状态，则判断为疲劳状态。第六步中判断是否为疲劳状态的方法为当检测到脉搏变慢时，判定疲劳。将第二至六步获取的疲劳检测特征综合分析，根据实验结果得到各种疲劳因素的 权值，并判断疲劳情况，若产生疲劳情况则在驾驶室内报警。应用在如上所述的多模态驾驶员疲劳检测方法中的专用设备，其特征在于所述 设备包括双通道视觉检测装置、多点压力检测装置、生理信号实时检测装置、报警装置和中 央处理机；所述双通道视觉检测装置、多点压力检测装置和生理信号实时检测装置均连接 至中央处理机，中央处理机连接报警装置。所述双通道视觉检测装置包括位置和方向固定的广角摄像头以及位置和角度可 以三维移动的高分辨率摄像头；多点压力检测装置为设置在驾驶员的座椅四角和靠背两角 的压力传感器；生理信号实时检测装置为脉搏传感器。脉搏传感器为腕带式结构，并采用短距离嵌入式无线通信模式，工作频率为 300 IOOOMo优点及效果本发明涉及一种多模态驾驶员疲劳检测方法及其专用设备
本项目所设计系统包括双通道视觉检测装置，多点压力检测装置以及生理信号实时检 测装置，分别检测头部运动轨迹、人眼和嘴部形态、多点压力变化曲线以及脉搏流，从而对 信息进行多模态融合，形成一套多特征疲劳评价方案，在不干扰驾驶员正常工作的情况下， 利用多个疲劳特征，增加疲劳检测的准确性。该系统设计中以实用性、可操作性、人性化设 计为主，确保系统的稳定性和安全可靠。该发明方法合理、装置简洁、检测准确、可操作性强，利于推广应用。
图1为本发明的多模态驾驶员疲劳检测方法的原理框图； 图2为本发明的多模态驾驶员疲劳检测方法中的专用设备框图。
具体实施例方式下面结合附图对本发明做进一步的说明
本发明提供一种多模态驾驶员疲劳检测方法其特征在于所述方法的具体步骤如下第一步双通道图像采集；
(1)、通道一为广角摄像头，该摄像头位置和方向固定，广角摄像头采集驾驶室内完整图 像，建立空间三维坐标系，在采集到的图像中结合背景先验知识，进行人脸检测，判断驾驶 员头部在空间中的三维坐标信息；
⑵、通道二为高分辨率摄像头，其位置和角度可以三维移动，根据通道1获得的头部坐 标信息传递给通道二，由此定位通道二摄像头的拍摄角度，获取驾驶员脸部图像； 第二步头部位置三维坐标及运动轨迹确定
人在疲劳的时候，会发生无意识的低头动作，可以通过判断1秒内序列图像头部位置， 判断是否发生该动作，如果有则判断为疲劳状态，或者头部与身体夹角超出正常操作范围， 也判断为疲劳状态，该检测实现过程主要是对通道一采集到的序列图像进行分析处理
(1)、通过通道一中位置和方向固定的广角摄像头提供的图像，根据先验知识和人脸颜 色信息定位图像中的人脸部分，确定人脸在三维空间中的坐标信息；
⑵、再通过位置和方向固定的广角摄像头提取序列图像中的人脸部分及其坐标信息， 获取序列坐标在三维空间中的轨迹；根据头部的运动轨迹确定是否为疲劳状态；
判断是否为疲劳状态的方法为根据头部三维运动轨迹，判断如果驾驶员在1秒内头部 有向下快速移动，或者头部和身体的角度超出允许范围，则可判断为疲劳状态。第三步眼睛闭合状态检测
结合模板匹配和积分投影法，在三维移动的高分辨率摄像头采集的图像上确定人眼位 置；然后在人眼位置判断眼睛张开程度，如果小于一定暴露面积，则判断为闭合；根据人眼 的闭合程度判断是否疲劳；判断是否为疲劳状态的方法为对序列对象进行人眼闭合状态 判断，如果连续闭合状态大于0. 5秒，则判断为疲劳状态。第四步嘴部张开状态检测
(1)、根据三维移动的高分辨率摄像头采集的人眼的位置，估计嘴部位置，在该位置附近 寻找嘴部边缘特征点；
⑵、分析嘴部特征点的分布，如果上下特征点分离太远，则判断为张大嘴巴动作；根据 嘴巴动作判断是否疲劳；
判断是否为疲劳状态的方法为对序列对象进行嘴部张开状态判断，如果连续张大状 态大于3秒，则判断为疲劳状态。第五步多点压力检测装置设计及疲劳状态检测
(1)、分别在驾驶员的座椅四角和靠背两角放置压力传感器，实时读取这六点的压力
值；
⑵、将获取的压力值进行滤波操作，除去车辆行进中振动引起的压力波动；在压力曲线 上寻找奇异值，判断是否为疲劳状态；判断是否为疲劳状态的方法为在压力曲线上寻找 奇异值，如果有3条或以上的压力曲线超过100秒为平坦状态，则判断为疲劳状态。第六步无线脉搏实时检测装置
通过脉搏传感器采集脉搏信号与驾驶员正常脉搏频率比较，判断是否为疲劳状态；判 断是否为疲劳状态的方法为当检测到脉搏变慢时，判定疲劳，装置启动，提醒驾驶员保持 清醒。本装置的脉搏传感器采用短距离嵌入式无线通信模式，工作频率300 1000M可调， 电池供电，功耗小，辐射低。脉搏传感器可以制成腕带式，大小相当于一块手表，使用时，驾驶员只需要佩戴在手腕上即可，操作方便，不影响驾驶员正常操作。第七步将第二至六步获取的疲劳检测特征综合分析，根据实验结果得到各种疲 劳因素的权值，并判断疲劳情况，若产生疲劳情况则在驾驶室内报警，报警可以采用播放音 乐的形式，提醒驾驶员集中精力驾驶。本发明的方法是通过以下的装置来实现的所述装置包括双通道视觉检测装置、 多点压力检测装置、生理信号实时检测装置、报警装置和中央处理机；所述双通道视觉检测 装置、多点压力检测装置和生理信号实时检测装置均连接至中央处理机，中央处理机连接 报警装置，在中央处理机内将采集的各种信号数据进行处理，检测是否为疲劳状态，如果为 疲劳状态，则通过报警装置报警。所述双通道视觉检测装置包括位置和方向固定的广角摄像头以及位置和角度可 以三维移动的高分辨率摄像头，广角摄像头和高分辨率摄像头用于检测头部运动轨迹、人 眼和嘴部形态；多点压力检测装置为设置在驾驶员的座椅四角和靠背两角的压力传感器， 压力传感器用于检测多点压力变化曲线；生理信号实时检测装置为脉搏传感器，脉搏传感 器用于检测脉搏流。脉搏传感器为腕带式结构，并采用短距离嵌入式无线通信模式，工作频率为 300 IOOOMo本发明的方法和装置检测效果准确、有效，不漏检，对于疲劳驾驶，具有很好的检 测和提醒作用，本发明通过多途径全方位多角度的检测方法来检测驾驶员是否疲劳，充分 的保证了准确率，利于在检测疲劳驾驶方面应用。
权利要求
1.多模态驾驶员疲劳检测方法，其特征在于所述方法的具体步骤如下 第一步双通道图像采集；(1)、通道一为广角摄像头，该摄像头位置和方向固定，广角摄像头采集驾驶室内完整图 像，建立空间三维坐标系，在采集到的图像中结合背景先验知识，进行人脸检测，判断驾驶 员头部在空间中的三维坐标信息；⑵、通道二为高分辨率摄像头，其位置和角度可以三维移动，根据通道1获得的头部坐 标信息传递给通道二，由此定位通道二摄像头的拍摄角度，获取驾驶员脸部图像； 第二步头部位置三维坐标及运动轨迹确定(1)、通过通道一中位置和方向固定的广角摄像头提供的图像，根据先验知识和人脸颜 色信息定位图像中的人脸部分，确定人脸在三维空间中的坐标信息；⑵、再通过通道一中位置和方向固定的广角摄像头提取序列图像中的人脸部分及其坐 标信息，获取序列坐标在三维空间中的轨迹；根据头部的运动轨迹确定是否为疲劳状态； 第三步眼睛闭合状态检测结合模板匹配和积分投影法，在三维移动的高分辨率摄像头采集的图像上确定人眼位 置；然后在人眼位置判断眼睛张开程度，如果小于一定暴露面积，则判断为闭合；根据人眼 的闭合程度判断是否疲劳； 第四步嘴部张开状态检测(1)、根据三维移动的高分辨率摄像头采集的人眼的位置，估计嘴部位置，在该位置附近 寻找嘴部边缘特征点；⑵、分析嘴部特征点的分布，如果上下特征点分离太远，则判断为张大嘴巴动作；根据 嘴巴动作判断是否疲劳；第五步多点压力检测及疲劳状态检测(1)、分别在驾驶员的座椅四角和靠背两角放置压力传感器，实时读取这六点的压力值；⑵、将获取的压力值进行滤波操作，除去车辆行进中振动引起的压力波动；在压力曲线 上寻找奇异值，判断是否为疲劳状态； 第六步无线脉搏实时检测装置通过脉搏传感器采集脉搏信号与驾驶员正常脉搏频率比较，判断是否为疲劳状态。
2.根据权利要求1所述的多模态驾驶员疲劳检测方法，其特征在于第二步中判断是 否为疲劳状态的方法为根据头部三维运动轨迹，判断如果驾驶员在1秒内头部有向下快 速移动，或者头部和身体的角度超出允许范围，则可判断为疲劳状态。
3.根据权利要求1所述的多模态驾驶员疲劳检测方法，其特征在于第三步中判断是 否为疲劳状态的方法为对序列对象进行人眼闭合状态判断，如果连续闭合状态大于0.5 秒，则判断为疲劳状态。
4.根据权利要求1所述的多模态驾驶员疲劳检测方法，其特征在于第四步中判断是 否为疲劳状态的方法为对序列对象进行嘴部张开状态判断，如果连续张大状态大于3秒， 则判断为疲劳状态。
5.根据权利要求1所述的多模态驾驶员疲劳检测方法，其特征在于第五步中判断是 否为疲劳状态的方法为在压力曲线上寻找奇异值，如果有3条或以上的压力曲线超过100秒为平坦状态，则判断为疲劳状态。
6.根据权利要求1所述的多模态驾驶员疲劳检测方法，其特征在于第六步中判断是 否为疲劳状态的方法为当检测到脉搏变慢时，判定疲劳。
7.根据权利要求1所述的多模态驾驶员疲劳检测方法，其特征在于将第二至六步获 取的疲劳检测特征综合分析，根据实验结果得到各种疲劳因素的权值，并判断疲劳情况，若 产生疲劳情况则在驾驶室内报警。
8.应用在权利要求1所述的多模态驾驶员疲劳检测方法中的专用设备，其特征在于 所述设备包括双通道视觉检测装置、多点压力检测装置、生理信号实时检测装置、报警装置 和中央处理机；所述双通道视觉检测装置、多点压力检测装置和生理信号实时检测装置均 连接至中央处理机，中央处理机连接报警装置。
9.根据权利要求1所述的多模态驾驶员疲劳检测方法中的专用设备，其特征在于所 述双通道视觉检测装置包括位置和方向固定的广角摄像头以及位置和角度可以三维移动 的高分辨率摄像头；多点压力检测装置为设置在驾驶员的座椅四角和靠背两角的压力传感 器；生理信号实时检测装置为脉搏传感器。
10.根据权利要求9所述的多模态驾驶员疲劳检测方法中的专用设备，其特征在于脉 搏传感器为腕带式结构，并采用短距离嵌入式无线通信模式，工作频率为300 1000M。
全文摘要
本发明提供一种多模态驾驶员疲劳检测方法及其专用设备，包括双通道视觉检测装置，多点压力检测装置以及生理信号实时检测装置，分别检测头部运动轨迹、人眼和嘴部形态、多点压力变化曲线以及脉搏流，从而对信息进行多模态融合，形成一套多特征疲劳评价方案，在不干扰驾驶员正常工作的情况下，利用多个疲劳特征，增加疲劳检测的准确性。该系统设计中以实用性、可操作性、人性化设计为主，确保系统的稳定性和安全可靠。该发明方法合理、装置简洁、检测准确、可操作性强，利于推广应用。
文档编号G06K9/00GK102073857SQ201110024390
公开日2011年5月25日 申请日期2011年1月24日 优先权日2011年1月24日
发明者刘振宇, 李振田, 柯丽 申请人:沈阳工业大学