专利名称：基于视频图像的疲劳状态检测方法及装置的制作方法
技术领域：
本发明涉及图像处理技术，特别涉及一种基于视频图像的疲劳状态检测方法及其相关装置。
背景技术：
疲劳是人体正常的生理反应，只要休息调节适当，本身并没有严重危害性，但人体在疲劳时，客观上会在同等条件下，失去完成原来所从事的正常活动或工作的能力。因此，对于某些岗位的人员来说，疲劳可以说是隐形杀手，每年因疲劳导致的安全事故层出不穷，给国家和人民生命财产安全造成巨大威胁。例如，在公路或铁路交通领域，疲劳驾驶是引发交通事故的主要原因。又如，在安防领域，疲劳使安防人员注意力下降，从而，埋下各类安全隐患。因此，加强实时疲劳检测，保证用户出现疲劳状态时能够及时进行提示及告警，成为一项非常现实而急迫的实际应用需求。
发明内容
本发明的目的在于提供一种基于视频图像的疲劳状态检测方法及装置，能更好地实现用户疲劳状态检测。根据本发明的一个方面，提供了一种视频图像的疲劳状态检测方法，包括对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像；通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像；通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态；在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。优选地，所述人脸检测的步骤包括利用由级联在一起的判别人脸特征的多个强分类器和配置给每个强分类器的辅助判决模块，依次对所述视频图像中属于人脸部分的待检测图像进行人脸真假判决；若最后一级强分类器的人脸真假判决结果为真，或者最后一级强分类器的辅助判决模块的人脸真假判决结果为真，则将该待检测图像确定为用户的脸部图像。优选地，某个所述辅助判决模块在其强分类器的人脸真假判决结果为假时，对所述待检测图像进行人脸真假辅助判决，并在人脸真假辅助判决结果为真时，将待检测图像送至下一级强分类器进行人脸真假判决。优选地，所述得到眼睛图像的步骤包括利用角点检测原理，获得左眼角和右眼角的位置，并根据所述左眼角和右眼角的位置，计算眼睛的高度、宽度、眼睛中心位置的垂直坐标；
利用所述高度、宽度、眼睛中心位置的垂直坐标，定位眼睛位置，并在所述脸部图像中提取所述眼睛位置的图像，得到眼睛图像。优选地，所述确定所述用户的眼睛状态的步骤包括对所述眼睛图像的灰度分布进行统计，得到眼睛图像归一化直方图；将所述眼睛图像归一化直方图分别与睁眼图像集归一化直方图、闭眼图像集归一化直方图进行相似性处理，得到眼睛图像相对睁眼图像集的睁眼相似度和眼睛图像相对闭眼图像集的闭眼相似度；比较所述睁眼相似度和所述闭眼相似度，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。优选地，通过对所述睁眼图像集和所述闭眼图像集的灰度分布分别进行统计，得到睁眼图像集归一化直方图、闭眼图像集归一化直方图。优选地，所述确定所述用户的眼睛状态的步骤还包括对所述眼睛图像的眼睛闭合度进行分析，将得到的分析结果与预设眼睛闭合度阈值进行比较，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。优选地,所述确定是否疲劳的步骤包括在预设眼睛状态统计时间内，对眼睛图像的闭眼状态进行统计；当所得到的闭眼状态统计结果大于预设闭眼状态阈值时，或者当预设连续闭眼状态统计时间内连续检测到闭眼状态时，确定用户处于疲劳状态。优选地，还包括当确定用户处于疲劳状态时，发出用户疲劳提醒及报警信息。根据本发明的另一方面，提供了一种基于视频图像的疲劳状态检测装置，包括人脸检测单元，用于对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像；眼睛状态分析单元，用于通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像，并通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态；疲劳状态分析单元，用于在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。与现有技术相比较，本发明的有益效果在于本发明通过对用户的视频图像进行人脸检测、眼睛位置定位、眼睛状态识别、疲劳状态分析等处理，实现了用户疲劳状态的自动识别。
图1是本发明实施例提供的基于视频图像的疲劳状态检测方法原理框图；图2是本发明实施例提供的基于视频图像的疲劳状态检测装置的结构框图；图3是图2中眼睛状态分析单元的结构框图；图4是本发明实施例提供的一维简单特征的类型图；图5是本发明实施例提供的改进的AdaBoost算法的框架图；图6是本发明实施例提供的“三庭五眼”原则的基本原理图7是本发明实施例提供的一个典型的用户疲劳状态监控场景；图8是本发明实施例提供的用户疲劳状态分析结果示意图。
具体实施例方式以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。本发明公开了一种基于视频图像的疲劳状态检测方法及装置，利用人脸检测原理(例如AdaBoost人脸检测算法)，对实时采集的视频图像进行人脸检测；通过对检测到的脸部图像进行分析获得眼睛图像；通过灰度直方图匹配或眼睛闭合程度等对眼睛图像进行分类，判断用户眼睛状态；通过对眼睛状态进行统计判断，获得用户疲劳状态，并进行相应的现场提醒。图1是本发明实施例提供的基于视频图像的疲劳状态检测方法原理框图，如图1所示,步骤包括步骤101、对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像。在所述步骤101中，所述的人脸检测步骤包括利用由级联在一起的判别人脸特征的多个强分类器和配置给每个强分类器的辅助判决模块，依次对所述监控视频图像中属于人脸部分的待检测图像进行人脸真假判决；若最后一级强分类器的人脸真假判决结果为真，或者最后一级强分类器的辅助判决模块的人脸真假判决结果为真，则将该待检测图像确定为用户的脸部图像。其中，某个所述辅助判决模块在其强分类器的人脸真假判决结果为假时，对所述待检测图像进行人脸真假辅助判决，并在人脸真假辅助判决结果为真时，将待检测图像送至下一级强分类器进行人脸真假判决。步骤102、通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像。在所述步骤102中，所述得到眼睛图像的步骤包括利用角点检测原理，获得左眼角和右眼角的位置，并根据所述左眼角和右眼角的位置，计算眼睛的高度、宽度、眼睛中心位置的垂直坐标，并在所述脸部图像中提取所述眼睛位置的图像，得到眼睛图像。步骤103、通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态。在所述步骤103中，所述确定所述用户的眼睛状态的步骤包括对所述眼睛图像的灰度分布进行统计，得到眼睛图像归一化直方图；将所述眼睛图像归一化直方图分别与睁眼图像集归一化直方图、闭眼图像集归一化直方图进行相似性处理，得到眼睛图像相对睁眼图像集的睁眼相似度和眼睛图像相对闭眼图像集的闭眼相似度；比较所述睁眼相似度和所述闭眼相似度，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。其中，通过对所述睁眼图像集和所述闭眼图像集的灰度分布分别进行统计，得到睁眼图像集归一化直方图、闭眼图像集归一化直方图。或者，对所述眼睛图像的眼睛闭合度进行分析，将得到的分析结果与预设眼睛闭合度阈值进行比较，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。步骤104、在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。在所述步骤104中，所述确定是否疲劳的步骤包括在预设眼睛状态统计时间内，对眼睛图像的闭眼状态进行统计；当所得到的闭眼状态统计结果大于预设闭眼状态阈值时，或者当预设连续闭眼状态统计时间内连续检测到闭眼状态时，确定用户处于疲劳状态。进一步地，当确定用户处于疲劳状态时，发出用户疲劳提醒及报警信息。图2是本发明实施例提供的基于视频图像的疲劳状态检测装置的结构框图，如图2所示,包括视频采集单元，用于实时采集用户的视频图像。人脸检测单元，用于对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像。眼睛状态分析单元，用于通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像，并通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态。疲劳状态分析单元，用于在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。告警单元，用于在确定用户疲劳时，发出用户疲劳提醒及报警信息。图3显示了图2中的眼睛状态分析单元的结构框图，所述眼睛状态分析单元通过对脸部图像进行处理，得到眼睛图像，并识别出相应的眼睛状态。如图3所示，其包括眼睛初步定位子单元，用于在脸部图像上初步定位眼睛位置。眼睛精确定位子单元，用于利用角点检测原理，在脸部图像上确定眼睛的左眼角和右眼角位置，并根据所述左眼角和右眼角位置，计算眼睛的高度、宽度、眼睛中心位置的垂直坐标，从而精确定位眼睛位置，并从脸部图像中提取眼睛位置的图像，得到眼睛图像。眼睛状态识别子单元，用于通过对眼睛图像进行灰度直方图匹配或对眼睛闭合度进行分析，确定眼睛状态是睁眼状态或闭眼状态。下面结合附图4至图6对本发明进行详细说明一、对实时采集的监控视频图像进行人脸检测，获得用户的脸部图像。本发明利用由级联在一起的判别人脸特征的多个强分类器和配置给每个强分类器的辅助判决模块，依次对所述监控视频图像中属于人脸部分的待检测图像进行人脸真假判决；若最后一级强分类器的人脸真假判决结果为真，或者最后一级强分类器的辅助判决模块的人脸真假判决结果为真，则将该待检测图像确定为用户脸部图像。其中，某个所述辅助判决模块在其强分类器的人脸真假判决结果为假时，对所述待检测图像进行人脸真假辅助判决，并在人脸真假辅助判决结果为真时，将待检测图像送至下一级强分类器进行人脸真假判决。以AdaBoost人脸检测原理为例,所述AdaBoost人脸检测原理是一种基于积分图、级联检测器和AdaBoost算法的人脸检测原理，其基本思想是将大量的分类能力一般的弱分类器通过一定方法叠加起来，构成一个强分类器。AdaBoost人脸检测原理用于人脸检测时，从人脸图像中抽取大量的不同尺度和位置的一维简单特征构成弱分类器。这些简单特征构成的分类器都有一定的人脸和非人脸区分性，最终的分类系统使用数千个这样的一维简单特征分类器组合起来达到很好的分类效果，如图4所示，给出了这些一维简单特征的类型。所述AdaBoost算法描述如下已知有η个训练样本(X1, J2),.., (xn, yn)的训练集，其中
权利要求
1.基于视频图像的疲劳状态检测方法，其特征在于，包括对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像；通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像；通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态； 在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。
2.根据权利要求1所述的方法，其特征在于，所述人脸检测的步骤包括利用由级联在一起的判别人脸特征的多个强分类器和配置给每个强分类器的辅助判决模块，依次对所述视频图像中属于人脸部分的待检测图像进行人脸真假判决；若最后一级强分类器的人脸真假判决结果为真，或者最后一级强分类器的辅助判决模块的人脸真假判决结果为真，则将该待检测图像确定为用户的脸部图像。
3.根据权利要求2所述的方法，其特征在于，某个所述辅助判决模块在其强分类器的人脸真假判决结果为假时，对所述待检测图像进行人脸真假辅助判决，并在人脸真假辅助判决结果为真时，将待检测图像送至下一级强分类器进行人脸真假判决。
4.根据权利要求1所述的方法，其特征在于，所述得到眼睛图像的步骤包括利用角点检测原理，获得左眼角和右眼角的位置，并根据所述左眼角和右眼角的位置，计算眼睛的高度、宽度、眼睛中心位置的垂直坐标；利用所述高度、宽度、眼睛中心位置的垂直坐标，定位眼睛位置，并在所述脸部图像中提取所述眼睛位置的图像，得到眼睛图像。
5.根据权利要求4所述的方法，其特征在于，所述确定所述用户的眼睛状态的步骤包括对所述眼睛图像的灰度分布进行统计，得到眼睛图像归一化直方图；将所述眼睛图像归一化直方图分别与睁眼图像集归一化直方图、闭眼图像集归一化直方图进行相似性处理，得到眼睛图像相对睁眼图像集的睁眼相似度和眼睛图像相对闭眼图像集的闭眼相似度；比较所述睁眼相似度和所述闭眼相似度，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。
6.根据权利要求5所述的方法，其特征在于，通过对所述睁眼图像集和所述闭眼图像集的灰度分布分别进行统计，得到睁眼图像集归一化直方图、闭眼图像集归一化直方图。
7.根据权利要求4所述的方法，其特征在于，所述确定所述用户的眼睛状态的步骤还包括对所述眼睛图像的眼睛闭合度进行分析，将得到的分析结果与预设眼睛闭合度阈值进行比较，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。
8.根据权利要求5或7所述的方法，其特征在于，所述确定是否疲劳的步骤包括在预设眼睛状态统计时间内，对眼睛图像的闭眼状态进行统计；当所得到的闭眼状态统计结果大于预设闭眼状态阈值时，或者当预设连续闭眼状态统计时间内连续检测到闭眼状态时，确定用户处于疲劳状态。
9.根据权利要求8所述的方法，其特征在于，还包括当确定用户处于疲劳状态时，发出用户疲劳提醒及报警信息。
10.基于视频图像的疲劳状态检测装置，其特征在于，包括 人脸检测单元，用于对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像； 眼睛状态分析单元，用于通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像，并通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态； 疲劳状态分析单元，用于在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。
全文摘要
本发明公开了一种基于视频图像的疲劳状态检测方法及装置，方法包括对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像；通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像；通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态；在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。本发明能够完成用户状态的自动识别，并在检测出用户处于疲劳状态后，进行语音提醒或告警。
文档编号G06K9/00GK103049740SQ20121054017
公开日2013年4月17日 申请日期2012年12月13日 优先权日2012年12月13日
发明者杜鹢, 李秋华 申请人:杜鹢, 李秋华