一种近红外眼睛定位及眼睛状态识别方法
【专利摘要】本发明公开了一种近红外眼睛定位及眼睛状态识别方法，属于图像处理和模式识别领域，适用于驾驶员疲劳检测，视线跟踪。该方法首先对输入的近红外图像进行人脸定位，然后利用基于级联结构的近红外眼睛定位算法定位眼睛区域，最后利用基于HOG-LBP特征融合的眼睛状态识别算法判定眼睛状态。该方法在红外条件下能够鲁棒地定位睁闭眼睛两种情况，并准确地识别眼睛状态，同时计算复杂度不高，满足实时性要求。
【专利说明】一种近红外眼睛定位及眼睛状态识别方法
【技术领域】
[0001] 本发明属于图像处理和模式识别领域，具体涉及一种近红外眼睛定位及眼睛状态 识别方法。
【背景技术】
[0002] 眼睛是人脸生物特征识别的重要组成部分，因此眼睛的精确位置信息及眼睛状态 在驾驶员疲劳检测、视线跟踪等智能系统有广泛应用。
[0003] 根据眼睛定位方法所采用的特征和模型可以分为以下三类：
[0004] 第一类是基于眼睛外观特征的定位方法，如眼睛固有形状、瞳孔、虹膜和眼白的灰 度分布、亮瞳效应。这类定位方法依赖于好的成像条件，在驾驶环境中，需克服光照、头部转 动、戴眼镜等诸多不可控条件，才能有较好定位效果。
[0005] 第二类是基于特征描述子的统计学习方法，即提取有用的视觉特征，在大量眼睛 训练样本基础上建立眼睛定位模型。如通过Adaboost算法训练基于Haar特征的眼睛级联 分类器，但是目前方法大部分只提取睁眼时的特征描述子，因此，定位睁眼的眼睛具有较好 的性能，而闭眼时定位算法失效。
[0006] 第三类方法是利用眼睛的空间结构信息建立眼睛定位模型。主动形状模型是一种 具有代表性的图形结构模型，这种模型用形状向量来描述物体形状的变化，这类方法能同 时定位睁眼和闭眼，但是计算复杂度高，不能满足实时性要求。
[0007] 根据眼睛状态识别方法采用的特征和模型可以分为以下两类：
[0008] 第一类是基于外貌特征的眼睛状态判别方法，利用眼睛的一些固有外观特征进行 识别，比如眼睛虹膜的形状、眼睑的曲率、眼睛的灰度分布等。眼睛的一些固有外观特征会 受到外界的环境影响而发生改变，在实际不可控的条件下，这种方法往往变得并不可靠。
[0009] 第二类是基于统计学习的眼睛状态判别方法，这种方法往往需要大量不同变化模 式下的训练样本，这样才能让学习模型能够有足够好的泛化能力，因此它在处理不确定样 本数据时，比基于外貌特征的识别方法表现出更好的稳定性和鲁棒性。
[0010] 在实际应用中，为了减少复杂光照的影响，同时满足夜间使用的要求，很多智能系 统采用主动近红外光源和窄带滤光片相结合的图像采集系统。然而近红外眼睛图像中虹膜 消失，图像噪声增大，与自然光谱下图像有较大差别，并且在实际应用环境中，眼镜反光、睁 闭眼、头部转动使得目前存在的眼睛定位及眼睛状态识别算法性能都出现大幅度下降，使 用单一的特征或定位方法不能保证在所有应用环境下的鲁棒性。
【发明内容】
[0011] 本发明的目的在于提出一种近红外眼睛定位及眼睛状态识别方法，在红外条件 下，能够克服睁闭眼、眼镜反光、头部转动等因素的影响，实时地准确定位眼睛位置并输出 眼睛状态，从而提高相应智能系统的鲁棒性。
[0012] 实现本发明目的的技术解决方案为：
[0013] 一种近红外眼睛定位及眼睛状态识别方法，包括如下步骤：
[0014] 步骤1 :获取一帧近红外图像，所述近红外图像由具有850nm主动近红外光源和窄 带滤光片的图像采集系统获得，在获取的近红外图像上定位人脸区域，如果定位成功，获取 人脸图像，执行步骤2,否则继续获取下一帧红外图像；
[0015] 步骤2 :在获取的人脸图像上利用基于级联结构的近红外眼睛定位算法定位眼睛 区域，如果定位成功，获取眼睛图像，执行步骤3,否则执行步骤1 ;
[0016] 步骤3 :在获取的眼睛图像上利用基于H0G-LBP特征融合的近红外眼睛状态识别 算法判定眼睛状态，输出眼睛状态识别结果；
[0017] 步骤4 :重复步骤1?3,实时输出眼睛状态识别结果。
[0018] 进一步的，步骤2具体包括以下步骤：
[0019] 步骤2. 1 :利用人脸三庭五眼的比例划分人脸图像获得眼睛感兴趣区域，在获取 的眼睛感兴趣区域利用基于Haar特征的眼睛级联分类检测器定位眼睛区域，如果定位成 功，即可输出眼睛精确位置，获取眼睛图像，否则执行步骤2. 2 ;
[0020] 步骤2. 2 :在获取的眼睛感兴趣区域利用基于形态学的方法定位眼睛区域，如果 定位成功，即可输出眼睛精确位置，获取眼睛图像，否则这帧图像眼睛定位失败。
[0021] 进一步的，所述步骤2. 2中在获取的眼睛感兴趣区域利用基于形态学的方法定位 眼睛区域包括以下步骤：
[0022] 步骤2.2. 1 :对眼睛感兴趣区域进行对数变换，并利用基于最大熵的自适应阈值 分割算法分割对数变换后的眼睛感兴趣区域，得到分割后的图像；
[0023] 步骤2. 2. 2 :利用形态学闭操作处理分割后的图像，并进行团块提取，根据团块的 大小和的设定值，去除不在设定值范围内的团块；
[0024] 步骤2. 2. 3 :计算团块的包围盒，如果团块的包围盒的宽度大于长度，则去除该团 块；
[0025] 步骤2. 2. 4 :计算团块的质心位置，并搜索质心坐标在眼睛感兴趣区域中心点附 近的矩形区域内的最大团块，该最大团块的包围盒即为眼睛所在矩形位置，完成眼睛精确 定位。
[0026] 进一步的，所述基于Haar特征的眼睛级联分类检测器的训练包括：通过与步骤1 相同的图像采集系统采集适量近红外眼睛图像，包括睁眼和闭眼，将包含眉毛和眼睛的图 像作为正样本，非眼睛图像作为负样本，通过Adaboost算法训练基于Haar特征的眼睛级联 分类检测器。
[0027] 进一步的，步骤3具体包括以下步骤：
[0028] 将步骤2获取的眼睛图像大小归一化到近红外眼睛状态识别模型所采用的样本 图像大小，分别提取训练样本图像的H0G特征向量和LBP特征向量，并利用PCA方法进行降 维，串联两种降维后的特征向量得到H0G-LBP融合特征向量，利用训练得到的近红外眼睛 状态识别模型进行眼睛状态识别，最终输出此帧图像眼睛状态。
[0029] 进一步的，近红外眼睛状态识别模型通过如下方法训练得到：
[0030] 通过与步骤1中相同的图像采集系统，采集适量红外眼睛图像，包括睁眼和闭眼 红外眼睛图像，并归一化到64X48像素大小，作为训练样本图像；
[0031] 分别提取训练样本图像的H0G(Histogram of Oriented Gradient,方向梯度 直方图）特征向量和LBP(Local Binary Pattern,局部二值模式）特征向量，并利用 PCA(Principal Component Analysis,主成分分析）方法进行降维，串联两种降维后的特征 向量得到H0G-LBP融合特征向量；
[0032] 把所有训练样本图像的H0G-LBP融合特征向量输入到基于径向基核函数 SVM(Support Vector Machine,支持向量机）模型进行训练，得到近红外眼睛状态识别模 型。
[0033] 与现有技术相比，本发明具有如下优点和技术效果：
[0034] 1、提出了一种近红外眼睛定位及眼睛状态识别方法，在红外条件下，能够克服睁 闭眼、眼镜反光、头部转动等因素的影响，鲁棒地定位眼睛位置并准确输出眼睛状态信息， 从而提高相应智能系统的鲁棒性；
[0035] 2、本方法计算复杂度低，能够满足智能系统的实时性要求；
[0036] 3、本方法采用图像采集系统应用广泛，配置简单、硬件成本低，易于推广。
【专利附图】
【附图说明】
[0037] 图1是本发明一种近红外眼睛定位及眼睛状态识别方法的整体流程图。
[0038] 图2是近红外眼睛定位流程图。
[0039] 图3是近红外眼睛状态识别流程图。
【具体实施方式】
[0040] 下面结合附图对本发明的【具体实施方式】做进一步说明，以下仅为本发明的一种实 施方式，其具体步骤顺序和内容不用于限制本发明的所有可行的实施方式。
[0041] 结合图1，本发明一种近红外眼睛定位及眼睛状态识别方法，【具体实施方式】如下：
[0042] 步骤1 :训练基于Haar特征的眼睛级联分类检测器，通过由850nm主动近红外光 源和窄带滤光片相结合的图像采集系统采集适量近红外眼睛图像，包括睁眼和闭眼，将包 含眉毛和眼睛的图像作为正样本，非眼睛图像作为负样本，通过Adaboost算法训练基于 Haar特征的眼睛级联分类检测器。
[0043] 步骤2 :训练近红外眼睛状态识别模型，结合图3,具体步骤如下：
[0044] 2. 1):通过与步骤1中相同的图像采集系统适量红外眼睛图像，包括睁眼和闭眼， 并归一化到64X48像素大小，作为训练样本图像。
[0045] 2. 2):提取样本图像的H0G特征，具体步骤如下：
[0046] a):计算样本图像的梯度幅值和方向，使用一维微分模板对眼睛图像进行卷积计 算，设f(x，y)是（x，y)坐标像素点的灰度值，则像素点（x，y)的梯度幅值G(x，y)和梯度方 向Θ (x，y)如式⑴和式⑵所示。
[0047] G(.v,v-)= yj( f (Λ- +1 ,.V- )-/ (..V-1, V ))- + (./ (Λ-, V +1)-/(-V, ν -1 ))-
[0048] 外，1)-tanv/(x+l,v)：/(，-l,v)J (2)
[0049] b):计算细胞单元的方向梯度直方图，将整幅图像分割成8X8像素的细胞单元， 计算每一个细胞单元的梯度方向直方图。将梯度方向0-179度等分为9个等间隔的区间 (bin)，即（0, 19)，（20, 39)，…，（160, 179)共9个方向区间，根据式（14)中计算得出的每 个像素的梯度方向投影到对应的细胞单元的9个方向区间，然后根据该像素的梯度幅值对 相应方向区间作加权累加。
[0050] c):将每4个相邻的细胞单元组合一成16X 16大小的块，同时采用滑动块对整幅 眼睛图像进行采样，滑动距离采用8个像素点，共得到35个块。对每个块提取36维方向直 方图向量，然后利用L2范数对齐进行归一化，形成H0G特征向量。
[0051] 2. 3):提取样本图像的全局LBP特征，具体步骤如下：
[0052] a):利用式（3)计算每个像素点的LBPP,K特征值。 P-1
[0053] g()2p (3) p=0 Γ?, χ > 0
[0054] 其中，Φ:) = ? ，gc表示圆形中心点灰度值，gp(p = 〇, 1,…，Ρ-1)表示环 绕以g。为中心，R为半径圆形分布的像素点灰度值，R > 0。本方法取Ρ为8, R为1。
[0055] b):利用查表法将每个像素点的LBPP，K特征值转换为均匀模式的LBP特征值，对整 幅样本图像进行直方图统计及L2范数归一化后，得到LBP特征向量，
[0056] 2. 4):利用PCA方法分别对得到的HOG特向量征和LBP向量特征进行降维，串联两 种降维后的特征向量得到H0G-LBP融合特征向量。
[0057] 2. 5):将所有样本图像的H0G-LBP特征向量输入基于径向基核函数的SVM模型中 进行训练，得到眼睛状态识别模型。
[0058] 步骤3 :获取一帧近红外图像，并在获取的近红外图像上利用基于Haar特征的人 脸级联分类检测器定位人脸区域，如果定位成功，获取人脸图像，执行步骤4,否则跳过此帧 图像，继续获取下一帧红外图像。
[0059] 步骤4 :在获取的人脸图像上利用基于级联结构的近红外眼睛定位算法定位眼睛 区域，结合图2,具体步骤如下
[0060] 4. 1):利用人脸三庭五眼的比例划分步骤3获取的人脸图像，获取眼睛感兴趣区 域，完成眼睛区域粗定位。
[0061] 4. 2):在获取的眼睛感兴趣区域利用步骤1训练得到的基于Haar特征的眼睛级联 分类检测器定位眼睛区域，具体步骤如下：
[0062] a):提取眼睛感兴趣区域的所有待检测子窗口。
[0063] b):利用训练得到的眼睛级联分类器中的各级强分类器对扫描窗口进行逐级筛 选，如果最终有窗口筛选通过，即为眉毛与眼睛区域，否则基于Haar特征的眼睛级联分类 检测器定位眼睛区域失败，继续执行步骤4. 3)。
[0064] c):利用眉毛眼睛区域的比例，去除获取的眉毛与眼睛区域中的眉毛，获取眼睛位 置准确信息，获取眼睛图像，执行步骤5。
[0065] 4. 3):在获取的眼睛感兴趣区域利用基于形态学的方法定位眼睛区域，具体步骤 如下：
[0066] a):利用对数变化对获取的眼睛感兴趣区域进行图像预处理，如式（4)所示。
[0067] f(x，y) ' = cX log(k+f(x，y)) (4)
[0068] 其中c和k为常数，且k彡0, f(x，y)和f(x，y)'是变换前后的像素灰度值。
[0069] b):利用基于最大熵的自适应阈值分割算法分割眼睛感兴趣区域。通过一维灰度 直方图选择阈值，将图像分割为目标和背景，使得目标和背景的灰度概率分布信息熵之和 最大。假设分割阈值k将图像一维灰度直方图分割为目标和背景两部分，可以得到目标和 背景的灰度概率分布A，B : Γηηνη? A- - - ·· - ?5)
[0070] Α· Pk'Pk'，Pk W
[0071] · 1-Pk'i-Pk， '1-Pk ()
[0072] = Σ/ = ι Pi, ~ Pk = Σ[=/￡+ι Ρ? (7)
[0073] 则目标的信息熵H㈧如式⑶所示，背景的信息熵H⑶如式（9)所示。
[0074] W⑷=-(^) (8)
[0075] W(S) = -Ef=/c+i^^ (^-) (9)
[0076] 图像分割后的总信息熵为H(k) = H(A) +H(B)，求出使总信息熵H(k)最大的阈值k 即为最佳阈值。
[0077] c):利用3X3结构元B对分割后的图像A进行闭操作，表示为Α ·Β，定义如式（10) 所示。
[0078] Α·Β = (Α?Β)ΘΒ (10)
[0079] 其中，Α十Β表示Β对Α进行膨胀，Α一Β表示Β对Α进行腐蚀。膨胀使图像扩大 而腐蚀使图像缩小，从而填补轮廓线的断裂。
[0080] d):对闭操作后的图像进行团块提取，根据团块大小的设定值，去除不在设定值范 围内的团块，其中设定值为团块大小应为50-300像素值之间。
[0081] e):计算团块的包围盒，如果团块的包围盒的宽度大于长度，则去除该团块；。
[0082] f):计算团块的质心位置。定义大小MXN的图像f (X，y)的二维（p+q)阶矩nip^ 如式（11)所示，其中P为水平方向阶值，q为垂直方向阶值。
[0083] rnp q = Σ^=1 Σχ=ι xpyqf(x- y) (11)
[0084] 分别计算水平和垂直方向的一阶矩m1(l，m(ll，与零阶矩！相比即可得到团块的质心 坐标（X center? ，如式（12)所示。 r 1 " ml〇 " _ m01 /1
[0085] ^center = Ycenter = ~ (12) m〇〇 m〇〇
[0086] g):搜索质心坐标在眼睛感兴趣区域中心点附近的矩形区域内最大团块，设眼睛 感兴趣区域的宽为w，高为h，则搜索区域为[f- + HW + J]，最大团块即为眼睛 团块，该最大团块的包围盒即正好包含眼睛团块的最小矩形，为眼睛所在矩形位置，完成 眼睛精确定位。如果定位成功，即可获取眼睛图像，执行步骤5,否则此帧图像眼睛定位失 败，继续执行步骤3,获取下一帧红外图像。
[0087] 步骤5 :结合图3,将步骤3获取的眼睛区域大小归一化到64X48像素大小，按照 步骤2. 3) -2. 5)分别提取H0G特征向量和LBP特征向量，并利用PCA方法进行降维，串联两 种降维后的特征向量得到H0G-LBP融合特征向量，输入到步骤2训练得到的近红外眼睛状 态识别模型进行眼睛状态识别，最终输出此帧图像眼睛状态。
[0088] 步骤6 :重复步骤3?5,实时输出眼睛状态识别结果。
【权利要求】
1. 一种近红外眼睛定位及眼睛状态识别方法，其特征在于包括如下步骤： 步骤1 :获取一帧近红外图像，所述近红外图像由具有850nm主动近红外光源和窄带滤 光片的图像采集系统获得，在获取的近红外图像上定位人脸区域，如果定位成功，获取人脸 图像，执行步骤2,否则继续获取下一帧红外图像； 步骤2 :在获取的人脸图像上利用基于级联结构的近红外眼睛定位算法定位眼睛区 域，如果定位成功，获取眼睛图像，执行步骤3,否则执行步骤1 ; 步骤3 :在获取的眼睛图像上利用基于HOG-LBP特征融合的近红外眼睛状态识别算法 判定眼睛状态，输出眼睛状态识别结果； 步骤4 :重复步骤1?3,实时输出眼睛状态识别结果。
2. 根据权利要求1所述的近红外眼睛定位及眼睛状态识别方法，其特征在于，步骤2具 体包括以下步骤： 步骤2. 1 :利用人脸三庭五眼的比例划分人脸图像获得眼睛感兴趣区域，在获取的眼 睛感兴趣区域利用基于Haar特征的眼睛级联分类检测器定位眼睛区域，如果定位成功，即 可输出眼睛精确位置，获取眼睛图像，否则执行步骤2. 2 ; 步骤2. 2 :在获取的眼睛感兴趣区域利用基于形态学的方法定位眼睛区域，如果定位 成功，即可输出眼睛精确位置，获取眼睛图像，否则这帧图像眼睛定位失败。
3. 根据权利要求2所述的近红外眼睛定位及眼睛状态识别方法，其特征在于，所述步 骤2. 2中在获取的眼睛感兴趣区域利用基于形态学的方法定位眼睛区域包括以下步骤： 步骤2. 2. 1 :对眼睛感兴趣区域进行对数变换，并利用基于最大熵的自适应阈值分割 算法分割对数变换后的眼睛感兴趣区域，得到分割后的图像； 步骤2. 2. 2 :利用形态学闭操作处理分割后的图像，并进行团块提取，根据团块的大小 和的设定值，去除不在设定值范围内的团块； 步骤2. 2. 3 :计算团块的包围盒，如果团块的包围盒的宽度大于长度，则去除该团块； 步骤2. 2. 4 :计算团块的质心位置，并搜索质心坐标在眼睛感兴趣区域中心点附近的 矩形区域内的最大团块，该最大团块的包围盒即为眼睛所在矩形位置，完成眼睛精确定位。
4. 根据权利要求2所述的近红外眼睛定位及眼睛状态识别方法，其特征在于，所述基 于Haar特征的眼睛级联分类检测器的训练包括：通过与步骤1相同的图像采集系统采集适 量近红外眼睛图像，包括睁眼和闭眼，将包含眉毛和眼睛的图像作为正样本，非眼睛图像作 为负样本，通过Adaboost算法训练基于Haar特征的眼睛级联分类检测器。
5. 根据权利要求1所述的近红外眼睛定位及眼睛状态识别方法，其特征在于，步骤3具 体包括以下步骤： 将步骤2获取的眼睛图像大小归一化到近红外眼睛状态识别模型所采用的样本图像 大小，分别提取训练样本图像的HOG特征向量和LBP特征向量，并利用PCA方法进行降维， 串联两种降维后的特征向量得到H0G-LBP融合特征向量，利用训练得到的近红外眼睛状态 识别模型进行眼睛状态识别，最终输出此帧图像眼睛状态。
6. 根据权利要求5所述的近红外眼睛定位及眼睛状态识别方法，其特征在于，近红外 眼睛状态识别模型通过如下方法训练得到： 通过与步骤1中相同的图像采集系统，采集适量红外眼睛图像，包括睁眼和闭眼红外 眼睛图像，并归一化到64X48像素大小，作为训练样本图像； 分别提取训练样本图像的HOG特征向量和LBP特征向量，并利用PCA方法进行降维，串 联两种降维后的特征向量得到H0G-LBP融合特征向量； 把所有训练样本图像的H0G-LBP融合特征向量输入到基于径向基核函数SVM模型进行 训练，得到近红外眼睛状态识别模型。
【文档编号】G06K9/00GK104091147SQ201410259390
【公开日】2014年10月8日 申请日期:2014年6月11日 优先权日:2014年6月11日
【发明者】秦华标, 刘军, 仝锡民 申请人:华南理工大学