基于特征融合的眼睛状态识别方法
【技术领域】
[0001] 本方法属于图像处理和模式识别领域，涉及一种基于特征融合的眼睛状态识别方 法。
【背景技术】
[0002] 眼睛状态的识别在人机交互、驾驶员疲劳检测、视线跟踪等很多领域都有重要的 作用，其判别的准确率直接影响这些系统的性能。在实际应用中，为了保证眼睛状态判别的 方法能够全天候使用，目前最常用的方法就是使用主动红外光源和滤光片结合的图像采集 方法。但在红外照明加滤光片的情况下，人眼图像与正常光照下的人眼图像出现较大的区 另IJ ;另外实际应用中头部的大幅度转动使得人眼图像发生较大形变，导致原本提取的特征 失效。因此，选择合适的人眼特征和设计性能优良的眼睛状态分类器是提高眼睛状态识别 的关键。
[0003] 根据眼睛状态识别方法采用的特征和模型可以分为基于外貌特征的眼睛状态判 别方法和基于统计学习的眼睛状态判别方法：
[0004] 基于外貌特征的眼睛状态判别方法，利用眼睛的一些固有外观特征进行识别，比 如眼睛虹膜的形状、眼睑的曲率、眼睛的灰度分布等。眼睛的一些固有外观特征会受到外界 的环境影响而发生改变，在实际不可控的条件下，这种方法往往变得并不可靠。
[0005] 基于统计学习的眼睛状态判别方法，这种方法往往需要大量不同变化模式下的训 练样本，这样才能让学习模型能够有足够好的泛化能力，因此它在处理不确定样本数据时， 比基于外貌特征的识别方法表现出更好的稳定性和鲁棒性。
[0006] 在基于统计学习的眼睛状态判别方法中，常用的特征主要有光照不变特征和不变 矩特征。其中光照不变特征是一种在不同光照环境下能够保持不变的特征，可以克服眼睛 状态识别过程中光照变化的影响，常用的光照不变特征主要有Gabor特征、HOG特征、LBP特 征；不变矩是一种具有平移、旋转和比例不变性的图像特征，可以克服眼睛状态识别过程中 头部转动和距离的影响，常用的矩特征主要有Hu矩、Zernike矩、小波矩等。
[0007] 在实际应用场景中，眼睛状态识别易受到头部运动、复杂光照的影响，单个特征无 法满足实际应用的鲁棒性要求，需要在对眼睛图像进行多种特征的提取和效果分析的基础 上，提出了一种特征融合的眼睛状态识别算法。
【发明内容】
[0008] 本发明的目的在于提出一种基于特征融合的眼睛状态识别方法，此方法更好的解 决头部运动和复杂光照变化场景下眼睛状态的识别问题，本阀门能够实时地准确地输出眼 睛状态，从而提高相应智能系统的鲁棒性。本发明通过如下技术方案实现。
[0009] 基于特征融合的眼睛状态识别方法，该方法包括：（1)人脸区域和眼睛定位；（2) 伪Zernike矩特征向量与Gabor特征向量的提取；（3)伪Zernike矩特征向量与Gabor特 征向量的融合；(4)眼睛状态识别模型的训练；（5)对新输入眼睛状态的判别。
[0010] 上述方法中，所述的步骤⑵，包括：
[0011] 1. 1):通过图像采集系统采集适量的眼睛图像，包括睁眼和闭眼，并归一化到 64X48像素大小，作为训练样本图像。
[0012] 1. 2):分别提取训练样本图像的不变矩特征伪Zernike矩特征向量和光照不变特 征Gabor特征向量，并利用PCA (Principal Component Analysis,主成分分析）方法Gabor 特征向量进行降维并采用LDA(Linear Discriminant Analysis，线性判别分析）对降维 后的Gabor特征向量进行重建类内散布矩阵和类间散布矩阵，从而获得降维及重建后的 Gabor特征向量。
[0013] 1. 3):将伪Zernike矩特征向量与降维及重建后的Gabor特征向量进行归一化与 维数补齐，然后进行并行融合，得到PZ_GAB特征融合特征向量。
[0014] 上述方法中，所述的步骤（4)，包括：
[0015] 2. 1):把所有训练样本图像的PZ_GAB融合特征向量输入到基于径向基核函数 SVM(Support Vector Machine,支持向量机）模型进行训练，得到眼睛状态识别模型。
[0016] 上述方法中，所述步骤（3)包括：对在步骤（2)中得到眼睛样本图像的伪Zernike 矩特征向量与降维及重建后的Gabor特征向量进行融合，从而得到融合后的眼睛特征向量 PZ_GAB特征
[0017] 上述方法中，所述的步骤（3)，包括：
[0018] 3. 1):通过图像采集系统采集得一帧图像，对此帧图像分别进行人脸和眼睛定位， 如果定位成功，获取眼睛区域图像，执行步骤3. 2,否则跳过此帧图像，继续获取下一帧图 像。
[0019] 3. 2):将步骤3. 1获取的眼睛区域大小归一化到64X48像素大小，分别提取伪 Zernike矩特征向量和Gabor特征向量，并利用PCA方法对Gabor特征向量进行降维，采用 LDA (Linear Discriminant Analysis，线性判别分析）对降维后的Gabor特征向量进行重 建类内散布矩阵和类间散布矩阵。将伪Zernike矩特征向量与降维及重建后的Gabor特征 向量进行并行融合，得到PZ_GAB特征融合特征向量。
[0020] 3. 2):将步骤3. 2中融合得到的特征向量输入到步骤2中训练得到的眼睛状态识 别模型进行眼睛状态识别，最终输出此帧图像眼睛状态。
[0021] 与现有技术相比，本发明具有如下优点和技术效果：
[0022] 1、本发明针对眼睛状态识别易受到复杂光照变化与头部运动的影响而造成识别 精度不高的问题，结合光照不变特征与不变矩特征而提出了一种新的特征融合算法。本发 明能够克服睁闭眼、眼镜反光、头部转动等因素的影响，鲁棒地定位眼睛位置并准确输出眼 睛状态信息，从而提高相应智能系统的鲁棒性；
[0023] 2、本方法采用特征降维后计算复杂度低，能够满足系统的实时性要求；
【附图说明】
[0024] 图1是本发明一种基于特征融合的眼睛状态识别方法的整体流程图。
[0025] 图2是特征融合的眼睛状态识别流程图。
【具体实施方式】
[0026] 下面结合附图对本发明的【具体实施方式】做进一步说明。
[0027] 结合图1，本发明一种基于特征融合的眼睛状态识别方法，【具体实施方式】如下：
[0028] 步骤1 :训练基于Haar特征的眼睛级联分类检测器，通过图像采集系统采集适量 的眼睛图像，包括睁眼和闭眼，将包含眉毛和眼睛的图像作为正样本，非眼睛图像作为负样 本，通过Adaboost算法训练基于Haar特征的眼睛级联分类检测器。
[0029] 步骤2 :训练眼睛状态识别模型，结合图2,具体步骤如下：
[0030] 2. 1):通过与步骤1中相同的图像采集系统适量的眼睛图像，包括睁眼和闭眼，并 归一化到64X48像素大小，作为训练样本图像。
[0031] 2. 2):提取样本眼睛图像的伪Zernike矩特征，具体步骤如下：
[0032] a):在提取眼睛图像的伪Zernike矩特征之前，本发明先采用一种快速有效的自 适应阈值算法对眼睛图像进行二值化。遍历眼睛图像，选取图像中最大与最小像素值的中 间像素值作为阈值，从而对图像进行二值化。此阈值通过像素值域空间百分比进行选择，本 发明中根据经验值取像素值域