基于关键点的改进sift人脸特征提取方法
【技术领域】
[0001 ]本发明涉及一种基于关键点的改进SIFT (尺度不变特征变换)人脸特征提取方法， 属于人脸识别领域。
【背景技术】
[0002]人脸识别是一种基于人的脸部特征信息进行身份识别的生物识别技术。与其他生 物特征相比，人脸特征具有天然性、方便性和非接触性等优点，使其在安全监控、身份验证、 人机交互等方面具有巨大的应用前景。因此，人脸识别技术非常具有研究价值。一般而言， 人脸识别过程分为两个过程:人脸特征提取和人脸相似度得分值计算。人脸特征提取过程 是提取人脸图片的一些关键特征形成人脸特征向量，人脸相似度得分值计算过程是计算两 个人脸特征向量之间的相似度，相似度越高则表明两张人脸图片越有可能来自于同一个 人，反之，则越表明两张人脸图片来自于不同的人。在某些情况下，更关心的是人脸特征提 取部分。
[0003 ]现有的人脸特征提取方法包括LBP (局部二值模式)方法和它的变种方法等，这些 局部纹理特征提取方法通过对整张人脸图片进行分块统计形成直方图向量，并将各个块的 直方图向量级联最终形成人脸特征向量。由于这种方法是对整张人脸进行局部纹理特征提 取，因此，其所形成的特征向量维数是比较大的，并且其中包含了一些冗余信息。此外，这种 方式对于复杂环境下表情或姿态的变化并不鲁棒。
[0004] SIFT特征提取方法已被广泛应用于一般物体的识别，它的主要思想是找到图像在 不同尺度下的关键点，并用方向直方图来描述关键点作为图像的特征向量。然而，SIFT方法 用于人脸图像时，不能准确定位到人脸中的关键点，因为其主要适用于具有较高对比度的 一般物体的识别，而人脸图像之间具有较高的相似性。
【发明内容】
[0005] 本发明的主要目的是提供一种基于关键点的改进SIFT人脸特征提取方法。
[0006] 区别于传统的基于整张人脸的特征提取方法，本发明的具体创新点在于采用了基 于关键点的改进SIFT人脸特征提取的方法。通过定位人脸中的五个关键像素点，并利用 SIFT方法中的方向直方图来描述这五个关键点，从而形成鲁棒的人脸图像特征向量。所述 五个关键像素点分别为左眼中间位置的像素点，右眼中间位置的像素点，鼻尖上的像素点， 左嘴角的像素点以及右嘴角的像素点。
[0007] 本发明的技术方案具体来说，主要包括如下技术内容：
[0008] 1、采用三层深度卷积网络级联定位人脸中的五个关键像素点（左眼中间位置的像 素点，右眼中间位置的像素点，鼻尖上的像素点，左嘴角的像素点以及右嘴角的像素点）。
[0009] 2、改进SIFT特征提取方法:用人脸中的五个关键像素点来替换SIFT特征提取方法 自身检测出的关键点，减少特征数据维数，剔除特征数据中的冗余信息。
[0010] 3、将人脸的特征向量映射到intra-personal子空间中，保证同一个人的不同人脸 图片之间具有类内不变性。
[0011] 4、结合双线性相似度函数和马氏距离来计算两个人脸特征向量之间的相似度得 分值。该得分值越高则表明两张人脸图片越可能来自于同一个人，反之，该得分值越低则表 明两张人脸图片越可能来自于不同的人。
[0012] 5、采用KELM分类器(基于核的极限学习机)对相似度得分值进行二值分类，得分值 较高的一类人脸图片，两张人脸图片均被判为来自于同一个人，而得分值较低的一类人脸 图片，两张人脸图片均被判为来自于不同的人。
[0013] 本发明的流程图如图1所示，实施流程如下：
[0014] 步骤1、读取人脸图片，并利用三层深度卷积网络级联定位人脸图片上的五个关键 像素点（左眼中间位置的像素点，右眼中间位置的像素点，鼻尖上的像素点，左嘴角的像素 点以及右嘴角的像素点）。
[0015] 该步骤中所用的深度卷积网络级联包括三层。第一层利用深度卷积网络对五个关 键像素点进行准确定位，其他两层利用卷积网络对第一层的定位结果进行再次确认。为了 保证定位的准确性，每层中各个深度卷积网络的定位结果被融合在一起取平均作为最终的 定位结果。深层卷积网络包含四个卷积层、池化层和两个全连接层，起始层获取人脸图片的 全局上下文信息，由于卷积网络是对五个关键像素点同时进行预测，所以各个关键像素点 间的相对位置在卷积网络训练的同时也被进行了编码，进而削弱了表情变化、光照变化以 及其他环境因素造成的影响。
[0016] 步骤2、对于步骤1中提取的五个关键像素点，利用SIFT方法进行特征描述，提取人 脸图片的特征。
[0017] SIFT特征提取方法是一种检测局部特征的方法，不仅具有尺度不变性，同时具有 旋转不变性。该方法一般包含四个过程：（1)构建尺度空间，检测关键点；（2)剔除不稳定的 关键点；（3)为关键点赋值方向参数；（4)生成关键点的描述子。一般而言，SIFT特征提取方 法适用于具有较高对比度的一般物体的识别，而人脸图片具有较低的对比度和边缘响应， 由于SIFT特征提取方法不能准确定位人脸图片中的关键点，因此用步骤1中定位关键像素 点的方法替换SIFT特征提取方法中的步骤(1)和步骤(2)。
[0018] 然后，对于步骤1中得到的五个关键像素点，取每个关键像素点领域内的一些像素 点，计算每个像素点的梯度模值和方向。定义某个像素点的坐标为P(x，y):
[0020] 0(x,y)=tan-1((P(x,y+l)-P(x,y-l))/(P(x+l,y)-P(x-l,y)))
[0021] 其中，m(x，y)为该像素点的梯度模值，0(x，y)为该像素点的梯度方向。
[0022] 根据上式的计算结果，利用直方图统计领域内像素点的梯度方向。为减少突变影 响，需要用高斯函数对直方图进行平滑。那么，直方图的峰值代表了关键像素点领域像素点 的梯度主方向，也即关键像素点的方向。
[0023] 为了保持旋转不变性，将坐标轴旋转为关键像素点的方向，然后以关键点为中心， 取16X16大小的领域窗口，在每4X4大小的格子中计算8个梯度方向的直方图，最终形成4 X4X8 = 128维的SIFT人脸特征向量。
[0024] 步骤3、将步骤2中得到的特征向量映射到intra-personal子空间中。
[0025]在该步骤中，为了削弱噪声的影响，首先需要将步骤2中得到的特征向量利用PCA 方法(主成分分析)进行降维，形成特征脸。其协方差矩阵表达式如下：
[0027]其中，η为人脸样本数量，^表示人脸向量，m为η个人脸向量的均值。由于协方差矩 阵描述了向量之间的相关性，因此上述协方差矩阵的特征向量形成映射矩阵，根据映射矩 阵对人脸图像数据进行映射，即可形成特征脸。然后，为了保证同一个人不同的人脸图片之 间的类内不变性，将特征脸映射到intra-personal子空间中，其协方差矩阵表达式如下：
[0029]其中，S表示同一个人的人脸图片集合，XdPXj表示同一个人的人脸图片集合中不 同的两张人脸图片的人脸向量。Λ = {心，...，Ak}和V= {V1，. . .，vk}分别表示上式协方差矩 阵的前k个特征值和特征向量。同样地，前k个特征向量形成映射矩阵，将上述特征脸数据通 过该映射矩阵进行映射，从而保证同一个人的人脸图片之间的类内不变性。如果Cs是可逆 的，那么，特征脸映射到intra-personal子空间用下式来表达：
[0032] 其中，V是由上述k个特征向量形成的映射矩阵，是由上述k个特 征值所组成的对角矩阵，I即最终形成的特征矩阵。
[0033] 步骤4、利用双线性相似度函数和马氏距离来计算两个人脸特征向量之间的相似 度得分值。
[0034]马氏距离已被广泛用于人脸识别领域，但其识别效果不是特别好，而近几年的研 究表明，双线性相似度函数在图片相似度搜索领域已获得了很好的效果。因此，本方法中， 结合双线性相似度函数和马氏距离来计算两个人脸特征向量之间的相似度得分值，其表达 式如下：
[0038]其中，&(5;，士)表示為和％特征矩阵之间的双线性相似度函数，表示虱 和^特征矩阵之间的马氏距离。G和Μ均为kXk大小的矩阵，需要训练合适的Μ和G来尽量保 证类内不变性的同时保证类间的最大可辨别性。因此，将intra-personal子空间相似度量 学习的表达式定义成如下形式：
[0041 ] <? > Q, yf = (i j)e.P- S u D
[00