一种人脸对齐方法
【专利摘要】本发明公开一种人脸对齐方法，包括：收集一定数量的人脸图像作为训练样本和预测样本，将图像增强，对于训练样本，标定人脸关键点，并保存关键点位置信息；通过随机森林算法对S1中标定的训练样本进行学习，得到标定的关键点的特征映射函数从而得到标定的关键点的局部二值特征；将步骤S2中得到的标定关键点的局部二值特征组合起来构成一个全局二值特征，利用此特征与全局线性回归的学习方式获得一个全局线性回归模型Wt，进而实现待测样本的人脸关键点的定位。
【专利说明】
_种人脸对齐方法
技术领域
[0001 ]本发明涉及人脸识别领域，具体涉及一种人脸对齐方法。
【背景技术】
[0002] 人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流，判断其是否 存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置 信息，并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进 行对比，从而识别每个人脸的身份。整个过程一般包括人脸检测、人脸预处理、人脸对齐、以 及人脸识别等步骤。人脸识别算法主要有基于人脸特征点的算法、基于模板的识别算法以 及基于整幅人脸图的识别算法。
[0003] 人脸对齐是将上一步检测出来的人脸图像都对齐到一组基准点上，实际上就是将 抠出来的人脸的各个基准点（双眼、鼻尖、内外眼角、嘴巴）都对齐到一组标准位置上。它作 为基于人脸特征点的算法中最核心的步骤，错误的特征定位会导致人脸特征的严重变形， 即使是不精确的对齐也会使得识别效果大大下降。因此，能够准确快速的提取面部关键特 征点的算法对后续识别率的提高非常重要。
[0004]目前人脸对齐算法主要有基于统计学习模型特征点提取方法，其中有主动形状模 型和主动表现模型。主动形状模型ASM(active shape models)的提取，极大有效的提高了 人脸特征关键点的检测，从而在一定程度上提高了人脸识别率。其具体方案包括：
[0005] 1.统计模型的建立
[0006] 采用人工标定的方法，标定一定数量的能充分描述和表征目标轮廓的特征点。因 此，每张人脸图像都可以表示为N个标定点的二维坐标点信息。
[0007] 2.形状统计模型
[0008] 上述得到的标定点数量很大，其形成的特征点集向量维数很高，其关键点之间有 一定的相关性，彼此之间的位置距离都是大致不变的，因此需要用PCA进行降维，提取主成 分。根据降维过程中选取的特征向量和对应的特征值，可以建立一个线性的可变统计形状 模型，表达式为：
[0010]其中P为主成分特征向量构成的转换矩阵，b为形状参数向量，该形状参数表示在 模型中每个形状分量所占的比重。因为该系统是一个线性可变的模型，且需要限制在一定 的可变范围内，故形状向量b常被限制为：
[0012] 3.模型和新点集进行匹配
[0013] 首先，计算眼睛、嘴巴的位置，做简单的尺度和旋转变化，其中计算眼睛或嘴巴位 置的公式为：
[0017]再根据模型X和图像特征点集γ最接近，使其目标函数及各点欧式距离最小，目标 函数表示式为：
[0019] 4.关键点检测
[0020] 用人脸检测器检测到的人脸大致目标位置和大小及方向。调整上述5个参数，通过 先验信息特征点，可以假设特征点主要是图像的强边缘点，且图像灰度的梯度服从高斯分 布，则可以通过模型找到特征点附近梯度的最大值，即可认为为特征点位置。对于每个特定 位置的候选点，分别计算每个候选点的局部模型与训练模型中该位置点之间的欧式距离， 公式为：
[0021] F(b，Xt，Yt，s，0)= |Χ，-Χ|2
[0022] 在人脸图像的基础上定位关键点坐标时，关键点位置的准确性依赖于人脸手工标 定关键点的准确性以及样本的数量，ASM(主动形状模型)这种定位关键点的算法效果在一 定程度上能够有效的定位关键点，但是这种方法没有考虑到轮廓内部目标物体的灰度信 息，因此在处理图像表面灰度信息比较丰富的物体(如人脸)或图像受光照影响比较大时， 就显得力不从心。这种方法对图像进行预处理时需大量的样本集对人脸图像归一化，且对 训练集数据采用PCA(主成分分析)方法，过程繁琐，耗时过长，且定位人脸关键点不太准确， 比较粗糙，不具备实用性，过于耗时，无法满足实时的要求。
【发明内容】
[0023] 本发明的目的是解决现有技术的缺陷，提供一种更快更有效的人脸对齐方法，实 现人脸关键点精确定位，并大大缩短定位时间，采用的技术方案如下：
[0024] 一种人脸对齐方法，包括以下步骤：
[0025] S1.收集一定数量的人脸图像作为训练样本和预测样本，对于训练样本，将图像增 强，标定人脸关键点，并保存关键点位置信息；
[0026] S2.通过随机森林算法对S1中标定的训练样本进行学习得到标定关键点的特征映 射函数Φ?，进而获取标定关键点的局部二值化特征；
[0027] S3.将步骤S2中得到的标定关键点的局部二值特征组合起来构成一个全局二值特 征；
[0028] S4.利用步骤S3中的全局二值特征与全局线性回归的学习方式获得全局线性回归 模型Μ，进而实现待测样本的人脸关键点的定位。
[0029]本发明使用随机森林学习人脸特征关键点的局部二值特征（LBF，Local Binary Features)，并学习这些特征的局部性准则，利用这个局部性准则作为指导独立地为每个人 脸标记学习一组高判别性的局部二值特征，将这些局部二值特征连起来作为一个特征向 量。这种方法在人脸图像上能够获取很好的效果，同时由于提取和回归局部二值特征计算 量很低，因此本发明有效提高了人脸检测的速度，比现有技术的人脸对齐方法快很多。 [0030]进一步地，将图像增强包括对图像进行去模糊、去雾、几何矫正和对比度增强。 [00 31] 进一步地，所述步骤S4具体为：
[0032]将所有随机树的局部二值特征前后连接组成一个全局部二值特征，利用这个全局 部二值特征做全局线性回归，将形变作为预测目标，训练全局线性回归器来做预测，其表达 式为：
[0034]其中，Δ s表示形变，lbf表示LBF特征，W是线性回归的参数，λ是抑制模型参数，形 变预测公式为：
[0035] As
[0036] 多级级联回归方法的每一级都可以按如上所讲的分为两个部分，利用随机森林提 取局部二值特征，然后再利用局部二值特征做全局线性回归预测形状增量A S。
[0037] 作为优选，所述步骤S2包括：
[0038] 对图片初始化1个形状，其中形状是人工标定的关键点，即眼睛鼻子嘴巴位置信 息；
[0039] 基于这个形状计算每个点的周围像素，或者两个形状中对应点中像素的差值，作 为特征值features;
[0040] 计算当前人脸图片和人工标记形状的差异As，然后训练一个函数y = f(x)，计算 Δ s = f (features)
[0041] 本发明中，随机森林训练方法针对的是单个关键点，所有随机树中用到的特征点 不会关联到其他关键点上。在以当前关键点为中心的指定半径区域随机选取两个特征点， 然后计算这两个点的像素差值作为特征，称为随机树特征，然后将此关键点的随机森林的 所有随机树特征联合起来得到此关键点的局部二值特征(LBF)，最后将所有关键点对应的 随机森林输出的局部二值特征相互连接起来构成一个全局二值特征，再用全局二值特征做 全局回归，用来预测关键点。
[0042] 与现有技术相比，本发明的有益效果：
[0043] 本发明提出随机森林和全局线性回归相结合的方法对特征点进行定位，对人脸关 键点定位精度高，且能更实时地对检测到的人脸图片进行关键点预测定位。在人脸对齐中 用到的LBF特征，经过随机树一级级的训练，能够记忆人脸标定的形状结构，从而在预测人 脸关键点中能准确定位，且LBF特征利用两个关键点像素值差，加快了训练及预测速度。另 外，全局回归学习可以有效地进行全局形状约束，并且减少由于局部外观的模糊不清所带 来的误差，能够有效的用在巡逻机器人人脸识别系统中，提高人脸识别率。
【附图说明】
[0044] 图1是本发明标定人脸关键点的示意图；
[0045] 图2是本发明的人脸对齐方法流程示意图；
[0046] 图3是本发明随机森林的结构示意图；
[0047] 图4是使用传统的ASM进行人脸关键点预测定位和使用本发明预测人脸关键点定 位效果对比示意图；
[0048]图5是本发明的实验结果示意图。
【具体实施方式】
[0049] 下面结合附图和实施例对本发明做进一步详细描述。
[0050] 实施例：
[0051 ]如图1所示，一种人脸对齐方法，包括以下步骤：
[0052] S1.收集一定数量的人脸图像作为训练样本和预测样本，对于训练样本，将图像增 强，标定人脸关键点，并保存关键点位置信息，如图1所示；
[0053] S2.通过随机森林算法对S1中标定的训练样本进行学习，学习标定的关键点特征 映射函数Φ?，如图2所示的第二列；
[0054] S3.利用步骤S2中得到的特征映射函数Φ)获取关键点的局部二值特征;从图2第三 列可看出，这种基于局部二值特征(LBF)的学习是通过一个"局部"原则使学习有规则的进 行。这个原则主要有两个方面:在一级中对于定位一个确定的地标点，1)最具判别性的纹理 信息分布在上一级估计出的地标点的周围，2)形状的信息内容和这个地标点的局部纹理提 供了充足的信息。因此我们可以独立的为每一个地标点学习最具直觉型的特征来编码局部 纹理特征，最后再执行全局线性回归去融合形状的信息内容，实现人脸对齐关键点的定位；
[0055] S4.利用全局线性回归方法实现待测样本的人脸关键点的定位。
[0056]本实施例中，将图像增强包括对图像进行去模糊、去雾、几何矫正和对比度增强。 [0057]所述步骤S4具体为：
[0058]将所有随机树的局部二值特征前后连接组成一个全局二值特征，利用这个全局二 值特征做线性回归，将形变作为预测目标，训练线性回归器来做预测，其中，线性回归表达 式为：
[0060] 其中，Δ S表示形变，lbf表示LBF特征，是线性回归的参数，λ是抑制模型参数，形 变预测公式为：
[0061] '8=?^·]^;!!·。
[0062] 多级级联回归方法的每一级都可以按如上所讲的分为两个部分，利用随机森林提 取局部二值特征，然后再利用局部二值特征做全局线性回归预测形状增量A S。
[0063] 所述步骤S2包括：
[0064] 对图片初始化1个形状，其中形状是人工标定的关键点，即眼睛鼻子嘴巴位置信 息；
[0065] 基于这个形状计算每个点的周围像素，或者两个形状中对应点中像素的差值，作 为特征值features;
[0066] 计算当前人脸图片和人工标记形状的差异As，然后训练一个函数y = f(x)，计算 Δ s = f (features) 〇
[0067] 随机森林是一种很好的分类器融合算法，能够很好的解决多类分类问题，其基本 思想是将许多弱分类器集成为一强分类器，如图3所示，一个随机森林由Ν棵决策树构成，每 颗决策树是一个分类器。
[0068] 本实施例中，随机森林训练方法针对的是单个关键点，所有随机树中用到的特征 点不会关联到其他关键点上。在以当前关键点为中心的指定半径区域随机选取两个特征 点，然后计算这两个点的像素差值作为特征，称为随机树特征，然后将此关键点的随机森林 的所有随机树特征联合起来得到此关键点的局部二值特征(LBF)，最后将所有关键点对应 的随机森林输出的局部二值特征相互连接起来构成一个全局二值特征。再用全局二值特征 做全局回归，用来预测关键点。
[0069] 本实施例中，收集的人脸图像总数C: 12186,其中，训练样本17160张，预测样本 3436张。标定13个关键点，分别为左眼眼珠、右眼眼珠、左眼眼角、右眼眼角、鼻尖两侧、鼻 尖、上下左右嘴角。实验结果如图4及图5所示，图4左边的图像是使用ASM进行关键点预测得 到的结果，右边图像是使用本发明的方法进行关键点预测得到的结果，从图4可以看出，本 发明效果好于ASM。从图5可以看出，本发明能较快的定位出人脸的关键点，能满足人脸识别 系统实时的要求。
【主权项】
1. 一种人脸对齐方法，其特征在于，包括W下步骤：51. 收集一定数量的人脸图像作为训练样本和预测样本，对于训练样本，将图像增强， 柄定人脸关键点，并保存关键点位置?胃息；52. 通过随机森林算法对S1中标定的训练样本进行学习得到标定关键点的特征映射函 数嗔，进而获取标定关键点的局部二值化特征；53. 将步骤S2中得到的标定关键点的局部二值特征组合起来构成一个全局二值特征；54. 利用步骤S3中的全局二值特征与全局线性回归的学习方式获得全局线性回归模型 Wt，进而实现待测样本的人脸关键点的定位。2. 根据权利要求1所述的一种人脸对齐方法，其特征在于，将图像增强包括对图像进行 去模糊、去雾、几何矫正和对比度增强。3. 根据权利要求1所述的一种人脸对齐方法，其特征在于，所述步骤S2包括： 对图片初始化1个形状，其中形状是人工标定的关键点； 基于运个形状计算每个点的周围像素，或者两个形状两个对应点中像素的差值，作为 特征值features; 计算当前人脸图片和人工标记形状的差异As,训练函数y = f(x)，计算As = f (features)。4. 根据权利要求1所述的一种人脸对齐方法，其特征在于，所述步骤S4具体为： 将所有随机树的局部二值特征前后连接组成一个全局二值特征，利用运个全局二值特 征做全局线性回归，将形变作为预测目标，训练全局线性回归器来做预测，其表达式为：其中，Δ S表示形变abf表示LBF特征，wt是线性回归的参数，λ是抑制模型参数，形变预 测公式为： As=wMbf。
【文档编号】G06K9/00GK106096560SQ201610429912
【公开日】2016年11月9日
【申请日】2016年6月15日
【发明人】毛亮, 朱婷婷, 文莉, 林焕凯, 黄仝宇, 宋兵, 宋一兵, 汪刚, 柏林, 刘双广
【申请人】广州尚云在线科技有限公司