0] 然后根据所述姿态回归系数计算输入人脸图像属于不同姿态角的可能性，计算公 式如下·
[0041]
[0042]步骤二中的参数使用梯度下降算法根据训练数据学习得到。
[0043] 所述步骤三中检测人脸图像上的特征点位置具体为：
[0044] 采取由相应姿态角度的数据训练得到的活动形状模型(ASM)或者基于级联回归的 人脸特征点检测器进行检测。
[0045] 所述步骤四具体为:采用拟合一个平均三维人脸模型上的特征点到输入二维图像 的方法，通过调整姿态角度来优化三维人脸模型上的特征点投影到二维图像上后与输入二 维人脸图像上特征点之间的重合度。
[0046] 下面结合一个具体示例说明本发明。
[0047]本发明方法包含一个训练过程，以根据一组训练数据学习人脸姿态角度与其纹理 特征之间的回归函数。这里我们采用如下的回归函数来表示姿态角度和第η维特征之间的 回归关系：
[0048
[0049] φχ(α)、φγ(β)和Φζ(γ)分别表示关于俯仰角的p阶、关于偏转角的q阶和其中，
[0050] 关于倾斜角的r阶多项式，/?为第η维特征的姿态回归参数。需要通过训练数据学 习的参数包括姿态回归参数和三个多项式中的系数。这些参数可以通过梯度下降方法得 到。
[0051] 测试阶段，首先利用上述回归模型估计一副新输入人脸图像的姿态角度。具体地， 首先将输入人脸图像上的人脸区域检测并分割出来，归一化到指定的尺寸，然后提取其纹 理特征，记该特征为FeR N，Fn表示其第η维特征分量。之后，利用训练好的回归模型，计算根 据每一维的特征分量输入人脸图像属于不同姿态角的可能性。计算公式如下：
[0052]
[0053] 最后，选择具有最大可能的姿态角作为该输入人脸图像的姿态初始估计结果。
[0054] 然后根据得到的姿态角度选择相应姿态的特征点检测器，检测输入人脸图像上的 特征点（如瞳孔中心、鼻尖和嘴角)位置。具体实施时，可以采取由相应姿态角度的数据训练 得到的活动形状模型(ASM)或者基于级联回归的人脸特征点检测器。
[0055] 最后根据得到的特征点，采用基于特征点的方法进一步精确估计输入图像中的人 脸姿态角度。具体实施时，可以采用拟合一个平均三维人脸模型上的特征点到输入二维图 像的方法。具体的，通过调整三维人脸模型的姿态角度来优化三维人脸模型上的特征点投 影到二维图像上后与输入二维人脸图像上特征点之间的重合度，该优化过程可以使用基于 粒子群优化或者基于梯度下降的方法。优化开始时，三维人脸模型为标准正面姿态。优化完 成时，三维人脸模型调整后的姿态角度即为输入人脸图像的姿态角度。
[0056] 本发明的优点为:综合了基于表观特征和基于特征点的姿态估计方法。基于表观 特征的姿态估计方式适合对姿态进行粗分类，而基于特征点的方法虽然可以更精细的估计 姿态角度，但是需要首先检测出人脸特征点。然而，要用一个统一的模型准确检测任意姿态 下的人脸特征点，目前很难实现。因此本发明，充分利用基于表观特征的姿态预估计结果， 选择针对特定姿态角度范围的人脸特征点定位模型，而后再用基于特征点的方法估计更加 精确的姿态角度。如此，通过级联的方式由粗到细地估计姿态角度，既克服了任意姿态特征 点定位困难对姿态估计的影响，又有效提高了姿态估计的精度。
[0057]上面结合附图对本发明的【具体实施方式】进行了详细说明，但本发明并不限制于上 述实施方式，在不脱离本申请的权利要求的精神和范围情况下，本领域的技术人员可以作 出各种修改或改型。
【主权项】
1. 一种级联的二维图像人脸姿态估计方法，其特征在于，包括： 步骤一、将输入的二维人脸图像上的人脸区域检测并分割出来，归一化到预定尺寸，提 取其纹理特征，以特征向量F￡RN表示该纹理特征； 步骤二、根据步骤一中得到的二维人脸图像的特征向量计算其在不同姿态角的可能 性； 步骤三、选择具有最大可能性的姿态角作为该输入的二维人脸图像的姿态初始估计结 果，根据所述具有最大可能性的姿态角度选择相应姿态的人脸图像特征点定位模型，检测 该二维人脸图像上的特征点位置； 步骤四、根据步骤三中检测得到的特征点，采用基于特征点的方法进一步精确估计输 入人脸图像中的人脸姿态角度。2. 根据权利要求1所述的级联的二维图像人脸姿态估计方法，其特征在于，所述步骤二 具体为： 首先根据下式计算每个特征维度下的姿态回归系数，其中，φχ(α)、φγ(β)和φζ( γ )分别表示关于俯仰角的p阶、关于偏转角的q阶和关于倾 斜角的r阶多项式，/备:为第η维特征的姿态回归参数； 然后根据所述姿态回归系数计算输入人脸图像属于不同姿态角的可能性，计算公式如 下：Fn表示纹理特征向量F的第η维特征分量。3. 根据权利要求2所述的级联的二维图像人脸姿态估计方法，其特征在于，步骤二中的 参数使用梯度下降算法根据训练数据学习得到。4. 根据权利要求1所述的级联的二维图像人脸姿态估计方法，其特征在于，所述步骤三 中检测人脸图像上的特征点位置具体为： 采取由相应姿态角度的数据训练得到的活动形状模型或者基于级联回归的人脸特征 点检测器进行检测。5. 根据权利要求1所述的级联的二维图像人脸姿态估计方法，其特征在于，所述步骤四 具体为： 采用拟合一个平均三维人脸模型上的特征点到输入二维图像的方法，通过调整姿态角 度来优化三维人脸模型上的特征点投影到二维图像上后与输入二维人脸图像上特征点之 间的重合度。
【专利摘要】本发明公开了一种级联的二维图像人脸姿态估计方法，包括：步骤一、将输入的二维人脸图像上的人脸区域检测并分割出来，归一化到预定尺寸，提取其纹理特征，以特征向量表示该纹理特征；步骤二、根据步骤一中得到的二维人脸图像的特征向量计算其在不同姿态角的可能性；步骤三、选择具有最大可能性的姿态角作为该输入的二维人脸图像的姿态初始估计结果，根据所述具有最大可能性的姿态角度选择相应姿态的人脸特征点定位模型，检测该人脸图像上的特征点位置；步骤四、根据步骤三中检测得到的特征点，采用基于特征点的方法进一步精确估计输入人脸图像中的人脸姿态角度。本发明克服基于表观特征和基于特征点的姿态估计方法各自的缺点，通过级联的方式由粗到细地估计姿态角度，提高了姿态估计的精度。
【IPC分类】G06K9/00, G06K9/62
【公开号】CN105678241
【申请号】CN201511024409
【发明人】赵启军, 李科, 石正权
【申请人】四川川大智胜软件股份有限公司
【公开日】2016年6月15日
【申请日】2015年12月30日