一种全自动、鲁棒的三维人脸检测方法与流程

本发明属于图像处理和模式识别技术领域，尤其涉及适用于三维人脸识别方向中的人脸检测方法。

背景技术：

进入21世纪，人类进入了信息爆炸时代，信息安全问题日益突出，身份识别和认证已成为各类安保系统中亟待解决的问题。生物识别技术以其安全、普遍易维护等优点成为当前应用最多的身份识别和认证技术。作为生物识别技术的一个分支，人脸识别以其自然、友好、用户接受度高、易采集等优点，在实际应用中越来越多。以往的人脸识别技术大多基于二维图像，易表情、姿态、光照等因素影响，识别性能迟迟难以有更大的突破。

近年来随着计算机和三维成像技术的发展，基于三维模型的人脸识别方法有望克服现今人脸识别中遇到的姿态问题。但现有的三维人脸识别方法一般都针对没有姿态变化或姿态变化极小的情况，具有较大姿态的人脸识别，仍然是一个难题。此外，在实际的数据采集时，获取的人脸模型往往包含了头发、肩部、颈部等非人脸区域的冗余信息，且受表情变化影响，不可避免地含有噪声信息，这对后期人脸的特征提取和识别产生了很大的干扰作用。在这种情况下如何快速准确地检测出人脸区域，成为三维人脸识别研究急需解决的问题。

鼻尖是人脸区域上几何特征最为明显，是最容易识别的区域，可近似看做人脸的中心，通过鼻尖点可快速准确的分割出人脸区域。申请号200910197378.4，名称为“一种全自动三维人脸检测和姿态纠正的方法”的专利，对人脸曲面进行多尺度分析，根据鼻子的区域特征定位鼻尖点，受人脸之间差异性影响，鼻子的区域特征并不稳定，因而定位结果往往并不准确。2013年吉林大学蔡宇的“三维人脸检测与识别技术”博士论文中提出利用统计方式分析人脸的曲率特征定位鼻尖点，实现人脸检测，而曲率等特征信息在噪声干扰的情况下会表现的十分不稳定。申请号201510064736.X，名称为“一种抗表情、姿态及遮挡变化的三维人脸特征点检测方法”的专利，提出训练生成平均鼻子模型，定位鼻尖点的方法，该方法需手动标记人脸标记点，定位过程耗费时间较长。上述方法都存在不可避免的问题，无法同时满足人脸检测的速度和精度要求，制约着三维人脸识别研究的发展。

技术实现要素：

发明目的：针对现有三维人脸分割方法的不足，提出了一种全自动、鲁棒的三维人脸检测方法。该方法可实现复杂姿态和表情变化下三维人脸的自动检测，对用户的配合度要求较低，可实现三维人脸的快速准确分割。

为实现上述发明目的，本发明采用的技术方案如下：

1、预处理阶段，包括以下步骤：

1-1)平滑处理：基于二维图像腐蚀操作的思想，首先将输入的点云数据中包含的离群点删除，然后引入中值滤波的思想将尖点剔除，最后利用双立方插值法进行空洞的填补，从而完成模型的平滑处理；

离群点定义：P_noise＝{p_i∈P|neiN(p_i^r)＜ω}

其中P表示原始三维人脸点集，p_i^r表示以p_i为球心，r为径的球形领域内点集，neiN(p_i^r)表示点p_i的球形领域内点的个数，ω为阈值。取r＝3.0mm，ω＝10，剔除离群点；

尖点定义：P_cusp＝{p_i∈P|dis(p_i^z-dz)>τ_dz}

其中dis(p_i^z-dz)表示点p_i的z坐标与其邻域内点的z坐标均值dz之间的距离，τ_dz为给定的阈值，由点p的邻近点距离dz的中值确定。当三维点坐标满足尖点判断条件时予以剔除，并其点坐标设置为：其中n为点p的邻域内邻近点个数。

1-2)人脸预分割：根据三维模型的三维坐标取值，截取距离摄像头最近的一段距离内的三维模型区域，将三维模型中最突出的部分提取出来作为鼻尖点的提取区域S；

S＝{p_i∈P|p_i^y∈[P^y_max-y_ε，P^y_max]，p_i^z∈[P^z_max-z_ε，P^z_max]}。

其中P^y_max、P^z_max分别为点集合P中竖直方向上最大值和深度方向上的最大值，y_ε、z_ε分别为给定的阈值，取y_ε＝250mm、z_ε＝0.5P^z_max。

2-1)提取轮廓线：利用旋转法，将预分割后的人脸区域绕y轴做旋转变换，θ为旋转角度。取θ＝{0,5,10,…180}。取具有最大深度值的角度上的垂直向点集为初始人脸的离散轮廓线点集然后对轮廓线点集进行B样条拟合，从而得到初始人脸的轮廓线；

2-2)鼻尖点定位：对人脸的中分轮廓线进行梯度分析后，根据人脸轮廓线的几何形状特性可知，轮廓线中部梯度最大的极大值点即为鼻下点，鼻下点上部的第一个梯度极小值点即为鼻根点，轮廓线上鼻下点与鼻根点之间最突出的点即为鼻尖点；

3人脸检测阶段，包括以下步骤：

3-1)人脸分割：以鼻尖点为球心，经验值R为半径分割人脸区域，R＝90mm；

3-2)姿态矫正：利用PCA主成分分析法对三维人脸进行姿态的预调整，设人脸区域的点云集合为P＝{P₀,P₁,…P_m-1}，对应的均值点为计算人脸点云的协方差矩阵

计算出对应的特征值λ₁，λ₂，λ₃(λ₁>λ₂>λ₃)和特征向量α₁，α₂，α₃。以鼻尖点为坐标原点，特征向量α₂为x轴，特征向量α₁为y轴，特征向量α₃为z轴建立右手坐标系，该坐标系为姿势坐标系(PCS，Pose Coordinate System)将人脸点云投影到PCS中完成姿态矫正；

表示经坐标变换后每个点云数据的坐标向量，P_i表示原始的人脸点云坐标向量，P_nose为鼻尖点的坐标向量，m为分割后人脸区域包含的点云数目。

有益效果

(1)对人脸进行了预分割处理，有效降低了后期鼻尖点的数据处理量，提高了鼻尖点的定位速度。

(2)从人脸中分轮廓线上提取鼻子的轮廓线，定位结果准确且数据处理量较小。

(3)从鼻子的轮廓线上定位鼻尖点，减弱了表情变化及噪声对鼻尖点定位结果的影响。

附图说明

图1技术流程图；

图2三维人脸模型初始分割示意图；

图3多姿态下三维人脸的侧影轮廓线；

图4拟合后侧影轮廓线梯度图；

图5矫正前后的三维人脸图。

具体实施方式

以下结合附图具体说明本发明技术方案。

选取CASIA 3D人脸数据库中中性表情下九种姿态，六种表情下的共123个人的1845个测试样本进行了检测测试，成功检测到1742个人脸模型。最终单个人脸检测时间不超过1秒，检测准确率为94.42％，下面结合附图对本发明进行详细说明。

如图1所示，本发明一种全自动、鲁棒的三维人脸检测方法，主要包含以下步骤：

1)预处理阶段，包括以下步骤：

1.1)平滑处理：基于二维图像腐蚀操作的思想，首先将输入的点云数据中包含的离群点删除，然后引入中值滤波的思想将尖点剔除，最后利用双立方插值法进行空洞的填补，从而完成模型的平滑处理。

离群点定义：P_noise＝{p_i∈P|neiN(p_i^r)＜ω}

其中P表示原始三维人脸点集，p_i^r表示以p_i为球心，r为径的球形领域内点集，neiN(p_i^r)表示点p_i的球形领域内点的个数，ω为阈值。取r＝3.0mm，ω＝10，剔除离群点；

尖点定义：P_cusp＝{p_i∈P|dis(p_i^z-dz)>τ_dz}

其中dis(p_i^z-dz)表示点p_i的z坐标与其邻域内点的z坐标均值dz之间的距离，τ_dz为给定的阈值，由点p的邻近点距离dz的中值确定。当三维点坐标满足尖点判断条件时予以剔除，并其点坐标设置为：其中n为点p的邻域内邻近点个数。

1.2)人脸预分割：如图2所示，根据三维模型的三维坐标取值，截取距离摄像头最近的一段距离内的三维模型区域，将三维模型中最突出的部分提取出来作为鼻尖点的提取区域S。

S＝{p_i∈P|p_i^y∈[P^y_max-y_ε，P^y_max]，p_i^z∈[P^z_max-z_ε，P^z_max]}。

其中P^y_max、P^z_max分别为点集合P中竖直方向上最大值和深度方向上的最大值，y_ε、z_ε分别为给定的阈值，取y_ε＝250mm、z_ε＝0.5P^z_max。

2)鼻尖点提取阶段，包括以下步骤：

(2.1)提取轮廓线：利用旋转法，将预分割后的人脸区域绕y轴做旋转变换，θ为旋转角度，取θ＝{0,5,10,…180}。取具有最大深度值的角度上的垂直向点集为初始人脸的离散轮廓线点集然后对轮廓线点集进行B样条拟合，从而得到初始人脸的轮廓线。对数据库中任意选定的三维人脸在6种姿态下(正面、低头、抬头、左偏转30度、左偏转60度、左歪头、右歪头。注：右偏转与左偏转相同)的测试结果如图3所示。

2.2)鼻尖点定位：对人脸的中分轮廓线进行梯度分析后，根据人脸轮廓线的几何形状特性可知，轮廓线中部梯度最大的极大值点即为鼻下点，鼻下点上部的第一个梯度极小值点即为鼻根点，轮廓线上鼻下点与鼻根点之间最突出的点即为鼻尖点。轮廓线的梯度图如图4所示。

3)人脸检测阶段，包括以下步骤：

3.1)人脸分割：以鼻尖点为球心，经验值R为半径分割人脸区域，R＝90mm。

3.2)姿态矫正：利用PCA主成分分析法对三维人脸进行姿态的预调整，设人脸区域的点云集合为P＝{P₀,P₁,…P_m-1}，对应的均值点为计算人脸点云的协方差矩阵

计算出对应的特征值λ₁，λ₂，λ₃(λ₁>λ₂>λ₃)和特征向量α₁，α₂，α₃。以鼻尖点为坐标原点，特征向量α₂为x轴，特征向量α₁为y轴，特征向量α₃为z轴建立右手坐标系，该坐标系为姿势坐标系(PCS)将人脸点云投影到PCS中完成姿态矫正；

分割后，姿态矫正前后六种姿态的三维人脸如图5所示。