一种能够进行人脸特征3D识别的智能手机及其识别方法与流程

本公开属于移动通讯领域、图像处理技术、自然交互、集成电路技术领域，具体设计一种智能手机的人脸特征的3d识别方法及装置。

背景技术：

随着智能手机的普及，以及手机上各种软件的安装，手机里存储有大量的私人信息，现有手机上都装有二维人脸识别作为保护措施。但是二维的人脸识别有一些漏洞，比如可以使用照片，视频录像或者合成的人脸模型等方式试图破解；而且，基于二维图像的人脸识别方法受到诸如光照、姿态、表情等成像条件的影响较大；并且，二维图像本质上仅是三维物体在二维空间上的投影，在投影过程中损失了很多有利于识别的信息。

技术实现要素：

针对上述问题，本公开提出了一种能够进行人脸特征3d识别的智能手机及其识别方法，用于提高使用手机进行人脸识别的准确性，避免照片，视频录像或者合成的人脸模型欺骗，提高手机安全性。本公开的技术方案如下。

一方面，本公开提出了一种能够进行人脸特征3d识别的智能手机，所述手机包括点云获取模块、三维模型建立模块、特征向量模块、识别模块；

所述点云获取模块，被配置用于：利用手机上的编码图像投射器对人脸投射编码图像，利用深度摄像头采集编码图，基于编码图获得深度图，然后将深度图的像素坐标转换到空间坐标，从而获取三维点云；

所述三维模型建立模块，被配置用于：根据深度摄像头坐标系的转换矩阵融合三维点云，得到人脸三维模型；

所述特征向量模块，被配置用于：基于人脸三维模型提取人脸特征向量；

所述识别模块，被配置用于：基于人脸特征向量对人脸进行识别。

对于所述手机，其中：所述基于编码图获得深度图包括下述步骤：

对编码图进行预处理；

从编码图中获取一个像素，将该像素为中心获取特征块，并在参考散斑参考图中进行搜索，根据相似度准则获取与特征块相匹配的匹配块；

获取特征块和匹配块的位移偏移量，将该位移偏移量记作δm；

根据位移偏移量δm，结合已知参考散斑距离参数d、激光散斑投射器与ir摄像头基线距离s、ir摄像头焦距f、像素点点距μ，根据下面公式得到该像素点在实际空间中的距离信息d’，进而获得深度图；

对于所述手机，其中：所述三维模型建立模块在根据深度摄像头坐标系的转换矩阵融合三维点云之前，被配置用于：

对点云获取模块获取的三维点云进行去噪、平滑和空洞修补，去除点云中的无用背景信息和离群的杂点。

对于所述手机，其中：所述人脸特征向量包括第一特征向量和第二特征向量；

所述第一特征向量通过下述步骤获得：

确定鼻尖点、两个眼窝点、下巴尖点以此确定人脸三维模型的坐标系，然后对每个特征点邻域内所有点根据深度值进行排序，得到2个最大值和2个最小值，构建空间几何图形，计算其体积表征特征点，得到第一特征向量；

所述第二特征向量通过下述步骤获得：对人脸三维模型上的轮廓曲线进行采样，用所有采样点的单位法向量的集合来表征轮廓的特征，得到第二特征向量。

对于所述手机，其中：所述识别模块设置第一阈值、第二阈值、第三阈值；

当第一特征向量大于第一阈值，且第二特征向量大于第二阈值，且第一特征向量与第二特征向量的加权和大于第三阈值时，则人脸识别成功；否则，人脸识别失败。

另一方面，本公开提出了一种利用智能手机进行人脸特征3d识别的方法，所述方法包括下述步骤：

s100、利用手机上的编码图像投射器对人脸投射编码图像，利用深度摄像头采集编码图，基于编码图获得深度图，然后将深度图的像素坐标转换到空间坐标，从而获取三维点云；

s200、根据深度摄像头坐标系的转换矩阵融合三维点云，得到人脸三维模型；

s300、基于人脸三维模型提取人脸特征向量；

s400、基于人脸特征向量对人脸进行识别。

在所述方法中，其中：所述基于编码图获得深度图包括下述步骤：

对编码图进行预处理；

从编码图中获取一个像素，将该像素为中心获取特征块，并在参考散斑参考图中进行搜索，根据相似度准则获取与特征块相匹配的匹配块；

获取特征块和匹配块的位移偏移量，将该位移偏移量记作δm；

根据位移偏移量δm，结合已知参考散斑距离参数d、激光散斑投射器与ir摄像头基线距离s、ir摄像头焦距f、像素点点距μ，根据下面公式得到该像素点在实际空间中的距离信息d’，进而获得深度图；

在所述方法中，其中：在根据深度摄像头坐标系的转换矩阵融合三维点云之前，所述步骤s200包括下述步骤：

对点云获取模块获取的三维点云进行去噪、平滑和空洞修补，去除点云中的无用背景信息和离群的杂点。

在所述方法中，其中：所述人脸特征向量包括第一特征向量和第二特征向量；

所述第一特征向量通过下述步骤获得：

确定鼻尖点、两个眼窝点、下巴尖点以此确定人脸三维模型的坐标系，然后对每个特征点邻域内所有点根据深度值进行排序，得到2个最大值和2个最小值，构建空间几何图形，计算其体积表征特征点，得到第一特征向量；

所述第二特征向量通过下述步骤获得：对人脸三维模型上的轮廓曲线进行采样，用所有采样点的单位法向量的集合来表征轮廓的特征，得到第二特征向量。

在所述方法中，其中：所述步骤s400包括下述步骤：

设置第一阈值、第二阈值、第三阈值；

当第一特征向量大于第一阈值，且第二特征向量大于第二阈值，且第一特征向量与第二特征向量的加权和大于第三阈值时，则人脸识别成功；否则，人脸识别失败。

与现有技术相比，本公开具有下述有益技术效果：

与二维数据相比，三维数据包含了人脸的空间信息，是人脸本身固有的信息，对外界条件的变化具有很好的鲁棒性。二维图像本质上仅是三维物体在二维空间上的投影，在投影过程中损失了很多有利于识别的信息，而采集获得的脸部三维形状数据不随光照、视图的变化而变化，且化妆等附属物对图像影响很大而对三维数据影响不明显；而且三维数据在信息量上比二维图像丰富，三维数据具有显示的空间形状信息。因此，本公开通过三维数据来识别人脸，能够克服照片，视频录像或者合成的人脸模型欺骗，提高手机安全性。

附图说明

图1是本公开一个实施例中关于手机在人脸识别中所使用模块的结构示意图；

图2是本公开一个实施例中关于使用手机进行人脸识别的方法流程示意图；

图3是本公开一个实施例中利用人脸三维模型的特征进行人脸识别的流程示意图。

具体实施方式

在一个实施例中，本公开提出了一种能够进行人脸特征3d识别的智能手机，所述手机结构框图如图1所示，包括点云获取模块、三维模型建立模块、特征向量模块、识别模块；所述点云获取模块，被配置用于：利用手机上的编码图像投射器对人脸投射编码图像，利用深度摄像头采集编码图，基于编码图获得深度图，然后将深度图的像素坐标转换到空间坐标，从而获取三维点云；所述三维模型建立模块，被配置用于：根据深度摄像头坐标系的转换矩阵融合三维点云，得到人脸三维模型；所述特征向量模块，被配置用于：基于人脸三维模型提取人脸特征向量；所述识别模块，被配置用于：基于人脸特征向量对人脸进行识别。

在这个实施例中，通过三维数据进行人脸识别，由于三维数据包含了人脸的空间信息，是人脸本身固有的信息，对外界条件的变化具有很好的鲁棒性，其采集获得的脸部三维形状数据不随光照、视图的变化而变化，且化妆等附属物对图像影响很大而对三维数据影响不明显。并且，三维数据在信息量上比二维图像丰富，三维数据具有显示的空间形状信息。因此，本实施例通过三维数据来识别人脸，能够克服照片，视频录像或者合成的人脸模型欺骗，提高手机安全性。

优选的，所述基于编码图获得深度图包括下述步骤：

对编码图进行预处理，包括使用鱼眼校正对畸变图像进行校正；

从编码图中获取一个像素，将该像素为中心获取特征块，并在参考散斑参考图中进行搜索，根据相似度准则获取与特征块相匹配的匹配块；

获取特征块和匹配块的位移偏移量，将该位移偏移量记作δm；

根据位移偏移量δm，结合已知参考散斑距离参数d、激光散斑投射器与ir摄像头基线距离s、ir摄像头焦距f、像素点点距μ，根据下面公式得到该像素点在实际空间中的距离信息d’，进而获得深度图；

深度摄像头坐标系的转换矩阵，可以通过下述步骤获得：

结合其中pd＝[id，jd，1]^t表示深度图像素点的齐次坐标，ind表示深度摄像头的内参矩阵，dis表示摄像头所扫描的物体的点到摄像头的距离值。其中dis是由深度计算公式计算得到的。

在一个实施例中，手机中的两个深度摄像头位置关系水平，以投射器为中心，左右对称，间距固定，以左边摄像头的三维坐标系为主坐标系，利用获得的转换矩阵，可以将右边摄像头坐标系中的点云转换到主坐标系中，实现点云拼接，建立三维人脸模型。其中两个摄像头之间的坐标转换是：

式中，r是旋转矩阵，t是平移矩阵，(i，j，k)是左边坐标系，(x，y，z)是右边坐标系。

优选的，所述三维模型建立模块在根据深度摄像头坐标系的转换矩阵融合三维点云之前，被配置用于：

对点云获取模块获取的三维点云进行去噪、平滑和空洞修补，去除点云中的无用背景信息和离群的杂点。

优选的，所述人脸特征向量包括第一特征向量和第二特征向量。

所述第一特征向量通过下述步骤获得：

在得到的三维模型中，根据已知方法提取一定数量的特征点，并且定位鼻尖点、两个眼窝点、下巴尖点，以鼻尖点为原点，平行于两个眼窝点的连线且过原点的线为x轴，鼻尖点到下巴尖点连线所在线为y轴，过原点且垂直于xy坐标面的线为z轴，建立人脸三维坐标系，对这些特征点将其邻域内所有点按照深度值的大小进行排序，取2个最大值和2个最小值，建立一个空间几何图形，计算其体积以此表征这些特征点，将这些体积值序列组成第一特征向量。

所述第二特征向量通过下述步骤获得：根据已知方法提取两个眼睛的轮廓曲线，嘴唇的轮廓曲线，沿着鼻子周围的轮廓曲线，耳朵边缘的轮廓曲线，然后对每个轮廓进行均匀采样，预先设定好相邻采样点的高低2个深度差值阈值，比较两个相邻采样点的深度差值，如果大于高阈值，在这两个采样点之间进行二次采样，小于低阈值则舍去后面的采样点，然后对这些采样点求法向量表征轮廓曲线，将这些法向量序列组成第二特征向量。

优选的，所述识别模块设置第一阈值、第二阈值、第三阈值；当第一特征向量大于第一阈值，且第二特征向量大于第二阈值，且第一特征向量与第二特征向量的加权和大于第三阈值时，则人脸识别成功；否则，人脸识别失败。

在另一个实施例中，本公开提出了一种利用智能手机进行人脸特征3d识别的方法，如图2所示，所述方法包括下述步骤：

s100、利用手机上的编码图像投射器对人脸投射编码图像，利用深度摄像头采集编码图，基于编码图获得深度图，然后将深度图的像素坐标转换到空间坐标，从而获取三维点云；

s200、根据深度摄像头坐标系的转换矩阵融合三维点云，得到人脸三维模型；

s300、基于人脸三维模型提取人脸特征向量；

s400、基于人脸特征向量对人脸进行识别。

在这个实施例中，通过三维数据进行人脸识别，由于三维数据包含了人脸的空间信息，是人脸本身固有的信息，对外界条件的变化具有很好的鲁棒性，其采集获得的脸部三维形状数据不随光照、视图的变化而变化，且化妆等附属物对图像影响很大而对三维数据影响不明显。并且，三维数据在信息量上比二维图像丰富，三维数据具有显示的空间形状信息。因此，本实施例通过三维数据来识别人脸，能够克服照片，视频录像或者合成的人脸模型欺骗，提高手机安全性。

在这个实施例中，深度摄像头坐标系的转换矩阵，可以通过下述步骤获得：

结合pd＝dis·ind^-1·pd其中pd＝[id，jd，1]^t表示深度图像素点的齐次坐标，ind表示深度摄像头的内参矩阵，dis表示摄像头所扫描的物体的点到摄像头的距离值。其中dis是由深度计算公式计算得到的。

在一个实施例中，手机中的两个深度摄像头位置关系水平，以投射器为中心，左右对称，间距固定，以左边摄像头的三维坐标系为主坐标系，利用获得的转换矩阵，可以将右边摄像头坐标系中的点云转换到主坐标系中，实现点云拼接，建立三维人脸模型。其中两个摄像头之间的坐标转换是：

式中，r是旋转矩阵，t是平移矩阵，(i，j，k)是左边坐标系，(x，y，z)是右边坐标系。

优选的，所述基于编码图获得深度图包括下述步骤：

对编码图进行预处理；

从编码图中获取一个像素，将该像素为中心获取特征块，并在参考散斑参考图中进行搜索，根据相似度准则获取与特征块相匹配的匹配块；

获取特征块和匹配块的位移偏移量，将该位移偏移量记作δm；

根据位移偏移量δm，结合已知参考散斑距离参数d、激光散斑投射器与ir摄像头基线距离s、ir摄像头焦距f、像素点点距μ，根据下面公式得到该像素点在实际空间中的距离信息d’，进而获得深度图；：

优选的，在根据深度摄像头坐标系的转换矩阵融合三维点云之前，所述步骤s200包括下述步骤：

对点云获取模块获取的三维点云进行去噪、平滑和空洞修补，去除点云中的无用背景信息和离群的杂点。

优选的，所述人脸特征向量包括第一特征向量和第二特征向量；

所述第一特征向量通过下述步骤获得：

确定鼻尖点、两个眼窝点、下巴尖点以此确定人脸三维模型的坐标系，然后对每个特征点邻域内所有点根据深度值进行排序，得到2个最大值和2个最小值，构建空间几何图形，计算其体积表征特征点，得到第一特征向量；

所述第二特征向量通过下述步骤获得：对人脸三维模型上的轮廓曲线进行采样，用所有采样点的单位法向量的集合来表征轮廓的特征，得到第二特征向量。

优选的，所述步骤s400包括下述步骤，参见图3：

设置第一阈值、第二阈值、第三阈值；

当第一特征向量大于第一阈值，且第二特征向量大于第二阈值，且第一特征向量与第二特征向量的加权和大于第三阈值时，则人脸识别成功；否则，人脸识别失败。

尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。