人脸脸型分类方法和系统与流程

本发明实施例涉及计算机视觉技术领域，尤其涉及一种人脸脸型分类方法和系统。

背景技术：

人脸特征参数是指在人脸图像中各部位的位置和形状等信息，是人脸图像分析中重要组成部分，它可广泛应用于美容和美发、眼镜配戴、整形手术等领域。而且，人脸特征参数还是人脸脸型分类的重要依据。

基于光学二维图像的人脸特征参数提取方法比较多，但由于二维人脸图像的灰度分布较为复杂，而且受成像过程的光照、图像的尺寸、距离远近、旋转及姿势的变化的影响，使得正确提取人脸特征参数变得非常困难，甚至提取过程经常需要依赖于手工操作，不能摆脱人工的干预，且提取到的人脸特征参数精度不高，因此，利用现有方法提取得到的人脸特征参数对人脸脸型进行分类的结果准确度低。

技术实现要素：

本发明实施例提供了一种人脸脸型分类方法和系统，以解决传统的人脸脸型分类准确度低的问题。

根据本发明实施例的一方面，提供了一种人脸脸型分类方法，包括：

获取目标用户的头部的三维点云数据和二维图像数据；

根据所述三维点云数据生成所述目标用户的头部的三维模型；

依据所述三维点云数据和所述二维图像数据的对应关系，将所述二维图像数据映射到所述三维模型中；

根据所述二维图像数据的纹理信息和颜色信息检测得到人脸区域；

依据映射后的所述三维模型和所述人脸区域提取人脸特征点；

根据所述人脸特征点对所述目标用户的人脸脸型进行分类。

根据本发明实施例的另一方面，提供了一种人脸脸型分类系统，包括：

数据获取模块，用于获取目标用户的头部的三维点云数据和二维图像数据；

模型生成模块，用于根据所述三维点云数据生成所述目标用户的头部的三维模型；

数据映射模块，用于依据所述三维点云数据和所述二维图像数据的对应关系，将所述二维图像数据映射到所述三维模型中；

区域检测模块，用于根据所述二维图像数据的纹理信息和颜色信息检测得到人脸区域；

特征点提取模块，用于依据映射后的所述三维模型和所述人脸区域提取人脸特征点；

脸型分类模块，用于根据所述人脸特征点对所述目标用户的人脸脸型进行分类。

根据本发明实施例提供的人脸脸型分类方法和系统，通过获取目标用户的头部的三维点云数据和二维图像数据，根据三维点云数据生成目标用户的头部的三维模型，依据三维点云数据和二维图像数据的对应关系，将二维图像数据映射到三维模型中，根据二维图像数据的纹理信息和颜色信息检测得到人脸区域，依据映射后的三维模型和人脸区域提取人脸特征点，根据人脸特征点对目标用户的人脸脸型进行分类。因此，本发明实施例在获取三维点云数据的同时，还获取二维图像数据，生成目标用户的头部的三维模型，将二维图像数据映射到三维模型中，得到更具有真实感的三维模型，然后根据二维图像数据的纹理信息和颜色信息检测得到目标用户的头部的多个人脸区域，根据人脸区域和三维模型提取人脸特征点，提高了人脸特征点提取的精度，克服了单纯从二维图像中提取人脸特征点鲁棒性差的缺陷，也提高了人脸脸型分类的准确度。

附图说明

图1是根据本发明实施例一的一种人脸脸型分类方法的步骤流程图；

图2是根据本发明实施例一和二的一种人脸脸型分类方法中的人脸特征点分布示意图；

图3是根据本发明实施例二的一种人脸脸型分类方法的步骤流程图；

图4是根据本发明实施例二的一种人脸脸型分类方法中的三个视点的融合图；

图5a～图5g依次是根据本发明实施例二的一种人脸脸型分类方法中的瓜子脸、长形脸、心形脸、方形脸、圆形脸、梨形脸和菱形脸的示意图；

图6是根据本发明实施例三的一种人脸脸型分类系统的结构框图；

图7是根据本发明实施例四的一种人脸脸型分类系统的结构框图。

具体实施方式

下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

实施例一

图1示出了根据本发明实施例一的一种人脸脸型分类方法的步骤流程图。

参照图1，本实施例的人脸脸型分类方法包括如下步骤：

步骤S100、获取目标用户的头部的三维点云数据和二维图像数据。

本步骤中，通过测量仪器得到的扫描对象外观表面的点数据集合称为点云数据，三维点云数据是通过如激光雷达等三维图像采集设备得到的扫描对象外观表面的点数据集合。在本实施例中，扫描对象是人体头部。三维点云数据中包括三维坐标XYZ信息。

本实施例将三维点云技术运用到人脸脸型分类领域，通过三维点云技术获取用户头部对应的模型。通过三维图像获取设备，连续拍摄至少包括人的头部数据的三个视角的(左视点、右视点和前视点)三维人体点云数据和二维彩色图像数据。其中，可以利用两个相机同步后进行连续采集。比如，利用单目彩色相机采集二维彩色人体图像，利用深度相机采集三维人体数据。

步骤S102、根据所述三维点云数据生成所述目标用户的头部的三维模型。

具体地，通过将获取到的三维点云数据进行组合，生成目标用户头部的三维模型。其中，可以获取多个视点的三维点云数据，如前视点、左视点和右视点；将得到的多个视点的数据进行组合，生成一个完整的头部三维模型。

步骤S104、依据所述三维点云数据和所述二维图像数据的对应关系，将所述二维图像数据映射到所述三维模型中。

生成的头部的三维模型，只在形态上符合目标用户的特征，但没有用户的面部纹理信息等细节，因此，还需通过三维点云数据和二维图像数据的对应关系，将二维图像数据映射到三维模型对应的位置。

步骤S106、根据所述二维图像数据的纹理信息和颜色信息检测得到人脸区域。

本步骤中，人脸区域可以理解为人脸被划分得到的多个区域，例如，眉毛区域、嘴唇区域、鼻子区域和眼睛区域等等，本实施例对人脸区域不做具体限制。

本实施例中，可以根据二维彩色图像的纹理信息和颜色信息检测得到人脸区域。

步骤S108、依据映射后的所述三维模型和所述人脸区域提取人脸特征点。

一种可行的实施方式中，将检测得到的人脸区域对应到映射后的三维模型中，得到图2中的人脸特征点：b、c、d、e、f、t₁、t₂、t₃、t₄、m、n。如图2所示，在三维模型中确定与二维彩色图像中眉毛区域对应的点，三维模型中对应的眉毛区域最上层的点即为c'点和d'点,线段c'd'的延长线与三维模型的边缘交于c点和d点。额头宽度是人脸眉毛上沿的左右发际转折点之间的距离，即为图2中cd线段长度。在三维模型中确定与二维彩色图像中眼睛区域对应的点，三维模型中对应的眼睛区域最上层的点和最下层的点即为t₁点和t₃点、t₂点和t₄点，n点和m点分别为线段t₁t₂和线段t₃t₄的中点，线段mn的长度即为瞳距。在三维模型中确定与二维彩色图像中鼻子区域对应的点，三维模型中对应的鼻子区域最下层、最外层的两个点为e'点和f'点，线段e'f'的延长线与三维模型的边缘交于e点和f点，y点是检测得到鼻子区域过程中得到的鼻尖点。颧骨宽度是人脸两颊的最宽点，即为图2中线段ef。在三维模型中确定与二维彩色图像中嘴唇区域对应的点，三维模型中对应的嘴唇区域最外层的两个点为g'点和h'点，线段g'h'的延长线与三维模型的边缘交于g点和h点。下颌宽度是人脸上两腮的最宽处，即为图2中线段gh。过y点与线段mn的垂线交于k点，线段yk的延长线与三维模型的边缘交于a点和b点，脸长是从额顶到下巴底的垂直长度，即为图2中线段ab。FW(Face Width，脸宽)定义为额头宽度、颧骨宽度和下颌宽度三者中的最大值。

步骤S110、根据所述人脸特征点对所述目标用户的人脸脸型进行分类。

本步骤中，可以根据人脸特征点确定额头宽度、颧骨宽度、下颌宽度之间的大小关系，进一步根据额头宽度、颧骨宽度、下颌宽度之间的大小关系对目标用户进行人脸分类。人脸脸型大致可以分为如下几类：瓜子脸、长形脸、心形脸、方形脸、圆形脸、梨形脸和菱形脸。

需要说明的是，上述步骤S106可在步骤S100之后，步骤S108之前的任一阶段执行，本实施例对步骤S106的执行阶段不做限制。

根据本发明实施例提供的一种人脸脸型分类方法，通过获取目标用户的头部的三维点云数据和二维图像数据，根据三维点云数据生成目标用户的头部的三维模型，依据三维点云数据和二维图像数据的对应关系，将二维图像数据映射到三维模型中，根据二维图像数据的纹理信息和颜色信息检测得到人脸区域，依据映射后的三维模型和人脸区域提取人脸特征点，根据人脸特征点对目标用户的人脸脸型进行分类。因此，本发明实施例在获取三维点云数据的同时，还获取二维图像数据，生成目标用户的头部的三维模型，将二维图像数据映射到三维模型中，得到更具有真实感的三维模型，然后根据二维图像数据的纹理信息和颜色信息检测得到目标用户的头部的多个人脸区域，根据人脸区域和三维模型提取人脸特征点，提高了人脸特征点提取的精度，克服了单纯从二维图像中提取人脸特征点鲁棒性差的缺陷，也提高了人脸脸型分类的准确度。

实施例二

图3示出了根据本发明实施例二的一种人脸脸型分类方法的步骤流程图。

参照图3，本实施例的人脸脸型分类方法包括如下步骤：

步骤S300、获取目标用户的头部的三维点云数据和二维图像数据。

具体地，通过图像采集设备获取目标用户的头部的三维点云数据和二维图像数据。

在本实施例中，通过扫描方式获取目标用户头部多个视点的三维点云数据，三维点云数据包括多帧目标用户头部的数据，每帧三维点云数据至少包括目标用户头部的点云数据，其中，采用霍夫森林模型检测方法对多帧三维点云数据进行三维检测，截取多个对应于不同帧的初始头部三维点云数据。上述多个视点可包括：前视点、左视点和右视点。

图4示出了根据本发明实施例二的人脸脸型分类方法中三个视点的融合图，参照图4，以XOZ平面为水平面，以ZOY和XOY平面为垂直面，将目标用户头部的三个视点的三维点云数据投射到三维坐标系XYZ中，使得目标用户头部的三个视点全部落在三维坐标系XYZ中。其中，图4中的X方向表示水平轴正方向，Y方向表示竖直轴正方向，Z方向表示垂直于XY平面的轴的正方向。

在具体的实现方式中，可以采用两个相机同步后进行连续采集，如单目彩色相机采集二维彩色头部图像，深度相机采集三维头部数据。其中，深度相机属于三维图像获取设备，其数据获取效率更高，采集时间更短。

步骤S302、根据所述三维点云数据生成所述目标用户的头部的三维模型。

具体地，通过迭代算法对所述三维点云数据中每个视点对应的三维点云数据进行校准；将校准后的三个视点的三维点云数据进行组合；将组合后的三个视点的三维点云数据生成目标用户头部的三维模型。

也就是说，为了获取高分辨率、低噪声、无孔洞的头部三维点云数据，需要对多帧三维点云数据通过校准、由粗到精两步点云对准、多视点表面组合获得较高分辨率的头部三维点云。

具体地，首先，三维点云数据校准可采用PCA(principal components analysis，主成分分析)校正方法。为了提高校准的精度采用迭代的方法进行校正，其中，PCA是主成分分析，令点云集P为3×n的矩阵，每一列对应一个点(x，y，z)坐标，具体可以采用下式(1)：

对应的均值矩阵为下式(2)：

其中，P_k是第k个点。

对应的协方差矩阵为下式(3)：

其中，校正的旋转矩阵就是对协方差C进行SVD(The singular value decomposition，奇异值分解)分解使得CV＝DV，其中D是特征值构成的对角阵，V是特征向量构成的矩阵，姿态校正的过程可由下式(4)表示：

P'＝V(P-m)……………………………………………………………………式(4)

本实施例中可采用由粗到精的对准策略，具体过程如下：以第1帧的头部三维点云作为参考对象，以第2帧的三维点云作为调整对象，调整对象以使其与参考对象粗对准，然后，再以对准后的第2帧的三维点云为参考对象，以第3帧的三维点云作为调整对象，进行第3帧的对准，依次类推，直到所有帧对应的三维点云均被对准；然后对所有相邻帧对应的两个粗对准操作后的头部三维点云进行精对准操作，精对准操作通过迭代方式对头部三维点云进行点坐标转换直到三维点云的误差满足预定条件，其中预定条件可以包括一个误差阈值，当三维点云的误差小于误差阈值时，则认为满足预定条件。

其次，多视点表面组合包括：分别对三个视角观察到的点云进行组合，再集成到同一个三维模型，集成时仅需在边界上进行一致性处理。对于已经正则化的头部点云，左视点实际上是左半边脸的点云数据融合，相应的右视点和前视点对应的是右半边脸和正脸。融合方法类似，现以左视点为例说明如下：

一、同名点合并，将该部分点云投影到YOZ平面，并将人脸在YOZ平面的区域栅格化，栅格大小取决于空间分辨率(这里取1mm×1mm)。落在同一栅格内的点合并为一个点，X坐标为该栅格内所有点X坐标的均值。

二、孔洞消除，采用cubic算法对YOZ面的栅格数据进行插值。

三、平滑滤波，采用双边滤波器对YOZ面的栅格数据进行滤波，以降低噪声，平滑曲面。最后将栅格数据映射到XYZ三维空间。

再次，三维模型生成的过程即是点云集成的过程，其目的是将多帧点云中的同名点融合为模型表面上的一点，对于头部点云而言，在三个视点进行点云集成可以获得较为完整准确的三维模型，利用融合后的头部三维点云数据进行建模，得到三维人体模型数据，即获得目标用户头部对应的三维模型。

步骤S304、依据所述三维点云数据和所述二维图像数据的对应关系，将所述二维图像数据映射到所述三维模型中。

具体来说，根据采集数据时记录的彩色相机与深度相机的相对位置关系将彩色图像映射到分辨率较高的头部的三维点云模型上，得到带有纹理信息的、真实感更强的三维模型。这里，二维图像数据可包括但不限于彩色图像、黑白图像、灰度图像等。

步骤S306、根据所述二维图像数据的纹理信息和颜色信息检测得到人脸区域。

本步骤中，人脸区域可以理解为人脸被划分得到的多个区域，例如，眉毛区域、嘴唇区域、鼻子区域和眼睛区域等等，本实施例对人脸区域不做具体限制。

本实施例中，可以根据二维彩色图像的纹理信息和颜色信息检测得到人脸区域。

步骤S308、依据映射后的所述三维模型和所述人脸区域提取人脸特征点。

具体地，分别从映射后的所述三维模型中确定与所述眉毛区域、嘴唇区域、鼻子区域和眼睛区域对应的特征点；再从各对应的特征点中提取所述人脸特征点。一种可行的实施方式中，将检测得到的人脸区域对应到映射后的三维模型中，得到图2中的人脸特征点：b、c、d、e、f、t₁、t₂、t₃、t₄、m、n。如图2所示，在三维模型中确定与二维彩色图像中眉毛区域对应的点，三维模型中对应的眉毛区域最上层的点即为c'点和d'点,线段c'd'的延长线与三维模型的边缘交于c点和d点。额头宽度是人脸眉毛上沿的左右发际转折点之间的距离，即为图2中cd线段长度。在三维模型中确定与二维彩色图像中眼睛区域对应的点，三维模型中对应的眼睛区域最上层的点和最下层的点即为t₁点和t₃点、t₂点和t₄点，n点和m点分别为线段t₁t₂和线段t₃t₄的中点，线段mn的长度即为瞳距。在三维模型中确定与二维彩色图像中鼻子区域对应的点，三维模型中对应的鼻子区域最下层、最外层的两个点为e'点和f'点，线段e'f'的延长线与三维模型的边缘交于e点和f点，y点是检测得到鼻子区域过程中得到的鼻尖点。颧骨宽度是人脸两颊的最宽点，即为图2中线段ef。在三维模型中确定与二维彩色图像中嘴唇区域对应的点，三维模型中对应的嘴唇区域最外层的两个点为g'点和h'点，线段g'h'的延长线与三维模型的边缘交于g点和h点。下颌宽度是人脸上两腮的最宽处，即为图2中线段gh。过y点与线段mn的垂线交于k点，线段yk的延长线与三维模型的边缘交于a点和b点，脸长是从额顶到下巴底的垂直长度，即为图2中线段ab。FW定义为额头宽度、颧骨宽度和下颌宽度三者中的最大值。

步骤S310、对所述人脸特征点进行动态展示和修正。

将提取到的人脸特征点通过三维模型的显示屏幕动态展示给目标用户，如果目标用户同时选择了多个人脸特征点，可以在同一显示界面中显示多个人脸特征点的标记结果。目标用户可通过鼠标或键盘的相应操作进行360°全方位观察三维模型，对三维模型做自由旋转、放大、缩小、转身(前后左右)等操作，使标记有人脸特征点的三维模型展示更加逼真，大大增加了目标用户对人脸特征点的感知度。

如果目标用户的人脸具有特异性(如，浮肿、伤痕、残疾等等)，则再步骤S308中不能准确提取出人脸特征点，则目标用户可以对人脸特征点通过手动标记的方式进行修正。由于目标用户可自由参与人脸特征点的修正过程，大大提高了目标用户的满意度，并使人脸特征点提取的效率得到进一步的提高。

步骤S312、根据修正后的人脸特征点对所述目标用户的人脸脸型进行分类。

本步骤中，可以根据人脸特征点确定额头宽度、颧骨宽度、下颌宽度之间的大小关系，进一步根据额头宽度、颧骨宽度、下颌宽度之间的大小关系对目标用户进行人脸分类。人脸脸型大致可以分为如下几类：瓜子脸、长形脸、心形脸、方形脸、圆形脸、梨形脸和菱形脸。具体地人脸脸型分类方法如下所示：

1)瓜子脸，如图5a所示。额头宽度与颧骨宽度基本相同，但均比下颌宽度稍宽一些，脸宽约是脸长的2/3，即cd∈[ef-0.3mm，ef+0.3mm]，cd>gh，ef>gh，且FW∈2/3[ab-0.3mm，ab+0.3mm]。

2)长形脸，如图5b所示。额头宽度、颧骨宽度和下颌宽度基本相同，但脸宽小于脸长的三分之二，即cd∈[ef-0.3mm，ef+0.3mm]，ef∈[gh-0.3mm，gh+0.3mm]，gh∈[cd-0.3mm，cd+0.3mm]，且FW<2/3ab。

3)心形脸，如图5c所示。额头宽度最宽，颧骨宽度其次，下颌宽度最窄，即cd>ef>gh，呈倒三角的形状。

4)方形脸，如图5d所示。额头宽度、颧骨宽度和下颌宽度基本相同，即cd∈[ef-0.3mm，ef+0.3mm]，ef∈[gh-0.3mm，gh+0.3mm]，gh∈[cd-0.3mm，cd+0.3mm]。

5)圆形脸，如图5e所示。额头宽度、颧骨宽度和下颌宽度基本相同，脸长和脸宽也相同，即cd∈[ef-0.3mm，ef+0.3mm]，ef∈[gh-0.3mm，gh+0.3mm]，gh∈[cd-0.3mm，cd+0.3mm]且ab∈[FW-0.3mm，FW+0.3mm]。

6)梨形脸，如图5f所示。额头宽度最窄，颧骨宽度其次，下颌宽度最宽，即cd<ef<gh，呈正三角形形状。

7)菱形脸，如图5g所示。颧骨宽度最宽，额头宽度和下颌宽度逐渐变窄，即cd<ef，gh<ef，呈钻石形状。

需要说明的是，上述步骤S306可在步骤S300之后，步骤S308之前的任一阶段执行，本实施例对步骤S306的执行阶段不做限制。

根据本发明实施例提供的一种人脸脸型分类方法，通过获取目标用户的头部的三维点云数据和二维图像数据，根据三维点云数据生成目标用户的头部的三维模型，依据三维点云数据和二维图像数据的对应关系，将二维图像数据映射到三维模型中，根据二维图像数据的纹理信息和颜色信息检测得到人脸区域，依据映射后的三维模型和人脸区域提取人脸特征点，根据人脸特征点对目标用户的人脸脸型进行分类。因此，本发明实施例在获取三维点云数据的同时，还获取二维图像数据，生成目标用户的头部的三维模型，将二维图像数据映射到三维模型中，得到更具有真实感的三维模型，然后根据二维图像数据的纹理信息和颜色信息检测得到目标用户的头部的多个人脸区域，根据人脸区域和三维模型提取人脸特征点，提高了人脸特征点提取的精度，克服了单纯从二维图像中提取人脸特征点鲁棒性差的缺陷，也提高了人脸脸型分类的准确度。

通过三维扫描仪在短时间内获取三维点云数据，更加方便、快捷地生成三维模型，在获取三维点云数据的同时自动进行人脸区域的检测，精确地获取多个对应于不同帧的初始三维点云，为后续的三维点云超分辨率融合提供了基础。在三维点云超分辨率融合过程中，采用先姿态校正再融合的策略，充分利用了人脸的几何形状特性，既保持了数据的精度，又降低了问题的复杂度；同时，由粗到精的点云对准策略，既可避免陷入局部最优，又加速了收敛速度。

在对目标用户的人脸脸型进行分类之后，可以将目标用户的三维模型、人脸特征点以及人脸脸型存储到人脸数据库中，方便后续查看和调用等。

将目标用户的三维模型以及人脸特征点动态地展示给目标用户，增强了三维模型以及人脸特征点展示的真实性。

目标用户可以对人脸特诊点进行修正，获得更加精确的人脸特征点，扩大了人脸特征点提取的适应范围，提高了人脸脸型分类的准确度。

实施例三

图6示出了根据本发明实施例三的一种人脸脸型分类系统的结构框图。

本实施例中的人脸脸型分类系统包括：数据获取模块600，用于获取目标用户的头部的三维点云数据和二维图像数据；模型生成模块602，用于根据所述三维点云数据生成所述目标用户的头部的三维模型；数据映射模块604，用于依据所述三维点云数据和所述二维图像数据的对应关系，将所述二维图像数据映射到所述三维模型中；区域检测模块606，用于根据所述二维图像数据的纹理信息和颜色信息检测得到人脸区域；特征点提取模块608，用于依据映射后的所述三维模型和所述人脸区域提取人脸特征点；脸型分类模块610，用于根据所述人脸特征点对所述目标用户的人脸脸型进行分类。

根据本发明实施例提供的一种人脸脸型分类系统，通过获取目标用户的头部的三维点云数据和二维图像数据，根据三维点云数据生成目标用户的头部的三维模型，依据三维点云数据和二维图像数据的对应关系，将二维图像数据映射到三维模型中，根据二维图像数据的纹理信息和颜色信息检测得到人脸区域，依据映射后的三维模型和人脸区域提取人脸特征点，根据人脸特征点对目标用户的人脸脸型进行分类。因此，本发明实施例在获取三维点云数据的同时，还获取二维图像数据，生成目标用户的头部的三维模型，将二维图像数据映射到三维模型中，得到更具有真实感的三维模型，然后根据二维图像数据的纹理信息和颜色信息检测得到目标用户的头部的多个人脸区域，根据人脸区域和三维模型提取人脸特征点，提高了人脸特征点提取的精度，克服了单纯从二维图像中提取人脸特征点鲁棒性差的缺陷，也提高了人脸脸型分类的准确度。

实施例四

图7示出了根据本发明实施例四的一种人脸脸型分类系统的结构框图。

本实施例中的人脸脸型分类系统包括：数据获取模块700，用于获取目标用户的头部的三维点云数据和二维图像数据；模型生成模块702，用于根据所述三维点云数据生成所述目标用户的头部的三维模型；数据映射模块704，用于依据所述三维点云数据和所述二维图像数据的对应关系，将所述二维图像数据映射到所述三维模型中；区域检测模块706，用于根据所述二维图像数据的纹理信息和颜色信息检测得到人脸区域；特征点提取模块708，用于依据映射后的所述三维模型和所述人脸区域提取人脸特征点；脸型分类模块710，用于根据所述人脸特征点对所述目标用户的人脸脸型进行分类。

可选地，所述区域检测模块706，用于根据所述二维图像数据的纹理信息和颜色信息检测得到眉毛区域、嘴唇区域、鼻子区域和眼睛区域。

可选地，所述特征点提取模块708，包括：特征点确定单元7080，用于分别从映射后的所述三维模型中确定与所述眉毛区域、嘴唇区域、鼻子区域和眼睛区域对应的特征点；特征点提取单元7082，用于从所述特征点中提取所述人脸特征点。

可选地，所述数据获取模块700，用于通过图像采集设备获取目标用户的头部的三维点云数据和二维图像数据；其中，所述三维点云数据包括目标用户头部的前视点、左视点和右视点的三维点云数据。

可选地，所述模型生成模块702，包括：数据校准单元7020，用于通过迭代算法对所述三维点云数据中每个视点对应的三维点云数据进行校准；数据组合单元7022，用于将校准后的三个视点的三维点云数据进行组合；模型生成单元7024，用于将组合后的三个视点的三维点云数据生成目标用户头部的三维模型。

根据本发明实施例提供的一种人脸脸型分类系统，通过获取目标用户的头部的三维点云数据和二维图像数据，根据三维点云数据生成目标用户的头部的三维模型，依据三维点云数据和二维图像数据的对应关系，将二维图像数据映射到三维模型中，根据二维图像数据的纹理信息和颜色信息检测得到人脸区域，依据映射后的三维模型和人脸区域提取人脸特征点，根据人脸特征点对目标用户的人脸脸型进行分类。因此，本发明实施例在获取三维点云数据的同时，还获取二维图像数据，生成目标用户的头部的三维模型，将二维图像数据映射到三维模型中，得到更具有真实感的三维模型，然后根据二维图像数据的纹理信息和颜色信息检测得到目标用户的头部的多个人脸区域，根据人脸区域和三维模型提取人脸特征点，提高了人脸特征点提取的精度，克服了单纯从二维图像中提取人脸特征点鲁棒性差的缺陷，也提高了人脸脸型分类的准确度。

通过三维扫描仪在短时间内获取三维点云数据，更加方便、快捷地生成三维模型，在获取三维点云数据的同时自动进行人脸区域的检测，精确地获取多个对应于不同帧的初始三维点云，为后续的三维点云超分辨率融合提供了基础。在三维点云超分辨率融合过程中，采用先姿态校正再融合的策略，充分利用了人脸的几何形状特性，既保持了数据的精度，又降低了问题的复杂度；同时，由粗到精的点云对准策略，既可避免陷入局部最优，又加速了收敛速度。

在对目标用户的人脸脸型进行分类之后，可以将目标用户的三维模型、人脸特征点以及人脸脸型存储到人脸数据库中，方便后续查看和调用等。

将目标用户的三维模型以及人脸特征点动态地展示给目标用户，增强了三维模型以及人脸特征点展示的真实性。

目标用户可以对人脸特诊点进行修正，获得更加精确的人脸特征点，扩大了人脸特征点提取的适应范围，提高了人脸脸型分类的准确度。

需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。