3D人体识别方法及设备与流程

本发明涉及3D人体识别技术领域，特别是涉及一种3D人体识别方法及设备。

背景技术：

信息安全问题已经引起社会各界的广泛重视。保障信息安全的一个主要途径就是对信息使用者的身份进行准确鉴别，通过鉴别结果进一步判断用户获取信息的权限是否合法，从而达到保证信息不被外泄和保障用户合法权益的目的。因此，可靠的身份识别是非常重要和必要的。

人体识别在门禁系统、安全监控、人机交互、医疗诊断等领域具有广泛的应用前景和经济价值。传统的人体识别技术为2D人体识别，2D人体识别只有颜色信息而没有深度信息，颜色信息包括诸如颜色、纹理、形状等信息，因此，不可避免地会导致颜色信息中的姿态不确定问题。另外，根据不同的季节、人的服饰和环境光照变化，颜色信息是不稳定的(或者是不鲁棒的)，因此，在复杂的环境中，基于颜色信息的人体识别的精确度较低。

技术实现要素：

本发明提供一种3D人体识别方法及设备，能够解决现有技术存在的人体识别精确度低的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种3D人体识别方法，该方法包括以下步骤：获取待测人的RGBD人体图像；通过所述RGBD人体图像获取人体特征点的3D空间分布特征信息；将获取的所述人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息进行匹配；若匹配成功，则获取所述待测人的身份信息。

其中，所述通过所述RGBD人体图像获取人体特征点的3D空间分布特征信息的步骤包括：通过所述RGBD人体图像采集人体特征点；根据所述人体特征点建立人体3D网格；根据所述人体3D网格度量所述人体特征点的特征值并计算所述人体特征点的3D空间分布特征信息。

其中，所述将获取的所述人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息进行匹配的步骤包括：计算获取的所述人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息的匹配度，以获得最高匹配度；将所述最高匹配度与预设的匹配度阈值比较，若所述最高匹配度达到所述预设的匹配度阈值的范围，则判断匹配成功。

其中，获取待测人的RGBD人体图像的步骤中，所述RGBD人体图像为RGBD人体图像序列；通过所述RGBD人体图像获取人体特征点的3D空间分布特征信息的步骤还包括：通过所述RGBD人体图像序列获取人体动态特征信息；将获取的所述人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息进行匹配的步骤还包括：将获取的所述人体动态特征信息与人体3D特征身份信息库中的人体动态特征信息进行匹配。

其中，获取待测人的RGBD人体图像的步骤中，还包括：获取待测人的RGBD人脸图像；通过所述RGBD人体图像获取人体特征点的3D空间分布特征信息的步骤中，还包括：通过所述RGBD人脸图像获取人脸特征点的3D空间分布特征信息；将获取的所述人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息进行匹配的步骤还包括：将获取的所述人脸特征点的3D空间分布特征信息与人体3D特征身份信息库中的人脸特征点的3D空间分布特征信息进行匹配；若匹配成功，则获取所述待测人的身份信息的步骤中，所述匹配成功为所述人体特征点的3D空间分布特征信息与所述人脸特征点的3D空间分布特征信息均匹配成功。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种3D人体识别设备，该设备包括人体图像获取模块、人体特征信息获取模块、人体信息匹配模块和身份信息获取模块；人体图像获取模块用于获取待测人的RGBD人体图像；人体特征信息获取模块与所述人体图像获取模块连接，用于通过所述RGBD人体图像获取人体特征点的3D空间分布特征信息；人体信息匹配模块与所述人体特征信息获取模块连接，用于将获取的所述人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息进行匹配；身份信息获取模块与所述人体信息匹配模块连接，用于在匹配成功时，获取所述待测人的身份信息。

其中，所述人体特征信息获取模块包括采集模块、网格建立模块和处理模块；采集模块与所述人体图像获取模块连接，用于通过所述RGBD人体图像采集人体特征点；网格建立模块与所述采集模块连接，用于根据所述人体特征点建立人体3D网格；处理模块与所述网格建立模块连接，用于根据所述人体3D网格度量所述人体特征点的特征值并计算所述人体特征点的3D空间分布特征信息。

其中，所述人体信息匹配模块包括计算模块和比较模块；计算模块与所述处理模块连接，用于计算获取的所述人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息的匹配度，以获得最高匹配度；比较模块与所述计算模块连接，用于将所述最高匹配度与预设的匹配度阈值比较，若所述最高匹配度达到所述预设的匹配度阈值的范围，则判断匹配成功。

其中，所述人体图像获取模块获取的是RGBD人体图像序列；所述设备还包括动态特征信息获取模块，与所述人体图像获取模连接，用于通过所述RGBD人体图像序列获取人体动态特征信息；所述人体信息匹配模块进一步用于将获取的所述人体动态特征信息与人体3D特征身份信息库中的人体动态特征信息进行匹配。

其中，所述设备还包括人脸图像获取模块、人脸特征信息获取模块和人脸信息匹配模块；人脸图像获取模块用于获取待测人的RGBD人脸图像；人脸特征信息获取模块与所述人脸图像获取模块连接，用于通过所述RGBD人脸图像获取人脸特征点的3D空间分布特征信息；人脸信息匹配模块与所述人脸特征信息获取模块连接，用于将获取的所述人脸特征点的3D空间分布特征信息与人体3D特征身份信息库中的人脸特征点的3D空间分布特征信息进行匹配；所述身份信息获取模块还与所述人脸信息匹配模块连接，所述身份信息获取模块用于在所述人体特征点的3D空间分布特征信息与所述人脸特征点的3D空间分布特征信息均匹配成功时，获取所述待测人的身份信息。

本发明的有益效果是：区别于现有技术的情况，本发明通过本发明通过获取RGBD人体图像来获取人体特征点的3D空间分布特征信息，并将该人体特征点的3D空间分布特征信息与人体3D特征身份信息库内保存的人体特征点的3D空间分布特征信息进行匹配，从而进行人脸识别，由于进行匹配的是人体3D信息，包括颜色信息和深度信息，人体信息更加全面，并且，通过该3D空间分布特征信息可以建立人体骨架，从而可以通过人体骨架来进行识别，所以不同的季节、人的服饰和环境光照变化等均不会对人体识别造成影响，因此本发明能提高人体识别的精确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的一种3D人体识别方法的流程示意图；

图2是图1中步骤S12的流程示意图；

图3是图1中步骤S13的流程示意图；

图4是本发明第二实施例提供的一种3D人体识别方法的流程示意图；

图5是本发明第三实施例提供的一种3D人体识别方法的流程示意图；

图6是本发明第一实施例提供的一种3D人体识别设备的结构示意图；

图7是本发明第二实施例提供的一种3D人体识别设备的结构示意图；

图8是本发明第三实施例提供的一种3D人体识别设备的结构示意图；

图9是本发明实施例提供的一种3D人体识别设备的实体装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1是本发明第一实施例提供的一种3D人体识别方法的流程示意图。

本实施例的3D人体识别方法包括以下步骤：

S11：获取待测人的RGBD人体图像。

具体地，RGBD人体图像包括人体的颜色信息(RGB)和深度信息(Depth)，RGBD人体图像可以通过Kinect传感器获得。其中，该RGBD人体图像可以是一个图像集，包括例如同一个人的多个角度的多个RGBD人体图像。

在一些实施例中，当镜头中出现多个人的时候，则采集多个人的RGBD人体图像。

S12：通过RGBD人体图像获取人体特征点的3D空间分布特征信息。

如图2所示，图2是图1中步骤S12的流程示意图。具体而言，步骤S12包括：

S121：通过RGBD人体图像采集人体特征点。

具体而言，本实施例通过采集人体部位进行人体特征点的采集，其中，人体部位包括：躯干、四肢以及头部中的一个或者多个。

特征点的采集方法可以是多种，例如，通过人工标记人脸的眼睛、鼻子等五官、面颊、下颌及其边缘等特征点，也可以兼容RGB(2D)的人脸特征点标记方法来确定人脸的特征点，还可以自动标记特征点。

举例而言，自动标记特征点需要经过三个步骤：

(一)人体分割。本实施例采用帧间差分和背景差分相结合起来的方法来分割运动人体，预先选取RGBD图像中的一帧作为背景帧，建立各像素点的高斯模型，再运用帧间差分法对相邻两帧图像进行差分处理，区分出背景点和变化的区域(在当前帧中变化的区域包括显露区和运动物体)，然后将变化区域与背景帧的对应区域进行模型拟合区分出显露区和运动物体，最后在运动物体中去除阴影，这样将不带阴影的运动物体分割出来。背景更新时将帧间差分确定为是背景的点，则以一定的规则进行更新；背景差分时确定为是显露区的点，则以较大的更新率更新背景帧，运动物体对应的区域不进行更新。该法可以得到较理想的分割目标。

(二)轮廓提取和分析。在获取二值化后的图像以后，利用一些经典的边缘检测算法来获取轮廓。例如采用Canny算法，Canny边缘检测算子充分反映了最优边缘检测器的数学特性，对于不同类型的边缘，均具有良好的信噪比，优异的定位性能，对单一边缘产生多个响应的低概率性和对虚假边缘响应的最大抑制能力，利用分割算法获得光流分割场后，在这些分割区域里包含所有我们所关心的运动目标。因此，将在这些分割区域里利用Canny算子提取边缘，一方面可以大大限制背景干扰，另一方面可以有效地提高运行的速度。

(三)关节点自动标记。通过差分法得到了分割出运动目标，Canny边缘检测算子提取轮廓后，借助MaylorK.LeungandYee-HongYang的2D带状模型(RibbonModel)对人体目标进一步分析。该模型将人体正面划分成不同的区域，例如，用5个U形区域来构造人体，该5个U形区域分别表示人体的头部以及四肢。

这样，通过寻找5个U形状的身体端点，就可确定身体的大致位置，在已提取的轮廓的基础上，通过矢量轮廓压缩，来提取需要的信息，保留最主要的人体四肢的特征，将人体轮廓压缩成一个固定的形状，例如，使得轮廓具有固定的8个端点和5个U形点和3个倒U形点，这样明显的特征能方便计算轮廓。这里可以使用轮廓上相邻端点的距离算法来压缩轮廓，通过迭代处理使得轮廓压缩为8个端点。

在获取了压缩轮廓后采用如下算法就可以对特征点进行自动标注：

(1)确定U形状的身体端点。设定某一个参考长度M，大于M的矢量可以认为它是身体轮廓的一部分，小于它则忽略。按照矢量化后的轮廓从某一点开始寻找，找到一个大于M的矢量记为Mi，找到下一个的矢量记为Mj，比较Mi到Mj的夹角，如果夹角在某一范围内(0～90°)，(注意这里角度为正，表示它是凸的)，则认为它们是U端点，记录这两个矢量，找到一个U端点。如此直到找出5个U端点。

(2)确定三个倒U形状的端点。同步骤(1)，只要把夹角条件正换为负。

(3)根据U及倒U的端点很容易获得头部，手，脚的位置。根据身体的生理形状，就可以确定各个关节点，利用手臂与身体交角部分、头部与腿部交角部分，可以分别确定躯干的宽度和长度；然后利用脖子、腰位置分别占躯干比率0.75、0.3，肘部位于肩膀与手的中点，膝盖位于腰部与脚的中点。这样各个特征点大致位置可以定义出来。

S122：根据人体特征点建立人体3D网格；

S123：根据人体3D网格度量人体特征点的特征值并计算人体特征点的3D空间分布特征信息。

步骤S123中的特征值包括身高、臂长、肩宽、手掌大小以及头部大小中的一个或者多个。通过人体3D网格可以计算出各个人体特征点的空间位置信息，从而可以计算各个人体特征点之间的拓扑关系，从而可以获得立体的人体形状信息，以得到人体特征点的3D空间分布特征信息。

S13：将获取的人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息进行匹配。

如图3所示，图3是图1中步骤S13的流程示意图。步骤S13具体包括：

S131：计算获取的人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息的匹配度，以获得最高匹配度。

S132：将最高匹配度与预设的匹配度阈值比较，若最高匹配度达到预设的匹配度阈值的范围，则判断匹配成功，从而进入步骤S14。

其中，在初次使用本发明的方法时，在上述步骤S12之前还包括预先设定匹配度阈值的范围的步骤，该步骤可以在步骤S11之前或者之后，也可以与步骤S11同时进行。

人体识别的算法有多种，例如采用Bhattacharyya距离计算两个空间直方图的相似性。或者，采用EMD(Earth Movers Distance)等算法来计算匹配度(相似度)等。

S14：获取待测人的身份信息。

匹配成功之后，人体3D特征身份信息库中最高匹配度的个人的身份信息即该待测人的身份信息。

本发明的3D人体识别方法可以在手机、门禁、安防、游戏账户、登录、支付等等各种安全级别的人脸识别进行身份认证等的应用。在获得待测人的身份信息之后，可以判断待测人的权限，例如，应用在门禁系统上时，根据待测人的身份信息可知是否允许该待测人进入。

区别于现有技术，本发明通过本发明通过获取RGBD人体图像来获取人体特征点的3D空间分布特征信息，并将该人体特征点的3D空间分布特征信息与人体3D特征身份信息库内保存的人体特征点的3D空间分布特征信息进行匹配，从而进行人脸识别，由于进行匹配的是人体3D信息，包括颜色信息和深度信息，人体信息更加全面，并且，通过该3D空间分布特征信息可以建立人体骨架，从而可以通过人体骨架来进行识别，所以不同的季节、人的服饰和环境光照变化等均不会对人体识别造成影响，因此本发明能提高人体识别的精确度。

请参阅图4，图4是本发明第二实施例提供的一种3D人体识别方法的流程示意图。

本实施例的3D人体识别方法包括以下步骤：

S21：获取待测人的RGBD人体图像序列。

步骤S21中，通过Kinect传感器获取的是一定时间段内动态连续的RGBD人体图像序列，从而可以获得待测人的运动信息。

S22：通过RGBD人体图像获取人体特征点的3D空间分布特征信息，通过RGBD人体图像序列获取人体动态特征信息。

其中，人体特征点的3D空间分布特征信息的获取方法与第一实施例的获取方法相同，在此不再赘述。

RGBD人体图像序列获取人体动态特征信息的获取可以通过通过根据人体站立、步行、奔跑等行为的动态特征，以及特定动态行为的过程，例如双掌手指交叉过程及结果、双臂交叉过程及结果等信息。

具体而言，本实施例采用动态连续的RGBD图像序列，可以检测出人体的动作姿态，增加特征识别的属性项目，例如：若目标为杯子、汽车等刚体物品，则在连续的RGBD图中，目标连续表现为刚体，以此辨别目标为刚体；若目标为人、猫、狗等动物，则根据连续动态RGBD跟踪目标，检测位非刚体，更进一步根据人体特征识别等技术进行精确的人体识别。

在一些实施例中，还可以通过采集语音、体温等动物或人的特征以进行识别认证，防止利用图像、录音等破解认证识别系统，提高识别精度。

要获取人体动态特征信息，首先需要进行人体运动检测，即在获取的图像序列中确定运动人体的为准、尺度大小和姿态的过程。人体运动检测的方法有多种，例如，OGHMs(Orthogonal Gaussian-Hermite Moments)检测法，其基本原理是：通过比较在时间上连续的图像帧之间对应象素值的变化程度来判断该像素点是否属于前景运动区域。

用{f(x,y,t)|t＝0,1,2…}表示输入的一组图像序列，f(x,y,t)代表t时刻的图像，x，y代表了图像上像素点的坐标，设Gaussian函数为g(x,σ)，Bn(t)为g(x,σ)与Hermite多项式的乘积，则n阶OGHMs可表示为：

其中a_i由Gaussian函数的标准偏差σ确定。根据卷积运算的性质，n阶OGHMs可看成是图像序列函数在时间上的各阶导数之和与Gaussian函数的卷积。某点导数值越大，则表示随时间变化该点位置上的像素值变化也越大，说明该点应该属于运动区域块，这为OGHMs方法能检测出运动物体提供了理论依据。另外，从式(1)中可看出，OGHMs的基函数为这是由Gaussian函数的不同阶导数线性组合而成。因为高斯函数本身具有平滑噪声的能力，所以OGHMs同样具有有效滤除各种噪声的性能。

又如，时间差分法，时间差分法(Temporal Difference)是利用时间上连续的图像序列前后几个相邻帧，基于像素的时间差分，通过阈值化提取图像中的运动区域。早期的方法是利用相邻两帧差分获得运动物体，如设F_k是图像序列中第k帧图像灰度值数据，F_k+1表示图像序列中第k+1帧图像灰度值数据，则时间相邻两帧图像的差分图像定义为：

其中T为阈值。如果差值大于T，则说明该区域的灰度变化较大，即需要检测出的运动目标区域。

又如，光流法(Optical Flow)，光流法基于以下假设：图像灰度的变化完全是由于目标或背景的运动引起的。即，目标和背景的灰度不随时间变化。基于光流方法的运动检测，就是利用运动物体随时间变化在图像中表现为速度场的特性，根据一定的约束条件估算出运动所对应的光流，其优点是对目标的帧间运动限制较少，可处理较大的帧间位移。

再如，背景减除法(Background Subtraction)，其基本原理是首先构建一个背景模型图像,然后用当前帧图像与背景帧图像做差分,通过阈值化差分结果检测出运动目标。假设t时刻背景帧图像为F₀，对应当前帧图像为F_t，则当前帧和背景帧的差分可表示为：

假设当前帧图像与背景帧图像相应像素的灰度值差分大于阈值，则所得到的二值图像中对应的值为1，即认定该区域属于运动目标。

在检测出人体运动姿态之后，通过运动历史图像(MHI，motion history images)和运动能量图像(MEI,motion energy images)进行人体动作姿态的表示。

采用运动历史图像(MHI)和运动能量图像(MEI)进行人体动作姿态的表示，其中MEI反映了人体动作姿态所发生的区域及强度，而MHI则在一定程度上反映了人体动作姿态如何发生以及在时间上如何变化。

二值图像MEI产生如下：

其中：B(x,y,n)是表示人体动作姿态发生区域的二值图像序列，参数τ表示人体动作姿态的持续时间。因此，MEI描述了整个人体动作姿态所发生的区域。

MHI的产生如下：

运动历史图像MH I不仅反映了形状，也反映了亮度的分布以及人体动作姿态发生的方向。在MHI中，每个象素的亮度值都与该位置动作姿态的持续运动时间成比例，而且，最近发生的动作姿态的象素亮度值最大，灰度的变化体现出动作姿态发生的方向。

采用不变矩方法建立动作姿态模板的统计描述。不变矩为：M’_k＝lg|M_k|，其中：k＝1，2，…，7。将特征向量记为F＝[M’₁，M’₂，…M’₇]，用F₁，F₂，…，F_M代表图像库中M幅某个人体动作姿态的图像.对图像F_i，其相应的特征向量记为F_i＝[M’_i1，M’_i2，…，M’_i7]，这样由人体动作姿态图像库就可以得到该动作姿态的一个M×7的特征矩阵F＝M’_ij，其中M’_ij是F_i的第j个特征元素.这样就可得到M幅该人体动作姿态图像的特征向量集的均值向量和协方差矩阵，建立该动作姿态模板的统计描述。

S23：将获取的人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息进行匹配，将获取的人体动态特征信息与人体3D特征身份信息库中的人体动态特征信息进行匹配。

若人体特征点的3D空间分布特征信息与人体动态特征信息均匹配成功，则进入步骤S24。

具体地，人体动态特征信息的匹配可以通过以下方式：通过Mahalanobis距离来衡量新输入的动作姿态与已存储的已知的动作姿态模板之间的相似性，只要计算出的Mahalanobis距离在规定的阈值范围之内都可认为是匹配成功，如果匹配的动作姿态不止一个，则选择距离最小的那个作为成功的匹配。Mahalanobis距离的计算公式如下：

γ²＝(f-μ_x)^Tc^-1(f-μ_x)

其中，γ是Mahalanobis距离，f是改进的人体动作姿态图像的不变矩特征向量，μ_x是已训练的特征向量集的均值向量，c是已训练的特征向量集的协方差矩阵。

可以理解地，在其它一些实施例中，还可以使用其它的匹配算法，本发明不做限制。

S24：获取待测人的身份信息。

本实施例从RGBD人体图像序列中获取的人体3D特征信息不仅包括人体特征点的3D空间分布特征信息，还包括了人体动态特征信息，增加了特征识别的属性项目，本实施例结合人体特征点的3D空间分布特征信息和人体动态特征信息进行人体识别，使得比较识别的属性项目更加充分，从而使得人体识别更加精确。

请参阅图5，图5是本发明第三实施例提供的一种3D人体识别方法的流程示意图。

S31：获取待测人的RGBD人体图像和RGBD人脸图像。

S32：通过RGBD人体图像获取人体特征点的3D空间分布特征信息，通过RGBD人脸图像获取人脸特征点的3D空间分布特征信息。

其中，人脸特征点的3D空间分布特征信息包括以下步骤：

(1)通过人脸RGBD图采集人脸的特征点。该步骤中，通过采集人脸元素来进行特征点的采集，其中，人脸元素包括：眉毛、眼睛、鼻子、嘴巴、脸颊以及下巴中的一个或者多个。特征点可以通过人工标记人脸的眼睛、鼻子等五官、面颊、下颌及其边缘等来获取。

(2)根据特征点建立人脸彩色3D网格。

(3)根据人脸彩色3D网格度量特征点的特征值并计算特征点之间的连接关系。

具体而言，通过颜色信息可以针对人脸特征的特征点对相关特征值进行度量，该特征值为人脸特征在2D平面上的包括对位置、距离、形状、大小、角度、弧度以及曲率中的一种或者多种的度量，此外，还包括对色彩、亮度、纹理等的度量。例如根据虹膜中心像素点向周围延伸，得到眼睛的全部像素位置，眼睛的形状，眼角的倾斜弧度，眼睛的颜色等等。

结合颜色信息和深度信息，则可以计算出特征点之间的连接关系，该连接关系可以是特征点之间的拓扑连接关系和空间几何距离，或者也可以是特征点的各种组合的动态连接关系信息等。

根据人脸彩色3D网格的度量和计算可以获得包括人脸的各个元素本身的平面信息和每个元素上的特征点的空间位置关系的局部信息，以及各个元素之间的空间位置关系的整体信息。局部信息和整体信息分别从局部和整体上反映隐含在RGBD人脸图像上的信息和结构关系。

举例而言，采用有限元分析方法对特征值、特征点之间的拓扑连接关系和空间几何距离进行分析以获取人脸特征点的3D空间分布特征信息。

具体地，使用有限元分析可对人脸彩色3D网格进行曲面变形。有限元分析(FEA，Finite Element Analysis)即利用数学近似的方法对真实物理系统(几何和载荷工况)进行模拟。还利用简单而又相互作用的元素，即单元，就可以用有限数量的未知量去逼近无限未知量的真实系统。

例如，对人脸彩色3D网格每个线单元进行变形能量分析后，可以建立线单元的单元刚度方程。然后引入约束单元，如点、线、切矢、法矢等约束单元类型。因为曲线曲面要满足稽核设计时对其形状、位置、尺寸以及与相邻曲面的连续性等要求，这些都是通过约束来实现的。本实施例通过罚函数法处理这些约束，最终获得约束单元的刚度矩阵和等效载荷列阵。

扩充变形曲线曲面的数据结构，使得变形曲线曲面的数据结构既包含如阶数、控制顶点和节点矢量等的几何参数部分，还包括表明物理特性和外载荷的一些参数。从而使得变形曲线曲面可以整体表示一些较为复杂的形体表明，大大简化了人脸的几何模型。并且，在数据结构中的物理参数和约束参数唯一决定了人脸的构形几何参数。

通过程序设计来用有限元求解变形曲线曲面，针对不同的约束单元，设置单元入口程序，可计算出任何一种约束的单元刚度矩阵和单元载荷列阵。根据总体刚度矩阵的对称性、带状性和稀疏性，采用变带宽一维数组存储方法对总体刚度矩阵计算。组装时，不仅将线单元或面单元刚度矩阵，也将约束单元刚度矩阵按“对号入座”方式加入到总体刚度矩阵中，同时将约束单元等效载荷列阵加入到总体载荷列阵中，最后采用高斯消去法求解线性代数方程组。

举例而言，人脸曲线曲面的造型方法可用数学模型描述为：

所求变形曲线

u∈Ω＝[0，1]，或曲面

(u，v)∈Ω＝[0，1]×[0，1]是如下极值问题的解

其中，是曲线曲面的能量泛函，它在一定程度上反映曲线曲面的变形特点，赋予曲线曲面物理特性。f1,f2,f3,f4是关于(·)中变量的函数，是参数定义域的边界，Γ′是曲面参数域内的曲线，(μ₀，v₀)是参数域内某参数值，条件(1)是边界插值约束，条件(2)是边界处连续性约束，条件(3)是曲面内特征线的约束，条件(4)是曲线曲面内点约束。在应用中，能量泛函取成如下形式：

曲线：

曲面：

其中，α、β、γ分别表示曲线的拉伸、玩去、扭曲系数，αij和βij分别为曲面在(μ，v)处局部沿μ，v方向的拉很和玩去系数。

从数学模型中可以看出，变形曲线曲面造型方法同一、协调地处理各类约束，既满足了局部控制，又保证了整体广顺。利用变分原理，求解上述极值问题可转化为求解如下方程：

这里的δ表示一阶变分。式(5)是一个微分方程，由于该方程比较复杂，难于求出精确分析结，因此采用数值解放。例如，采用有限元方法求解。

有限元方法可认为是先根据需要选择合适的插值形式，再求解组合参数，因此所得的解不仅为连续形式，而前处理生成的网格也为有限元分析奠定了基础。

在识别阶段，未知人脸图像与已知人脸模板之间的相似性度量由下式给出：

式中：C_iX_j分别为待识别人脸的特征和人脸库中人脸的特征，i₁,i₂,j₁,j₂,k₁,k₂为3D网格顶点特征。式中的第一项是机选两个矢量场中对应的局部特征X_j和C_i的相似程度，第二项则是计算局部位置关系和匹配次序，由此可见，最佳匹配也就是最小能量函数时的匹配。

通过上述有限元方法对人脸彩色3D网格进行了曲面变形，使人脸彩色3D网格各个点均不断接近真实人脸的特征点，从而获得立体的人脸形状信息，进而获取了人脸特征点的3D空间分布特征信息。

又如，采用小波变换纹理分析方法对特征值和特征点之间的动态连接关系进行分析，以获取人脸特征点的3D空间分布特征信息。

具体而言，动态连接关系为各种特征点组合的动态连接关系。小波变换是时间和频率的局域变换，它具有多分辨率分析的特征，而且在时域频域都具有表征信号局部特征的能力。本实施例通过小波变换纹理分析经过对纹理特征的提取、分类和分析步骤并结合人脸特征值以及动态连接关系信息，具体包括颜色信息和深度信息，最终获取立体的人脸形状信息，最终再从人脸形状信息中分析提取出人脸细微表情变化下具有不变性的人脸形状信息，进行编码人脸形状模型参数，该模型参数即可作为人脸的几何特征，从而获得人脸特征点的3D空间分布特征信息。

举例而言，三维小波变换的基础如下：

其中，

A_J1为函数f(x,y,z)到空间V³_J1的投影算子，

Q_n为H_x,H_y,H_z G_x,G_y,G_z的组合；

令矩阵H＝(H_m，k)，G＝(G_m，k)，其中，H_x,H_y,H_z分别表示H作用到三维信号x,y,z方向上，G_x,G_y,G_z分别表示G作用到三维信号x,y,z方向上。

识别阶段，将未知人脸图像小波变换后，取其低频低分辨率子图映射到人脸空间，将得到特征系数，可以使用欧式距离比较待分类特征系数与每个人的特征系数之间的距离，结合PCA算法，根据公式：

式中，K为与未知人脸最匹配的人，N为数据库人数，Y为未知人脸映射到由特征脸形成的子空间上得到的m维向量，Y_k为数据库中已知人脸映射到由特征脸形成的子空间上得到的m维向量。

可以理解地，在另一个实施例中，还可以采用是基于二维小波特征的3D人脸识别方法进行识别，首先需要进行二维小波特征提取，二维小波基函数g(x,y)定义为

g_mn(x，y)＝a^-mng(x′，y′)，a＞1，m，n∈Z

其中，σ为高斯窗口的大小，一个自相似的滤波器函数可通过函数g_mn(x,y)对g(x,y)进行适当膨胀和旋转得到。基于以上函数，对图像I(x,y)的小波特征可以定义为

人脸图像二维小波提取算法的实现步骤如下：

(1)通过小波分析获取关于人脸的小波表征，使原图像I(x,y)中的相应特征转化为小波特征向量F(F∈R^m)。

(2)采用小指数多项式(FPP)模型k(x，y)＝(x·y)^d(0＜d＜1)使m维小波特征空间R^m投影到更高n维空间Rⁿ中。

(3)基于核线性判决分析算法(KFDA)，在Rⁿ空间中建立类间矩阵S_b和类内矩阵S_w。

计算S_w的标准正交特征向量α₁，α₂，…，α_n。

(4)提取人脸图像显著判别特征向量。另P1＝(α₁，α₂，…，α_q)，其中，α₁，α₂，…，α_q是S_w对应的q个特征值为正的特征向量，q＝rank(S_w)。计算对应于L个最大特征值的特征向量β₁，β₂，…，β_L，(L≤c-1)，其中，c是人脸分类的数量。显著判别特征向量，f_regular＝B^TP₁^Ty其中，y∈Rⁿ；B＝(β₁，β₂，…，β_l)。

(5)提取人脸图像不显著的判别特征向量。计算对应于一个最大特征值的特征向量γ₁，γ₂，…，γ_L，(L≤c-1)。令P₂＝(α_q+1，α_q+2，…，α_m)，则不显著的判别特征向量

在3D人脸识别阶段包括的步骤如下：

(1)对正面人脸进行检测，定位一张正面人脸和一张人脸图像中关键的人脸特征点，比如人脸的轮廓特征点、左眼和右眼、嘴和鼻等。

(2)通过上述提取的二维Gabor特征向量和一个常用的3D人脸数据库重建三维人脸模型。为了重建一个三维人脸模型，使用ORL(Olivetti Research Laboratory)单人脸三维人脸数据库，包括检测到的100张人脸图像。数据库中每个人脸模型都有将近70000个顶点。确定一个特征转换矩阵P，在原有三维人脸识别方法中，该矩阵通常是由子空间分析方法得到的子空间分析投影矩阵，由样本的协方差矩阵对应于前m个最大特征值的特征向量组成。将提取出的小波判别特征向量对应于m个最大特征值的特征向量，组成主特征转换矩阵P’，该特征转换矩阵比原有特征矩阵P对光照、姿态和表情等因素具有更强的鲁棒性，即代表的特征更准确且稳定。

(3)对新生成的人脸模型采用模板匹配及线性判别分析(FLDA)方法进行处理，提取模型的类内差异和类间差异，进一步优化最后的识别结果。

S33：将获取的人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息进行匹配，将获取的人脸特征点的3D空间分布特征信息与人体3D特征身份信息库中的人脸特征点的3D空间分布特征信息进行匹配。

人脸特征点的3D空间分布特征信息的匹配方法如下：

在一个实施例中，通过寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，因此近似地表征人脸图像，这些特征向量称为特征脸，特征脸反应了隐含在人脸样本集合内部的信息和人脸的结构关系，将眼睛、面颊、下颌的样本集协方差矩阵的特征相两为特征眼、特征颌和特征唇，同城特征子脸。特征子脸在相应的图像空间中生产子空间，称为子脸空间。计算出测试图像窗口在子脸空间的投影距离，若窗口图像满足阈值比较条件，则判断其为人脸。

该方法是先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等属性，然后再计算出它们的几何特征量，而这些特征量形成一描述该面像的特征向量。这种基于整体脸的识别，不仅保留了人脸各元素之间的拓扑关系，也保留了单个元素本身的信息。这种算法是利用人体面部各器官及特征部位的方法。如对应几何关系多数据形成识别参数与数据库中所有的原始参数进行比较、判断与确认。

在另一个实施例中，采用有限元分析方法进行识别。将物体用稀疏图形来描述，其顶点用局部能量谱的多尺度描述来标记，边则表示拓扑连接关系并用几何距离来标记，然后应用塑性图形匹配技术来寻找最近的已知图形。

将人脸图像建模为可变形的3D网格表面(x,y,I(x,y)),从而将人脸匹配问题转化为可变形曲面的弹性匹配问题。利用有限元分析的方法进行曲面变形，并根据变形的情况判断两张图片是否为同一个人。这种方法的特点在于将空间(x,y)和灰度I(x,y)放在了一个3D空间中同时考虑。

在又一个实施例中，利用小波对3D人脸轮廓线进行滤波，以实现人脸3D特征提取，得到表征该人脸模型的特征数据，将该特征数据通过分类器与样本数据库中已有的模型进行匹配，计算匹配程度。其中，

x_i∈{3D人脸数据库中已经训练好并得出的支持向量}，

y_i为x_i所对应的分类取值，b是分类阈值，x为待识别的三维人脸特征数据。

根据匹配计算可得出待识别三维人脸特征数据x对每一个分类器所分类别的归属，遍历所有的SVM分类器并进行投票，最后将x判定为属于某个分类得到票数最多的类别。

若人体特征点的3D空间分布特征信息与人脸特征点的3D空间分布特征信息均匹配成功，则进入步骤S34。

S34：获取待测人的身份信息。

本实施例获取的人体3D特征信息包括了整体的人体特征点的3D空间分布特征信息和局部的人脸特征点的3D空间分布特征信息，在人体识别的时候可以从整体和局部特征来进行识别，增加了人体识别的属性项目，提高了人体识别的精确度。

在其它一些实施例中，还可以将RGB人脸图像获取人脸肤色、纹理等2D信息与人体特征点的3D空间分布特征信息和人脸特征点的3D空间分布特征信息相结合，进一步增加识别属性项目，提高识别精确度。

可以理解的是，在其它一些实施例中，还可以是上述第二实施例和第三实施例的结合，获取人体RGBD图像序列和人脸RGBD图像，从而获取人体特征点的3D空间分布特征信息、人体动态特征信息和人脸特征点的3D空间分布特征信息，从而增加了人体识别的属性项目，提供人体识别的精确度。

请参阅图6，图6是本发明第一实施例提供的一种3D人体识别设备的结构示意图。

本实施例的3D人体识别设备包括人体图像获取模块10、人体特征信息获取模块11、人体信息匹配模块12和身份信息获取模块13。

其中，人体图像获取模块10用于获取待测人的RGBD人体图像。

人体特征信息获取模块11与人体图像获取模块10连接，用于通过RGBD人体图像获取人体特征点的3D空间分布特征信息。人体特征信息获取模块包括：

人体特征信息获取模块11包括采集模块110、网格建立模块111和处理模块112。其中采集模块110与人体图像获取模块10连接，用于通过RGBD人体图像采集人体特征点。网格建立模块111与采集模块110连接，用于根据人体特征点建立人体3D网格。处理模块112与网格建立模块111连接，用于根据人体3D网格度量人体特征点的特征值并计算人体特征点的3D空间分布特征信息。

人体信息匹配模块12与人体特征信息获取模块11连接，用于将获取的人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息进行匹配。

人体匹配模块12包括计算模块120和比较模块121。计算模块120与处理模块112连接，用于计算获取的人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息的匹配度，以获得最高匹配度。比较模块121与计算模块120连接，用于将最高匹配度与预设的匹配度阈值比较，若最高匹配度达到预设的匹配度阈值的范围，则判断匹配成功。

身份信息获取模块13与人体信息匹配模块12连接，用于在匹配成功时，获取待测人的身份信息。

请参阅图7，图7是本发明第二实施例提供的一种3D人体识别设备的结构示意图。

本实施例的3D人体识别设备包括人体图像获取模块20、人体特征信息获取模块21、人体信息匹配模块22、身份信息获取模块23和动态特征信息获取模块24。

人体图像获取模块20用于获取待测人的RGBD人体图像。

人体特征信息获取模块21与人体图像获取模块20连接，用于通过RGBD人体图像获取人体特征点的3D空间分布特征信息。

动态特征信息获取模块24与人体图像获取模20连接，用于通过RGBD人体图像序列获取人体动态特征信息。

人体信息匹配模块22与人体特征信息获取模块21和动态特征信息获取模块24连接，用于将获取的人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息进行匹配。

身份信息获取模块23与人体信息匹配模块22连接，用于在匹配成功时，获取待测人的身份信息。

请参阅图8，图8是本发明第三实施例提供的一种3D人体识别设备的结构示意图。

本实施例的3D人体识别设备包括人体图像获取模块30、人体特征信息获取模块31、人体信息匹配模块32、身份信息获取模块33、人脸图像获取模块34、人脸特征信息获取模块35和人脸信息匹配模块36。

人体图像获取模块30用于获取待测人的RGBD人体图像。

人体特征信息获取模块31与人体图像获取模块30连接，用于通过RGBD人体图像获取人体特征点的3D空间分布特征信息。

人脸图像获取模块34用于获取待测人的RGBD人脸图像。

人脸特征信息获取模块35与人脸图像获取模块34连接，用于通过RGBD人脸图像获取人脸特征点的3D空间分布特征信息。

人脸信息匹配模块32与人体特征信息获取模块31和人脸特征信息获取模块35连接，用于将获取的人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息进行匹配，以及将获取的人脸特征点的3D空间分布特征信息与人体3D特征身份信息库中的人脸特征点的3D空间分布特征信息进行匹配。

身份信息获取模块33与人脸信息匹配模块32连接，用于在人体特征点的3D空间分布特征信息与人脸特征点的3D空间分布特征信息均匹配成功时，获取待测人的身份信息。

请参阅图9，图9是本发明实施例提供的一种3D人体识别设备的实体装置的结构示意图。本实施方式的装置可以执行上述方法中的步骤，相关内容请参见上述方法中的详细说明，在此不再赘述。

该智能电子设备包括处理器41、与处理器41耦合的存储器42。

存储器42用于存储操作系统、设置的程序。

处理器41用于获取待测人的RGBD人体图像；通过RGBD人体图像获取人体特征点的3D空间分布特征信息；将获取的人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息进行匹配；若匹配成功，则获取待测人的身份信息。

处理器41还用于通过RGBD人体图像采集人体特征点；根据人体特征点建立人体3D网格；根据人体3D网格度量人体特征点的特征值并计算人体特征点的3D空间分布特征信息。

处理器41还用于计算获取的人体特征点的3D空间分布特征信息与人体3D特征身份信息库中的人体特征点的3D空间分布特征信息的匹配度，以获得最高匹配度；将最高匹配度与预设的匹配度阈值比较，若最高匹配度达到预设的匹配度阈值的范围，则判断匹配成功。

处理器41还用于获取RGBD人体图像序列；通过RGBD人体图像序列获取人体动态特征信息；将获取的人体动态特征信息与人体3D特征身份信息库中的人体动态特征信息进行匹配。

处理器41还用于获取待测人的RGBD人脸图像；通过RGBD人脸图像获取人脸特征点的3D空间分布特征信息；将获取的人脸特征点的3D空间分布特征信息与人体3D特征身份信息库中的人脸特征点的3D空间分布特征信息进行匹配；若匹配成功，则获取待测人的身份信息的步骤中，匹配成功为人体特征点的3D空间分布特征信息与人脸特征点的3D空间分布特征信息均匹配成功。

在本发明所提供的几个实施方式中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明通过颜色信息和深度信息进行人体识别，不受不同的季节、人的服饰和环境光照变化等的影响，提高了人体识别的精确度。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。