1]进一步地,如图4所示,本发明实施例提供的一种关键点的定位方法中,在S104之后,该方法还包括:S105。具体如下:
[0112]S105、将第i帧人脸图像的初始关键点的位置进行迭代回归,得到第i帧人脸图像的人脸关键点的位置。
[0113]终端计算第i帧人脸图像的初始人脸关键点的位置之后,该终端已经得到了初始人脸关键点的位置了,为了使得人脸关键点更加精确,该终端就将第i帧人脸图像的初始关键点的位置进行迭代回归,得到第i帧人脸图像的人脸关键点的位置。
[0114]需要说明的是,如图5所示,S105具体包括:S1051-S1053。具体如下:
[0115]S1051、对第i帧人脸图像的初始关键点位置提取第一特征。
[0116]需要说明的是,在本发明实施例中第一特征是用于描述人脸特征的参数,也称为特征描述子;基于不同的需求和侧重,本发明实施例可以相应选取,为了提稳定性可以组合使用,具体如下:终端对第i帧人脸图像的初始关键点位置提取尺度不变特征变换(SIFT,Scale-1nvariant feature transform)特征、方向梯度直方图(HOG,Histogram ofOriented Gradient)特征或者加速稳健特征(SURF,Speeded Up Robust Features)中的至少一项。
[0117]S1052、将第一特征进行线性回归,得到第一偏移量。
[0118]S1053、将第i帧人脸图像的初始人脸关键点的位置位移第一偏移量,得到第i帧人脸图像的人脸关键点的位置。
[0119]下面将以人脸特征值为HOG特征值(也称为HOG数据特征)进行举例,在本发明实施例中,使用到的HOG特征原理:HOG的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。通过将整幅图像分割成小的连接区域(称为cells),每个cell生成一个方向梯度直方图或者cell中pixel的边缘方向,这些直方图的组合可表示出(所检测目标对象)描述子。为改善准确率,局部直方图可以通过计算图像中一个较大区域(称为block)的光强作为measure被对比标准化,然后用这个值(measure)归一化这个block中的所有cells.这个归一化过程完成了更好的照射/阴影不变性。
[0120]与其他描述子相比,HOG得到的描述子保持了几何和光学转化不变性(除非物体方向改变)。因此,HOG描述子尤其适合人脸的检测。
[0121]具体的,HOG特征提取方法就是将一个image进行了下面的过程:
[0122]1、灰度化(将图像看做一个x,y,z(灰度)的三维图像);
[0123]2、划分成小 cells(2*2);
[0124]3、计算每个cell中每个pixel的gradient(即orientat1n);
[0125]4、统计每个cel I的梯度直方图(不同梯度的个数),即可形成每个cel I的descriptor。
[0126]需要说明的是,在本发明实施例中,可以通过梯度下降法计算权重偏差量。总之,对给定的人脸关键点位置,在这些人脸关键点位置上计算一些信息罗列成为一个向量,即为提第一特征,然后将第一特征进行回归,即对向量的每一个数值进行组合,最后得到人脸关键点距离真解的第一偏移量。其中,提第一特征的方法有很多,包括:随机森林,sift等,用这些提取出的第一特征可以表达出人脸在当前关键点位置的特点。
[0127]实施例二
[0128]本发明实施例提供一种关键点的定位方法,如图6所示,该方法可以包括:
[0129]S201、采集目标对象时,检测出该目标对象为人脸图像,按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注,i 2 I。
[0130]本发明实施例中,关键点的定位方法指的是人脸关键点的定位方法,人脸关键点的定位是指通过算法精确找出人脸关键点的位置。其中,人脸关键点是脸部一些表征能力强的关键点,比如眼睛、鼻子、嘴巴和脸部轮廓等。
[0131]可选的,如图3所示的人脸图像的初始关键点位置的示意图,本发明实施例中的关键点可以有49个关键点。
[0132]需要说明的是,本发明实施例中提供的关键点的定位方法的应用场景为:进行人脸识别定位、人脸追踪或人脸3D建_旲等情形中。
[0133]可选的,目标检测区域为进行目标对象检测而设定的监测区域,例如,人脸检测框等,该人脸检测框可以为矩形、圆形或椭圆等形状,本发明实施例可以根据实际应用设计目标检测区域,并不限制该目标监测区域的形式或形状。
[0134]可选的,本发明实施例中的终端可以为手机、平板及电脑等支持人脸识别定位技术的电子设备,且具有采集信息的功能。
[0135]具体的,终端支持人脸识别定位技术,在进行人脸关键点的定位时,首先要采集到待识别的目标对象,当终端检测检测出该目标对象为人脸图像后,该终端可以按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注,使得标注过后的目标检测区域显示在人脸图像上,以进行人脸关键点的定位,i 2 I。
[0136]进一步地,第I帧的人脸图像的目标检测区域的位置可以初始默认为中心位置,例如,将人脸检测框(目标检测区域)归一化为长度为I时,标注中心在(0,0)的标准人脸检测框。第2帧之后的人脸图像的目标检测区域的位置可以由其处理前一帧人脸图像而得到的人脸关键点的位置来决定。
[0137]可选的,本发明实施例中的采集目标对象时,终端可以采用终端上设置的摄像头进行目标对象的?目息米集。
[0138]具体的,为了便于用户使用,在有前置摄像头的情况下,终端可以启动前置摄像头进行当前的目标对象的信息采集工作;在没有前置摄像头的情况下,终端可以启动后置摄像头,采集当前的目标对象的信息。
[0139]需要说明的是,本发明实施例中采集的目标对象的信息可能是人脸图像,也可能是其他的风景或动物的图像,因此,在采集目标对象之后,终端需要将采集到的目标对象进行检测,当该终端检测出目标对象为人脸图像时,就可以开始进行人脸关键点的定位了。
[0140]可以理解的是,在本发明实施例中,由于用户的生物特征信息是一个特征相同或者相似的用户的可能性很小。因此,采用用户生物特征信息中的人脸特征是不易被盗用或冒用的,因此,保密性非常好。
[0141]示例性的,如图3所示,假设手机A采用人脸进行了加密,当使用该手机A时,按键启动后,手机A的前置摄像头采集使用者的信息,当该手机A检测到使用者的信息为人脸图像时,按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域B并标注为矩形框。
[0142]S202、当i = I时,从预设的多个候选初始形状中确定第二初始形状,该第二初始形状为默认的。
[0143]终端将第i帧人脸图像上的目标检测区域进行标注之后,当i= l时,表征此时的目标对象为第I帧人脸图像,由于第I帧人脸图像没有前一帧的人脸图像的处理结果,因此,在i = l时,终端默认一个预设好的初始形状,即终端可以从多个候选的初始形状中确定一个第二初始形状最为第I帧人脸图像对应的人脸形状。
[0144]进一步地,本发明实施例中确定预设的多个候选初始形状,包括:设置不同人脸类别的人脸图像训练集;根据目标检测区域的大小和位置,将每个人脸图像训练集中的所有人脸图像的人脸关键点的位置进行归一化,得到所有人脸图像的初始形状;将所有人脸图像的初始形状的平均值作为候选初始形状;将不同的人脸类别对应的不同的候选初始形状,确定为预设的多个候选初始形状。
[0145]需要说明的是,本发明实施例中的确定预设的多个候选初始形状的【具体实施方式】可以利用现有的技术来实现,在此不再进行详细地描述。
[0146]需要说明的是,如果将人脸关键点的位置根据目标检测区域(例如,人脸检测框)的位置和大小进行归一化,例如将人脸检测框归一化为长度为I,中心在(0,0)的标准人脸检测框,将人脸关键点的位置坐标也做转换到相应的坐标系中,那么我们得到的不是一个人脸关键点的具体位置,而是一个人脸关键点与人脸检测框的相对关系,我们称之为一个形状(人脸形状)。反之,如果给定一个形状和一个人脸检测框,我们可以计算出具体的人脸关键点的位置了。
[0147]S203、根据目标检测区域和第二初始形状,计算第i帧人脸图像的初始人脸关键点的位置。
[0148]终端确定第二初始形状和目标检测区域之后,由于获知了一个人脸关键点与目标检测区域的相对关系(第二初始形状),因此,该终端就可以根据该目标检测区域,计算出第I帧人脸图像的初始人脸关键点的位置了。
[0149]S204、将第i帧人脸图像的初始关键点的位置进行迭代回归,得到第i帧人脸图像的人脸关键点的位置。
[0150]终端计算第i帧人脸图像的初始人脸关键点的位置之后,该终端已经得到了初始人脸关键点的位置了,为了使得人脸关键点更加精确,该终端就将第i帧人脸图像的初始关键点的位置进行迭代回归,得到第i帧人脸图像的人脸关键点的位置。
[0151]需要说明的是,如图7所示,S204具体包括:S2041-S2043。具体如下:
[0152]S2041、对第i帧人脸图像的初始关键点位置提取第一特征。
[0153]需要说明的是,在本发明实施例中第一特征是用于描述人脸特征的参数,也称为特征描述子;基于不同的需求和侧重,本发明实施例可以相应选取,为了提稳定性可以组合使用,具体如下:终端对第i帧人脸图像的初始关键点位置提取SIFT特征、HOG特征或者SURF中的至少一项。
[0154]S2042、将第一特征进行线性回归,得到第一偏移量。
[0155]S2043、将第i帧人脸图像的初始人脸关键点的位置位移第一偏移量,得到第i帧人脸图像的人脸关键点的位置。
[0156]下面将以人脸特征值为HOG特征值(也称为HOG数据特征)进行举例,在本发明实施例中,使用到的HOG特征原理:HOG的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。通过将整幅图像分割成小的连接区域(称为cells),每个cell生成一个方向梯度直方图或者cell中pixel的边缘方向,这些直方图的组合可表示出(所检测目标对象)描述子。为改善准确率,局部直方图可以通过计算图像中一个较大区域(称为block)的光强作为measure被对比标准化,然后用这个值(measure)归一化这个block中的所有cells.这个归一化过程完成了更好的照射/阴影不变性。
[0157]与其他描述子相比,HOG得到的描述子保持了几何和光学转化不变性(除非物体方向改变)。因此,HOG描述子尤其适合人脸的检测。
[0158]具体的,H0G特征提取方法就是将一个image进行了下面的过程:
[0159]1、灰度化(将图像看做一个x,y,z(灰度)的三维图像);
[0160]2、划分成小 cells(2*2);
[0161 ] 3、计算每个cell中每个pixel的gradient(即orientat1n);
[0162]4、统计每个cel I的梯度直方图(不同梯度的个数),即可形成每个cel I的descripto