施例提供的一种关键点的定位方法的流程图一;
[0060]图3为本发明实施例中的标注目标检测区域的示意图;
[0061]图4为本发明实施例提供的一种关键点的定位方法的流程图二;
[0062]图5为本发明实施例提供的一种关键点的定位方法的流程图三;
[0063]图6为本发明实施例提供的一种关键点的定位方法的流程图四;
[0064]图7为本发明实施例提供的一种关键点的定位方法的流程图五;
[0065]图8为本发明实施例提供的一种关键点的定位方法的流程图六;
[0066]图9为本发明实施例中的至少一个人脸检测区域的示意图;
[0067]图10为本发明实施例提供的一种关键点的定位方法的流程图七;
[0068]图11为本发明实施例中第1-Ι帧人脸图像;
[0069]图12为本发明实施例中第i帧人脸图像;
[0070]图13为本发明实施例中第1-Ι帧人脸图像进行人脸检测框(人脸检测区域)的示意图;
[0071]图14为本发明实施例中第i帧人脸图像进行人脸检测框(目标检测区域)的示意图;
[0072]图15为本发明实施例中第i帧人脸图像的人脸关键点定位的示意图;
[0073]图16为本发明实施例提供的一种关键点的定位方法的流程图八;
[0074]图17为本发明实施例提供的一种关键点的定位方法的流程图九;
[0075]图18为本发明实施例提供的一种终端的结构示意图一;
[0076]图19为本发明实施例提供的一种终端的结构示意图二;
[0077]图20为本发明实施例提供的一种终端的结构示意图三;
[0078]图21为本发明实施例提供的一种终端的结构示意图四;
[0079]图22为本发明实施例提供的一种终端的结构示意图五。
【具体实施方式】
[0080]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
[0081]图1为本发明实施例中进行信息交互的各种硬件实体的示意图,图1中包括:一个或多个服务器11?In、终端设备21-25及网络31,网络31中包括路由器,网关等等网络实体,图中并未体现。终端设备21-25通过有线网络或者无线网络与服务器进行信息交互,以便从终端21-25采集到相关的数据信息传输至服务器。终端设备的类型如图1所示,包括手机(终端23)、平板电脑或TOA(终端25)、台式机(终端22)、PC机(终端24)、一体机(终端21)等类型。其中,终端设备中安装有各种用户所需的应用,比如具备娱乐功能的应用(如视频应用,音频播放应用,游戏应用,阅读软件),又如具备服务功能的应用(如地图导航应用、团购应用、拍摄应用等)。
[0082]基于上述图1所示的系统,以用户所需的应用为拍摄应用为例,在进行人脸识别时,终端设备21-25通过网络31从服务器11?In中按照需求下载相机应用和/或拍摄应用更新数据包和/或与采集功能应用相关的数据信息或业务信息,采用本发明实施例,在终端设备上开启拍摄应用,进行目标对象的采集工作,检测出该目标对象为人脸图像,按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注,i 2 I;当i>l时,根据前一帧与当前帧的相似度匹配策略,由第1-Ι帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别;根据第i帧人脸图像的人脸类别,从预设的多个候选初始形状中确定第一初始形状;根据目标检测区域和第一初始形状,计算第i帧人脸图像的初始人脸关键点的位置。采用上述技术实现方案,由于前一帧和当前帧相隔的时间较短,故前一帧人脸图像的人脸类别应与当前帧人脸图像的人脸类别一致(即前一帧与当前帧的相似度匹配策略)。于是,可以通过前一帧人脸图像的人脸类别确定当前帧的人脸类别,且本发明实施例中预设设置有与不同的人脸类别相对应的预设的多个候选初始形状。这样,就可以对当前帧人脸图像确定出一个与其人脸类别对应的第一初始形状。这样计算出的当前帧人脸图像的初始人脸关键点的位置可以基于单个人脸参数形状模型,并根据人脸的姿态,或者其他一些特征的人脸类别来确定的,避免了采用多个人脸参数形状模型处理时会出现的问题,因此,能够在使用较小的内存占用量的前提下,提高人脸关键点跟踪的精度,且无需耗费很多的资源,以降低终端硬件设备的处理难度。
[0083]上述图1的例子只是实现本发明实施例的一个系统架构实例,本发明实施例并不限于上述图1所述的系统结构,基于该系统架构,提出本发明各个实施例。
[0084]实施例一
[0085]本发明实施例提供一种关键点的定位方法,如图2所示,该方法可以包括:
[0086]S101、采集目标对象时,检测出该目标对象为人脸图像,按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注,i 2 I。
[0087]本发明实施例中,关键点的定位方法指的是人脸关键点的定位方法,人脸关键点的定位是指通过算法精确找出人脸关键点的位置。其中,人脸关键点是脸部一些表征能力强的关键点,比如眼睛、鼻子、嘴巴和脸部轮廓等。
[0088]可选的,如图3所示的人脸图像的初始关键点位置的示意图,本发明实施例中的关键点可以有49个关键点。
[0089]需要说明的是,本发明实施例中提供的关键点的定位方法的应用场景为:进行人脸识别定位、人脸追踪或人脸3D建_旲等情形中。
[0090]可选的,目标检测区域为进行目标对象检测而设定的监测区域,例如,人脸检测框等,该人脸检测框可以为矩形、圆形或椭圆等形状,本发明实施例可以根据实际应用设计目标检测区域,并不限制该目标监测区域的形式或形状。
[0091]可选的,本发明实施例中的终端可以为手机、平板及电脑等支持人脸识别定位技术的电子设备,且具有采集信息的功能。
[0092]具体的,终端支持人脸识别定位技术,在进行人脸关键点的定位时,首先要采集到待识别的目标对象,当终端检测检测出该目标对象为人脸图像后,该终端可以按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域并进行标注,使得标注过后的目标检测区域显示在人脸图像上,以进行人脸关键点的定位,i 2 I。
[0093]进一步地,第I帧的人脸图像的目标检测区域的位置可以初始默认为中心位置,例如,将人脸检测框(目标检测区域)归一化为长度为I时,标注中心在(0,0)的标准人脸检测框。第2帧之后的人脸图像的目标检测区域的位置可以由其处理前一帧人脸图像而得到的人脸关键点的位置来决定。
[0094]可选的,本发明实施例中的采集目标对象时,终端可以采用终端上设置的摄像头进行目标对象的?目息米集。
[0095]具体的,为了便于用户使用,在有前置摄像头的情况下,终端可以启动前置摄像头进行当前的目标对象的信息采集工作;在没有前置摄像头的情况下,终端可以启动后置摄像头,采集当前的目标对象的信息。
[0096]需要说明的是,本发明实施例中采集的目标对象的信息可能是人脸图像,也可能是其他的风景或动物的图像,因此,在采集目标对象之后,终端需要将采集到的目标对象进行检测,当该终端检测出目标对象为人脸图像时,就可以开始进行人脸关键点的定位了。
[0097]可以理解的是,在本发明实施例中,由于用户的生物特征信息是一个特征相同或者相似的用户的可能性很小。因此,采用用户生物特征信息中的人脸特征是不易被盗用或冒用的,因此,保密性非常好。
[0098]示例性的,如图3所示,假设手机A采用人脸进行了加密,当使用该手机A时,按键启动后,手机A的前置摄像头采集使用者的信息,当该手机A检测到使用者的信息为人脸图像时,按照预设配置在第i帧人脸图像上生成用于人脸识别定位的目标检测区域B并标注为矩形框。
[0099]S102、当i>l时,根据前一帧与当前帧的相似度匹配策略,由第1-Ι帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别。
[0100]终端将第i帧人脸图像上的目标检测区域进行标注之后,就只在该目标检测区域进行人脸关键点的定位,每一帧图像的相隔时间非常短,几乎人眼不可见,因此,当i>l时,该终端可以根据前一帧与当前帧的相似度匹配策略,根据第1-Ι帧人脸图像的人脸关键点信息预估得到第i帧人脸图像的人脸类别。
[0101]需要说明的是,在本发明实施例中,第1-1帧人脸图像的人脸关键点信息是前一次得到的人脸关键点的位置信息,该第1-Ι帧人脸图像的人脸关键点信息是与第i帧人脸图像的人脸类别相对应的,因此,根据前一帧与当前帧的相似度匹配策略,终端就可以估计出第i帧人脸图像的人脸类别。
[0102]需要说明的是,本发明实施例中,可以根据人脸图像中人脸的姿态,各种表情,光照或遮挡等对进行人脸类别的分类。具体的,把人脸关键点特征近似的人脸图像归为一类,这个是可以人为进行预先分类的。例如,对于人脸的姿态来说,可以分为三个类别,其中,脸部轮廓的位置在(-30?30)为正脸类别,(<_30)为左脸类别,(>30)为右脸类别。
[0103]需要说明的是,具体的人脸类别的划分可以根据实际情况而设计,本发明实施例并不作限制。
[0104]S103、根据第i帧人脸图像的人脸类别,从预设的多个候选初始形状中确定第一初始形状。
[0105]终端确定第i帧人脸图像的人脸类别之后,由于该终端中预先设置了多个不同人脸类型分别对应的多个候选初始形状,这样,就可以从该预设的多个候选初始形状中确定出与该第i帧人脸图像的人脸类别对应的第一初始形状,即第一初始形状与第i帧人脸图像的人脸类别相对应。
[0106]需要说明的是,如果将人脸关键点的位置根据目标检测区域(例如,人脸检测框)的位置和大小进行归一化,例如将人脸检测框归一化为长度为I,中心在(0,0)的标准人脸检测框,将人脸关键点的位置坐标也做转换到相应的坐标系中,那么我们得到的不是一个人脸关键点的具体位置,而是一个人脸关键点与人脸检测框的相对关系,我们称之为一个形状(人脸形状)。反之,如果给定一个形状和一个人脸检测框,我们可以计算出具体的人脸关键点的位置了。
[0107]进一步地,本发明实施例中确定预设的多个候选初始形状,包括:设置不同人脸类别的人脸图像训练集;根据目标检测区域的大小和位置,将每个人脸图像训练集中的所有人脸图像的人脸关键点的位置进行归一化,得到所有人脸图像的初始形状;将所有人脸图像的初始形状的平均值作为候选初始形状;将不同的人脸类别对应的不同的候选初始形状,确定为预设的多个候选初始形状。
[0108]示例性的,假设预先设置了左脸的候选初始形状为I,正脸的候选初始形状为2,右脸的候选初始形状为3,则当手机A确定第i帧人脸图像的人脸类别为左脸时,该手机A确定候选初始形状I为第一初始形状。于是,手机A在第i帧人脸图像的目标检测区域B中的显示的就是第一初始形状。
[0109]S104、根据目标检测区域和第一初始形状,计算第i帧人脸图像的初始人脸关键点的位置。
[0110]终端确定第一初始形状和目标检测区域之后,由于获知了一个人脸关键点与目标检测区域的相对关系(第一初始形状),因此,该终端就可以根据该目标检测区域,计算出第i帧人脸图像的初始人脸关键点的位置了。
[011