连续帧人脸关键点检测方法、装置、设备及存储介质与流程

文档序号:22879430发布日期:2020-11-10 17:36阅读:来源:国知局

技术特征:

1.一种连续帧人脸关键点检测方法,其特征在于,包括:

获取当前帧图像,并对所述当前帧图像进行至少两次不同尺度的缩放处理,得到当前帧第一缩放图像和当前帧第二缩放图像;其中,当前帧第一缩放图像的缩放比例小于当前帧第二缩放图像的缩放比例;

在所述当前帧第一缩放图像上检测出人脸区域;

根据预设的平均人脸关键点集、所述第二缩放图像,获取所述人脸区域在当前帧图像上的关键点集。

2.根据权利要求1所述的方法,其特征在于,根据预设的平均人脸关键点集、所述第二缩放图像,获取所述人脸区域在当前帧图像上的关键点集,包括:

根据所述人脸区域和预设的平均人脸关键点集,获取所述人脸区域在当前帧第二缩放图像上的初始关键点集;

在当前帧第一缩放图像上,以所述人脸区域在当前帧第二缩放图像上的初始关键点集作为初始位置,使用第一模型进行关键点检测,得到第一关键点集;

获取所述第一关键点集中关键点的最小外切矩形框rect-a,以及rect-a在当前帧第二缩放图像上的映射框rect-b;

根据rect-b和预设的平均人脸关键点集,获取所述rect-b在当前帧第二缩放图像上的初始关键点集;

以所述rect-b在当前帧第二缩放图像上的初始关键点集作为初始位置,使用第三模型进行关键点检测,得到第二关键点集;

根据当前帧第二缩放图像的缩放尺度对所述第二关键点集中的关键点的坐标数值进行相应倍数的放大处理,得到当前帧图像上的关键点集。

3.根据权利要求2所述的方法,其特征在于,若当前帧图像不是首帧图像,且已获取前一帧的关键点集;则所述方法还包括:

获取前一帧图像的第二关键点集在前一帧图像的第一缩放图像上的映射的关键点集;

以前一帧图像的第二关键点集在前一帧图像的第一缩放图像上的映射的关键点集为初始位置,通过第二模型进行关键点检测,得到当前帧第一缩放图像上的关键点集;

根据当前帧第一缩放图像上的关键点集中各个关键点的坐标均值和标准差,以及当前帧第一缩放图像的缩放比例、当前帧第二缩放图像的缩放比例,获取当前帧第一缩放图像上的关键点集在当前帧第二缩放图像上的关键点集landmark-b0;

以landmark-b0作为初始位置,使用第三模型进行关键点检测,得到第三关键点集;

根据当前帧第二缩放图像的缩放尺度对所述第三关键点集中的关键点的坐标数值进行相应倍数的放大处理,得到当前帧图像上的关键点集。

4.根据权利要求2所述的方法,其特征在于,所述第一模型、第二模型、第三模型是指预先经过训练的图像关键点检测模型,用于获取扰动图像的关键点集中各个关键点在对应的初始图像中的位置;其中,所述扰动图像是指对所述初始图像进行缩放、平移、旋转中任一或任多操作后所得到图像。

5.根据权利要求1-4中任一项所述的方法,其特征在于,还包括:

对当前帧图像的关键点集中目标关键点的位置关系进行第一次有效性校验;

若第一次有效性校验失败,则舍弃当前帧图像的关键点集;

若第一次有效性校验通过,则对当前帧图像的关键点集和前一帧图像的关键点集进行第二次有效性校验;

若第二次有效性校验通过,则保存当前帧的的关键点集;

若第二次有效性校验失败,则舍弃当前帧图像的关键点集。

6.根据权利要求5所述的方法,其特征在于,对当前帧图像的关键点集和前一帧图像的关键点集进行第二次有效性校验,包括以下任一或者任多方式:

方式一:根据当前帧图像的关键点集中各个关键点的平均位置、前一帧图像的关键点集中各个关键点的平均位置之间的坐标关系,判断第二次有效性校验是否成功;

方式二:根据当前帧图像的关键点集的外切矩形的长度、前一帧图像的关键点集的外切矩形的长度之间的关系,判断第二次有效性校验是否成功;

方式三:根据当前帧图像的关键点集的外切矩形的宽度、前一帧图像的关键点集的外切矩形的宽度之间的关系,判断第二次有效性校验是否成功。

7.一种连续帧人脸关键点检测装置,其特征在于,包括:

图像采集器,用于获取当前帧图像,并对所述当前帧图像进行至少两次不同尺度的缩放处理,得到当前帧第一缩放图像和当前帧第二缩放图像;其中,当前帧第一缩放图像的缩放比例小于当前帧第二缩放图像的缩放比例;

图像检测器,用于在所述当前帧第一缩放图像上检测出人脸区域;

图像处理器,用于根据预设的平均人脸关键点集、所述第二缩放图像,获取所述人脸区域在当前帧图像的关键点集。

8.根据权利要求7所述的装置,其特征在于,所述图像处理器,具体用于:

根据所述人脸区域和预设的平均人脸关键点集,获取所述人脸区域在当前帧第二缩放图像上的初始关键点集;

在当前帧第一缩放图像上,以所述人脸区域当前帧第二缩放图像上的初始关键点集作为初始位置,使用第一模型进行关键点检测,得到第一关键点集;

获取所述第一关键点集中关键点的最小外切矩形框rect-a,以及rect-a在当前帧第二缩放图像上的映射框rect-b;

根据rect-b和预设的平均人脸关键点集,获取所述rect-b在当前帧第二缩放图像上的初始关键点集;

以所述rect-b在当前帧第二缩放图像上的初始关键点集作为初始位置,使用第三模型进行关键点检测,得到第二关键点集;

根据当前帧第二缩放图像的缩放尺度对所述第二关键点集中的关键点的坐标数值进行相应倍数的放大处理,得到当前帧图像上的关键点集。

9.一种连续帧人脸关键点检测设备,其特征在于,包括:

存储器,用于存储程序;

处理器,用于执行所述存储器存储的所述程序,当所述程序被执行时,所述处理器用于执行如权利要求1-6中任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,包括:计算机程序,当其在计算机上运行时,使得计算机执行如权利要求1-6中任一项所述的方法。


技术总结
本发明提供一种连续帧人脸关键点检测方法、装置、设备及存储介质,该方法,包括:获取当前帧图像,并对所述当前帧图像进行至少两次不同尺度的缩放处理,得到当前帧第一缩放图像和当前帧第二缩放图像;其中,当前帧第一缩放图像的缩放比例小于当前帧第二缩放图像的缩放比例;在所述当前帧第一缩放图像上检测出人脸区域;根据预设的平均人脸关键点集、所述第二缩放图像,获取所述人脸区域在当前帧图像上的关键点集。本发明执行更少的人脸区域检测次数,不需要进行人脸区域的跟踪,从而简化人脸关键点的提取过程,减少计算量,提高人脸关键点检测的效率和准确率。

技术研发人员:苏磊;任泽
受保护的技术使用者:北京四维图新科技股份有限公司
技术研发日:2019.05.09
技术公布日:2020.11.10
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1