一种多模态人脸活体检测方法及系统与流程

文档序号:24238353发布日期:2021-03-12 13:12阅读:来源:国知局

技术特征:

1.一种多模态人脸活体检测方法,其特征在于,包括如下步骤:

s1、采集目标区域的彩色图像、红外图像及深度图像,并进行配准;

s2、对所述彩色图像进行人脸关键点检测,获得初始人脸框和人脸关键点信息;

s3、基于所述初始人脸框和所述人脸关键点信息对采集图像进行预处理,将预处理后图像进行裁剪,获取有效人脸图像;

s4、转换和/或归一化所述有效人脸图像,并将经过所述转换和/或归一化的有效人脸图像进行叠加;

s5、将所述叠加后的图像分别输送至至少三个不同架构的神经网络以提取不同人脸特征,合并所述不同人脸特征,获取合并特征图并进行活体判断。

2.如权利要求1所述的多模态人脸活体检测方法,其特征在于,步骤s2包括:

s20、将所述彩色图像输送至主干特征提取网络,输出三个第一有效特征层;

s21、对所述三个第一有效特征层进行处理,获得有效特征融合层;

s22、对所述有效特征融合层进行加强特征提取,输出第二有效特征层;

s23、根据所述第二有效特征层进行人脸预测,获得所述初始人脸框和所述人脸关键点信息。

3.如权利要求1所述的多模态人脸活体检测方法,其特征在于:步骤s3包括:

s30、根据所述人脸关键点的坐标信息,计算其中两个关键点的距离,并判断计算出的距离是否在两个关键点的预设距离范围内,过滤掉不符合预设尺寸的人脸图像,获取彩色有效人脸图像;

s31、对所述彩色有效人脸图像的对应红外图像进行人脸轮廓检测和平均亮度计算,判断所述红外图像是否包含完整的人脸轮廓及活体,以获取红外有效人脸图像;

s32、基于所述人脸关键点信息,获取所述红外有效人脸图像对应的深度图像中对应的人脸关键点的深度值,并判断人脸关键点是否在预设有效范围内且深度值的相对分布关系是否符合预设深度分布,以获取最终有效处理图像;

s33、根据所述有效处理图像,基于所述人脸关键点的坐标信息对所述彩色图像、所述红外图像及所述深度图像进行裁剪,分别得到第一有效人脸图像、第二有效人脸图像及第三有效人脸图像。

4.如权利要求1所述的多模态人脸活体检测方法,其特征在于,步骤s5包括:

s50、将所述叠加后的图像分别输入至少三个不同架构的神经网络,对所述有效人脸图像的不同特征部分进行特征提取;

s51、将所述不同特征部分的特征图进行合并,获得合并特征图,并通过全连接层将所述合并特征图连接生成一个与神经元数量相同维度的特征向量;

s52、通过逻辑回归,将经过所述全连接层获取的所述特征向量平均输入至soft-max层,进行活体判断。

5.如权利要求3所述的多模态人脸活体检测方法,其特征在于:步骤s4中,将所述第一有效人脸图像转换为ycrcb人脸图像,并对所述第二有效人脸图像和所述第三有效人脸图像进行归一化处理,将所述归一化处理后的第二有效人脸图像、第三有效人脸图像及所述ycrcb人脸图像进行叠加,得到所述叠加后的图像。

6.一种多模态人脸活体检测系统,其特征在于,包括:采集相机、图像配准模块、图像检测模块、图像裁剪模块、图像融合模块以及活体判断模块;其中,

所述采集相机用于采集彩色图像、红外图像及深度图像;

所述图像配准模块用于获取所述采集相机采集的所述彩色图像、所述红外图像及所述深度图像,并对所述彩色图像、所述红外图像及所述深度图像进行配准;

所述图像检测模块包括彩色人脸检测单元与图像预处理单元;其中,所述彩色人脸检测单元用于检测人脸并获取初始人脸框及人脸关键点信息;所述图像预处理单元用于对所述初始人脸框和所述人脸关键点信息进行处理以获取有效处理图像;

所述图像裁剪模块用于对所述有效处理图像对应的彩色图像、红外图像及深度图像进行裁剪,得到不同的有效人脸图像;

所述图像融合模块用于转换和/或归一化有效人脸图像,并将经过转换和/或归一化的有效人脸图像进行叠加,得到融合图像;

所述活体判断模块包括至少三种不同的神经网络架构,通过搭建不同的神经网络架构对融合图像进行不同特征提取以获得不同特征图,将不同特征图进行合并,获取合并特征图,并根据合并特征图进行活体判断。

7.如权利要求6所述的多模态人脸活体检测系统,其特征在于:所述图像预处理单元根据所述人脸关键点的坐标信息,计算其中两个关键点的距离,并判断计算出的距离是否在所述两个关键点的预设距离范围内,以获得彩色有效人脸图像。

8.如权利要求7所述的多模态人脸活体检测系统,其特征在于:所述图像预处理单元还用于对所述彩色有效人脸图像的对应红外图像进行人脸轮廓检测和平均亮度计算,判断所述彩色有效人脸图像对应的红外图像是否包含完整的人脸轮廓及活体,以获得红外有效人脸图像。

9.如权利要求8所述的多模态人脸活体检测系统,其特征在于:所述图像预处理单元基于人脸关键点信息获取所述红外有效人脸图像对应的深度图像中对应的人脸关键点的深度值,并判断人脸关键点是否在预设有效范围内且深度值的相对分布关系是否符合预设深度分布,以获得有效处理图像。

10.如权利要求9所述的多模态人脸活体检测系统,其特征在于:

所述图像裁剪模块对所述有效处理图像对应的彩色图像、红外图像及深度图像进行裁剪,得到第一有效人脸图像、第二有效人脸图像及第三有效人脸图像;

所述图像融合模块将所述第一有效人脸图像转换为ycrcb人脸图像,并对所述第二有效人脸图像和所述第三有效人脸图像进行归一化处理,将所述归一化处理后的第二有效人脸图像、第三有效人脸图像及所述ycrcb人脸图像进行叠加,得到所述融合图像。


技术总结
本发明公开了一种多模态人脸活体检测方法及系统,包括:S1、采集目标区域的彩色图像、红外图像及深度图像,并进行配准;S2、根据彩色图像进行人脸关键点检测,获得初始人脸框和人脸关键点信息;S3、基于初始人脸框和人脸关键点信息对图像进行预处理,将预处理后图像进行裁剪,获取有效人脸图像;S4、转换和/或归一化有效人脸图像,并将经过转换和/或归一化的有效人脸图像进行叠加;S5、将叠加后的图像输送至不同架构的神经网络以提取不同人脸特征,合并所述不同人脸特征并进行活体判断;本发明提升了人脸活体检测的准确度,提高了人脸检测算法的鲁棒性及泛化能力,同时,检测时无需用户做出相应的配合动作,优化了用户的体验效果。

技术研发人员:辛冠希;高通;钱贝贝;黄源浩;肖振中
受保护的技术使用者:奥比中光科技集团股份有限公司
技术研发日:2020.11.25
技术公布日:2021.03.12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1