本技术涉及人脸识别领域,尤其涉及人脸识别方法和系统。
背景技术:
1、人脸识别技术在日常生活中已越发常见,例如道路监控、手机解锁、安检检验等场景均需要运用人脸识别技术,但如果口罩遮挡脸部,则会使得人脸识别技术的准确率出现下降。
2、现有技术中,基于遮挡的人脸识别问题主要分为两种研究思路,分别是突出图像中的人脸区域和弱化图像中的非人脸的背景区域,并尽量扩大用于模型训练和测试的数据集来提高识别效果。
3、现有技术对遮挡人脸识别有显著的效果,但是针对人群通行场景下截得的戴口罩人脸识别,其遮挡人脸数据集依旧不够丰富,且人脸识别技术的模型存在训练难度大、稳定性不高,且受损失函数的影响比较大等问题。同时,由于口罩遮挡图像为监控截取,监控截取的图像的分辨率低且尺寸较小,导致人脸识别准确率较低。
技术实现思路
1、本技术提供了人脸识别方法和系统,用于提高遮挡人脸识别准确率。
2、第一方面,本技术提供了人脸识别方法,该方法包括:
3、获取待识别人脸图像,所述待识别人脸图像包括遮挡区域和非遮挡区域;
4、通过训练后的遮挡人脸识别模型中的特征提取网络,对所述待识别人脸图像进行特征提取得到第一特征图;
5、通过所述训练后的遮挡人脸识别模型中的特征增强网络,对所述第一特征图中的非遮挡区域特征进行增强得到第二特征图;
6、通过所述训练后的遮挡人脸识别模型中的人脸识别网络,对所述第二特征图进行识别得到所述待识别人脸图像的人脸识别结果。
7、采用上述技术方案,获取待识别的遮挡人脸图像后,通过特征提取网络对人脸图像进行特征提取,通过特征增强网络对非遮挡区域的特征进行增强,通过人脸识别网络得到人脸识别结果,特征提取网络可以增强人脸特征在低分辨率下的鲁棒性和分类能力,并且人脸的非遮挡区域特征更明显,特征增强网络对非遮挡区域特征进行加权,从而使得人脸识别结果准确率更高。
8、优选的,所述通过训练后的遮挡人脸识别模型中的特征提取网络,对所述待识别人脸图像进行特征提取得到第一特征图的步骤,具体包括:
9、将所述待识别人脸图像进行分块处理,得到若干个子块;
10、对所述子块进行cs-lbp特征提取,得到所述子块的cs-lbp特征;
11、对所述若干个子块的cs-lbp特征进行直方图统计,得到图像特征;
12、对所述图像特征进行加权pca降维处理,得到所述第一特征图。
13、采用上述技术方案,对待识别人脸图像进行分块处理,并将得到的子块进行cs-lbp特征提取,通过局部纹理提取增强人脸特征在低分辨率下的鲁棒性和分类能力,将子块的cs-lbp特征进行直方图统计得到图像特征,图像特征通过加权pca进行降维处理能有效去除冗余信息,减少环境因素造成的干扰,从而有效解决监控截取的图像的分辨率低且尺寸较小,导致人脸识别准确率较低的问题,进而提高了人脸识别的准确率。
14、优选的,所述将所述待识别人脸图像进行分块处理,得到若干个子块的步骤,具体包括:
15、通过高斯金字塔对所述待识别人脸图像进行三层尺度空间的下采样,得到采样图像;
16、将所述采样图像分为22b(2b·2b)块,得到22b(2b·2b)个子块,所述b为分块级数。
17、采用上述技术方案,通过高斯金字塔对待识别人脸图像进行三层尺度空间的下采样得到采样图像后,将采样图像分为22b(2b·2b)块,采用合适的分块级数可以使分块图像表示的局部区域的人脸信息得到充分表达,并且减少处理过程中的噪声。
18、优选的,所述对所述子块进行cs-lbp特征提取的步骤,具体包括:
19、获取所述子块的中心像素点的灰度值以及周围像素点的灰度值,将所述中心像素点的灰度值与所述周围像素点的灰度值进行对比,得到所述子块的cs-lbp编码值;所述子块的cs-lbp编码值为:
20、
21、其中,cs-lbpp,r,ε为子块的cs-lbp编码值,p为像素采样点个数,gi为像素灰度值,s(x)为像素点灰度值比较结果,所述s(x)的表达式为:
22、
23、采用上述技术方案,获取子块的中心像素点的灰度值以及周围像素点的灰度值,将中心像素点的灰度值与周围像素点的灰度值进行对比,得到子块的cs-lbp编码值,从而可以捕获图像中边缘和突出的纹理信息,并且本方案的比较阈值设置较小,使得cs-lbp特征在平面图像上的鲁棒性更强。
24、优选的,所述对所述图像特征进行加权pca降维处理的步骤,具体包括:
25、将图像特征转换为协方差矩阵,计算所述协方差矩阵的特征值和特征向量;
26、基于预置的降低维度、预置的加权矩阵以及所述协方差矩阵的特征值和特征向量得到加权的映射变换矩阵;
27、根据所述加权的映射变换矩阵以及所述协方差矩阵的特征向量得到具有主成分投影矩阵的第一特征图。
28、采用上述技术方案,将图像特征转换为协方差矩阵,计算协方差矩阵的特征值和特征向量,基于预置的降低维度、预置的加权矩阵以及协方差矩阵的特征值和特征向量得到加权的映射变换矩阵,根据加权的映射变换矩阵以及协方差矩阵的特征向量得到具有主成分投影矩阵的第一特征图;在分块级数b较大的情况下,得到人脸图像特征维度较高,并包含较多冗余信息,并且人脸图像在一些客观条件改变时容易在同一类样本间造成比较大的差异,这种差异对较大特征值对应的主成分影响较大,即也就是大特征值对应的主成分更容易受环境因素影响(比如光照,姿态变化等),本技术对图像特征采用加权pca降维处理,可降低特征维度,减少环境因素造成的干扰。
29、优选的,所述通过所述训练后的遮挡人脸识别模型中的特征增强网络,对所述第一特征图中的非遮挡区域特征进行增强得到第二特征图的步骤,具体包括:
30、将所述第一特征图输入至特征增强网络的多注意力模块,得到注意力模块输出结果,所述多注意力模块包括通道注意力模块、空间注意力模块以及全局注意力模块;
31、将所述注意力模块输出结果输入至特征增强网络的特征向量提取模块,得到所述第二特征图。
32、采用上述技术方案,将第一特征图输入至特征增强网络的多注意力模块,得到注意力模块输出结果,将注意力模块输出结果输入至特征增强网络的特征向量提取模块,得到第二特征图,多注意力模块包括通道注意力模块、空间注意力模块以及全局注意力模块,引入空间注意力模块充分利用了遮挡人脸空间上的信息,例如眼睛、眉毛、额头部分的纹理信息;同时,将全局注意力模块、空间注意力模块、通道注意力模块生成的特征图进行叠加融合,从而增强了非遮挡区域的特征权重。
33、优选的,所述将所述注意力模块输出结果输入至特征增强网络的特征向量提取模块,得到所述第二特征图的步骤,具体包括:
34、将所述注意力模块输出结果输入至第一深度可分离卷积层,得到第一深度可分离卷积层的输出结果;
35、将所述第一深度可分离卷积层的输出结果输入至瓶颈层,得到瓶颈层的输出结果;
36、将所述瓶颈层的输出结果输入至卷积层,得到卷积层的输出结果;
37、将所述卷积层的输出结果输入至第二深度可分离卷积层,得到所述第二特征图。
38、采用上述技术方案,特征增强网络还包括特征向量提取模块,将注意力模块输出结果输入至特征向量提取模块,特征向量提取模块采用轻量级的mobilenetv2子网络,需要的样本数量较少,能保留更多的特征信息,提高网络的表征能力。
39、优选的,在所述获取待识别人脸图像之前,还包括:
40、基于已标记的样本图像训练初始遮挡人脸识别模型,得到训练后的遮挡人脸识别模型,训练所述初始遮挡人脸识别模型的损失函数为arcface损失函数。
41、采用上述技术方案,在对待识别人脸图像进行识别之前,对初始遮挡人脸识别模型进行训练,得到训练后的遮挡人脸识别模型,通过训练后的遮挡人脸识别模型对待识别人脸图像进行识别;采用arcface损失函数训练初始遮挡人脸识别模型,arcface损失函数无需与其他损失函数结合即可获得稳定的性能,并且可以轻松收敛于任何训练数据集。
42、第二方面,本技术提供了人脸识别系统,该系统包括:
43、图像获取模块,用于获取待识别人脸图像,所述待识别人脸图像包括遮挡区域和非遮挡区域;特征提取模块,用于通过训练后的遮挡人脸识别模型中的特征提取网络,对所述待识别人脸图像进行特征提取得到第一特征图;
44、特征增强模块,用于通过所述训练后的遮挡人脸识别模型中的特征增强网络,对所述第一特征图中的非遮挡区域特征进行增强得到第二特征图;
45、人脸识别模块,用于通过所述训练后的遮挡人脸识别模型中的人脸识别网络,对所述第二特征图进行识别得到所述待识别人脸图像的人脸识别结果。
46、本技术实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
47、1、本技术采用了多尺度分块cs-lbp特征与加权pca特征融合的特征提取算子提取待处理图像的特征,通过局部纹理提取增强人脸特征在低分辨率下的鲁棒性和分类能力,通过加权pca方法有效去除冗余信息,减少环境因素造成的干扰,有效解决了监控截取的图像的分辨率低且尺寸较小,导致人脸识别准确率较低的问题,进而提高了人脸识别的准确率;
48、2、本技术引入了空间注意力,充分利用遮挡人脸上部分信息,例如眼睛、眉毛、额头部分的纹理信息;同时,将全局注意力模块、空间注意力模块、通道注意力模块生成的特征图进行叠加融合,增强了非遮挡区域的特征权重,使从而增加了对于遮挡人脸的识别准确率。