基于特征金字塔的人脸检测方法及装置与流程

本发明涉及图像处理，具体而言，涉及一种基于特征金字塔的人脸检测方法及装置。

背景技术：

1、鉴于图像人脸的多尺度变化，工业界目前的主流做法是基于特征金字塔的人脸检测模型。然而在现有的基于特征金字塔的模型中仍无法满足工业界在小尺度人脸检测、多尺度多人脸检测等复杂场景下，对人脸检测高准确率的进一步需求。例如：采用级联结构构建人脸图像金字塔的cascade cnn模型虽然在一定程度上缓解了在开放场景中对光照、角度等敏感的问题，但是存在在高分辨率图像中减小人脸的检测数量上限，因此无法适用于小尺度多人脸的场景需求；基于三层网络结构的mtcnn模型在大尺度单人脸检测上具有较好的效果，但是由于在mtcnn模型中，大型锚框相关联的顶层金字塔缺乏上下文信息，无法利用两个相邻尺度的不同潜在特征，因此当多目标人脸被分配到不同的金字塔层级时，会产生空间信息缺失的问题，也无法利用特征金字塔各层的全局信息，因此在多尺度多人脸检测中存在准确率较低的问题。

2、针对上述相关技术中使用的多尺度人脸检测方式，检测结果准确率较低的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种基于特征金字塔的人脸检测方法及装置，以至少解决相关技术中使用的多尺度人脸检测方式，检测结果准确率较低的技术问题。

2、根据本发明实施例的一个方面，提供了一种基于特征金字塔的人脸检测方法，包括：获取目标人脸图像，其中，所述目标人脸图像是需要进行人脸检测的图像；利用人脸识别模型中的lp重叠池化层对所述目标人脸图像的每个区域进行特征提取，得到第一人脸特征信息，其中，所述人脸识别模型是基于特征金字塔网络的模型，并通过多组训练数据通过机器学习训练得到，所述多组训练数据中的每一组训练数据均包括：样本人脸图像和所述样本人脸图像的样本检测结果；利用所述人脸识别模型中的自适应指数池化层对所述目标人脸图像的每个区域进行特征提取，得到第二人脸特征信息；将所述第一人脸特征信息和所述第二人脸特征信息进行融合，得到人脸特征融合信息；利用所述人脸识别模型中的卷积层对所述人脸特征融合信息进行特征提取，得到第三人脸特征信息；利用所述人脸识别模型中的预测模块对所述第三人脸特征信息进行处理，得到所述目标人脸图像对应的人脸检测结果。

3、可选地，所述人脸识别模型采用resnet50网络作为骨干网络，并且所述人脸识别模型将在每一级内不改变所述目标人脸图像的尺寸的卷积层作为一个网络阶段。

4、可选地，所述人脸识别模型的通道增强模块包括尺寸为1*1的卷积块一和尺寸为3*3的卷积块二。

5、可选地，在利用人脸识别模型中的lp重叠池化层对所述目标人脸图像的每个区域进行特征提取，得到第一人脸特征信息以及利用所述人脸识别模型中的自适应指数池化层对所述目标人脸图像的每个区域进行特征提取之前，该基于特征金字塔的人脸检测方法还包括：利用所述卷积块一对所述目标人脸图像进行特征提取，得到第四人脸特征信息，并利用所述卷积块二对所述目标人脸图像进行特征提取，得到第五人脸特征信息；将所述第四人脸特征信息和所述第五人脸特征信息进行拼接，得到拼接后的人脸特征信息。

6、可选地，利用人脸识别模型中的lp重叠池化层对所述目标人脸图像的每个区域进行特征提取，得到第一人脸特征信息，包括：确定所述lp重叠池化层的滑动步长为1；基于所述滑动步长对所述目标人脸图像进行区域分割，得到所述目标人脸图像的多个重叠区域；对所述多个重叠区域进行特征提取，得到所述第一人脸特征信息。

7、可选地，利用所述人脸识别模型中的自适应指数池化层对所述目标人脸图像的每个区域进行特征提取，得到第二人脸特征信息，包括：确定所述自适应指数池化层中dsc池化层和em池化的池化比例；对所述目标人脸图像的每个区域按照所述池化比例进行dsc池化层和em池化，得到所述第二人脸特征信息。

8、可选地，将所述第一人脸特征信息和所述第二人脸特征信息进行融合，得到人脸特征融合信息，包括：利用relu激活函数对所述第一人脸特征信息进行处理，得到第一权重向量；利用sigmod激活函数对所述第二人脸特征信息进行处理，得到第二权重向量；基于所述第一权重向量、所述第二权重向量以及所述目标人脸图像，对所述第一人脸特征信息和所述第二人脸特征信息进行融合，得到所述人脸特征融合信息。

9、根据本发明实施例的另外一个方面，还提供了一种基于特征金字塔的人脸检测装置，包括：获取单元，用于获取目标人脸图像，其中，所述目标人脸图像是需要进行人脸检测的图像；第一提取单元，用于利用人脸识别模型中的lp重叠池化层对所述目标人脸图像的每个区域进行特征提取，得到第一人脸特征信息，其中，所述人脸识别模型是基于特征金字塔网络的模型，并通过多组训练数据通过机器学习训练得到，所述多组训练数据中的每一组训练数据均包括：样本人脸图像和所述样本人脸图像的样本检测结果；第二提取单元，用于利用所述人脸识别模型中的自适应指数池化层对所述目标人脸图像的每个区域进行特征提取，得到第二人脸特征信息；融合单元，用于将所述第一人脸特征信息和所述第二人脸特征信息进行融合，得到人脸特征融合信息；第三提取单元，用于利用所述人脸识别模型中的卷积层对所述人脸特征融合信息进行特征提取，得到第三人脸特征信息；处理单元，用于利用所述人脸识别模型中的预测模块对所述第三人脸特征信息进行处理，得到所述目标人脸图像对应的人脸检测结果。

10、可选地，所述人脸识别模型采用resnet50网络作为骨干网络，并且所述人脸识别模型将在每一级内不改变所述目标人脸图像的尺寸的卷积层作为一个网络阶段。

11、可选地，所述人脸识别模型的通道增强模块包括尺寸为1*1的卷积块一和尺寸为3*3的卷积块二。

12、可选地，该基于特征金字塔的人脸检测装置还包括：第四提取单元，用于在利用人脸识别模型中的lp重叠池化层对所述目标人脸图像的每个区域进行特征提取，得到第一人脸特征信息以及利用所述人脸识别模型中的自适应指数池化层对所述目标人脸图像的每个区域进行特征提取之前，利用所述卷积块一对所述目标人脸图像进行特征提取，得到第四人脸特征信息，并利用所述卷积块二对所述目标人脸图像进行特征提取，得到第五人脸特征信息；拼接单元，用于将所述第四人脸特征信息和所述第五人脸特征信息进行拼接，得到拼接后的人脸特征信息。

13、可选地，所述第一提取单元，包括：第一确定模块，用于确定所述lp重叠池化层的滑动步长为1；分割模块，用于基于所述滑动步长对所述目标人脸图像进行区域分割，得到所述目标人脸图像的多个重叠区域；提取模块，用于对所述多个重叠区域进行特征提取，得到所述第一人脸特征信息。

14、可选地，所述第二提取单元，包括：第二确定模块，用于确定所述自适应指数池化层中dsc池化层和em池化的池化比例；池化模块，用于对所述目标人脸图像的每个区域按照所述池化比例进行dsc池化层和em池化，得到所述第二人脸特征信息。

15、可选地，所述融合单元，包括：第一处理模块，用于利用relu激活函数对所述第一人脸特征信息进行处理，得到第一权重向量；第二处理模块，用于利用sigmod激活函数对所述第二人脸特征信息进行处理，得到第二权重向量；融合模块，用于基于所述第一权重向量、所述第二权重向量以及所述目标人脸图像，对所述第一人脸特征信息和所述第二人脸特征信息进行融合，得到所述人脸特征融合信息。

16、根据本发明实施例的另外一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行上述中任意一种所述的基于特征金字塔的人脸检测方法。

17、根据本发明实施例的另外一个方面，还提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时执行上述中任意一种所述的基于特征金字塔的人脸检测方法。

18、在本发明实施例中，获取目标人脸图像，其中，目标人脸图像是需要进行人脸检测的图像；利用人脸识别模型中的lp重叠池化层对目标人脸图像的每个区域进行特征提取，得到第一人脸特征信息，其中，人脸识别模型是基于特征金字塔网络的模型，并通过多组训练数据通过机器学习训练得到，多组训练数据中的每一组训练数据均包括：样本人脸图像和样本人脸图像的样本检测结果；利用人脸识别模型中的自适应指数池化层对目标人脸图像的每个区域进行特征提取，得到第二人脸特征信息；将第一人脸特征信息和第二人脸特征信息进行融合，得到人脸特征融合信息；利用人脸识别模型中的卷积层对人脸特征融合信息进行特征提取，得到第三人脸特征信息；利用人脸识别模型中的预测模块对第三人脸特征信息进行处理，得到目标人脸图像对应的人脸检测结果。通过本发明提供的技术方案，实现了通过构建一个多尺度人脸检测模型，利用全新的lp重叠池化以及自适应指数池化从而在关注重要特征的同时充分利用特征图的全局信息，最后通过引入通道注意力将图像的重要特征集中到权重向量中，通过与原始特征图相乘保留有价值的特征；自适应池化空间注意力模块通过自适应池化充分挖掘通道信息，利用空间注意机制整合上下文信息以进行人脸检测的目的，提高了人脸检测的准确性，进而解决了相关技术中使用的多尺度人脸检测方式，检测结果准确率较低的技术问题。