一种基于卷积神经网络的密集小型人脸检测方法及系统

本发明涉及图像处理，特别是一种基于卷积神经网络的密集小型人脸检测方法及系统。

背景技术：

1、人脸检测是目标检测中的一个种类，人脸检测其主要任务是判断给定的人脸图像上是否存在人脸，如果存在人脸，则给出人脸所处的位置和置信度分数的大小。在我们的大脑中，有专门的人脸检测模块，可以看出它的重要性；处于社会生活的需要，人脸检测也变得越加重要，人脸检测是人脸图像分析的一系列应用的基础，优秀的人脸检测算法稍加改动就可以应用到：人脸识别和验证，监控场合的人脸跟踪，面部表情分析，面部属性识别等方面，同时，人脸检测是所有现代基于视觉的人与电脑，人与机器的交互系统的初始步骤，而且，现如今很多的社交网络中也用人脸检测机制实现人物标记，当下最火的自动驾驶技术，也少不了人脸检测技术的应用。由此可以看出，在日新月异的今天，人脸检测这项技术会越来越重要。

2、密集小型人脸检测是一项具有挑战的任务，目前小型人脸检测有以下痛点：可利用特征少，小型人脸属于小目标检测领域，而小目标的分辨率比较低，可视化信息比较少，特征模糊难以分辨；现有数据集中含有小型人脸的数据占比少，目前人脸检测常用的数据集是wider face数据集，但是小型人脸在其中的占比不多，同时，小型人脸的标注是由人工来完成的，所以对其的辨别也不是100％的准确，这导致检测模型不能很好的学习小型人脸相关的信息，检测精度低下；样本不均衡，当前目标检测大多采用锚框机制，每个目标会生成很多锚框，但是只有其中一个是要保留的锚框，是正样本，其余都是负样本，这导致正样本很少而负样本极多，导致了样本不均衡的问题，最终使得小型人脸检测精度降低；定位难度大，小型人脸由于目标较小，导致边界框的面积也很小，一点点的偏差都会使框的回归出现问题，没法准确定位到目标；小目标聚集，在卷积神经网络中，一张图片经过层层卷积，其输出的特征图相较于原图会缩小很多倍，那么原图中密集的小型人脸在特征图中就会出现覆盖的现象，因此检测模型难以将他们正确分离，nms算法也有可能滤去正确的预测框，出现漏检的现象。

技术实现思路

1、鉴于现有的基于卷积神经网络的密集小型人脸检测方法及系统中存在的问题，提出了本发明。

2、因此，本发明的目的是针对以上目前能解决的小型人脸检测问题进行了综合，如加强特征提取来应对可利用特征少的问题；改进损失函数来应对样本不均衡问题；数据增强来应对样本不足问题等。同时本发明综合考虑检测速度和精准问题，不设计庞大的网络模型，以轻量化为主，设计一种可部署在移动端，实时而准确的进行密集小型人脸的检测，便于企业软件的使用和部署。

3、为解决上述技术问题，本发明提供如下技术方案：

4、第一方面，本发明实施例提供了一种基于卷积神经网络的密集小型人脸检测方法，其包括采集图片数据集并标注人脸数据，对图片数据集进行预处理，增加图片中小型人脸的数量；对网络结构进行设计，具体为以mobilenetv3为基础，引入ghost卷积和leakyrelu激活函数对骨干网络进行改进；将spp模块、fpn和pan结合以加强第一层特征提取网络；对于第二层特征提取网络，采用ssh模块，从全局观察特征，进行上下文特征的融合；输出有效特征层；根据所述有效特征层获取预测结果，训练网络最终实现对人脸的有效检测；所述预测结果包括分类预测结果、框的回归预测结果和人脸关键点的回归预测结果。

5、作为本发明所述基于卷积神经网络的密集小型人脸检测方法的一种优选方案，其中：所述人脸数据包括模糊程度、表情、光照、遮挡，以及姿态；所述对图片数据集进行预处理具体为将所述数据集根据一定比例划分为训练集、验证集和测试集，并对其中一部分图片进行随机裁剪和拼接，进行copypasting，目的是增加图片中小型人脸的数量，并在训练集中对人脸进行真实框的标注，以及人脸关键点的标注，所述人脸关键点包括人的双眼、嘴角的两端和鼻尖上。

6、作为本发明所述基于卷积神经网络的密集小型人脸检测方法的一种优选方案，其中：所述mobilenetv3的核心是bneck模块，所述bneck模块包括1*1卷积模块、深度可分离卷积模块和深度可分离中加入的通道注意力机制模块；所述引入ghost卷积和leakyrelu激活函数对骨干网络进行改进包括将原本的bneck结构中头部的1*1卷积和深度可分离模块中的1*1卷积，也即尾部，变为ghost卷积；将原本深度可分离卷积模块中的relu激活改进为leaky relu激活函数。

7、作为本发明所述基于卷积神经网络的密集小型人脸检测方法的一种优选方案，其中：所述将spp模块、fpn和pan结合以加强特征提取网络包括在fpn进行之前，添加一个spp模块，头尾是两个3*3卷积，中间分别的5*5、9*9和13*13的三种最大池化的特征通道数量的融合。

8、作为本发明所述基于卷积神经网络的密集小型人脸检测方法的一种优选方案，其中：所述采用ssh模块，从全局观察特征，进行上下文特征的融合；输出有效特征层包括添加ssh模块，进行上下文的融合，具体为在ssh输出模块的后面添加一个leakyrelu激活函数，以有效降低特征提取过程中的信息丢失，最后再添加一个可变形卷积模块—dcnv1，进一步精细化特征提取。

9、作为本发明所述基于卷积神经网络的密集小型人脸检测方法的一种优选方案，其中：所述输出有效特征层包括如下步骤：通过ssh模块获得三个有效特征层，每个特征层都会获得三个预测结果，这三个有效特征层相当于将整幅图像划分成不同大小的网格，当输入进来的图像是(640,640,3)时，得到的输出图片分别为(80,80,64)，(40,40,64)，(20,20,64)，以(20,20,64)为例，相当于将原图像划分成20x20的网格，每个网格上有两个先验框，每个先验框代表图片上的一定区域；所述预测结果包括人脸分类预测结果，框的回归预测结果和人脸关键点预测结果；所述预测结果用来判断先验框内部是否包含人脸，并且对包含人脸的先验框进行调整获得预测框与人脸关键点。

10、作为本发明所述基于卷积神经网络的密集小型人脸检测方法的一种优选方案，其中：所述训练网络最终实现对人脸的有效检测包括设计损失函数，所述损失函数由多任务损失函数构成，其中γ1和γ2为平衡三个损失的平衡因子，n为每批次输入样本数，n1为每批次图像中人脸关键点总数；总损失函数表示为：

11、

12、其中，第一部分代表人脸分类损失，其中是人脸面积损失平衡因子，ti是正样本对应预测框的位置的集合。

13、第二方面，本发明实施例提供了一种基于卷积神经网络的密集小型人脸检测系统，其包括数据集准备和预处理模块，用于创建并预处理包含多样人脸的图片数据集；网络骨干结构设计模块，用于构建和优化卷积神经网络的骨干结构，基于mobilenetv3，并通过ghost卷积和leaky relu进行改进；特征提取网络优化模块，用于加强系统的特征提取能力，通过spp模块、fpn和pan的融合来实现；有效特征层和预测模块，输出用于人脸检测的有效特征层，并基于所述有效特征层进行人脸分类、框回归和关键点定位的预测。

14、第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述处理器执行所述计算机程序时实现上述的基于卷积神经网络的密集小型人脸检测方法的任一步骤。

15、第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现上述的基于卷积神经网络的密集小型人脸检测方法的任一步骤。

16、本发明有益效果为本发明在人脸检测方面表现出很大地灵活性，尤其针对人脸遮挡严重和密集小型人脸的检测场景，同时对复杂场景下的检测也有良好的效果。该网络包含有三层创新结构，第一层的骨干网络，以现有的mobilenet v3为基础进行了进一步轻量化的创新，应用了最新的激活函数，使骨干网络能保持轻量化的同时增加识别物体准度的能力；第二层的特征提取网络，创新性地使用了三种模块结合来增强特征提取效果，第三层的特征提取网络充分考虑了图片中地上下文信息，创新性地将ssh模块和可变形卷积模块相结合，精细化特征提取，使本网络模型大大提高了小型人脸检测地准确率。本发明在对被测图片进行检测时，采用多尺度检测方式，能够获取到更多被遮挡的人脸以及小分辨率人脸的信息，进一步提高了人脸检测的准确率和查全率。因此本发明具有速度快，检测准的优点，完全可以适应移动端的部署，做到实时和准确。