基于关键点检测的人脸误检识别方法、装置、介质和设备与流程

本发明公开基于关键点检测的人脸误检识别方法、装置、介质和设备，属于一般的图像数据处理或产生。

背景技术：

1、人脸检测技术在许多应用场景中都有广泛的应用，如安全监控、身份验证、智能手机解锁等。然而这些系统可能会出现误检的情况，影响其性能和用户体验。人脸误检过滤算法的意义在于提高人脸检测系统的准确性和鲁棒性，具体包括：

2、提高准确性：误检过滤算法可以有效地降低误检率，从而提高系统的准确性。这对于需要高度准确性的应用场景(如安全监控和身份验证)来说尤为重要；

3、增强系统鲁棒性：误检过滤算法可以帮助系统在各种环境和条件下更稳定地运行。例如，在复杂背景、光线变化、人脸姿态差异等情况下，误检过滤算法可以降低误检的可能性，使系统具有更强的适应性；

4、降低误报警的风险：在安全监控等应用中，误检可能导致错误的报警信息，从而浪费资源并引起不必要的恐慌。通过降低误检率，可以减少误报警的风险；

5、提高检测效率：误检过滤算法可以在早期阶段过滤掉错误检测结果，从而提高整个检测流程的效率，这对于需要实时处理大量数据的应用场景(如视频监控)来说是非常重要的。

6、现有的误检过滤方法主要可以归纳为以下几种：

7、传统机器学习方法：这类方法通常基于图像特征(如haar特征、lbp特征等)和机器学习分类器(如支持向量机svm、决策树等)进行误检过滤。这些方法的优点是计算量较小，但在处理复杂背景和光照变化时，鲁棒性较差；

8、集成学习方法：集成学习方法通过结合多个弱分类器的结果来提高检测和过滤误检的性能。典型的集成学习方法有adaboost、随机森林等。这类方法具有较好的鲁棒性和泛化能力，但可能需要较大的计算资源；

9、基于深度学习的方法：近年来深度学习在计算机视觉领域取得了显著的进展，基于深度学习的误检过滤方法主要包括卷积神经网络(cnn)和其他深度神经网络结构。这些方法可以自动学习图像中的特征表示，具有较高的准确性和鲁棒性，然而深度学习方法通常需要大量的计算资源和训练数据。

10、现有的方法其本质都是基于分类对误检人脸进行过滤，而现实场景中的人脸误检是多种多样的，分类算法进行误检人脸过滤容易发生误识别，导致非误检人脸样本被误识别为误检人脸，误检人脸被误识别为正常的人脸。另外，误检人脸多样性使得样本的搜集也比较困难，如果误检样本比较少，这使得最终训练的人脸误检识别模型鲁棒性较差。

技术实现思路

1、本发明的目的在于提供基于关键点检测的人脸误检识别方法、装置、介质和设备，以解决现有技术中，人脸误检识别样本需求大、计算资源需求大和鲁棒性较差的问题。

2、基于关键点检测的人脸误检识别方法，包括：

3、s1.样本采集，从视频中采集图像数据，使用人脸检测算法检测图像中的人脸框，裁剪图像中的人脸，对于检测出的正常人脸，对人脸的眼睛、鼻子、嘴巴进行标注，对于误检人脸标注为空，最后构建人脸误检测数据集；

4、s2.设计人脸误检识别模型，基于人脸关键点算法检测人脸图像中的5个人脸关键点，对每个预测的关键点置信度进行分析，确定该人脸图像是否为误检人脸；

5、s3.训练人脸误检识别模型，使用s1制作的数据集，对s2中的人脸关键点检测模型进行训练，将待进行脸误检识别的图像输入到s3训练得到的人脸误检识别模型；

6、s4.人脸误检识别模型对输入图像数据进行推理运算，输出人脸误检识别的结果。

7、s1包括：以人脸检测框的中心为基准点，对检测出的人脸框进行外扩，检测框的宽、高扩大至其原有的1.2倍，对图像中包含人脸的图像进行人脸关键点标注，标注的五个关键点包括左眼、右眼、鼻尖和两个嘴角，对于不包含人脸的误检图像赋予一个空标签，标注的训练集中，非误检标注为误检标注的四倍。

8、s2包括：人脸误检识别模型包括人脸关键点检测，人脸关键点检测使用hrnet算法，对输入的人脸图像进行多尺度特征学习，用关键点检测的检测头将hrnet算法提取到的多尺度特征输入到人脸关键点检测网络中；

9、人脸关键点检测网络由一个平均池化层、四个残差块和5个1×1的卷积核构成，其中残差块为resnet18算法的基础块，hrnet算法输出的融合特征由2×2的池化核进行池化操作，特征块的宽度和高度减少为原有的一半，特征块深度不变，池化后的特征块经由四个串联的残差块进行卷积计算，5个1×1的卷积核对该特征块进行卷积计算并获得深度为5的特征块，特征块的每张特征图分别预测每种关键点的位置及其对应的置信度。

10、s2包括：人脸误检识别模型还包括基于关键点置信度的人脸误检判别，基于关键点置信度的人脸误检判别包括：对每个关键点的置信度进行分析，判定图像是否为误检人脸，其判定规则为，当鼻尖关键点的置信度小于0.6且另外四个关键点中有两个及以上的关键点置信度低于0.6时，将该图像判定为误检人脸图像，否则图像被判定为非误检人脸图像。

11、s3包括：使用高斯核函数将人脸关键点坐标转换成物体的中心点热点图，高斯核函数yxyc的计算公式为：

12、式中，w与h分别表示输入图像宽度和高度的百分之10％；r为输入图像的下采样倍数，预测的热点与输入图像大小一致，r＝1；c为检测的关键点种类数量；σp是w与h的标准差。

13、s3包括：人脸误检识别模型的输入图像缩放至112×112的分辨率，人脸误检识别模型对输入图像做前向运算，输出关键点预测的热点图，使用关键点类别损失函数计算模型训练过程中产生的损失，基于该损失使用优化器优化模型参数，关键点类别损失函数lhm具体为focal loss损失函数，其公式为：

14、

15、式中，n为图像中需要检测的关键点数量；yxyc_p为模型预测的关键点类别；yxyc_g为图像中关键点标注的类别，当yxyc_g为1，计算正样本的损失，当yxyc_g为0，计算负样本的损失；α和β是用于调节模型训练时产生的正样本损失和负样本损失的参数。

16、s4包括：对于一张图像首先使用scrfd算法检测图像中的人脸，对检测到的每个人脸矩形框进行1.2倍的外扩，外扩后的人脸图像进行裁剪并输入到训练好的hrnet模型中进行人脸关键点的检测，模型经过推理运算获得人脸5个关键点的位置信息和置信度，通过分析5个关键点的置信度确定检测到的人脸是否为误检测人脸。

17、基于关键点检测的人脸误检识别装置，所述装置进行人脸误检识别时，使用所述的基于关键点检测的人脸误检识别方法。

18、一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现所述的基于关键点检测的人脸误检识别方法。

19、一种电子设备，包括处理器和非瞬时性计算机可读存储介质。

20、相对比现有技术，本发明具有以下有益效果：本发明基于人脸关键点进行人脸误检测识别，人脸关键点可以更充分的利用人脸的语义特征，与其他方法相比，能够有效提高误检识别的准确率。