人脸跟踪的漏检处理方法、设备及存储介质与流程

本发明涉及图像处理领域，尤其涉及一种人脸跟踪的漏检处理方法、设备及存储介质。

背景技术：

1、人脸跟踪技术是一种基于计算机视觉的技术，用于在视频流中跟踪人脸。视频中的人脸关键点检测跟踪任务有着广泛应用，比如特定人脸打码。

2、目前的特定人脸打码技术中，容易受到环境因素的影响，如光照、阴影、遮挡等，这些因素可能导致跟踪器无法正确检测到人脸，存在漏检的问题。对于解决漏检的方法，目标采用的是多特征融合，该方式可能需要大量的计算资源和复杂的算法，进而导致人脸跟踪效率变低，无法适应实时性要求较高的人脸跟踪场景。

技术实现思路

1、本发明的主要目的在于解决人脸跟踪效率低的技术问题。

2、本发明第一方面提供了一种人脸跟踪的漏检处理方法，所述人脸跟踪的漏检处理方法包括：

3、接收到人脸视频时，对所述人脸视频中的每一帧视频帧执行人脸框标记操作以及关键点信息检测操作，并统计所述人脸视频中第1帧视频帧的人脸框数；

4、以第2帧视频帧为起点，检测所述人脸框数开始发生变化的第n帧视频帧，所述n大于等于2；

5、获取所述第n帧视频帧的相邻帧；

6、在所述关键点信息中，获取所述相邻帧对应的相邻关键点信息；

7、计算所述相邻关键点信息的相似度；

8、根据所述相似度，判断所述第n帧视频帧对应的目标关键点信息是否漏检；

9、若判定所述目标关键点信息漏检，根据所述相邻关键点信息的光流信息，对所述目标关键点信息执行更新操作，得到已修正关键点信息。

10、可选的，在本发明第一方面的第一种实现方式中，所若判定所述目标关键点信息漏检，根据所述相邻关键点信息的光流信息，对所述目标关键点信息执行更新操作，得到已修正关键点信息的步骤包括：

11、若判定所述目标关键点信息漏检，对所述相邻关键点信息执行光流计算，得到光流信息；

12、在所述光流信息中选取目标特征点；

13、将所述目标特征点补充至所述目标关键点信息，得到已修正关键点信息。

14、可选的，在本发明第一方面的第二种实现方式中，所述在所述光流信息中选取目标特征点的步骤包括：

15、调用预先训练的光流质量评估模型，在所述光流信息中选取目标特征点。

16、可选的，在本发明第一方面的第三种实现方式中，所述根据所述相似度，判断所述第n帧视频帧对应的目标关键点信息是否漏检的步骤包括：

17、判断所述相似度是否小于预设相似度；

18、若所述相似度小于预设相似度，判定所述第n帧视频帧对应的目标关键点信息未漏检；

19、若所述相似度大于等于预设相似度，判定所述第n帧视频帧对应的目标关键点信息漏检。

20、可选的，在本发明第一方面的第四种实现方式中，所述若判定所述目标关键点信息漏检，根据所述相邻关键点信息的光流信息，对所述目标关键点信息执行更新操作，得到已修正关键点信息的步骤之后，所述方法还包括：

21、将所述第n帧视频帧设定为所述人脸视频的首帧，并返回执行统计所述人脸视频中第1帧视频帧的人脸框数的步骤。

22、可选的，在本发明第一方面的第五种实现方式中，所述接收到人脸视频时，对所述人脸视频中的每一帧视频帧执行人脸框标记操作以及关键点信息检测操作的步骤包括：

23、接收到人脸视频时，调用预先训练的深度学习模型，对所述人脸视频中的每一帧视频帧执行人脸框标记操作以及关键点信息检测操作。

24、可选的，在本发明第一方面的第六种实现方式中，所述接收到人脸视频时，调用预先训练的深度学习模型，对所述人脸视频中的每一帧视频帧执行人脸框标记操作以及关键点信息检测操作的步骤包括：

25、接收到人脸视频时，调用预先训练的retinaface模型，对所述人脸视频中的每一帧视频帧执行人脸框标记操作以及关键点信息检测操作。

26、可选的，在本发明第一方面的第七种实现方式中，所述接收到人脸视频时，调用预先训练的深度学习模型，对所述人脸视频中的每一帧视频帧执行人脸框标记操作以及关键点信息检测操作的步骤包括：

27、接收到人脸视频时，调用预先训练的mtcnn模型，对所述人脸视频中的每一帧视频帧执行人脸框标记操作以及关键点信息检测操作。

28、本发明第二方面提供了一种人脸跟踪的漏检处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述人脸跟踪的漏检处理设备执行上述的人脸跟踪的漏检处理方法。

29、本发明的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的人脸跟踪的漏检处理方法。

30、在本发明实施例中，人脸跟踪的漏检处理设备通过对每一帧视频帧进行人脸框标记和关键点信息检测操作，可以及时捕捉到人脸的位置和特征信息，从而增强了人脸跟踪算法对于复杂场景和变化环境的适应能力。通过检测人脸框数开始发生变化的帧，并进行相邻帧的关键点信息比较，可以有效地判断目标关键点信息是否漏检。一旦发现漏检情况，就可以利用相邻关键点信息进行修正，避免漏检问题的发生。通过计算相邻帧关键点信息的相似度，可以评估关键点信息的稳定性和一致性。如果相似度较高，则说明关键点信息可靠，反之则可能存在误检或漏检的情况。这样可以在跟踪过程中对关键点信息进行验证和修正，提高其准确性。利用相邻关键点信息的光流信息来更新目标关键点信息。光流是描述图像中像素点在时间上的位移情况，可以提供目标运动的估计信息。通过利用光流信息，可以更精确地修正漏检的目标关键点信息，提高跟踪的准确性。

技术特征：

1.一种人脸跟踪的漏检处理方法，其特征在于，所述人脸跟踪的漏检处理方法包括：

2.根据权利要求1所述的人脸跟踪的漏检处理方法，其特征在于，所若判定所述目标关键点信息漏检，根据所述相邻关键点信息的光流信息，对所述目标关键点信息执行更新操作，得到已修正关键点信息的步骤包括：

3.根据权利要求2所述的人脸跟踪的漏检处理方法，其特征在于，所述在所述光流信息中选取目标特征点的步骤包括：

4.根据权利要求1所述的人脸跟踪的漏检处理方法，其特征在于，所述根据所述相似度，判断所述第n帧视频帧对应的目标关键点信息是否漏检的步骤包括：

5.根据权利要求1所述的人脸跟踪的漏检处理方法，其特征在于，所述若判定所述目标关键点信息漏检，根据所述相邻关键点信息的光流信息，对所述目标关键点信息执行更新操作，得到已修正关键点信息的步骤之后，所述方法还包括：

6.根据权利要求1所述的人脸跟踪的漏检处理方法，其特征在于，所述接收到人脸视频时，对所述人脸视频中的每一帧视频帧执行人脸框标记操作以及关键点信息检测操作的步骤包括：

7.根据权利要求6所述的人脸跟踪的漏检处理方法，其特征在于，所述接收到人脸视频时，调用预先训练的深度学习模型，对所述人脸视频中的每一帧视频帧执行人脸框标记操作以及关键点信息检测操作的步骤包括：

8.根据权利要求6所述的人脸跟踪的漏检处理方法，其特征在于，所述接收到人脸视频时，调用预先训练的深度学习模型，对所述人脸视频中的每一帧视频帧执行人脸框标记操作以及关键点信息检测操作的步骤包括：

9.一种人脸跟踪的漏检处理设备，其特征在于，所述人脸跟踪的漏检处理设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的人脸跟踪的漏检处理方法。

技术总结
本发明涉及图像处理领域，公开了一种人脸跟踪的漏检处理方法、设备及存储介质。该方法包括：接收到人脸视频时，对人脸视频中的每一帧视频帧执行人脸框标记操作以及关键点信息检测操作，并统计人脸视频中第1帧视频帧的人脸框数；以第2帧视频帧为起点，检测人脸框数开始发生变化的第n帧视频帧；获取第n帧视频帧的相邻帧；获取相邻帧对应的相邻关键点信息；计算相邻关键点信息的相似度；判断第n帧视频帧对应的目标关键点信息是否漏检；若判定目标关键点信息漏检，对目标关键点信息执行更新操作，得到已修正关键点信息。在本发明实施例中，通过利用光流信息，可以更精确地修正漏检的目标关键点信息，提高跟踪的准确性。

技术研发人员：王英
受保护的技术使用者：深圳牛学长科技有限公司
技术研发日：
技术公布日：2024/2/25