一种基于情绪感知的可疑人员识别方法及其系统与流程

本发明涉及安防领域，特别是涉及一种基于情绪感知的可疑人员识别方法及其系统。

背景技术：

可疑人员识别是安防领域，特别是视频监控安防领域的一项重要内容。近年来，随着大数据分析、模式识别技术的深入发展，基于视频结构化分析手段的可疑人员识别成为当前视频监控安防领域的应用热点。通过视频结构化分析，可以对视频数据中的人脸、衣着、步态等信息进行定位和结构化描述，并通过人脸比对、身份自动核验、异常行为分析等特定手段实现对可疑人员的快速定位和识别，从而极大的降低了人工查验成本，并有效提高了查验效率，因此，在安检、巡逻等安防领域应用广泛。

然而，上述技术手段依然存在很多不足，导致不法分子仍屡屡得手。比如，通过人脸比对和身份自动核验可以很好的识别在逃通缉犯，但在作案人员还不是通缉犯的情况下，仅仅通过身份查验是无法识别出潜在的作案人员的。我们注意到，作案人员在预谋作案时，往往会存在紧张、激动等异常情绪。因此，有必要引入情绪状态分析手段，作为上述技术的有效补充，来进一步识别潜在的可疑人员。

技术实现要素：

为了克服上述现有技术的不足，本发明旨在设计一种基于情绪感知的可疑人员识别方法及其系统，以进一步提升视频安防能力。与当前主流的可疑人员识别方法相比，本发明能够通过对异常情绪状态的非接触式感知，实现对潜在可疑人员的快速识别发现。

本发明所提供的一种基于情绪感知的可疑人员识别方法及其系统，其基本功能模块如附图1所示。

首先，图像预处理模块接收原始视频，并采用四帧速率对原始视频进行图像重采样处理。原始视频经重采样后，将被转换为相应的图片集合。

人脸检测与过滤模块则负责对上述图片集合进行逐张读取分析，从中检测和过滤人脸图像信息。该过程利用opencv基于adaboost算法，采用深度为2的弱分类器进行实现。其中，所使用的检测窗口尺寸为25*25像素，利用该检测窗口在每张图片上进行遍历移动，并计算每次移动所对应的haar值，检测到目标后，通过逐步放大或缩小窗口，重新计算新的haar值，以此检测出图像中的人脸。最后，该模块将人脸图像部分单独截取出来，并另存为新的图片。

人脸比对与核验模块负责基于上述人脸检测与过滤模块生成的新的人脸图片集合，进行人脸比对与核验过程。该模块通过调用opencv的facerecognizer类库中的基于lbp直方图的人脸识别函数(lbphfacerecognizer)进行实现。若某张图片中的人脸与系统已有可疑人员库中的某个人脸比对成功，则将直接触发系统中的可疑人员告警推送模块，进行相关报警，否则自动进入情绪分类与判定模块。

情绪分类与判定模块则将基于训练好的情绪分类模型进行情绪状态的判定。其中，本发明引入的训练图像包括平静、焦虑、紧张、愤怒、高兴、难过共计6类，并分别通过afew(actedfacialexpressionsinthewild)公开数据集中的训练集进行人脸检测得来。该模块所使用的情绪分类模型基于lstm分类器训练完成，并可直接进行情绪状态的判定。

通过情绪分类与判定模块输出的判定结果最终会推送给系统的可疑人员告警推送模块。该模块将对人脸比对与核验模块以及情绪分类与判定模块的分析结果进行判定，若人脸比对成功或者情绪判定结果为焦虑、紧张、愤怒等特定异常情绪状态时，系统将通过该模块进行相关告警信息的推送。

与现有技术相比，本发明的有益效果是：本发明提供的是一种基于情绪感知的可疑人员识别技术，因此相对于现有的可疑人员识别技术，能够基于对异常情绪状态的非接触式感知，实现对潜在可疑人员的快速识别发现，因此能够进一步提升视频安防能力。

附图说明

图1为该方法的功能组成图。

图2为该方法的功能流程图。

图3为该方法中人脸检测与过滤模块所使用的弱分类器示意图。

具体实施方式

下面结合附图2对本发明进一步说明。

首先，图像预处理模块负责原始视频的接收，并对其进行重采样处理，以降低系统需要处理的图像帧规模，提高系统的运行效率。注意到，采样间隔太大会造成中间图像信息以及图像时序信息的缺失，采样间隔太小会导致提取后的图像特征重复率过高而消耗过多不必要的计算资源。因此，本发明采用四帧速率对原始视频进行图像重采样处理，并通过ffmpeg软件实现上述采样过程。原始视频经重采样后，将被转换为相应的图片集合。

人脸检测与过滤模块则负责对上述图片进行逐张读取分析，从中检测和过滤人脸图像信息。在本发明中，该过程利用opencv基于adaboost算法进行实现。其中，所使用的检测窗口尺寸为25*25像素，利用该检测窗口在每张图片上进行遍历移动，并计算每次移动所对应的haar值，检测到目标后，通过逐步放大或缩小窗口，重新计算新的haar值，以此检测出图像中的人脸。另外，本发明采用的是深度为2的弱分类器，以附图3为例：首先计算特征值haar1，并与第一个弱分类器阈值进行比较，若小于则计算特征值haar2，并与第二个弱分类器阈值进行比较，直至流程结束或条件不满足，最后输出右值并结束整个过程。最后，该模块将人脸图像部分单独截取出来，并另存为新的图片。

人脸比对与核验模块负责基于上述人脸检测与过滤模块生成的新的图片集合，进行人脸比对与核验过程。本发明中，该模块通过调用opencv的facerecognizer类库中的基于lbp直方图的人脸识别函数(lbphfacerecognizer)进行实现。若某张图片中的人脸与系统已有可疑人员库中的某个人脸比对成功，则将直接触发系统中的可疑人员告警推送模块，进行相关报警，否则自动进入情绪分类与判定模块。

情绪分类与判定模块则将基于训练好的情绪分类模型进行情绪状态的判定。其中，本发明引入的训练图像包括平静、焦虑、紧张、愤怒、高兴、难过共计6类，并分别通过afew(actedfacialexpressionsinthewild)公开数据集中的训练集进行人脸检测得来。该模块所使用的情绪分类模型基于lstm分类器训练完成，并可直接进行情绪状态的判定。另外，由于lstm分类器的输入格式为48*48像素，因此需要将之前检测到的人脸图像重新进行尺寸调整，该模块在进入lstm层时将利用reshape层进行输入维度的调整。

通过情绪分类与判定模块输出的判定结果最终会推送给系统的可疑人员告警推送模块。该模块将对人脸比对与核验模块以及情绪分类与判定模块的分析结果进行判定，若人脸比对成功或者情绪判定结果为焦虑、紧张、愤怒等特定异常情绪状态时，系统将通过该模块进行相关告警信息的推送。

技术特征：

1.一种基于情绪感知的可疑人员识别方法与系统，其特征在于：能够基于对异常情绪状态的非接触式感知，实现对潜在可疑人员的快速识别预警，因此能够进一步提升视频安防能力，具体包括图像预处理、人脸检测与过滤、人脸比对与核验、情绪分类与判定、可疑人员告警推送共计五个模块。

2.根据权利要求1所述的方法，其特征在于：所述图像预处理模块负责原始视频的接收，并对其进行重采样处理；其中所述重采样处理过程通过ffmpeg软件实现，并采用四帧速率对原始视频进行重采样处理，处理后的原始视频将被转换为相应的图片集合。

3.根据权利要求1所述的方法，其特征在于：所述人脸检测与过滤模块负责对权利要求1所述的图片集合进行逐张读取分析，从中检测和过滤人脸图像信息；该过程利用opencv基于adaboost算法进行实现，检测窗口尺寸为25*25像素，并采用深度为2的弱分类器，以此检测图像中的人脸，并将人脸图像部分单独截取出来，另存为新的人脸图片集合。

4.根据权利要求1所述的方法，其特征在于：所述人脸比对与核验模块负责基于权利要求1所述的新的人脸图片集合，进行人脸比对与核验过程；该模块通过调用opencv的facerecognizer类库中的基于lbp直方图的人脸识别函数(lbphfacerecognizer)实现；若某张图片中的人脸与系统已有可疑人员库中的某个人脸比对成功，则系统将直接触发权利要求1所述的可疑人员告警推送模块，进行相关报警，否则系统进入权利要求1所述的情绪分类与判定模块。

5.根据权利要求1所述的方法，其特征在于：所述情绪分类与判定模块负责基于训练好的情绪分类模型进行情绪状态的判定；所使用的训练图像通过afew数据集中的训练集进行人脸检测得来，并包括平静、焦虑、紧张、愤怒、高兴、难过共计6类；所述情绪分类模型基于lstm分类器训练完成，并可直接进行情绪状态的判定。

6.根据权利要求1所述的方法，其特征在于：所述可疑人员告警推送模块负责基于权利要求1所述人脸比对与核验模块和情绪分类与判定模块的比对判定结果进行相应的响应；若人脸比对成功或者情绪判定结果为焦虑、紧张、愤怒等特定异常情绪状态时，系统将自动触发该模块进行相关告警信息的推送。

技术总结
本发明公开了一种基于情绪感知的可疑人员识别方法与系统，能够基于对异常情绪状态的非接触式感知，实现对潜在可疑人员的快速识别预警，因此能够进一步提升视频安防能力，具体包括图像预处理、人脸检测与过滤、人脸比对与核验、情绪分类与判定、可疑人员告警推送共计五个模块。其中，图像预处理模块负责对原始视频进行图像重采样处理；人脸检测与过滤模块负责从重采用后的图片集合中检测和过滤人脸图像信息，并生成新的人脸图像集合；人脸比对与核验模块负责基于上述新的人脸图片集合，进行人脸比对与核验；情绪分类与判定模块则基于特定的情绪分类模型进行情绪状态的判定；可疑人员告警模块将基于人脸比对与核验模块和情绪分类与判定模块的比对和判定结果，自动触发相应告警信息的推送。

技术研发人员：王春雷;尉迟学彪;毛鹏轩
受保护的技术使用者：北京入思技术有限公司
技术研发日：2019.02.18
技术公布日：2020.08.25