一种基于公共空间视频的异常检测方法

本发明属于视频监控，具体涉及一种基于公共空间视频的异常检测方法。

背景技术：

1、高效准确的视频异常检测算法可以维护公共空间的安全和秩序，因此，视频异常检测具有极高的实用价值和广阔的发展前景。弱监督视频异常检测方法，使用包含正常和异常的弱标记数据训练模型，是一种更合适的异常检测方法。

2、已有的大多数工作把弱监督异常检测看作多示例学习任务：

3、学术文献“real-world anomaly detection in surveillance videos,”inproceedings of the ieee conference on computer vision and patternrecognition,2018,pp.6479–6488.构建了一个大规模的异常数据集，并提出了一个深度多示例学习排序框架来检测异常。

4、学术文献“weakly supervised video anomaly detection via center-guideddiscriminative learning,”in 2020ieee international conference on multimediaand expo,2020:1-6.引入k-max选择方法代替先前工作中的最大选择。

5、学术文献“self-training multi-sequence learning with transformer forweakly supervised video anomaly detection,”proceedings of the aaai,virtual,vol.24,2022.不再选择异常分数最高的示例，而是选择异常分数总和最高的序列。

6、学术文献“multi-scale continuity-aware refinement network for weaklysupervised video anomaly detection,”in 2022ieee international conference onmultimedia and expo,2022,pp.1–6.引入不同时间尺度下多个相邻示例的时间连续性。

7、上述已有的技术方案存在的问题：(1)只使用基于多示例学习的分类损失，虽然基于多示例学习的分类损失确保了学习特征的类间可分性，但不足以进行精确的片段异常检测；(2)训练时使用了小批量训练策略，异常检测的能力会受到批量大小的影响；(3)弱监督异常检测中因为只有视频级标签，模型能学习到的知识会受到限制。

技术实现思路

1、为了解决上述问题，本发明提供了一种基于公共空间视频的异常检测方法，该方法可以有效提高异常视频的检测准确度。

2、一种基于公共空间视频的异常检测方法，包括：

3、步骤1、将获取的视频数据基于时间序列进行视频片段划分，并以异常分数对划分获得的视频片段进行标签标注，将多个连续的视频片段与对应的标签组成数据集；

4、步骤2、构建用于视频异常分数评估的自适应卷积网络，所述自适应卷积网络包括特征提取模块，图构造模块以及图卷积模块，所述特征提取模块用于提取视频片段中的外观与运动信息，以构建对应的时空特征，所述图构造模块根据输入的时空特征构建各视频片段间的内在关系图，所述图卷积模块包含三层图卷积层，用于时空特征和内在关系图中的邻接矩阵的分析，以输出视频片段的异常分数；

5、利用数据集对所述自适应卷积网络进行训练，获得用于视频异常分数评估的评估模型；

6、步骤3、将一批包含异常视频和正常视频的视频片段输入至所述评估模型中，获得视频片段的异常分数；

7、同时提取所述图卷积模型中第一层图卷积层的输出结果，采用k-means算法对所述输出结果进行批聚类，并基于批聚类的损失对类簇进行优化，以获得包含异常视频和正常视频的两种类簇；

8、步骤4、根据获得的异常分数和类簇的类别之间相似度得分，生成视频片段的伪标签，对所述伪标签为异常的视频片段进行异常分数扩大，以获得所有视频的异常评估结果。

9、本发明通过批聚类的损失来增强正常特征的类内紧凑性，从而提高正常和异常特征的类间分散性，同时利用批聚类生成的伪标签指导主网络生成更准确的分段级异常分数。

10、具体的，所述时空特征的具体表达式如下：

11、

12、式中，fi,j表示视频vi第j个片段的时空特征，fi的维度为ti×d维，ti是视频vi包含的片段数，d表示特征的维度。

13、具体的，所述内在关系图基于时空特征的相似性和时间序列两个方面对所有视频片段进行全局关系的构建。

14、具体的，所述图卷积层的前两层均带有一个relu激活函数和一个dropout函数，最后一层带有一个sigmoid激活函数。

15、具体的，所述采用k-means算法对所述输出结果进行批聚类的具体过程如下：

16、当所述输出结果为异常视频，则利用对应的聚类结果的损失对两种类簇的中心进行推远；

17、当所述输粗结果为正常视频，则利用对应的聚类结果的损失对两种类簇的中心进行拉拢。

18、具体的，所述聚类结果的损失，其具体表达式如下：

19、

20、式中，d＝‖c1-c2‖2表示两个类簇的聚类中心之间距离，upper表示一个上界，b表示批大小。

21、优选的，所述采用k-means算法时引入基于利用前批次的聚类结果为当前批次聚类提供指导的跨批学习策略，从而提高最终聚类结果的准确性。

22、具体的，所述跨批学习策略的具体过程如下：

23、步骤3-1、构造异常视频片段集ca和正常视频片段数据集cn；

24、步骤3-2、将ca中数据进行二值聚类得到聚类中心和并作为当前epoch每个batch内所有异常视频片段批聚类时的初始聚类中心，将当前epoch每个batch中所有异常视频片段进行二值批聚类得到的2个聚类中心加入ca中，在每个epoch结束时得到

25、步骤3-3、将cn中数据进行二值聚类得到聚类中心将其作为当前epoch每个batch内所有正常视频片段批聚类时的初始聚类中心，将当前epoch每个batch中所有正常视频片段进行二值批聚类得到的2个聚类中心加入cn中，在每个epoch结束时得到m是一个epoch中的迭代次数。

26、具体的，所述步骤4的具体包括以下步骤：

27、计算异常分数与类簇的类别之间第一相似性得分，同时计算异常分数向量与相反的类簇的类别之间第二相似性得分；

28、基于第一相似度得分和第二相似度等分，计算获得对应视频的伪标签：

29、

30、式中，表示视频vi第j个片段的类别，表示视频vi第j个片段的相反类别，s1表示第一相似度得分，s2表示第二相似性得分；

31、在异常视频中，若视频片段的伪标签为1则扩大它的异常得分：

32、式中，表示原异常得分，si,j表示扩大后的异常得分，α表示扩张系数；

33、若视频片段的伪类标为0则视频片段异常分数不变，即

34、与现有技术相比，本发明的有益效果：

35、(1)提出一种基于批聚类的损失来增强正常特征的类内紧凑性，正常和异常特征的类间分散性。

36、(2)在批聚类时引入跨批学习策略，引入之前批次的聚类结果为当前批次聚类提供指导来产生更准确的聚类结果。

37、(3)利用批聚类生成的伪标签指导主网络生成更准确的分段级异常分数。