基于扩散模型的视频异常检测方法、装置、介质及设备与流程

本发明涉及视频异常检测，尤其涉及一种基于扩散模型的视频异常检测方法、装置、介质及设备。

背景技术：

1、目前，视频监控在各种公共场所和工业生产场景中广泛部署，检测视频中异常行为对于维护公共安全和规范生产活动至关重要。然而，现有的视频异常检测技术主要依赖于对视频帧的手动分析，这既费时又费力。此外，现有的视频异常检测方法在应对复杂场景中的多样化异常行为时效果欠佳。例如，传统的异常检测方法通常使用自编码器(ae)架构，从视频帧中提取特征并进行重构或预测，以检测异常。然而，这种方法存在计算效率低、易受背景噪声干扰等问题。

2、随着姿态估计技术的发展，基于人体骨骼数据的异常检测方法开始受到关注。骨骼数据是一种低维且结构化的特征，具有免受背景干扰的优势。然而，现有的基于骨骼数据的方法主要采用编码器-解码器架构，无法充分覆盖各种运动模式的多样性，导致检测效果不佳。因此，迫切需要一种新型的、能够更好地捕捉运动模式多样性的视频异常检测方法。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于扩散模型的视频异常检测方法、装置、介质及设备。

2、本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

3、根据本发明实施例的第一方面，提供了一种基于扩散模型的视频异常检测方法，所述基于扩散模型的视频异常检测方法包括：

4、对获取的视频流数据进行解析得到单帧的图像数据，对所述视频流数据中的每一帧图像数据通过姿态估计算法进行人体姿态检测处理，检测每一帧所述图像数据中的人体关键点，并生成每一帧所述图像数据的人体姿态序列；

5、设置姿态序列掩蔽策略，每一帧所述人体姿态序列基于所述姿态序列掩蔽策略，生成观测帧序列以及待预测的第一掩蔽运动序列；

6、采用扩散模型通过逐步添加噪声数据将所述第一掩蔽运动序列转换为加噪运动序列，通过去噪网络模型对所述加噪运动序列进行去噪处理，还原得到第二掩蔽运动序列；

7、基于添加的所述噪声数据以及所述去噪网络模型的噪声估计结果确定采样损失期望参数，以及基于所有所述第一掩蔽运动序列以及对应的所述第二掩蔽运动序列确定预测损失参数；

8、基于所述损失期望参数以及预测损失参数对所述扩散模型进行参数调整，得到视频异常检测模型，并基于所述视频异常检测模型对所述每一帧所述图像数据的人体姿态序列，进行异常检测处理，得到视频异常检测结果。

9、在本发明的一些实施例中，在生成每一帧所述图像数据的人体姿态序列之后，所述方法还包括将每一帧所述图像数据的人体姿态序列转换为拓扑图，包括：

10、将第i帧所述图像数据的人体姿态序列转换为拓扑图gi：gi＝(ji,ai)；其中，ji为节点集，所述节点集包括全局节点集和局部节点集所述局部节点集中的局部图节点表征人体关节点，所述全局节点集中的全局图节点表征人体重心；所述ai为邻接矩阵，表征节点之间的连接关系。

11、在本发明的一些实施例中，所述生成观测帧序列以及待预测的第一掩蔽运动序列包括：

12、基于时序关系进行掩蔽，在时间维度上以均匀间隔选择若干帧所述人体姿态序列交替作为掩蔽帧以及观测帧，得到所述观测帧序列以及待预测的所述掩蔽运动序列。

13、在本发明的一些实施例中，所述采用扩散模型将所述第一掩蔽运动序列转换为加噪运动序列，通过去噪网络模型对所述加噪运动序列进行去噪处理，还原得到第二掩蔽运动序列包括：

14、采用扩散模型对所述第一掩蔽运动序列进行运动补全处理，通过逐步添加噪声数据的前向过程，将所述第一掩蔽运动序列转换为加噪运动序列；

15、通过去噪网络模型根据所述观测帧序列提取条件控制信息，并通过所述条件控制信息对所述加噪运动序列进行去噪处理，还原得到第二掩蔽运动序列。

16、在本发明的一些实施例中，所述基于所述视频异常检测模型对所述每一帧所述图像数据的人体姿态序列，进行异常检测处理，得到视频异常检测结果包括：

17、基于所述视频异常检测模型对所述人体姿态序列进行运动补全处理，生成同一所述人体姿态序列对应的多个还原掩蔽运动序列；

18、根据多个所述还原掩蔽运动序列进行综合补全获得最终的补全运动序列；

19、对所述补全运动序列进行异常检测处理，得到视频异常检测结果。

20、在本发明的一些实施例中，所述对所述补全运动序列进行异常检测处理，得到视频异常检测结果包括：

21、分别计算得到的多个所述还原掩蔽运动序列与所述人体姿态序列之间的误差参数；

22、确认多个所述误差参数的最小值，以所述最小值作为异常评分；

23、根据异常评分与预设的指定阈值进行比对判断，得到视频异常检测结果。

24、在本发明的一些实施例中，在得到视频异常检测结果之后，所述方法还包括：在检测到的视频异常检测结果为所述图像数据是异常帧时，在所述视频流数据中对所述异常帧进行标记处理，并生成报警信息。

25、根据本发明实施例的第二方面，提供了一种基于扩散模型的视频异常检测装置，所述基于扩散模型的视频异常检测装置包括：

26、姿态检测模块，用于对获取的视频流数据进行解析得到单帧的图像数据，对所述视频流数据中的每一帧图像数据通过姿态估计算法进行人体姿态检测处理，检测每一帧所述图像数据中的人体关键点，并生成每一帧所述图像数据的人体姿态序列；

27、掩蔽处理模块，用于设置姿态序列掩蔽策略，每一帧所述人体姿态序列基于所述姿态序列掩蔽策略，生成观测帧序列以及待预测的第一掩蔽运动序列；

28、运动序列还原模块，用于采用扩散模型通过逐步添加噪声数据将所述第一掩蔽运动序列转换为加噪运动序列，通过去噪网络模型对所述加噪运动序列进行去噪处理，还原得到第二掩蔽运动序列；

29、损失计算模块，用于基于添加的所述噪声数据以及所述去噪网络模型的噪声估计结果确定采样损失期望参数，以及基于所有所述第一掩蔽运动序列以及对应的所述第二掩蔽运动序列确定预测损失参数；

30、异常检测模块，用于基于所述损失期望参数以及预测损失参数对所述扩散模型进行参数调整，得到视频异常检测模型，并基于所述视频异常检测模型对所述每一帧所述图像数据的人体姿态序列，进行异常检测处理，得到视频异常检测结果。

31、根据本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令由处理器加载并执行以实现如上述任一项所述的方法所执行的操作。

32、根据本发明实施例的第四方面，提供了一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序指令，所述处理器执行所述计算机程序指令时，实现如上述任一所述的方法的指令。

33、本发明实施例中提供的技术方案，至少具有如下技术效果或优点：

34、本发明实施例提供的一种基于扩散模型的视频异常检测方法、装置、介质及设备，本发明实施例所述方法通过设置姿态序列掩蔽策略，将得到的每一帧所述人体姿态序列分别交替划分为观测帧序列以及待预测的第一掩蔽运动序列，基于扩散模型从随机噪声生成运动序列，并在检测过程中进行运动补全，从而可以基于掩蔽运动与生成运动之间的误差来判断视频的异常帧，同时通过多次生成的掩蔽序列，覆盖了正常或异常行为模式的多样性，提供了多种可能的运动补全结果，提高了运动预测的准确性和适用性；通过对姿态序列掩蔽策略得到的损失期望参数以及预测损失参数对所述扩散模型进行参数调整，训练得到优化后的视频异常检测模型，并基于所述视频异常检测模型对所述每一帧所述图像数据的人体姿态序列，进行异常检测处理，实现了对视频流数据中的异常帧的检测，具有较好的异常检测精度。

35、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。