基于特征增强和融合的弱监督视频异常检测方法及系统

文档序号:38967136发布日期:2024-08-14 14:28阅读:来源:国知局

技术特征:

1.一种基于特征增强和融合的弱监督视频异常检测方法,其特征在于,包括:

2.如权利要求1所述的一种基于特征增强和融合的弱监督视频异常检测方法,其特征在于,使用clip模型作为特征提取器,所述clip模型包括视觉特征编码器和文本特征编码器;

3.如权利要求1所述的一种基于特征增强和融合的弱监督视频异常检测方法,其特征在于,通过时序特征增强网络对视觉特征表示从局部和全局学习时序依赖关系,具体为:

4.如权利要求1所述的一种基于特征增强和融合的弱监督视频异常检测方法,其特征在于,将时序增强的视觉特征表示与文本类嵌入进行特征融合,得到视觉语言对齐图,具体为:

5.如权利要求4所述的一种基于特征增强和融合的弱监督视频异常检测方法,其特征在于,所述全连接神经网络由带有残差连接的前馈神经网络ffn、一个全连接层fc以及sigmoid激活函数组成。

6.如权利要求4所述的一种基于特征增强和融合的弱监督视频异常检测方法,其特征在于,基于异常分数和时序增强的视觉特征表示得到视觉提示,具体为:通过异常分数和时序增强的视觉特征表示的点积得到视觉提示,然后对点积进行归一化。

7.如权利要求1所述的一种基于特征增强和融合的弱监督视频异常检测方法,其特征在于,计算视频样本中每个视频片段的异常分数,对所有异常分数由大到小进行排序,选取前k个异常分数对应的视频片段对视频异常分类器进行训练。

8.如权利要求1所述的一种基于特征增强和融合的弱监督视频异常检测方法,其特征在于,所述视频异常分类器的损失函数具体为:分类损失、对比损失、时间平滑损失以及稀疏损失的加权和。

9.一种基于特征增强和融合的弱监督视频异常检测系统,其特征在于,包括:

10.一种终端设备,其包括处理器和存储器,处理器用于实现指令;存储器用于存储多条指令,其特征在于,所述指令适于由处理器加载并执行权利要求1-7任一项所述的基于特征增强和融合的弱监督视频异常检测方法。


技术总结
本发明涉及视频异常检测技术领域,具体公开了一种基于特征增强和融合的弱监督视频异常检测方法及系统,方法包括:将输入视频切分成若干视频片段,通过视觉特征编码器对每个视频片段进行特征提取,获得视频片段的泛化视觉特征表示,通过文本特征编码器得到标签的文本类嵌入;通过时序特征增强网络对视觉特征表示从局部和全局学习时序依赖关系,得到时序增强的视觉特征表示;将时序增强的视觉特征表示与文本类嵌入进行特征融合,得到视觉语言对齐图;将视觉语言对齐图输入至训练好的视频异常分类器,得到视频异常检测结果。

技术研发人员:许信顺,苏文浩,罗昕,陈振铎
受保护的技术使用者:山东大学
技术研发日:
技术公布日:2024/8/13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1