一种基于Yolo-TSM的轻量级实时监控异常行为检测方法

文档序号:29355288发布日期:2022-03-22 23:46阅读:来源:国知局

技术特征:
1.一种基于yolo-tsm的轻量级实时监控异常行为检测方法,其特征在于,包括步骤如下:步骤1:获取数据集并进行预处理;步骤2:构建tsm网络模型;步骤3:构建yolo轻量级网络模型;步骤4:构建特征融合模型;步骤5:将步骤1预处理后得到的数据集对步骤2、3、4构建的tsm网络模型、yolo轻量级网络模型及特征融合模型进行端到端的训练;步骤6:将待检测的视频预处理后输入训练后的yolo-tsm轻量级模型,yolo-tsm轻量级模型包括训练后的tsm网络模型、yolo轻量级网络模型及特征融合模型,tsm网络模型、yolo轻量级网络模型均连接特征融合模型;使用训练得到的权重文件,根据输入的视频信息进行推理,将视频流中行为个体的进行目标检测,并进行行为识别,最终把异常行为定位到场景中的个体身上。2.根据权利要求1所述的一种基于yolo-tsm的轻量级实时监控异常行为检测方法,其特征在于,步骤1中,对获取的数据集进行预处理,将数据集分别处理为输入tsm网络模型和yolo轻量级网络模型的两种形式:将数据集处理为输入tsm网络模型的形式即张量a,张量a∈r(n,c,t,h,w),n是批处理大小,c是通道数,t是时间维,h和w是空间分辨率;将数据集处理为输入yolo轻量级网络模型的形式即张量b,张量b∈r(n,c,h,w);mosaic数据增强,进行裁剪压缩为h*w,得到张量b,张量b的维度为(n,c,h,w)。3.根据权利要求1所述的一种基于yolo-tsm的轻量级实时监控异常行为检测方法,其特征在于,所述yolo轻量级网络模型的骨干网络为darknet53,包括依次连接的第一conv卷积层、第二conv卷积层、第一residual block模组、第三conv卷积层、第二residual block模组、第四conv卷积层、第三residual block模组、第五conv卷积层、第四residual block模组、第六conv卷积层、第五residual block模组;第一residual block模组包括1个residual block,第二residual block模组包括2个residual block,第三residual block模组包括8个residual block,第四residual block模组包括8个residual block,第五residual block模组包括4个residual block;第一conv卷积层中,经过一个padding=1的[3,3]卷积网络,输出特征,再经过一个标准化层和一个激活函数,继续输出;第二conv卷积层中,经过一次步长为2的[3,3]卷积网络,输出特征;第一residual block模组、第二residual block模组、第三residual block模组、第四residual block模组、第五residual block模组均包括两个conv层、一个标准化函数和一个激活函数即batchnorm+relu层,先通过一个[1,1]的conv层,调整通道数,再经过一个batchnorm+relu层,最后经过一个padding=1的[3,3]conv层,输出特征;第三conv卷积层、第四conv卷积层、第五conv卷积层、第六conv卷积层为步长为2、padding=1的[3,3]conv层;最终,yolo轻量级网络模型获得一个[c,h,w]的空间特征张量。4.根据权利要求1所述的一种基于yolo-tsm的轻量级实时监控异常行为检测方法,其
特征在于,tsm网络模型的骨干网络为加入tsm模块的resnet50,包括依次连接的conv卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、以及每一个残差模块之间的激活函数;conv卷积层中,经过一个[7,7]卷积网络,输出特征,再经过一个标准化层和一个激活函数,继续输出;最大池化层中,经过一个[3,3]最大池化层,进行降维减少输入量;第一残差模块包括1个第一模型model-1与2个第二模型model-2;第二残差模块包括1个第一模型model-1与3个第二模型model-2;第三残差模块包括1个第一模型model-1与5个第二模型model-2;第四残差模块包括1个第一模型model-1与3个第二模型model-2;第一模型model-1分为两个分支,一分支首先经过tsm模块再输入进一个[1,1]的conv层,调整通道数,再经一个标准化层和一个激活函数,输入进一个的[3,3]conv层,获取特征,再经过一个标准化层和一个激活函数,输入进不同通道数一个[1,1]的conv层,调整通道数,经一个标准化层,输出;二分支为输入,最终的输出为两个分支相加进行输出;第二模型model-2分为两个分支,一分支首先经过tsm模块输入进一个[1,1]的conv层,调整通道数,再经一个标准化层和一个激活函数,输入进一个的[3,3]conv层,获取特征,再经过一个标准化层和一个激活函数,输入进一个[1,1]的conv层,调整通道数,经一个标准化层,输出;二分支首先进入一个[1,1]的conv层,调整通道数,再经过一个标准化层和一个激活函数,最终的输出为两个分支相加进行输出;最后输出一个[c1,h1,w1]大小的时空特征张量。5.根据权利要求1所述的一种基于yolo-tsm的轻量级实时监控异常行为检测方法,其特征在于,所述特征融合模型包括依次连接的信道融合模块、cfam模块、第一conv层、第二conv层;信道融合模块中,将tsm网络模型输出的[c1,h1,w1]先输入进一个[1,1]的卷积层,调整为[c2,h,w],再将yolo轻量级网络模型输出[c,h,w]和此特征张量[c2,h,w]在通道维进行链接,得到张量[c3,h,w],c3=c2+c,输入进一个[1,1]的conv层,调整通道数b[c4*h*w],再将每个通道的特征向量的一维化,即使特征向量变为f[c3,n],n=h*w;cfam模块中,将输入的特征向量f[c3,n]与自身的转置向量进行向量乘法,得到格拉姆矩阵g[n,n];计算得到格拉姆矩阵g[n*n]后,使用softmax层生成通道注意图m,进行通道注意图m与f进行矩阵乘法,将得到的结果重新整形为与输入张量b形状相同的三维空间(c*h*w),将此结果与原始输入特征图b结合;第一conv层中,输入进一个[1,1]的conv层,调整通道数,再经过一个标准化层和一个激活函数;第二conv层中,输入进一个[1,1]的conv层,调整通道数,输出特征融合模型的输出d[c4,h,w]。6.根据权利要求1-5任一所述的一种基于yolo-tsm的轻量级实时监控异常行为检测方法,其特征在于,步骤6中,在特征融合模型将最后的卷积层使用1
×
1大小的卷积核,调整输出通道,用k-means算法在相应的数据集上选择5个先验框,生成具有5*(numclasses+4+1)通道数的特征张量,numclasses表示有数据集中numclasses个行为分类置信度得分,4代表目标检测框的4个坐标,1代表检测的置信度;根据这些锚点对边界框的回归进行细化,最终
实现对于目标的准确定位检测及行为识别,即时空行为检测。7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1-6任一所述的基于yolo-tsm的轻量级实时监控异常行为检测方法的步骤。8.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的基于yolo-tsm的轻量级实时监控异常行为检测方法的步骤。

技术总结
本发明涉及一种基于YOLO-TSM的轻量级实时监控异常行为检测方法,包括:步骤1:采用轻量级目标检测网络即YOLO网络对监控中的视频中的行人进行目标检测,得到需要进行行为检测的目标,并获取其空间特征;步骤2:使用行为识别算法即通过TSM网络对检测框中的行人的行为进行检测,获取其时空特征;步骤3:使用注意力机制模块对得到的空间特征和时空特征进行融合,在对模型结果进行推理,实时推理输出结果。本发明将优秀的实时目标检测模型YOLO与行为识别模型TSM相结合的方式,并使用注意力机制进行特征融合,在保证一定准确度的同时,提高了实时推理速率,并将行为检测精细化,定义位场景中检测到的每个行为个体。场景中检测到的每个行为个体。场景中检测到的每个行为个体。


技术研发人员:陈雷 秦野风 贲晛烨 李玉军
受保护的技术使用者:山东大学
技术研发日:2021.12.16
技术公布日:2022/3/21
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1