技术特征：
1.一种基于轻量化双帧速率网络的异常行为识别方法，其特征在于，包括：将原始视频数据输入轻量化双帧速率卷积神经网络，其中，所述轻量化双帧速率卷积神经网络的低帧率分支网络捕获所述原始视频数据的空间语义信息；所述轻量化双帧速率卷积神经网络的高帧率分支网络捕获所述原始视频数据的运动信息；使用横向连接将所述低帧率分支网络和高帧率分支网络的各个阶段进行特征融合；将所述低帧率分支网络和所述高帧率分支网络各自输出的特征向量进行合并，获得合并特征；将所述合并特征输入分类器，得到异常行为识别分类结果。2.根据权利要求1所述的基于轻量化双帧速率网络的异常行为识别方法，其特征在于，所述低帧率分支网络按照间隔16帧的低帧率采样视频帧图像；所述高帧率分支网络按照间隔2帧的高帧率采样视频帧图像。3.根据权利要求1所述的基于轻量化双帧速率网络的异常行为识别方法，其特征在于，所述低帧率分支网络，包括五层级联的广义卷积层，分别为：第一广义卷积层a1、第二广义卷积层a2、第三广义卷积层a3、第四广义卷积层a4和第五广义卷积层a5；其中：所述第一广义卷积层a1包括：1个3
×3×
3的卷积层和1个3
×3×
3的最大池化层；所述第二广义卷积层a2依次包括：1个分支1和3个分支2；所述第三广义卷积层a3依次包括：1个分支1和7个分支2；所述第四广义卷积层a4依次包括：1个分支1和3个分支2；所述第五广义卷积层a5依次包括：1个1
×1×
1的卷积层和1个8
×1×
1的平均池化层。4.根据权利要求3所述的基于轻量化双帧速率网络的异常行为识别方法，其特征在于，所述分支1划分为两个通路，其中：第一个通路包括：1个步长为2的3
×3×
3的深度卷积层、2个批量归一化、1个1
×1×
1的卷积层和1个激活层；第二个通路包括：2个1
×1×
1的卷积层、3个批量归一化、2个激活层、1个步长为2的3
×3×
3的深度卷积层和1个压缩激励模块；所述压缩激励模块包括：1个自适应平均池化层、2个全连接层和2个激活层；将所述两个通路输出的特征向量在通道维度上进行拼接，拼接后通过通道混洗操作后输出；所述分支2通过通道分割操作划分成两个通路，即，将输入分支2的特征向量按照通道数平均分成两部分，一个部分作为第一个通路的输入，另一个部分作为第二个通路的输入，其中：第一个通路包括：恒等映射的快捷连接；第二个通路包括：2个1
×1×
1的卷积层、3个批量归一化、2个激活层、1个步长为1的3
×3×
3的深度卷积层和1个压缩激励模块；所述压缩激励模块包括：1个自适应平均池化层、2个全连接层和2个激活层；将所述两个通路输出的特征向量在通道维度上进行拼接，拼接后通过通道混洗操作后输出。5.根据权利要求1所述的基于轻量化双帧速率网络的异常行为识别方法，其特征在于，
所述高帧率分支网络包括五层级联的广义卷积层，分别为第一广义卷积层b1、第二广义卷积层b2、第三广义卷积层b3、第四广义卷积层b4和第五广义卷积层b5；其中：第一广义卷积层b1依次包括：1个3
×3×
3的卷积层和1个3
×3×
3的最大池化层；第二广义卷积层b2依次包括：1个分支1和3个分支2；第三广义卷积层b3依次包括：1个分支1和7个分支2；第四广义卷积层b4依次包括：1个分支1个3个分支2；第五广义卷积层b5依次包括：1个1
×1×
1的卷积层和1个8
×1×
1的平均池化层。6.根据权利要求5所述的基于轻量化双帧速率网络的异常行为识别方法，其特征在于，所述分支1划分为两个通路，其中：第一个通路包括：1个步长为2的3
×3×
3的深度卷积层、2个批量归一化、1个1
×1×
1的卷积层和1个激活层；第二个通路包括：2个1
×1×
1的卷积层、3个批量归一化、2个激活层、1个步长为2的3
×3×
3的深度卷积层和1个压缩激励模块；所述压缩激励模块包括：1个自适应平均池化层、2个全连接层和2个激活层；将所述两个通路输出的特征向量在通道维度上进行拼接，拼接后通过通道混洗操作后输出；所述分支2通过通道分割操作划分成两个通路，即，将输入分支2的特征向量按照通道数平均分成两部分，一个部分作为第一个通路的输入，另一个部分作为第二个通路的输入，其中：第一个通路包括：恒等映射的快捷连接；第二个通路包括：2个1
×1×
1的卷积层、3个批量归一化、2个激活层、1个步长为1的3
×3×
3的深度卷积层和1个压缩激励模块；所述压缩激励模块包括：1个自适应平均池化层、2个全连接层和2个激活层；将所述两个通路输出的特征向量在通道维度上进行拼接，拼接后通过通道混洗操作后输出。7.根据权利要求1所述的一种基于轻量化双帧速率网络的异常行为识别方法，其特征在于，所述横向连接包括四个卷积层，分别为第一卷积层c1、第二卷积层c2、第三卷积层c3和第四卷积层c4，其中：第一卷积层c1包括：1个步长为4的5
×1×
1的卷积层；第二卷积层c2包括：1个步长为4的5
×1×
1的卷积层；第三卷积层c3包括：1个步长为4的5
×1×
1的卷积层；第四卷积层c4包括：1个步长为4的5
×1×
1的卷积层；在融合之前匹配特征的大小，包括：低帧率分支网络的特征尺寸为{t,s2,c}，高帧率分支网络的特征尺寸为{αt,s2,βc}，t表示时间长度，s2表示特征图的高度和宽度，α表示高帧率分支网络采样密度和低帧率分支网络采样密度之比，β表示高帧率分支网络的通道数和低帧率分支网络的通道数之比，c表示通道数；
将高帧率分支网络的特征进行3d卷积，输出通道数为2βc，步长为α；所述高帧率分支网络的输出结果通过拼接融合到低帧率分支网络，包括：第一广义卷积层b1的输出作为第一卷积层c1的输入，第一卷积层c1的输出和第一广义卷积层a1的输出融合后作为第二广义卷积层a2的输入；第二广义卷积层b2的输出作为第二卷积层c2的输入，第二卷积层c2的输出和第二广义卷积层a2的输出融合后作为第三广义卷积层a3的输入；第三广义卷积层b3的输出作为第三卷积层c3的输入，第三卷积层c3的输出和第三广义卷积层a3的输出融合后作为第四广义卷积层a4的输入；第四广义卷积层b4的输出作为第四卷积层c4的输入，第四卷积层c4的输出和第四广义卷积层a4的输出融合后作为第五广义卷积层a5的输入。8.根据权利要求1所述的一种基于轻量化双帧速率网络的异常行为识别方法，其特征在于，所述将两个分支网络最终输出的特征向量进行合并作为分类器的输入，得到异常行为识别分类结果，包括：两个分支网络在经过卷积运算后，将最终输出的包含特征参数的向量串联后输入全连接层；所述全连接层将计算后的特征向量输入sigmoid回归层进行回归计算，得到分类结果。9.一种基于轻量化双帧速率网络的异常行为识别装置，其特征在于，包括：提取视频设备，所述提取视频设备获取视频；处理器，所述处理器根据所述视频进行加载处理，得到异常行为识别结果；存储器，所述存储器内存储所述处理器执行的轻量化双帧速率网络模型，所述存储器机器可读指令被所述处理器执行时执行权利要求1-8任一项所述的方法。10.一种基于轻量化双帧速率网络的异常行为识别系统，其特征在于，包括：低帧率分支网络，所述低帧率分支网络捕获原始视频数据的空间语义信息；高帧率分支网络，所述高帧率分支网络捕获所述原始视频数据的运动信息；横向连接，所述横向连接将所述低帧率分支网络和高帧率分支网络的各个阶段进行特征融合；合并网络，所述合并网络合并所述低帧率分支网络和所述高帧率分支网络各自输出的特征向量获得合并特征；分类网络，所述合并特征输入所述分类网络得到异常行为识别分类结果。
技术总结
本发明提供一种基于轻量化双帧速率网络的异常行为识别方法、装置和系统，包括：原始视频数据输入轻量化双帧速率卷积神经网络；轻量化双帧速率卷积神经网络的低帧率分支网络捕获原始视频数据的空间语义信息；轻量化双帧速率卷积神经网络的高帧率分支网络捕获原始视频数据的运动信息；使用横向连接将低帧率分支网络和高帧率分支网络的各个阶段进行特征融合；低帧率分支网络和高帧率分支网络各自输出的特征向量进行合并，获得合并特征；将合并特征输入分类器，得到异常行为识别分类结果。本发明两分支网络采用轻量化网络作为基础网络，在保持低帧率分支网络提取空间语义的能力以及高帧率分支网络提取时间语义信息的同时，大大提高了检测效率。大提高了检测效率。大提高了检测效率。
技术研发人员：韩军 姜海燕 林浩宇 俞锦翔 庞红玉
受保护的技术使用者：上海大学
技术研发日：2022.03.28
技术公布日：2022/6/24