基于帧重构量化的边缘设备视频异常检测方法

本发明涉及视频处理，尤其涉及一种基于帧重构量化的边缘设备视频异常检测方法。

背景技术：

1、视频异常检测技术已经研究了很多年，在各个领域都是比较热门且重要的技术，现在已经广泛地应用到各个场所，比如公路、银行、医院等公共场所，应用场景非常广泛也非常有发展前景，可以极大地保证人们的生命安全和财产安全。然而，设计一套智能的视频异常检测技术需要考虑到很多因素，并非一件很容易的事情，首先要考虑到的就是硬件设备的性能，其次就是模型的准确率，由于大多数的边缘设备性能本身就非常有限，还要对实时的视频进行采集和处理，再加上外国对国内芯片的打压，在国产边缘设备上部署视频异常检测技术受到了一些限制。

技术实现思路

1、本发明提供基于帧重构量化的边缘设备视频异常检测方法，解决的技术问题在于：现有的异常检测网络模型大型而复杂，无法部署在性能受限的国产边缘设备上，导致现有的边缘设备无法实现视频异常检测。

2、为解决以上技术问题，本发明提供基于帧重构量化的边缘设备视频异常检测方法，包括步骤：

3、s1、训练视频异常检测模型，用于对视频片段中的当前帧进行重构，重构过程包括步骤：

4、s11、对图片帧x进行编码，得到h*w*c的特征图z，h表示高度，

5、w表示宽度，c表示通道数；

6、s12、将特征图z拆分为h*w个1*1*c的特征图；

7、s13、将n＝h*w个特征图和n行c维的存储矩阵m进行内存寻址，得到权值w；

8、s14、对w进行收缩操作得到

9、s15、将和存储矩阵m相乘得到新的特征图

10、s16、对进行解码得到重构图片

11、s2、对训练后的视频异常检测模型进行量化；

12、s3、将量化后的视频异常检测模型部署在边缘设备上；

13、s4、视频异常检测时，边缘设备上部署的视频异常检测模型通过将重构误差归一化得到第u帧的得分pu，当得分pu在预设范围内时表示该帧被检测为异常帧。

14、进一步地，在步骤s1中，训练视频异常检测模型的具体过程为：

15、给定包含t个样本的数据集设表示每个训练样本xt的重构样本，在训练过程中，算出xt和的重构误差通过反向传播和梯度下降优化存储矩阵m，以达到训练目标；

16、设表示为xt内存寻址并进行收缩操作后的权值，在训练过程中，加入一个稀疏正则化器再对进行如下收缩操作：

17、

18、其中表示中对应第i个特征图的第i个权值。

19、进一步地，在步骤s1中，在训练过程中，损失函数为：

20、

21、其中，α是训练中的超参数。

22、进一步地，在所述步骤s13中，针对h*w个特征图中的第i个特征图，得到其对应权值wi的公式为：

23、

24、其中，mi表示与第i个特征图对应的存储矩阵m中第i行的值，d(·)余弦相似性度量计算，mj表示存储矩阵m中第j行的值，exp(·)表示以自然常数e为底的指数函数。

25、进一步地，在所述步骤s14中，对h*w个特征图中的第i个特征图的权值wi进行收缩得到的公式为：

26、

27、其中，λ表示相似度权重阈值，ε为正标量，max(wi-λ,0)表示取wi-λ与0中的最大值。

28、进一步地，在所述步骤s15中，的计算公式为：

29、

30、进一步地，所述步骤s2具体为：

31、定义输入的weight/activation为x，weight、activation分别表示模型的权重和激活值，对x使用标准的均匀量化器qu(x；β)将输入量化为：

32、

33、其中，β为剪裁参数；sgn(x)表示阶跃函数，当x为正则返回1，当x为负则返回-1，当x为0则返回0；qb(·)是一个均匀量化函数，设被剪裁的输入为v＝qb(v)表示为：

34、

35、当标度因子s在有符号量化的情况下为s＝2b-1，在无符号量化的情况下为s＝2b-1，为舍入函数，b为量化位宽。

36、进一步地，引入压缩函数fθ(·)、扩展函数对均匀量化器qu(x；β)进行改进，得到新的量化器ql(x；β,θ)，将输入量化为：

37、

38、其中，压扩函数g(v)为：

39、

40、其中，θ＝{θ1,θ2,…,θk}是压缩函数fθ(·)、扩展函数的公共参数集，k表示参数个数。

41、进一步地，输入为v的压缩函数fθ(v)、扩展函数表示为：

42、

43、

44、其中，采用softmax函数将可学习参数θk∈θ取值限制在区间[0,1]，得到k∈{1,2,…k}；为第k个量化区间的斜率为，第k个量化区间的总长度为dk＝kδ，δ为单位区间长度，第k个量化区间输出累计总和为并且设置有dk的初始值d0＝0、βk的初始值β0＝0；是一个指示函数，如果v∈∈则返回1，否则返回0；最后利用梯度下降通过γk和βk对θk进行更新优化。

45、进一步地，在所述步骤s4中，得分pu的计算公式为：

46、

47、其中，eu表示视频片段第u帧的重构误差，minu(eu)表示过去帧的最小重构误差，maxu(eu)表示过去帧的最大重构误差。

48、本发明提供的基于帧重构量化的边缘设备视频异常检测方法，利用深度自编码器和加入存储模块对当前帧进行重构，模型训练后进行量化的操作来达到模型轻量化的目的，并且保证了模型的精确度，最后将量化后的模型部署在边缘端来进行视频异常检测，使得将大型复杂的异常检测网络模型部署在性能受限的国产边缘设备上变得简单，填补了在边缘端视频异常检测的空白，无论是在硬件层面还是在软件层面都提升了兼容性。

技术特征：

1.基于帧重构量化的边缘设备视频异常检测方法，其特征在于，包括步骤：

2.根据权利要求1所述的基于帧重构量化的边缘设备视频异常检测方法，其特征在于，在步骤s1中，训练视频异常检测模型的具体过程为：

3.根据权利要求2所述的基于帧重构量化的边缘设备视频异常检测方法，其特征在于，在步骤s1中，在训练过程中，损失函数为：

4.根据权利要求1所述的基于帧重构量化的边缘设备视频异常检测方法，其特征在于，在所述步骤s13中，针对h*w个特征图中的第i个特征图，得到其对应权值wi的公式为：

5.根据权利要求1所述的基于帧重构量化的边缘设备视频异常检测方法，其特征在于，在所述步骤s14中，对h*w个特征图中的第i个特征图的权值wi进行收缩得到的公式为：

6.根据权利要求1所述的基于帧重构量化的边缘设备视频异常检测方法，其特征在于，在所述步骤s15中，的计算公式为：

7.根据权利要求1～6任意一项所述的基于帧重构量化的边缘设备视频异常检测方法，其特征在于，所述步骤s2具体为：

8.根据权利要求7所述的基于帧重构量化的边缘设备视频异常检测方法，其特征在于，引入压缩函数fθ(·)、扩展函数对均匀量化器qu(x；β)进行改进，得到新的量化器ql(x；β,θ)，将输入量化为：

9.根据权利要求8所述的基于帧重构量化的边缘设备视频异常检测方法，其特征在于，输入为v的压缩函数fθ(v)、扩展函数表示为：

10.根据权利要求1所述的基于帧重构量化的边缘设备视频异常检测方法，其特征在于，在所述步骤s4中，得分pu的计算公式为：

技术总结
本发明涉及视频处理技术领域，具体公开了一种基于帧重构量化的边缘设备视频异常检测方法，包括步骤：训练视频异常检测模型，用于对视频片段中的当前帧进行重构；对训练后的视频异常检测模型进行量化；将量化后的视频异常检测模型部署在边缘设备上；视频异常检测时，边缘设备上部署的视频异常检测模型通过将重构误差归一化得到第u帧的得分p<subgt;u</subgt;，当得分p<subgt;u</subgt;在预设范围内时表示该帧被检测为异常帧。本发明利用深度自编码器和加入存储模块对当前帧进行重构，模型训练后进行量化的操作来达到模型轻量化的目的，并且保证了模型的精确度，最后将量化后的模型部署在边缘端，使得将大型复杂的异常检测网络模型部署在性能受限的国产边缘设备上变得简单。

技术研发人员：利节,苑凯,董志诚,黄琦麟,朱其涛,邱胜,蔡枫林
受保护的技术使用者：重庆科技学院
技术研发日：
技术公布日：2024/1/14