一种基于帧间差分算法的异常监测方法、系统平台及存储介质与流程

本发明涉及一种视频处理，具体地涉及一种基于帧间差分算法的异常监测方法、系统平台及存储介质。

背景技术：

1、视频异常处理在工厂监控工作中十分重要，其主要用于工厂局部发生异常紧急情况的提醒并对其进行异常处理。

2、目前对于视频异常检测及处理也有许多解决方案。大部分需要监督人员进行时时盯着屏幕观察异常是否出现，还有一部分会采用一些av库自带算法进行视频异常的检测及处理，剩余小部分为追求企业经济效益会直接利用技术人员所提出算法进行异常检测及处理。

3、三种解决方案目前都存在着一定的问题。采取人工手段进行视频异常处理的过程中将消耗大量人力物力，费用也程持续增加的趋势，这对于一个工厂效益来说是不合理的解决措施；其次利用技术人员提出的相关算法进行视频异常的检测及处理时，本身进行预处理时间较长，并且相关算法进行异常检测出来的视频异常帧与利用av库自带算法检测出来的视频异常帧相比多了5倍的图片数量，在增加人工处理难度的同时，精确度相较于前两者而言也不够高，若是选用局部最大值来进行帧间差分的异常帧提取，提取结果均匀分散在视频中，不利于异常帧的捕捉；而采用差分强度的顺序的方法进行异常帧提取会出现大量冗余帧；最后采用av库自带算法视频异常的检测及处理时，在牺牲精确度的前提下提高视频异常处理速度，异常检测出来的视频帧有冗余视频帧成分(将不是异常帧的图片信息进行输出)，因此av库自带算法难以把握其精确程度。

技术实现思路

1、本发明的目的是针对现有技术存在的不足，提供一种基于帧间差分算法的异常监测方法、系统平台及存储介质，没有出现冗余的视频异常帧，能够很好地达到视频异常检测及显示的要求，从而提高工作效率。

2、为实现上述目的，本发明提供了一种基于帧间差分算法的异常监测方法，包括以下步骤：

3、s1、首先实时提取摄像头拍摄的一段固定时间的视频流；

4、s2、从视频流文件提取所有的视频帧；

5、s3、进行视频帧的异常帧提取；

6、s4、将异常帧的图片信息进行base64编码并显示至后端服务器上；

7、s5、前端发送请求获取后端服务器数据；

8、s6、数据进行base64解码并显示至前端服务器上。

9、作为上述方案的进一步地改进，所述步骤s1中视频流的获取方法包括如下步骤：

10、a：在访问监控摄像头权限前需要先创建一个videocapture对象并设置和获取摄像头属性参数；

11、b:自动截取摄像头视频流并计时到固定时间停止截取视频流；

12、c：将视频流保存至内存备用。

13、作为上述方案的进一步地改进，所述步骤s3视频所有异常帧的提取方法采用差分强度阈值对视频异常帧方法，将所提取视频帧中第n帧和第n-1帧的视频图像为fn和fn-1，两帧对应像素点的值记为fn(x,y)和fn-1(x,y)，按照式(1)将两帧图像对应像素点的值进行相减，并取其绝对值，得到差分图像dn由式(1)所示：

14、dn＝|fn(x,y)-fn-1(x,y)|   (1)

15、其中(x,y)表示离散图像的坐标，对差分之后的图像利用选取的阈值t来进行二值化处理，判断图像中的各个像素点是前景像素点还是背景点，当差分图像中某一像素值大于给定的阈值时，则认为该像素点是前景像素，反之则认为是背景像素，从而提取到运动区的图像d(x,y)由式(2)所示：

16、

17、最后对二值化图像进行连通性分析和数学形态学滤波，当某一连通的区域的面积大于给定的阈值，则认为检测到的目标并把该区域作为目标所在的运动区域。

18、作为上述方案的进一步地改进，当需要选择阈值减少大量噪声的引入时，需要提出一个运用当前图像灰度值确定动态阈值的方法：求出图像中的最小和最大灰度值，取其平均值为初始阈值，记为t，根据初始阈值将图像分割成目标和背景两部分，求出两部分的平均灰度值μ1、μ2和两部分的灰度概率α1、α2由式(3、4)所示：

19、

20、

21、求出的初始分割阈值t由式(5)所示：

22、t＝α1*α2(μ1+μ2)                     (5)

23、输入视频所有帧的文件进行依次遍历，若相减两帧图像的帧数分别为第k帧，第(k+1)帧，其帧图像分别为fk(x,y)，fk+1(x,y)，差分图像二值化阈值为t，差分图像用d(x,y)表示，则帧间差分法的公式由式(6)所示：

24、

25、然后将第一帧作为前一帧，第二帧作为后一帧，前一帧与后一帧进行相似度比较得出两帧的相似差值；再将第二帧作为前一帧，第三帧作为后一帧，前后帧进行相似度比较得出两帧相似差值，若两帧之间的差分值大于分割阈值则该帧间差分值所对应的图像帧被选取为异常帧并在内存中保存。

26、作为上述方案的进一步地改进，所述步骤s4中视频base64编码方法是利用base64编码将图片信息以字符串的形式直接保存至内存，减少图片信息保存至磁盘及从磁盘读取图片信息所消耗的时间。

27、作为上述方案的进一步地改进，所述步骤s6中视频base64解码方法是直接调用vue解码库进行解码显示。

28、一种基于帧间差分算法的异常监测系统平台，其特征在于：所述平台包括：

29、一级提取模块：用于提取摄像头拍摄的一段固定时间的视频流；

30、二级提取模块：用于提取视频流文件中所有的视频帧；

31、三级提取模块：用于提取视频帧中的异常帧；

32、编码模块：用于异常帧的图片信息进行base64编码并显示至后端服务器上；

33、数据获取模块：用于前端请求获取后端服务器的数据。

34、一种计算机可读存储介质，所述存储介质上存储有平台异常数据监测程序，其特征在于：该程序被处理器执行时，实现如权利要求1至6中任一所述的方法。

35、本发明的有益效果为：这种基于帧间差分算法的异常监测方法、系统平台及存储介质确定阈值之后所提取的异常帧精确度高，没有多余的冗余视频异常错误帧，提取效果较好，在时间允许的同时提高了视频异常帧提取精确度，有利于工作人员快速查找异常原因，显著提升企业效益。

技术特征：

1.一种基于帧间差分算法的异常监测方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于帧间差分算法的异常监测方法，其特征在于：所述步骤s1中视频流的获取方法包括如下步骤：

3.根据权利要求1所述的一种基于帧间差分算法的异常监测方法，其特征在于：所述步骤s3视频所有异常帧的提取方法采用差分强度阈值对视频异常帧方法，将所提取视频帧中第n帧和第n-1帧的视频图像为fn和fn-1，两帧对应像素点的值记为fn(x,y)和fn-1(x,y)，按照式(1)将两帧图像对应像素点的值进行相减，并取其绝对值，得到差分图像dn由式(1)所示：

4.根据权利要求3所述的一种基于帧间差分算法的异常监测方法，其特征在于：当需要选择阈值减少大量噪声的引入时，需要提出一个运用当前图像灰度值确定动态阈值的方法：求出图像中的最小和最大灰度值，取其平均值为初始阈值，记为t，根据初始阈值将图像分割成目标和背景两部分，求出两部分的平均灰度值μ1、μ2和两部分的灰度概率α1、α2由式(3、4)所示：

5.根据权利要求1所述的一种基于帧间差分算法的异常监测方法，其特征在于：所述步骤s4中视频base64编码方法是利用base64编码将图片信息以字符串的形式直接保存至内存，减少图片信息保存至磁盘及从磁盘读取图片信息所消耗的时间。

6.根据权利要求1所述的一种基于帧间差分算法的异常监测方法，其特征在于：所述步骤s6中视频base64解码方法是直接调用vue解码库进行解码显示。

7.一种基于帧间差分算法的异常监测系统平台，其特征在于：所述平台包括：

8.一种计算机可读存储介质，所述存储介质上存储有平台异常数据监测程序，其特征在于：该程序被处理器执行时，实现如权利要求1至6中任一所述的方法。

技术总结
本发明公开了一种基于帧间差分算法的异常监测方法、系统平台及存储介质，方法包括先在客户端获取一段视频流，将视频流进行所有视频帧的提取，提取之后依次进行前一帧(从第一帧开始)开始与后一帧进行相似度对比，从而得到两帧的差异大小值，将差异值大于某一阈值点的帧作为异常帧返回到内存进行base64编码，再通过前端发送请求获取编码进行解码并显示在前端；本方法引入帧间差分算法来解决一人监控多设备，产生异常偏差的问题，有效提高了效率。

技术研发人员：陈宏伟,冒鸿宇,周飞,张明西,李正欣,钱勇武,胡高斌,刘洲,田霄阳,张振林,强均,李海强,蔡西忠
受保护的技术使用者：江苏国信靖江发电有限公司
技术研发日：
技术公布日：2024/1/16