基于运动目标检测机制的森林烟雾检测系统和方法

本发明涉及森林火灾烟雾检测领域，尤其涉及一种基于运动目标检测机制的森林烟雾检测系统和方法。

背景技术：

1、森林火灾是一种脱离人为控制并在山区、林内、草地等形成自由蔓延趋势的破坏性极强的自然灾害。由于火灾发生地往往位于人员稀少和地形崎岖的山区，交通不便，扑救困难，对人类生命财产和生态环境带来了极大的威胁。目前我国的森林火灾监测体系尚不健全，消防设备覆盖率不广、存在盲区死角，火场通信和信息共享不强，远不能满足实际工作需要。现有的飞行器(如无人机等)能够实现实时传输影像，使用成本低，在森林火灾烟雾检测方面具有独特优势，然而目前基于飞行器采集图像的自动烟雾检测易受到复杂背景和光线的影响，效果往往不尽人意。运动目标检测是鸟类赖以生存、与生俱来的能力，有助于其躲避捕食者、觅食等。神经解剖研究表明，鸟类在复杂背景下的运动目标检测主要由离顶盖视觉通路完成。而对目标运动的敏感性以及不依赖于背景的鲁棒性得益于视顶盖核团的处理。基于鸟类视顶盖运动目标检测机制的森林烟雾检测方法有望解决在地面巡护无法顾及的偏远地区发生火灾时的烟雾实时检测与预警问题。

技术实现思路

1、本发明的目的是提供一种基于运动目标检测机制的森林烟雾检测系统和方法，能够在自然图像背景下和真实自然视频中更为准确可靠地进行烟雾的检测和预警。

2、本发明采用下述技术方案：

3、基于运动目标检测机制的森林烟雾检测系统，包括视频采集装置、数据处理装置和显示装置；

4、视频采集装置，用于采集监测区域内森林的实时视频，并将采集到的视频转化为数字信号发送至数据处理装置；

5、数据处理装置，用于通过亮度感知模块计算每帧视频图像中每个像素点的亮度信息，然后通过运动检测模块获取每帧视频图像中每个像素点在亮度增加情况下的烟雾运动响应信息，随后利用时空累计模块通过不同帧视频图像中具有时空相关性的像素点的烟雾运动响应信息，得到增强后的烟雾运动响应信息和运动方向信息；数据处理装置还通过外周调制模块得到用于调节增强后的烟雾运动响应信息的最终响应系数，最终响应系数包括运动方向对比系数和颜色对比系数，经信息融合模块将增强后的烟雾运动响应信息与最终响应系数进行整合后，输出视频中烟雾目标的位置信息；

6、显示装置，用于将数据处理装置输出的烟雾目标的位置信息进行标识和显示。

7、所述的数据处理装置包括亮度感知模块、运动检测模块、时空累计模块、外周调制模块和信息融合模块；

8、亮度感知模块，用于计算输入的视频中，每一帧视频图像的每个像素点的亮度信息，并对亮度信息进行平滑处理；

9、运动检测模块，用于计算每一帧视频图像中每个像素点亮度变化的on-off信号，并将分离后的on信号进行延时处理；然后将得到的on信号的延时与同一帧视频图像中同一像素点的off信号进行卷积，得到对应像素点位置处的烟雾运动响应信息；

10、时空累计模块，用于通过不同帧视频图像中具有时空相关性的像素点的运动信息，分别在上、下、左、右、左上、左下、右上和右下八个运动方向上进行时空信息的累计操作，得到各个运动方向上的运动信息值，运动信息值即为增强后的烟雾运动响应信息；最后选择最大的运动信息值作为该像素点位置处的运动方向信息，所对应的方向即为该像素点位置处的运动目标的运动方向；若每个方向上的运动信息值均低于设定的运动信息阈值ee，则认为该像素点位置处无运动目标；

11、外周调制模块，用于通过除法归一化操作，获取调节增强后的烟雾运动响应信息的最终响应系数，最终响应系数包括运动方向对比系数和颜色对比系数；

12、信息融合模块，用于对时空累计模块输出的增强后的烟雾运动响应信息，以及外周调制模块输出的最终响应系数进行整合，即将来自同一个像素点位置处的增强后的烟雾运动响应信息和最终响应系数进行卷积得到融合值，将融合值中的最大值作为融合对比值，然后把融合对比值与设定的运动检测阈值进行对比，若融合对比值大于运动检测阈值则认为该帧视频图像中存在运动目标。

13、当该帧视频图像中存在烟雾目标时，信息融合模块还根据对应的融合对比值所对应的像素点位置作为基准像素点，计算基准像素点周边各个像素点所对应的融合对比值，并判断是否大于基准像素点融合对比值的设定比较阈值，然后将所有大于设定比较阈值的融合对比值所对应的像素点与基准像素的位置，作为烟雾目标的出现位置。

14、所述的时空累计模块在获取各个运动方向上的运动信息值时，像素点位置(xm,yq,tk)在各个运动方向的运动信息值如下所示：

15、在向右运动方向上的运动信息值为：

16、

17、在向左运动方向上的运动信息值为：

18、

19、在向下运动方向上的运动信息值为：

20、

21、在向上运动方向上的运动信息值为：

22、

23、在向左上运动方向上的运动信息值为：

24、

25、在向左下运动方向上的运动信息值为：

26、

27、在向右上运动方向上的运动信息值为：

28、

29、在向右下运动方向上的运动信息值为：

30、

31、其中，xm,yq,tk,xm±i,yq±i,tk-i的下标值表示像素点的位置坐标，m和q表示每一帧视频图像的尺寸；min(m-m,q-q)表示m-m和q-q中的最小值；min(m-1,q-q)表示m-1和q-q中的最小值；min(m-m,q-1)表示m-m和q-1中的最小值；min(m-1,q-1)表示m-1和q-1中的最小值；wi表示当前视频图像帧的累积权重值；d(x,y,t)＝soff(x,y,t)·sd-on(x,y,t)；soff(x,y,t)表示l(x,y,t)的负数，l(x,y,t)为运动检测模块中亮度变化的响应输出，sd-on(x,y,t)为on信号的延时。

32、所述的时空累计模块中，选择最大的运动信息值作为该像素点位置处的运动方向信息，同时记录最大的运动信息值所对应的运动方向作为该像素点位置处的运动目标的运动方向；若八个方向上的运动信息值均低于设定的运动信息阈值ee，则认为该像素点位置处无运动目标；

33、像素点(xm,yq,tk)位置处的增强后的烟雾运动响应信息为：

34、

35、当dir＝0时表示该像素点位置处无运动目标；dir＝1,2,3,4,5,6,7和8分别表示运动方向为右、左、下、上、左上、左下、右上和右下；d表示像素点(xm,yq,tk)位置处的运动方向。

36、所述的外周调制模块包含运动方向调制模块；

37、运动方向调制模块用于获取像素点位置处(xm,yq,tk)的运动方向对比系数rdir(xm,yq,tk)；

38、

39、其中，ndir(xm,yq,tk)表示像素点(xm,yq,tk)位置处的运动方向在当前视频图像中出现的频数，表示所有运动方向出现频数的总和，其中方向共有9组，d＝0表示无运动，d＝1,2,3,4，5,6,7,8分别表示运动方向为右、左、下、上、左上、左下、右上和右下。

40、所述的外周调制模块还包含颜色调制模块；

41、颜色调制模块用于获取像素点位置处(xm,yq,tk)的颜色对比系数ryiq(xm,yq,tk)：

42、

43、其中，i(xm,yq,tk)、q(xm,yq,tk)和y(xm,yq,tk)表示像素点(xm,yq,tk)位置处的yiq颜色空间中的i、q和y通道的值，∑y表示当前图像帧中所有像素点位置处y通道值的总和。

44、所述的外周调制模块最终输出的包括运动方向对比系数rdir(xm,yq,tk)和颜色对比系数ryiq(xm,yq,tk)的最终响应系数为：

45、r(xm,yq,tk)＝wdir*rdir(xm,yq,tk)+(1-wdir)*ryiq(xm,yq,tk)；

46、其中，r(xm,yq,tk)表示外周调制模块中像素点(xm,yq,tk)位置处的最终响应系数，wdir表示运动方向对比的权重系数。1-wdir表示颜色对比的权重系数。

47、所述的信息融合模块输出的融合值表示为：

48、s(xm,yq,tk)＝f(xm,yq,tk)·r(xm,yq,tk)；

49、其中，f(xm,yq,tk)表示时空累计模块输出的增强后的烟雾运动响应信息，r(xm,yq,tk)表示外周调制模块输出的最终响应系数。

50、基于运动目标检测机制的森林烟雾检测系统的检测方法，依次包括以下步骤：

51、a：利用视频采集装置采集监测区域内森林的实时视频；

52、b：利用亮度感知模块计算每帧视频图像中每个像素点的亮度信息，并对亮度信息进行平滑处理；

53、c：利用运动检测模块计算每一帧视频图像中每个像素点亮度变化的on-off信号，并将分离后的on信号进行延时处理；然后将得到的on信号的延时与同一帧视频图像中同一像素点的off信号进行卷积，得到对应像素点(xm,yq,tk)位置处的烟雾运动响应信息d(xm,yq,tk)；

54、d：利用时空累计模块，通过不同帧视频图像中具有时空相关性的像素点的运动信息，分别在上、下、左、右、左上、左下、右上和右下八个运动方向上进行时空信息的累计操作，得到各个运动方向上的运动信息值；最后选择最大的运动信息值作为该像素点位置处的运动方向信息，所对应的方向即为该像素点位置处的烟雾目标的运动方向；若每个方向上的运动信息值均低于设定的运动信息阈值ee，则认为该像素点位置处无烟雾目标；最终得到对应像素点(xm,yq,tk)位置处的增强后的烟雾运动响应信息f(xm,yq,tk,d)；

55、e：利用外周调制模块中的运动方向调制模块和颜色调制模块，分别获取对应像素点(xm,yq,tk)位置处的运动方向对比系数rdir(xm,yq,tk)和颜色对比系数ryiq(xm,yq,tk)，得到最终响应系数为r(xm,yq,tk)；

56、f：利用信息融合模块，将来自像素点(xm,yq,tk)位置处的增强后的烟雾运动响应信息rdir(xm,yq,tk)和最终响应系数r(xm,yq,tk)进行卷积得到融合值s(xm,yq,tk)，将融合值中的最大值作为融合对比值，然后把融合对比值与设定的运动检测阈值进行对比，若融合对比值大于运动检测阈值则认为该帧视频图像中存在烟雾目标；

57、g：利用信息融合模块，根据对应的融合对比值所对应的像素点位置作为基准像素点，计算基准像素点周边各个像素点所对应的融合对比值，并判断是否大于基准像素点融合对比值的80％，然后将所有大于80％的融合对比值所对应的像素点与基准像素的位置，作为烟雾目标的出现位置，并将烟雾目标的出现位置发送至显示装置；

58、h：利用显示装置对烟雾目标的出现位置信息进行标识和显示，并通过报警模块进行提醒。

59、本发明通过亮度感知模块计算每帧视频图像中每个像素点的亮度信息，然后通过运动检测模块获取每帧视频图像中每个像素点在亮度增加情况下的烟雾运动响应信息，随后利用时空累计模块通过不同帧视频图像中具有时空相关性的像素点的烟雾运动响应信息，得到运动目标增强后的烟雾运动响应信息和运动方向信息；同时，本发明还通过外周调制模块得到用于调节增强后的烟雾运动响应信息的最终响应系数，并经信息融合模块将增强后的烟雾运动响应信息与最终响应系数进行整合后，输出视频中烟雾发生的位置信息。本发明基于时空累计-动态调制的设计思路，能够在自然图像背景下和真实自然视频中更准确、更可靠地检测烟雾目标。本发明无需训练样本且实现过程简单，用于森林火情监测系统中能够准确有效地检测到烟雾目标，达到预警的效果。