一种基于动静态结合区域层叠策略森林火灾烟雾根检测方法与流程

本发明属于森林防火和视频目标检测领域，尤其涉及一种基于视频的烟雾源根节点检测方法。

背景技术：

由于森林的特殊性，森林火灾一旦引发，很容易在风力推动下迅速蔓延，由于森林的面积较大，火灾发生时不一定能及时发现，发现火灾时往往已经蔓延了相当宽的距离，此时森林火灾的扑救也存在相当大的难度，森林火灾往往会造成巨大的资源损毁，因此对森林火灾的早期识别十分重要。烟雾是森林火灾的早期的明显特征，森林火灾早期烟雾往往为向上飘散的不规则形状，越是向上，烟雾越稀薄，越是难以被检测出，但早期烟雾的源头的位置往往是确定的，较短时间内是不变的，基于此原理，通过烟雾的分布形态确定烟雾源的位置成为重要的突破口之一。

专利申请号为201910490504.9，发明名称为“一种基于mser的远距离复杂环境下的烟雾根节点检测方法”的中国专利。该发明在采用mser算法对远距离烟雾场景进行候选区域提取，并通过角点提取算法和凸包检测算法对图像中可能存在干扰项进行排除，然后通过骨骼提取算法对候选区域提取烟雾根节点候选点，最后采用连续帧的帧间信息提取出烟雾根节点。mser算法的核心思想是基于灰度图像灰度值在一定范围内趋于稳定的特性提取mser候选区域。而烟雾在动态条件下进行扩散，仅仅在烟雾中心部分灰度值趋于稳定，烟雾边缘灰度值频繁发生变化，导致mser算法不能完整提取出烟雾轮廓，且mser所提取到的特征区域除了一部分烟雾区域，还有大量的背景干扰物，并非所有的干扰物轮廓都能被角点提取出来，会导致最后得到的特征区域存在较多误差与干扰，这种结果直接导致无法提取到正确的烟雾区域，从而无法确定烟雾根节点的位置。

专利申请号为201711440134，发明名称为“一种基于特征根和流体力学的森林火灾烟雾视频目标检测方法”的中国专利。该发明通过提取视频中连续帧图像进行动态提取，在通过形态学算法对动态区域进行连通区域骨骼化，提取连续帧骨骼端点中可疑的烟雾根特征候选点，再将其投入二维烟雾引擎以判定是否为真实烟雾根。该发明仅通过帧间差分法获取差分图像，无法准确获得完整的烟雾区域，最后获得的烟雾根候选点也极大可能性偏离真实烟雾根节点。

专利申请号为201811318766，发明名称为“一种基于最小二乘法的烟雾根节点检测方法”的中国专利。该发明通过连续帧图像中连通域分布情况进行连通域替代点的统计计算，得出在连续图像中持续存在的动态区域，通过回归算法得持续存在的动态区域的相交点，采用连续三帧图片得出计算结果，确定烟雾源。该发明在烟雾根候选点提取过程中同样需要对烟雾候选区的连通域采取计算，并采用了帧间差分法的动态区域提取算法，仅靠动态提取无法准确的获得完整烟雾信息，若未能成功提取到烟雾的候选区域，该专利提出的山崩算法将无法分割出坍塌计算的山崖区域，导致检测失败。

专利申请号为201910613683.0，发明名称为“一种大范围尺度空间下的自适应烟雾根节点检测方法”的中国专利。该发明在说明书“步骤401-步骤411”中采用了基于贝叶斯理论的图像融合方法，该方法以4张vibe图像以及3张mser图像为基础，采用分区网格的形式对图像进行概率统计。计算每个网格区域的融合概率后，对超过阈值概率的区域进行融合计算，得出融合图像。该算法的应用背景为烟雾根检测算法，对连续帧间持续存在信息的连贯性要求较高。根据其融合算法的计算原理，该算法最多可以包含连续7帧的图像信息，并且每轮计算需要对10*10网格区域内的所有像素点进行遍历统计。这种计算过程对多帧图像是不友好的，即便是最小单位的连续帧图像计算出根节点也需要极大的计算量。并且为了保证算法的运行速度，其包含连续帧图像的数量不允许过多，存在很大的局限性。

技术实现要素：

本发明提供了一种基于动静态结合区域层叠策略森林火灾烟雾根节点检测方法，能够通过对原视频帧图像对烟雾源根节点进行定位。

该方法基本步骤如下：

第一步，视频信息预处理，通过采集固定摄像头的连续帧烟雾图像，进行帧图像提取，并通过基本的图像处理方法，得到特定尺寸的单通道灰度图像帧；

第二步，烟雾动态区域提取，对获得的全部单通道灰度帧图像通过vibe算法进行动态区域提取，获得该全部帧图像的vibe动态区域图像；

第三步，对得到的全部vibe图像进行腐蚀操作，去除背景干扰噪声影响，获得全部帧的动态特征图像；

第四步，对全部动态特征图像帧进行与操作加和，获得一张包含全部时刻动态特征的特征图像，对该特征图像求一个能够包含所有特征像素点的矩形框，并且根据烟雾的特点，将y方向的下沿向下延伸10个像素，以更好的囊括进烟雾根节点，再根据矩形框对第一步获得的单通道灰度图进行静态特征提取，提取出二值化烟雾区域特征图像；

第五步，对获得的二值化烟雾区域特征图像进行闭操作以获得连通域；

第六步，对连通域进行骨骼提取，获得烟雾骨骼图像；

第七步，对骨骼图像求骨骼端点，并进行多帧离散置信度根节点判定方法获得高置信度烟雾根节点。

第四步中，通过动态特征获取烟雾特征矩形框和通过矩形框对烟雾帧进行静态特征提取的动静态结合烟雾特征提取方法，具体执行方法为：

步骤401，将全部经腐蚀核为(1,1)的腐蚀操作，去除掉背景噪声干扰的vibe动态特征图像进行与操作加和，其操作公式为：

式中，m(x,y)为模板图像位于(x,y)的像素值，pi(x,y)为第i帧vibe动态特征图像位于(x,y)的像素值；

步骤402，对获得的具有全部动态特征像素点的模板图像分别求出像素值为255的像素点的最大x值xmax，最小x值xmin，最大y值ymax和最小y值ymin，根据烟雾特点，以一个最小的矩形框框住全部的烟雾动态特征像素点集，矩形框的四个端点坐标分别为：

(xmin,ymin),(xmax,ymin),(xmin,ymax+10),(xmax,ymax+10)(2)

步骤403，再对第一步获得的单通道灰度帧进行静态特征提取，f(x,y)为获得静态特征图像其提取策略为：

f(x,y)为单通道灰度图像位于(x,y)位置的像素值，静态特征提取方法为：

(x,y)属于矩形框区域(5)

步骤404，获得全部输入帧的静态特征图像。

本文的有益效果在于：通过对提取出来的多帧烟雾动态区域进行条件叠加，获取能够包含所有烟雾动态区域的矩形框，再对原始输入图像在矩形框内进行静态特征提取，以获得同时满足动静态特征的烟雾区域，而对非矩形框区域认定为背景区域，再对烟雾区域进行骨骼化获取骨骼端点及后续的多帧离散置信度策略获取具有较高置信度的烟雾根节点，弥补了仅通过单帧动态提取方法无法获得连续完整的烟雾区域，也无法获得完整连续的连通域的问题，也改善了静态特征提取方法难以去除背景干扰物的问题。完整的连通域对后续得到烟雾根候选点起着至关重要的作用，避免因烟雾信息的不完整和干扰物信息而增添计算量，极大的提升了计算效率和计算结果准确率。

附图说明

图1为本发明计算过程中的计算流程图。

具体实施方式

参照附图，通过下面文本说明书，本发明的前述以及其他的特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用文本发明的原则部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变形以及等同物。

步骤101，视频信息预处理，通过采集固定摄像头的连续帧烟雾图像，进行帧图像提取，对帧图像进行单通道灰度化处理，并裁剪为480*320像素，获得单通道灰度图像；

步骤201，以单通道灰度图格式读入每一帧，通过vibe算法进行动态区域提取，获得每一帧图像的vibe动态区域图像。

步骤301，对得到的全部vibe图像进行腐蚀操作，去除背景干扰噪声影响，获得全部帧的动态特征图像。

步骤401，将全部经腐蚀核为(1,1)的腐蚀操作，去除掉背景噪声干扰的vibe动态特征图像进行与操作加和，其操作公式为：

式中，m(x,y)为模板图像位于(x,y)的像素值，pi(x,y)为第i帧vibe动态特征图像位于(x,y)的像素值；

步骤402，对获得的具有全部动态特征像素点的模板图像分别求出像素值为255的像素点的最大x值xmax，最小x值xmin，最大y值ymax和最小y值ymin，根据烟雾特点，以一个最小的矩形框框住全部的烟雾动态特征像素点集，矩形框的四个端点坐标分别为：

(xmin,ymin),(xmax,ymin),(xmin,ymax+10),(xmax,ymax+10)(2)

步骤403，再对第一步获得的单通道灰度帧进行静态特征提取，f(x,y)为获得静态特征图像其提取策略为：

f(x,y)为单通道灰度图像位于(x,y)位置的像素值，静态特征提取方法为：

(x,y)属于矩形框区域(5)

步骤404，获得全部输入帧的二值化烟雾区域特征图像。

步骤501，对获得的二值化烟雾区域特征图像进行闭操作以获得连通域；

步骤601，对每一帧连通域图像进行骨骼提取，得到每帧图像的骨骼图像，骨骼图像计算过程中，提取条件如下：

其中p1为中心像素值，pi,i＝2,3,...,9，为以p1为中心从像素12点方向开始顺时针排列的临域像素值，b(pi)表示以像素pi为中心，邻域像素之和在2*255和6*255之间，a(pi)表示以像素pi为中心，临域8枚像素中按照顺时针方向，相邻两个像素出现0至255变化的次数。

步骤701，对骨骼图像求骨骼端点，并进行多帧离散置信度根节点判定方法获得高置信度烟雾根节点。