一种基于MSER的远距离复杂环境下的烟雾根节点检测方法与流程

本发明属于森林防火和视频目标检测领域，尤其涉及一种基于视频的烟雾源根节点检测方法。

背景技术：

森林火灾相比较于室内火灾而言，最大的特点就是燃烧面积广，蔓延速度快，扑灭难度大。相比较室内的火灾监控设备(例如烟雾报警器，温度传感器等)，林火监控往往采用能够覆盖大面积监控区的高塔摄像头或人造卫星来进行绵延几千公里的林火监控。而基于视频的林火检测方法，往往需要对待检测区域进行候选区域的提取计算，并加以筛选后，得到候选区域中的真实目标区域。筛选过程往往采用颜色、纹理、动态背景等方法进行。这些候选区域的计算方法在对远距离目标的检测效果上往往存在缺陷，例如：远距离的燃烧烟雾由于摄像头的分辨率问题，或由于相似颜色的云朵干扰，仅仅能检测出数量极少的动态像素点或颜色变化点。由此可见，远距离目标检测对细节处理要求较高的林火检测方法具有很大的可靠性挑战。

专利申请号为cn201711440134，发明名称为“一种基于特征根和流体力学的森林火灾烟视频目标检测方法”的中国专利。该发明在权利要求书“步骤1”图像预处理部分采用了帧间差分算法进行动态背景的提取。例如上文中展示的结果,该方法对远距离目标存在缺陷。根据该专利后续对候选区域处理过程，若真实烟雾区域未能进入烟雾候选区域范围，将无法成功对待检测目标进行烟雾根节点的提取和流体力学模拟的计算。

专利申请号为cn201811318766，发明名称为“一种基于最小二乘法的烟雾根节点检测方法”的中国专利。该发明在烟雾源(燃烧源)提取过程中(权利要求书第一步、第二步)同样需要对烟雾候选区的连通域采取计算，并采用了帧间差分的动态区域提取算法。若未能成功提取到待检测烟雾的候选区域，该专利提出的山崩算法将无法分割出崩塌计算的山崖区域，导致检测失败。

文献(zhouz,shiy,gaoz,etal.wildfiresmokedetectionbasedonlocalextremalregionsegmentationandsurveillance[j].firesafetyjournal,2016,85:50-58.)中提出了一种基于mser算法的远距离烟雾检测方法，该方法仅仅考虑了简单场景下的远距离烟雾检测方法(例如仅仅有森林、河流、云朵。没有房屋、频繁运动的物体、高速公路上的汽车等)，对复杂场景下的应用误检测率极高。由于mser算法的局限性，对于房屋等颜色和烟雾相近，并且始终为静态的干扰物误检测现象明显。

以上三种方法分别对林火识别、林火燃烧源(烟雾根)识别、远距离林火识别做出了相应的工作，但普遍存在缺陷。而实际应用场景下不论是卫星图像，还是视频相机监控下远距离的林火现象均普遍存在，所以能够成功识别复杂场景下远距离的烟雾候选区域十分重要。

技术实现要素：

本发明提供了一种基于mser的远距离复杂环境下(例如监控视频范围内有大量的白色房屋，高楼建筑，桥梁等)的林火燃烧源检测的检测方法，通过对固定林火监控摄像头监控视频的帧图像提取并进行处理，可以对超远距离下发生的林火烟雾进行识别，并检测烟雾根节点。

根据本发明计算过程，所述燃烧源根节点检测方法包括：

第一步，视频信息预处理：通过采集固定摄像头的连续帧烟雾图像，进行帧图像提取，并对rgb色域的帧图像进行中值滤波和高斯滤波去除噪声干扰；

第二步，图像中角点提取：通过对中值滤波后的图像进行shi-tomasi角点提取，找出图像中所有的可疑角点；

第三步，角点自动聚类处理：通过对产生角点的坐标进行层次聚类计算，并根据otsu最大类间差算法确定聚类数目，得到自动确定的聚类数目下的各个分类角点坐标；

第四步，图像分割切除：对自动聚类完毕后各个分类下的坐标进行凸包计算，画出凸包区域，并在原始的rgb帧图像中对凸包区域进行切除，并用黑色(rgb值为[0,0,0])进行切除区域的填充；

第五步，mser+的计算处理：对填充后的rgb图像做mser的正向算法计算，仅仅检测白色的mser区域，不执行mser-的计算，将得到的区域存入单通道二值图像；

第六步，候选区域代表坐标计算：对得到的单通道二值图像连通域进行骨骼图像提取，并计算出骨骼图像的端点坐标，记录该图像中所有的骨骼图像端点坐标，该坐标记录即为当前帧图像的候选区域代表坐标；

第七步，代表坐标分类：计算当前图像的后续一帧图像，记录步骤六中计算出的骨骼图像端点坐标，并对这两帧图像的端点坐标再次进行步骤三种提出的基于otsu分类的自动聚类算法，计算凸包区域簇，并记录区域簇；

第八步，代表坐标分类锁定:再次计算后续两帧图像中提取出的区域簇(此时应用了4帧图像)，对凸包区域簇进行位置重叠匹配，淘汰掉没有区域簇重合的区域，并对重合的区域簇进行编号计数，在后续循环计算的过程中，若编号计数连续中断10次(40帧图像)，则淘汰该区域；

第九步，锁定区域下的烟雾根坐标匹配：对步骤八中锁定的区域簇内的骨骼图像端点坐标点做基于欧式距离的半径匹配策略，若存在连续帧图像端点坐标在区域簇内稳定存在，并浮动于小半径范围内，则该小范围内所有端点坐标的平均值(包括x轴方向和y轴方向)为烟雾根节点；

根据如上所述的九个步骤，一种基于mser的远距离复杂环境下的烟雾根的检测方法，其特征在于所述第三步中的角点自动聚类算法，具体的类别确定方式为：采用自底向上的层次聚类计算方式，对所有坐标点计算完整的分类二叉树，得到每轮迭代新产生的两类坐标点，通过对每轮新产生的坐标点进行改进后的otsu算法计算，得到水平和垂直方向上的otsu坐标值，通过循环操作，得到整棵聚类树每轮分类的otsu坐标值，并在所有坐标值中选取出距离其他坐标值最近的点，该点代表的分类种类即为改进otsu分类算法下的最优种类点；

根据如上所述的九个步骤，一种基于mser的远距离复杂环境下的烟雾根的检测方法，其特征在于所述第七步骤中的凸包区域簇具体定义为：通过层次聚类自动确定类别后的结果，每一类别单独形成一个区域簇，并对这些区域簇进行凸包算法计算，得到的凸包内的所有像素点即为凸包区域簇；

根据如上所述的九个步骤，一种基于mser的远距离复杂环境下的烟雾根的检测方法，其特征在于所述第八步骤中的位置重叠匹配具体含义为：四张图片计算出的两大类凸包区域簇集合中，各个小类簇的坐标若存在70％以上相同，则认为这两大类中相应小类为位置重叠区域；

根据如上所述的九个步骤，一种基于mser的远距离复杂环境下的烟雾根的检测方法，其特征在于所述第九步骤中基于欧式距离的半径匹配策略具体的含义为：四帧图像产生的两组区域簇内的已经锁定的区域内，计算各个骨骼图像端点到其余骨骼图像端点的欧式距离，若存在端点，其周围半径r范围内有3～4个额外端点，则将这些端点的坐标平均值作为最终的烟雾根节点。

本发明的有益效果在于：通过对复杂环境下(例如监控视频范围内有大量的白色房屋，高楼建筑，桥梁等)连续帧图像中稳定存在的mser区域，得出远距离烟雾区域，并找出其燃烧源根节点。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的条款范围内，本发明的实施方式包括许多改变、修改和等同。

附图说明

图1为本发明计算过程的流程图。

图2为层次聚类算法中每次参与进行otsu坐标计算点的示意图。

具体实施方式

参照附图，通过下面文本说明书，本发明的前述以及其他的特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用文本发明的原则部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变形以及等同物。

本发明实施例提供一种远距离烟雾根节点检测方法。图1是本发明实施例的烟雾检根测方法的流程示意图，如图1所示，所述烟雾根节点检测方法包括：

步骤101，对基本参数进行初始化后，提取当前帧图像；

步骤102，对读入的当前帧图像进行处理操作，按顺序执行中值滤波和高斯滤波，处理过程主要目的是除去椒盐噪声和模糊烟雾边界，由于shi-tomasi角点检测算法改进于harris算法，不具有尺度不变性，高斯滤波操作模仿了尺度变换操作，这样可以尽可能的除去对烟雾边界角点的检测，保证后续的角点检测发生在干扰物，例如房屋、桥梁等边界处；

步骤103，中值滤波的操作过程采用尺度为3x3的卷积核进行，图像边界处采用填充[0,0,0]的rgb值方式进行处理；

步骤104，高斯滤波的操作过程采用尺度为3x3的卷积核进行，图像边界处采用填充[0,0,0]的rgb值方式进行处理，高斯滤波算子的锚点位于3x3算子的中心位置；

步骤201，角点计算采用shi-tomasi算法进行，角点检测阈值需要根据检测场景进行调节，以尽可能多的从场景中提取出干扰物的边界点为目的(例如房檐、桥梁边界等)；

步骤301，角点自动聚类首先将提取出的角点坐标进行记录收集，然后逐次计算两两坐标点的欧氏距离，找出欧氏距离最近的两个坐标点，进行合并计算，并将合并后的端点作为这两点的代替坐标点，再次进行后续的迭代计算，直到所有坐标点全部计算完成，形成一颗完整的分类二叉树为止，其中合并点的坐标公式如下：

式(1)中xi和xj分别对应在当前所有角点坐标中距离最近的两点的水平坐标，yi和yj分别对应在当前所有角点坐标中距离最近的两点的垂直坐标，xnew,ynew分别代表两者合并后的替代坐标的水平方向坐标值和垂直方向的坐标值；

步骤302，二叉树具体合并过程如下，如示意图2所示，以六个角点为例，其中a、b、c、d、e、f六个点为图像计算出的角点，数字1、2、3、4、5所代表的是相应角点的合并顺序以及合并后新的坐标点，则依顺序，第一轮合并的坐标为a、b两点，第二次合并坐标点为c、d两点，第三次合并为1、2两点以此类推；

步骤303，二叉树合并完成后，提取出每轮合并的坐标点，进行otsu分类坐标值的计算，如图示意图2所示，以六个角点为例，计算方式自顶向下：5坐标点表示所有的六个角点合并为最终一类，则一类到二类的转变是将5分解成为3、4两个大类，则3、4两二叉树节点下的所有坐标进行otsu坐标分类计算，即a、b、c、d为一组输入信息，e、f为一组输入信息；以此类推，4坐标表示所有六个角点合并为最终两类，则第二类到第三类的转变是将4分解为e、f两个大类，此时3、e、f为六个角点的三大类信息点，则最新分裂的坐标点为otsu的输入信息，即e为一组输入信息，f为一组输入信息；

步骤304，以示意图2为例，六个角点最多存在六个分类结果，最少存在一个分类结果，共会计算出五个otsu坐标点；即：若存在n个角点，共会存在最多n个分类结果，最少1个分类结果，共会计算出n-1个otsu坐标点；

步骤305，otsu坐标点计方式如下：

首先计算坐标点所占比例：

其中，len1和len2表示输入两组数据的坐标点个数，w1和w2表示两组数据坐标点数占总计算坐标点数的比例；

其次计算平均坐标值：

其中，x1ave和x2ave表示两组数据各自的水平坐标平均值，y1ave和y2ave表示两组数据各自的垂直坐标平均值；

最后计算最大类间差下的坐标值：

其中，otsux和otsuy表示otsu坐标下的水平坐标值和垂直坐标值；

步骤306，计算所有otsu坐标与坐标之间的距离，找到坐标集中距离其他坐标距离和最小的点，此时该点所代表的分类种类即为最佳分类方式，距离计算公式如下：

其中，xj和yj代表当前迭代计算坐标点坐标值，xi和yi代表所有otsu坐标点中除当前迭代坐标点外的其他所有坐标点坐标值，n代表所有坐标点的个数；

步骤307，计算出满足上述条件的otsu坐标点后，当前坐标点值所代表的分类变化数即为最佳分类种类，例如pmin点由第三类分裂到第四类时产生的新坐标点参与计算得出，则最佳分类种类为第三类；

步骤401，确定分类种类后对所有骨骼图像端点进行凸包计算，得到在最佳分类下的各个分类的凸包，确定图像中的凸包区域；

步骤402，对原始帧图像进行区域分割切除，将步骤401中的凸包区域内的全部像素点删除，并用[0,0,0]的rgb坐标值进行代替，形成新的分割图片；

步骤501，对新形成的分割图像进行mser+区域提取，即从灰度为0逐渐增长至255进行漫水操作，不计算mser-的过程以及后续的结果合并过程；

步骤502，将当前图像计算出的mser+区域存入单通道灰度图；

步骤601，对mser+计算出的结果区域进行骨骼图像提取，骨骼图像中骨架提取条件如下：

其中p1为中心像素值，pi，i＝2,3,…,9，为以p1为中心从像素12点方向开始顺时针排列的临域像素值，b(pi)表示以像素pi为中心，邻域像素之和在2×255和6×255之间，a(pi)表示以像素pi为中心，临域8枚像素中按照顺时针方向，相邻两个像素出现0至255变化的次数。

步骤602，对骨骼图像进行骨骼端点提取计算，得到的所有端点即为其所处连通区域的替代点，其中，骨骼图像端点的提取公式为：

其中iflag(x,y)为坐标点为(x,y)的像素点的端点判定依据，若该项为1，则该像素点即为骨骼图像端点，反之则不为端点；ci(x,y)为坐标点为(x,y)的当前像素点的顺时针8邻域像素值；

步骤701，重新读取后续一帧图像，重复步骤101-602，对两帧图像得到的所有骨骼图像端点进行基于步骤301的自动聚类计算，并形成基于步骤401的凸包区域；

步骤801，循环对后续两帧再次计算得到步骤701的结果(此时共使用4帧图像)，对这两类凸包区域的所有坐标进行位置重叠统计，若存在凸包区域重叠70％的坐标，则标记该区域，此后每轮计算若该区域持续10轮迭代未在出现标记，则该区域清空，并清除标记；

步骤901，在骨骼图像中标记801步骤标记的区域，并取出该区域内的所有骨骼图像端点(4帧图像所得)，对每个骨骼图像端点做基于半径像素10的搜索，若存在搜索区域内有3个端点及以上的坐标，则取出包括中心点和搜索半径内的所有端点，并计算其水平和垂直坐标的平均值，最终的结果即为燃烧源根节点；

步骤902，在搜索过程中，若出现满足步骤901的坐标点，则在后续的计算中排除掉该坐标点以及其搜索半径内的所有骨骼端点继续进行后续搜索策略。