采用卷积神经网络的早期火灾检测方法与流程

本发明属于计算机视觉领域，具体来说是一种基于深度学习的检测视频中是否存在火灾的方法，本质上是目标识别与图像分割问题。

背景技术：

火灾是生活中常见的灾害之一。随着城市建筑向越来越高和越来越密集的趋势发展，一旦发生火灾，若没能在短时间内发现并控制火情，将严重危害人民的生命财产安全。鉴于火灾发生初期面积小、温度低、扩散慢，如何及时有效地检测到早期火灾并迅速准确地报警具有十分重要的研究意义。

当前，随着智能化、网络化、数字化愈来愈成为现代科技的主要发展趋势，人们把计算机视觉的相关算法引入传统的视频监控中，智能视频监控系统应运而生。而火灾检测由其在消防、安防领域所扮演的重要角色，成为智能视频监控领域的一个重要研究方向。

火灾检测方法目前主要有传统的基于各式传感器探测火灾参数的方法和新型的基于视觉的图像型火灾检测方法。火灾参数主要有温度、烟雾、光照等，但传统的火灾传感器具有检测范围小、检测不够灵敏等缺点，比如对于大跨空间建筑，由于空间距离使烟、雾、光等到达火灾探测器的所需时间较长，从而导致检测时间过长有碍于火情的及时发现。此外，其还易受环境温度、湿度、粉尘等因素干扰，大范围安装铺设也存在一定难度，且成本较高。传统的火灾检测技术由于受火灾探测器的检测性能以及空间等因素的限制，具有众多缺陷，因此新型的图像火灾检测方法应运而生。随着监控摄像头的视频分辨率逐渐向高清甚至超清发展，图像型火灾检测算法几乎可以在不增加任何成本的基础上与现有的视频监控平台有机结合。此外，图像型火灾检测算法具有检测范围广、探测精准、报警信息丰富的优点，除了可以提供报警信息之外，还可以提供起火点位置、起火时间等信息。

现有的基于视觉的火灾检测算法通常有以下几点缺陷和不足：

1)现有算法的检测场景较为简单、单一，并且大多依赖于经验阈值，因此算法的泛化能力不佳；

2)现有算法大多分为前景提取和特征选择两个模块，其中受强光等环境因素干扰极易导致前景提取效果不理想，且难以选择合适的对火焰本质进行全面描述的特征；

3)现有算法普遍时间复杂度较高，无法应用于实时检测，实用价值并不高；

4)类火颜色运动物体，比如闪烁的车灯、身着高亮颜色衣服走动的行人都易引发误报。

技术实现要素：

本发明提供一种可辅助火灾调查人员分析视频中是否存在火焰的检测方法，具有适应性强、检测率高、误报率低且实鲁棒性强的优点。技术方案如下：

一种采用卷积神经网络的早期火灾检测方法，包括下列步骤：

1)对于监测视频，利用vibe算法建立背景模型，用以对视频中的运动区域进行检测和提取；

2)对于当前帧，根据背景模型获取其类火前景区域：基于rgb颜色空间利用颜色直方图判断当前区域是否含有类火颜色像素点，并按照判断结果决定是否对背景进行更新，更新原则如下：对于含类火颜色像素点的运动前景区域，不更新其背景；对于不含类火颜色像素点的运动前景区域，采用每帧大概率更新；基于视频中相邻两帧静止区域几乎不变的关系，对于静止区域采用隔帧大概率更新。

3)考虑到火焰燃烧时的运动在一段时间内是连续的，分别计算当前帧运动前景区和前一帧运动前景区的面积变化，以及当前帧与前一帧前景区的上下部分面积变化，提取2)中类火前景区的面积重叠率特征和上下运动剧烈比率特征，并根据该特征提取火焰前景区的更多细节信息，得到疑似目标前景区。

4)将第3)步提取出的疑似目标前景区特征输入到神经网络分类器中进行火焰的进一步分类判决，从而确定视频图像中是否有火，该卷积神经网络分类器共包含6层卷积层和3层全连接层，bn层和池化层，共计9层；搭建网络并指定各层网络参数后，对网络进行训练。训练好网络模型后，对模型分类效果进行测试，若测试时最终全连接层的输出值为1，则判决该前景区域为含火区域；若全连接层输出为0，则判决该前景区域为非火区域。

附图说明

图1输入视频数据流中的一张截图

图2是传统vibe模型检测出的运动区域掩码

图3是改进后的vibe模型检测出的运动区域掩码

图4进行特征提取的疑似目标前景区域掩码

图5是在原图上对火焰进行框选的目标区域

图6是截取的疑似目标前景区域

图7是卷积神经网络的层数设计图

图8是本发明的算法流程

具体实施方式

传统的机器学习方法其数据量的提升已经无法带来其性能上的提升，且人为寻找的特征很难全面反映火焰的本质属性，因此本发明设计了一个9层卷积神经网络来自动提取火焰特征，虽然神经网络提取的特征难以像传统特征一样人为加以描述，但其在图像分类和识别领域的良好应用效果证明了该方法的有效和可行。

本发明主要由前景提取和神经网络分类器的设计两个模块组成，将传统的基于机器学习的前景提取方法与新型的基于深度学习的特征提取方法有机结合起来，并考虑到实际应用，采用一些传统的火焰特征来减除类火颜色运动物体引发的误报。其中前景部分由改进的vibe模型实现的。火焰具有边缘抖动剧烈而中心及下端几乎静止不动的特点，传统的vibe模型由于其背景模型更新策略在火焰燃烧一段时间后，容易将火焰的中间区域和下端区域更新到背景中，导致前景提取不准确的问题。改进的vibe模型的背景模型更新策略采用选择性更新，即在静止区域、含火颜色运动区域以及非火颜色运动区域分别使用不同的概率进行更新，这样就可以避免火焰的下端和中间部分被更新到背景当中去。此外为了使前景提取的更为准确，提出两个新的时域特征，分别为当前帧与前一帧的面积重叠率特征以及前景区域上下部分运动剧烈程度比率特征。与传统的时域特征相比，本发明提出的两个时域特征考虑到帧间关系，能够较准确地描述火焰本质。

以一具体火灾视频检测为例，简述该发明实现对图像中火焰目标进行检测的过程。

1)利用安装在某单位员工食堂的海康威视网络高清摄像头，对待检测区域进行监控拍摄，在保证实验安全性的前提下，点燃火焰。从网络硬盘录像机拷回火焰燃烧时段的视频用作演示素材，将其输入算法程序，截取其中某一时刻图像并显示于图1；

2)利用传统的vibe背景建模算法对图像进行背景建模之后，对提取的运动区域进行形态学的开操作处理，以滤除背景中的一些孤立噪点，处理后的二值掩码图像如图2所示；

3)从图2)中可以看出利用传统vibe进行背景模型更新时，火焰的下端在火焰燃烧过程中由于长期处于静止不动的状态而被更新到背景中去了，这导致提取的火焰前景形状不完整，从而无法准确提取出火焰前景。因此，本发明采用改进的vibe模型对背景进行选择性更新。以本视频为例，火焰外部由于运动剧烈且含有火焰颜色，因此不对其进行更新，其像素点会一直在前景中显示出来；火焰下端及中心在燃烧一段时间后几乎处于静止不动的状态，对其进行隔帧大概率更新，避免其很快被更新到背景当中去。完成背景建模之后再进行一次开操作处理，处理后的二值掩码图像显示于图3；

4)图3中火焰前景掩码已经能够较为完整地表示整个火焰区域，但火焰燃烧时由于火焰分层及受高亮背景影响，火焰像素点在前景中其实并不是完全连续的，因此本发明提出两个时域新特征来进一步准确描述火焰本质。具体来说，分别计算当前帧运动前景区掩码和前一帧运动前景区掩码的面积，从而计算其面积变化比率；此外，分别计算当前帧与前一帧前景区掩码的上下部分面积，进而得出其上下部分运动剧烈程度比率。通过这两个特征对火焰燃烧时重叠部分和剧烈抖动部分进行加强，而对其他部分进行弱化，进行时域特征提取后的疑似目标前景区的掩码图像如图4所示，从图中可以看出火焰的更多细节得以保留；

5)图4)中已准确地提取出了火焰的前景掩码，将该疑似目标前景区域掩码映射回原图，并在原图上用矩形框框选出目标区域，如图5所示；

6)将步骤5)中获取的目标区域进行裁剪作为前景保存下来，作为步骤7)中卷积神经网络分类器样本集的正样本，其中，一部分作为测试集的正样本，一部分作为验证集的正样本，还有一部分作为测试集的正样本。由于本例中需要检测网络分类效果，因此对图5目标区域进行截取作为测试集的正样本，如图6所示；

7)本发明通过对实验室已有视频和网络上的部分火灾视频进行图片截取，共选取了5238张含火正样本和6376张非火负样本构成网络训练集，选取了600张含火正样本和600张非火负样本构成网络验证集，并选取了1372张含火正样本和1786张非火负样本构成网络测试集。使用高斯初始化对网络进行初始化，并采用交叉熵函数计算网络损失。搭建好网络模型并对其各层参数进行指定之后，之后对网络进行训练。本例中，将图6作为测试集的正样本输入预先训练好的神经网络分类器中进行最终的分类判决。由于最终全连接层的输出为1，即确认该前景区域为含火区域。该cnn网络模型如图7所示。