专利名称：一种适用于识别和检测大空间火灾火焰的方法
技术领域：
本发明涉及一种适用于大空间火灾火焰识别和检测的方法，可以把大空间中真实的火焰和闪烁的车灯区分开来，适用于大空间火灾监控场所，如隧道、仓库、体育馆、博物馆等公共场所。
背景技术：
中国发明专利申请200810121371. X公开了一种识别和检测隧道火灾火焰的方法，包括对输入的视频流进行剔除光照的预处理；对视频流进行运动检测，获得运动像素；对视频流进行颜色检测，获得具有火焰特征颜色的像素；搜索把所有符合相同特征且相互连接的像素组成的连通区域；对所得的连通区域计算其周长和面积，进行形状分析；对每个连通区域，进行面积改变量分析，最后判断火灾是否发生等步骤。
上述发明仅通过形状分析检测方法判断火灾是否发生具有一定的局限性，不适用于各种大空间火灾火焰检测场所，如体育馆、博物馆、仓库等。
发明内容
本发明的目的在于提供一种适用于大空间火灾火焰识别和检测的方法，可以把大空间中真实的火焰和闪烁的车灯区分开来，不仅可适应隧道火焰检测，也可以应用到各种大空间火灾火焰检测场所(如体育馆、博物馆、仓库等)。
本发明的上述目的是通过以下技术方案实现的
一种适用于识别和检测大空间火灾火焰的方法，其特征在于包括以下步骤1) 对输入的视频流进行预处理对于各种情况下由摄像机拍摄下来的视频画面，使用高斯平滑的方法来消除噪音的干扰；
2) 对视频流进行运动检测，获得运动像素对于上一步中所获得的预处理后的图像，使用带有固定阈值的时域差分方法来进行运动检测；首先初始化背景图像，然后根据当前帧利用帧与帧之间的关联性来更新背景图像和前景图像；
3) 对视频流进行颜色检测，获得具有火焰特征颜色的像素通过在训练视频和图片中提取具有火焰颜色的像素，分析其强度值或者RGB分量值；假如当前像素的颜色值位于符合火焰颜色特征的像素区间内部，则此像素被判断为具
有火焰颜色的像素，进入下一阶段的检测；
4) 对所有符合运动检测和颜色检测火焰特征的像素点进行频域分析时域分析包括火焰抖动特征的分析、火焰像素傅里叶变换和小波变换的分析；使用斜率积的异号性来衡量火焰的抖动特征；然后通过快速傅里叶变换提取输入信号的频率谱；最后通过小波变换分离输入信号的高低频，提取高频部分计算其过零率；
5) 搜索把所有符合相同特征且相互连接的像素组成的连通区域对于运动检测和颜色检测后的图像，进行连通区域的搜索；连通区域搜索包括区域标记和区域搜索两个步骤；首先使用掩码方法分别对运动像素区域、火焰颜色像素区域和属于火焰边缘的像素区域进行标记；然后使用广度优先搜索算法来进行连通区域的搜索；
6) 对所得的连通区域计算其周长和面积，进行形状分析形状分析包括使用深度优先搜索算法结合形态学的方法提取各个连通区域的边界；分别计算各个连通区域边界的周长；计算各个连通区域的面积；计算各个连通区域的圆形度，计算运动火焰颜色区域与相应运动区域的面积比； 7)对每个连通区域，对其进行面积改变量分析，最后判断火灾是否发生这一 步中包括标记属于火焰边缘区域的像素；使用广度优先搜索算法搜索上述像
素所组成的连通区域；建立数据结构来存储找到的连通区域；使用先到先处 理的顺序匹配前后帧对应的连通区域；计算对应连通区域的面积改变量，判 断火灾是否发生。
本发明在专利申请200810121371. X基础上，增加了对火灾火焰时域频域特 征的分析。在对此特征的分析中，使用小波变换和傅里叶变换等算法。把火灾 火焰的时域特征和空间形状特征结合起来的分析方法消除了原来仅通过形状分 析检测方法的局限性，使得本发明专利不仅可适应隧道火焰检测，也可以应用 到各种大空间火灾火焰检测场所(如体育馆、博物馆、仓库等)。本发明对火灾 火焰的特性进行了更进一步的研究，加入了视频火焰的一个显著的闪烁特征， 通过提取其中的高频分量以及计算频率谱的能量和过零率来衡量火焰的闪烁程 度，把其与车灯及其他具有火焰颜色的运动物体区分开来。另外，在形状分析 及预处理过程中也有一定程度的改进，在预处理过程中，加入了去噪的步骤； 而在形状分析中，加入了求既符合火焰颜色特征又符合运动特征的联通区域与 对应运动联通区域的面积之比的步骤。经过上述各个方法的综合处理和判断后， 所获得的结果更加准确可信，具有更高的普遍性及应用性。
图l为本发明方法的流程图。
具体实施例方式
由摄像头把所拍摄到的画面转变成模拟信号通过光纤传输到控制室的CCTV控制器上。在CCTV控制器上，模拟信号被转化为数字信号， 一部分传送到位于 各个监控室的计算机监视器屏幕上，另一部分被传送到数字化监控主机中，还
有一部分被编码(一般为MPEG编码)存储到硬盘录像机中。
如图1所示，本发明包括预处理、运动检测、颜色检测、时域特征分析、连
通区域搜索、形状分析和面积改变量分析等过程。 下面对各个部分进行详细说明
1. 预处理
由于摄像机在拍摄过程中其CCD感光装置的物理局限性，在采样过程中难
免会引入噪声，影响最终的判断结果，因此需要通过某种方法尽可能降低噪声
的影响。可以通过线性滤波器和非线性滤波器来平滑噪声，为了提高程序的运
行效率，尽量不影响后面的处理速度，可以采用高斯平滑来消除噪声。
使用3><3的高斯掩模，把掩模^("，力与输入图像"x，力进行巻积运算，输出 图像/"y)便为除噪后的结果
/Oj)*MO，v) = /'(:c,;0
2. 运动检测
经过预处理后，就可以对输出的视频帧进行运动检测。运动检测的目的是
初步区分运动的车灯和火焰。
使用时域差分的方法来判定运动像素和运动区域。把第'、1帧中位于坐标
"力上的像素的灰度值记为&"，力，把第一帧中"力坐标上的背景像素值记为 A)(x，力。
初始情况^"力-g。"力；之后对于每一帧，所预测的下一帧背景像素值根 据当前帧背景像素值和当前实际像素值进行更新flf5,0,力+ (l-ff)g,(x,力 他力
其中《为一比例系数，表示背景更新的速率，通常情况下其值接近l。
最后，如果满足下列不等式，则认为坐标位置"力上的像素为运动像素:
3.颜色检测 .
通过在训练视频和图片中提取具有火焰颜色的像素，分析其强度值(黑白
图片或视频)或者RGB分量值(彩色图片或视频)。记当前像素的颜色值为^，^"
(黑白则为像素的强度值70，则假如满足下列条件，则此像素被判断为具有火 焰颜色的像素，进入下一阶段的检测
4.时域特征分析
时域特征指的是火焰在燃烧中所表现出来的不断跳动闪烁的特点。我们使
用三个标准来衡量此特征火焰焰苗的抖动程度、边界像素的傅立叶特性和小
波特性。
首先，记录所有符合运动条件及火焰颜色条件的特征像素点的信息，包括 像素点的横纵坐标，像素值的红色分量大小等。在接下来获得的每帧中，记录 相对应坐标位置上的像素点的红色分量大小；使用同样的方法连续记录64帧， 组合成一组具有64个采样样本的信号量。
下面以得到的信号量做为输入，分别进行上述三个特征的分析 1)抖动程度分析记当前帧中的样本值为^，前一帧中同一位置上的样本值为 7"，后一帧中同一位置上的样本值为Li，则可以使用如下的公式度量火焰 的抖动程度ln队广Al/《」inLK-U^」
其中《为一个自定义的阈值常数。如果计算上式所得的值为负数，则说明这 三个连续样本发生了抖动，而当火焰抖动次数落在一个特定的区域中时，我们 可以认为此位置上的候选像素满足火焰的抖动特征，为火焰的抖动特征点。此 区域的范围通过训练来确定。
2) 傅立叶变换分析经过上一轮抖动程度的筛选后，剩下的点被送入傅立叶变 换算法进行傅立叶功率谱特征的分析，把时间域信号量转变为频率域信号
单变量连续函数/")的傅立叶变换W")定义为等式
在实际情况下，即离散情况下，等式简化为
=丄X /(x>—一股 m = 0,1,2,…,M -1
为了进一步提高程序运行的效率，我们使用快速傅立叶变换对其进行加速。 最后计算所得频率谱的能量。根据计算的能量大小可以排除一些能量特别高的 像素(譬如剧烈闪烁的警车车灯)。
3) 小波变换分析小波变换的作用是把采样信号的高频部分和低频部分分离出 来，由于火焰的焰苗表现出剧烈跳动的特征，我们可以单独提取高频部分， 对其进行分析。
对于任意的信号量A"，都可以对其进行小波序列展开，展开后的多项式 序列由两部分构成 一部分由被称为尺度函数^("和尺度系数。"("共同构成； 另 一部分由被称为小波函数和小波系数《(W共同构成。 函数形如<formula>formula see original document page 10</formula>信号的低频部分 信号的高频部分
其中的尺度系数和小波系数分别计算如下 离散的情况下，变化为
通常取乂。=0， M二2'、对x^0,l,2，…,M — l， /-(UA-.V —1禾口& = 0，1,2，...,^—l求和。
和傅里叶变换一样，为了简化计算，我们也可以使用快速小波变换。快速 小波变换是对离散小波变换的一种归纳与简化，相较于离散小波变换，快速小 波变换具有更高的计算效率。因为它找到了相邻尺度空间尺度系数之间的关系， 即低一阶尺度可以由更高一阶尺度推算得来-
a "=~ (-") * c/+1,") 其中~(-")为滤波器系数，也称为小波向量。 在提取出信号量的高频信息后，我们计算高频信息的过零率，即原本为正 的值在下一次采样时刻变为负值或者原本为负的值在下一次采样时刻变为正值 的次数。只有当过零率的次数达到并超过某个阈值时才认为当前位置上的像素 为火焰像素。
5.连通区域搜索
把运动像素和具有火焰颜色的像素标记出来后，将使用一种称为掩模(mask) 的方法对区域进行标记。帧具有相同大小的掩模(把所有对应位置都置为0)， 这三个掩模分别用于运动检测、颜色检测和之后将要提到的面积改变量分析。 经过运动检测步骤后，把当前帧中所有运动像素在运动掩模中对应位置上的值 置为l;同样，经过颜色检测步骤后，把当前帧中所有符合火焰颜色特征的像素
在颜色掩模中对应位置上的值置为1。 然后对于运动掩模，使用广度优先算法来搜索连通分量。
使用广度优先算法的充要条件有三个
1. 有一组具体的状态，状态是问题可能出现的每一种情况；全体状态所构 成的状态空间是有限的；问题规模较小。
2. 在问题的解答过程中，可以从一个状态按照问题所给定的条件，转变为 另外一个或几个状态。
3. 可以判断一个状态的合法性，并且有明确的一个或多个目标状态。
4. 所要解决的问题是根据给定的初始状态找出目标状态，或根据给定的 初始状态和结束状态，找出一条从初始状态到结束状态的路径。
首先，构造一个队列数据结构，在掩模中任意被标记为运动像素的位置处 指定一个搜索起始点，记录其坐标，并使其进入队列；然后以当前点作为基点， 搜索其相邻的8个像素点，如果其相邻的8个像素点中存在被标记为运动的像 素，则根据搜索的先后次序按序入队(同样记录下其坐标).，同时在掩模中把对 应位置上的值标记为已处理过。当找不到符合所述条件的点时，则搜索终止。
记一帧中所有像素集合为「，同一帧中所有被标记为运动的像素集合为^ ，
且^GK。用来存储运动像素的队列记为^。
初始状态0 = {0}， ^={ .."《},0<BMxiV
第一步取/s(l,2,…,祖"0， +第二步如果3 ^ ,且《^^(《)，则已=已-{《},e=e+w;};
第三步如果V《eiV8(《),《g^且《e2，则0 = 2-。
每次按FIFO的次序(先进先出)从2中取出一个像素点《，重复第一步到 第三步，直到满足下述终止条件
K ' = {0}。
同理可以进行对于颜色掩模的连通分量搜索。 6.形状分析
(1) 提取各个连通区域的边界 使用深度优先搜索方法提取连通区域的边界。
记一个连通区域的边界点集合为五，AcF;所有边界像素的集合记为^。
初始状态^ = {0}，属于连通区域边界的一个像素点v'; 第一歩￡ = ￡ + {v,}，
第二步对Vv, ejVsO,)，如果3、eyV4(v》且v^P;，贝,j f = ￡ +化},= ^ —化};
之后每次重复这两个步骤，直到满足下列终止条件 ^=阿
(2) 分别计算各个连通区域边界的周长
在第(l)步深度优先拽索连通区域时，使用的是递归算法，那么递归树每增 加一层，用来存放连通区域周长值的变量也自增l，当递归结束时，得到的自然 就是该连通区域的周长值。
(3) 计算各个连通区域的面积
在广度优先搜索连通区域时，使用队列来存储待处理的像素，那么每次一 个像素进队，用来存放连通区域面积值的变量也自增l,当满足终止条件时，得 到的自然就是该连通区域的面积值。(4) 计算各个连通区域的圆形度
记所计算出的连通区域周长为C，面积为S，则圆形度可计算为
所计算出的圆形度越接近l，则说明连通区域的形状越规则，则其为火焰的
概率越低。
(5) 计算既符合火焰颜色特征又符合运动特征的区域与对应运动区域面积
之比
记所计算出的既为火焰颜色又为运动的区域面积为S^，所对应的运动区域 面积为&，比值可如下计算
如果r位于某个区域中，则认为此区域为火焰区域。
7.面积改变量分析
(1) 标记属于火焰边缘区域的像素
仍然使用掩模的方法来标记属于火焰边缘区域的像素。如果一个像素的强 度值小于某个预先指定的强度值P (表示火焰中心的强度值，比这个值小就说明 此像素属于火焰的边缘)，那么在掩模相应位置处标记为1，否则标记为0。
(2) 搜索上述像素所组成的连通区域
使用广度优先搜索算法搜素各个连通区域，过程可参考第4节，不再详述。
(3) 建立数据结构来存储找到的连通区域-
使用结构体数组来存储找到的连通区域，分别用来存储连通区域的序号、 连通区域外接矩形的长和宽、连通区域外接矩形的左下角顶点坐标、连通区域 自身的面积和当前连通区域被判断为火焰区域的次数。
在此对最后一项做一下解释如果在一帧中当前的连通区域被判断为火焰焰区域；只有当此同一连通区域连续 被判断为火焰区域的次数超过一个阈值时，才认为此区域为火焰区域。
(4) 匹配前后帧对应的连通区域
记当前视频帧上所有连通区域集合为c，则初始情况为^ = {0}。
之后每当找到一个连通区域《时，把它按F工FO的顺序添加到集合C中 C = C + {《}
在处理下一帧时，首先检查当前连通区域集合c的第一个连通区域，若此区
域巳经超出了显示范围，即《°「 = 0，则把其从连通区域集合中删除；否则不 做任何操作。
然后对于每个区域《，把其与当前处理的连通区域进行面积改变量的比较；
如果检测到新的连通区域^，hmax^，则把其添加到连通区域集合C中
C = C + {《}。
(5) 计算对应连通区域的面积改变量 cfr ^+"
其中A表示上一帧中所对应的连通区域的面积，而^表示当前所比较的连 通区域的面积。
最后，假如L〈M^—，那么此连通区域可能为火焰区域。
本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本 发明，而并非作为对本发明的限定，只要在本发明的实质范围内，对以上所述
实施例的变化、变型都将落在本发明权利要求书的范围内。
1权利要求
1.一种适用于识别和检测大空间火灾火焰的方法，其特征在于包括以下步骤1)对输入的视频流进行预处理对于各种情况下由摄像机拍摄下来的视频画面，使用高斯平滑的方法来消除噪音的干扰；2)对视频流进行运动检测，获得运动像素对于上一步中所获得的预处理后的图像，使用带有固定阈值的时域差分方法来进行运动检测；首先初始化背景图像，然后根据当前帧利用帧与帧之间的关联性来更新背景图像和前景图像；3)对视频流进行颜色检测，获得具有火焰特征颜色的像素通过在训练视频和图片中提取具有火焰颜色的像素，分析其强度值或者RGB分量值；假如当前像素的颜色值位于符合火焰颜色特征的像素区间内部，则此像素被判断为具有火焰颜色的像素，进入下一阶段的检测；4)对所有符合运动检测和颜色检测火焰特征的像素点进行频域分析时域分析包括火焰抖动特征的分析、火焰像素傅里叶变换和小波变换的分析；使用斜率积的异号性来衡量火焰的抖动特征；然后通过快速傅里叶变换提取输入信号的频率谱；最后通过小波变换分离输入信号的高低频，提取高频部分计算其过零率；5)搜索把所有符合相同特征且相互连接的像素组成的连通区域对于运动检测和颜色检测后的图像，进行连通区域的搜索；连通区域搜索包括区域标记和区域搜索两个步骤；首先使用掩码方法分别对运动像素区域、火焰颜色像素区域和属于火焰边缘的像素区域进行标记；然后使用广度优先搜索算法来进行连通区域的搜索；6)对所得的连通区域计算其周长和面积，进行形状分析形状分析包括使用深度优先搜索算法结合形态学的方法提取各个连通区域的边界；分别计算各个连通区域边界的周长；计算各个连通区域的面积；计算各个连通区域的圆形度，计算运动火焰颜色区域与相应运动区域的面积比；7)对每个连通区域，对其进行面积改变量分析，最后判断火灾是否发生这一步中包括标记属于火焰边缘区域的像素；使用广度优先搜索算法搜索上述像素所组成的连通区域；建立数据结构来存储找到的连通区域；使用先到先处理的顺序匹配前后帧对应的连通区域；计算对应连通区域的面积改变量，判断火灾是否发生。
全文摘要
本发明提供了一种适用于大空间火灾火焰识别和检测的方法，包括对输入的视频流进行预处理；对视频流进行运动检测，获得运动像素；对视频流进行颜色检测，获得具有火焰特征颜色的像素；对所有符合运动检测和颜色检测火焰特征的像素点进行频域分析；搜索把所有符合相同特征且相互连接的像素组成的连通区域；对所得的连通区域计算其周长和面积，进行形状分析；对每个连通区域，进行面积改变量分析，最后判断火灾是否发生。通过本发明方法可以把大空间中真实的火焰和闪烁的车灯区分开来，不仅可适应隧道火焰检测，也可以应用到各种大空间火灾火焰检测场所，如体育馆、博物馆、仓库等。
文档编号G06T7/00GK101515326SQ20091009685
公开日2009年8月26日 申请日期2009年3月19日 优先权日2009年3月19日
发明者廖胜辉, 童若峰, 迪 谢 申请人:浙江大学