专利名称：：一种基于计算机视觉监视技术的火焰智能检测器的制作方法
技术领域：
：本发明属于基于视频技术的目标自动检测和识别装置，特别是基于视频传感器的火焰智能检测设备。
背景技术：
：星星之火，可以燎原。火灾事故的破坏性极其巨大，通常对人民的物资财产和生命安全造成非常严重的破坏。然而，火灾通常由未能及时抑制的小范围火源引起。因此研究如何在火灾的早期自动化的检测和预警具有巨大深远的社会和经济意义。预防火灾的传统方法是使用烟雾检测器。目前烟雾传感器已经广泛安装在建筑物内的关键区域，成为建筑防火的标准措施。然而严格地讲，烟雾监测器是一种检测特定烟雾粒子的传感器，并不直接检测火焰。只有当浓烟迷漫到烟雾传感器上才能触发警报。对于空间开阔的区域，着火时的烟雾很容易飘散。因此烟雾传感器在开阔区域检测火焰易失效，而主要应用在厨房、酒店等狭小的空间里。针对大空间的室内场景(如礼堂)，有研究者提出在室内上空用红外波对射以检测烟雾是否存在的方法。但该方法实施复杂，易受干扰，在目前的实际应用较少。以检测烟雾为主要技术手段的传统方法在监视开阔区域火焰时呈现出弊端。然而在打击恐怖主义促进和谐的社会背景下，以开阔区域为主的公共场所的安全性在近年来得到极大的重视。相应的，社会对开阔公共区域的火灾防范也提出了更高的要求。另一方面，近年来可见光传感器成本大幅下降，视觉监视大量应用于各种涉及公众安全的区域。当前的客观需求促使我们研究视觉监视中的火焰检测方法，结合广泛的监视硬件，从而构建既经济又高效的火焰检测方案。在国内到目前为止，尚未检索到类似技术或相关专利。
发明内容本发明的目的是提供一种基于计算机视觉监视技术的火焰智能检测器，以在视频信号采集的基础上对场景内的情况进行智能化的监视。本发明的目的是这样实现的一种基于计算机视觉监视技术的火焰智能检测器，主要由计算机、模拟摄像机、视频采集卡以及服务器组成，模块摄像机的视频信号输出链接至视频采集卡，服务器通过视频采集卡的驱动程序直接读取图像数据，再传输至计算机；所述计算机内安装有火焰智能检测模块进行以下检测步骤1)、读取传感器采样的图像；2)、对图像进行预处理，包括去噪声和平滑滤波；3)、读取当前状态标识，如果标识是未检测到火焰则进入步骤4，否则进行步骤9；4)、用象素级处理方法将当前观测图像分割为二值化的图像，其中图像中可能是火的象素标识为1，使不是火的区域标识为0；用连通体算法检测标识为1的区域，并生成检测结果链表；5)、从检测结果链表中依次读出可能是火焰的区域，对每个区域提取区域级的特征并识别。再将识别为火的区域生成为链表；6)、对火焰区域的链表进行时间域滤波，具体做法是，用链表中的每个区域关联跟踪结果，如果跟踪结果被关联成功，则更新跟踪结果，如果跟踪结果长时间未被更新，则将其删除；7)、判断跟踪结果中是否有区域满足检测条件，我们设置检测条件是该区域连续30帧被识别为火焰，如果满足条件则进入步骤8，否则返回步骤1；8)、设置状态标识为检测到火焰，并且用检测结果的区域初始化火焰跟踪器。返回步骤1；9)、用象素级方法分割图像中可能是火焰的区域，并利用跟踪结果进行区域匹配，寻找最具可能是火焰的区域；10)、如果找到最具可能的区域则进入步骤11，否则设置状态标识为为检测到火焰，并返回步骤1;11)、用最具可能的区域更新火焰状态参数；12)、利用摄像机标定结果计算火焰在世界坐标系中的位置并输出；13)、返回步骤1;上述步骤中，对疑是火焰区域的分割和特征提取采取Marr视觉系统的分阶段处理的方式，用象素级特征分割火焰区域，在此基础上再用区域级特征检察疑是区域是否满足火焰的视觉属性，判别过程用多特征联合的决策树进行；两个层次的工作共同完成疑是火焰区域的检测，并将检测结果进行时间域滤波，以去除偶然性的结果。上述模拟摄像机安装在消防炮上；所述计算机内还安装有智能灭火模块进行以下消防炮定位步骤1)、当场景中出现受关注火焰，计算机从固定摄像机传输的画面检测出火焰的存在，并且用定位算法获知火焰的大致位置；如果火焰被多个固定摄像机同时观测到，则可以融合火焰的位置信息；2)、用火焰位置信息指导消防炮瞄准。瞄准过程采用迭代的方式，即将消防炮对准初始检测的火焰位置，如果消防炮上的摄像机发现火焰，但火焰不在画面的中心，那么启用火焰跟踪算法，同时调整消防炮的角度，反覆调整直到火焰对准图像中心；3)、火焰对准消防炮上摄像机的图像中心意味着消防炮已经瞄准了火焰，这时可以启动灭火装置，扑灭火焰。本发明通过利用现有广泛使用的视频监视硬件设备资源，在视频信号采集的基础上对场景内的情况进行智能化的监视，并可在发生初期火焰的情况下自动预警。在长时间未有人工参与的情况下，可以作为自动灭火的指导信息。本发明提出用视觉传感器信号检测火焰的存在。通常火焰检测可考虑如下特征色温特征、形状特征、焰心外焰结构特征、纹理特征、频率特征。火焰的动力学系统是典型的混沌系统，因此其特征难以用简单算子描述。火焰的视频检测必须综合以上特征进行综合的判断，使高品质的视频火灾检测器的算法设计具有极大的复杂性。另外，由于各特征之间存在极弱的耦合性而使得针对单一特征的算法的模块化的意义不大。这一特点同时给算法的测试和整定带来极大的困难。视频火焰检测软件开发的另一难点在于算法的局部和整体的设计最好一起进行。由于难以在火焰视频检测软件完成之前给出软件的总体设计，因而火焰检测的软件设计是一个往复多次的渐近完善的过程。从视觉问题的复杂性考虑，我们将问题划分为若干小问题分别解决。首先我们将火焰分类，对每种火焰分别训练分类器。若按照火焰动力学系统状态分类，按照火焰是否处于临界状态，可以将火焰分为可控火焰和不可控火焰。可控火焰处于混沌的临界状态，其焰心稳定，外焰的动态特征不明显，仍具有教稳定的外观，容易描述，例如蜡烛火焰、打火机火焰、炉火和酒精灯火焰等等；，比如在无风环境中，静止的蜡烛火是典型的可控火焰。而不可控火焰进入了混沌状态，难以简单描述其外观，其外焰及焰心有极大动态。多数火灾现场的大火属不可控火焰。由于在禁火场所对任何明火都应有能力检测，因而无论是可控或不可控火焰均有检测的必要。此外从按照火焰环境光照强度分类可以分为强光环境、若光环境和无光环境。强光环境包括白天的室外，通常背景复杂或光照多变，火焰不显著；弱光环境主要指室内人工照明，通常环境简单，但背景高光影响大，火焰显著；无环境光包括夜晚或者无照明的封闭室内，火焰光为单一光源，检测方法需单独考虑。强化应用的具体环境有利于应用先验知识自适应修正参数，增加系统鲁棒性。本发明的系统有1、火焰检测和跟踪系统根据火焰的视觉特征检测，并在确定火焰存在的基础上用视觉跟踪方法进行跟踪滤波。2、火焰定位系统利用摄像机标定技术和多源摄像机图像融合技术获取图像中火焰确定位置，从而可以指导消防设备自动灭火。基于视频传感器的火焰检测器相比于其他传感器，本发明的有益效果在于1、本发明视频信息量更丰富，分类更准确，可具备较低的虚警率；2、本发明不受场地限制，可以适应更大范围和露天环境的火焰检测；3、本发明可以使火焰精确定位；4、本发明有效利用现有视频监控设备，利用算法模块扩展现有功能；5、本发明火焰的视频信号可以实时传输给管理员席位图1是本发明视频摄像机安装示意图；图2-1和图2-2分别是本发明火焰特征处理层次以及火焰特征处理总体流程图；图3是本发明火焰检测过程的程序流程图；图4是本发明根据象素级和区域级特征检测疑是火焰区域的流程图。具体实施例方式参见图3，本发明主要由计算机、模拟摄像机、视频采集卡以及服务器组成，模块摄像机的视频信号输出链接至视频采集卡，服务器通过视频采集卡的驱动程序直接读取图像数据，再传输至计算机；计算机内安装有火焰智能检测模块进行以下检测步骤1)、读取传感器采样的图像；2)、对图像进行预处理，包括去噪声和平滑滤波；3)、读取当前状态标识，如果标识是未检测到火焰则进入步骤4，否则进行步骤9；4)、用象素级处理方法将当前观测图像分割为二值化的图像，其中图像中可能是火的象素标识为1，使不是火的区域标识为0；用连通体算法检测标识为1的区域，并生成检测结果链表；5)、从检测结果链表中依次读出可能是火焰的区域，对每个区域提取区域级的特征并识别。再将识别为火的区域生成为链表；6)、对火焰区域的链表进行时间域滤波，具体做法是，用链表中的每个区域关联跟踪结果，如果跟踪结果被关联成功，则更新跟踪结果，如果跟踪结果长时间未被更新，则将其删除；7)、判断跟踪结果中是否有区域满足检测条件，我们设置检测条件是该区域连续30帧被识别为火焰，如果满足条件则进入步骤8，否则返回步骤1；8)、设置状态标识为检测到火焰，并且用检测结果的区域初始化火焰跟踪器，返回步骤1;9)、用象素级方法分割图像中可能是火焰的区域，并利用跟踪结果进行区域匹配，寻找最具可能是火焰的区域。10)、如果找到最具可能的区域则进入步骤11，否则设置状态标识为为检测到火焰，并返回步骤1;11)、用最具可能的区域更新火焰状态参数；12)、利用摄像机标定结果计算火焰在世界坐标系中的位置并输出；13)、返回步骤1;上述步骤中，对疑是火焰区域的分割和特征提取采取Marr视觉系统的分阶段处理的方式，用象素级特征分割火焰区域，在此基础上再用区域级特征检察疑是区域是否满足火焰的视觉属性，判别过程用多特征联合的决策树进行；两个层次的工作共同完成疑是火焰区域的检测，并将检测结果进行时间域滤波，以去除偶然性的结果(参见图2-1、图2-2)。采用视频火焰检测的智能消防炮灭火的设计方案如下1、摄像机安装场景中的监视摄像机分为两类，一类是观测较大范围的固定摄像机，另一类是观测范围适中并且安装在消防炮上用于指导灭火的摄像机。2、智能灭火步骤模拟摄像机安装在消防炮上；计算机还安装有智能灭火模块进行以下消防炮定位步骤1)、当场景中出现受关注火焰，计算机从固定摄像机传输的画面检测出火焰的存在，并且用定位算法获知火焰的大致位置。如果火焰被多个固定摄像机同时观测到，则可以融合火焰的位置信息；2)、用火焰位置信息指导消防炮瞄准。瞄准过程采用迭代的方式，即将消防炮对准初始检测的火焰位置，如果消防炮上的摄像机发现火焰了但火焰不在画面的中心，那么启用火焰跟踪算法，同时调整消防炮的角度，反覆调整直到火焰对准图像中心；3)、火焰对准消防炮上摄像机的图像中心意味着消防炮已经瞄准了火焰。这时可以启动灭火装置，扑灭火焰。硬件列表<table>tableseeoriginaldocumentpage8</column></row><table>摄像机位置固定说明(参见图1)摄像机用机架固定在高处，需大于等于3米。摄像机视角朝下，俯瞰地面，其中摄像机根据具体情况需要，其光轴与地面的夹角成3060度皆可。硬件连接说明摄像机视频信号输出链接至视频采集卡。而视频采集卡固定在服务器的PCI插槽中。服务器通过视频采集卡的驱动程序直接读取图像数据。在场景中出现受关注火焰之后，计算机从视觉传感器获取到图像序列并分析处理得出监视区域有火焰存在的结论。这样的过程被称为火焰检测。其中受关注火焰是指根据具体应用环境判定火焰大小是否属于需要预警的程度。在一般应用中，火苗直径超过50cm的火焰则必须被检测。视频火焰检测的一般性原则是利用色温、形状、内外焰结构、时空动态特征、纹理等特征区分火焰和干扰。虽然从人类经验利用这些特征来区分火焰和干扰源是简单的，但是在实现过程中却有许多工程实际问题难以解决。我们对此课题进行了一些有意义的探索(参见图3)。关于火焰定位技术按照消防炮的相关技术标准，监视摄像机只需关注地面物质着火。由于现有监视用途摄像机通常是固定在关注区域的边缘上方，因此我们可使用摄像机标定信息计算火焰的位置。在获取图像中火焰的ROI之后，利用ROI下边缘计算火焰在世界坐标系的(X，y)位置的方法和普通监视系统中的定位方法是一致的。关于火焰跟踪技术火焰跟踪的意义在于，可以自由的转动摄像机或缩放监视画面而不必重新检测，同时还可以适应诸如汽车着火等火焰移动的情况。因为在监视系统中使用PTZ摄像机越来越多，探究火焰跟踪技术也显得更有必要。由于火焰具有显著的动态外观，因此火焰跟踪的精度要求并不高。在本文研究的智能火焰检测系统中，主要使用了Blob火焰跟踪。Blob火焰跟踪的基本思想是，提取图像中可能是火焰的所有Blob，用Blob关联算法将最可能是火焰的Blob作为观测结果更新火焰的系统状态。分割Blob的连通体计算和连通体匹配都与5.1.5.1中的叙述一致。值得注意的是，在系统检测到火焰之后，由于确信火焰的存在，因而可使用简化的弱分类规则分割出可能的火焰区域。虽然弱分类规则会提高虚警率，引入假的火焰区域，但跟踪关联过程仅考虑跟踪门限内的信息，因此对跟踪结果并没有明显的影响。例如我们使用颜色和形状的似然度作为判别标准，设定适当的阈值即可分割出较完整的火焰区域。因此Blob火焰跟踪的运算复杂度可以显著地低于火焰检测运算。Blob火焰跟踪的另一优势在于，Blob计算过程利用了图像的全局特征，因此跟踪结果不易陷于局部最优。权利要求一种基于计算机视觉监视技术的火焰智能检测器，主要由计算机、模拟摄像机、视频采集卡以及服务器组成，模块摄像机的视频信号输出链接至视频采集卡，服务器通过视频采集卡的驱动程序直接读取图像数据，再传输至计算机；其特征是所述计算机内安装有火焰智能检测模块进行以下检测步骤1)、读取传感器采样的图像；2)、对图像进行预处理，包括去噪声和平滑滤波；3)、读取当前状态标识，如果标识是未检测到火焰则进入步骤4，否则进行步骤9；4)、用象素级处理方法将当前观测图像分割为二值化的图像，其中图像中可能是火的象素标识为1，使不是火的区域标识为0；用连通体算法检测标识为1的区域，并生成检测结果链表；5)、从检测结果链表中依次读出可能是火焰的区域，对每个区域提取区域级的特征并识别。再将识别为火的区域生成为链表；6)、对火焰区域的链表进行时间域滤波，具体做法是，用链表中的每个区域关联跟踪结果，如果跟踪结果被关联成功，则更新跟踪结果，如果跟踪结果长时间未被更新，则将其删除；7)、判断跟踪结果中是否有区域满足检测条件，我们设置检测条件是该区域连续30帧被识别为火焰，如果满足条件则进入步骤8，否则返回步骤1；8)、设置状态标识为检测到火焰，并且用检测结果的区域初始化火焰跟踪器，返回步骤1；9)、用象素级方法分割图像中可能是火焰的区域，并利用跟踪结果进行区域匹配，寻找最具可能是火焰的区域；10)、如果找到最具可能的区域则进入步骤11，否则设置状态标识为为检测到火焰，并返回步骤1；11)、用最具可能的区域更新火焰状态参数；12)、利用摄像机标定结果计算火焰在世界坐标系中的位置并输出；13)、返回步骤1；上述步骤中，对疑是火焰区域的分割和特征提取采取Marr视觉系统的分阶段处理的方式，用象素级特征分割火焰区域，在此基础上再用区域级特征检察疑是区域是否满足火焰的视觉属性，判别过程用多特征联合的决策树进行；两个层次的工作共同完成疑是火焰区域的检测，并将检测结果进行时间域滤波，以去除偶然性的结果。2.根据权利要求1所述一种基于计算机视觉监视技术的火焰智能检测器，其特征是所述模拟摄像机安装在消防炮上；所述计算机内还安装有智能灭火模块进行以下消防炮定位步骤1)、当场景中出现受关注火焰，计算机从固定摄像机传输的画面检测出火焰的存在，并且用定位算法获知火焰的大致位置；如果火焰被多个固定摄像机同时观测到，则可以融合火焰的位置信息；2)、用火焰位置信息指导消防炮瞄准。瞄准过程采用迭代的方式，即将消防炮对准初始检测的火焰位置，如果消防炮上的摄像机发现火焰，但火焰不在画面的中心，那么启用火焰跟踪算法，同时调整消防炮的角度，反覆调整直到火焰对准图像中心；3)、火焰对准消防炮上摄像机的图像中心意味着消防炮已经瞄准了火焰，这时可以启动灭火装置，扑灭火焰。全文摘要一种基于计算机视觉监视技术的火焰智能检测器，主要由计算机、模拟摄像机、视频采集卡以及服务器组成，模拟摄像机的视频信号输出链接至视频采集卡，服务器通过视频采集卡的驱动程序直接读取图像数据，再传输至计算机；计算机内安装有火焰智能检测模块。本发明根据火焰的视觉特征检测，旨在确定火焰存在的基础上用视觉跟踪方法进行跟踪滤波，利用摄像机标定技术和多源摄像机图像融合技术获取图像中心火焰确定位置，从而可以指导消防设备自动灭火。本发明具有视频信息更丰富、分裂更准确，不受场地限制，外界干扰小，可以使火焰精确定位的特点。文档编号G06K9/00GK101814133SQ20091021654公开日2010年8月25日申请日期2009年12月4日优先权日2009年12月4日发明者冯子亮,唐鹏,熊运余,高琳,鲁书贤申请人:四川川大智胜软件股份有限公司