专利名称：烟雾检测的制作方法
技术领域：
本发明涉及烟雾检测，更具体地涉及基于视频图像分析的烟雾检测系统。
往往需要监测高危险设备的使用环境，以确保在早期阶段识别危险的潜在失火可能。需作这种监测的区域的例子有发电厂的涡轮机机房和封闭的高险区域，例如运输隧道。
由操作人员观看闭路电视屏来进行连续监测是不能令人满意的，这是因为观看者对图像本身并不感兴趣，仅需检测图像的微小变化，从而对要观看的图像不进行连续观察，因此，希望由电子装置进行监视。
以往解决该监测问题的方法是使用摄像机监测一个区域，然后识别何时因出现烟雾使摄像机监测的图像像素值变成更亮图像的值。这种系统的缺陷是，不能相对于明亮背景或事实上的火焰检测烟雾，后者例如在丙烷发出火焰时，只产生少量烟雾。
另一缺陷是要防止例如人们穿过视场等情况引起的亮度变化产生虚警。以往，对该问题的处理是测试外部区域，若在该区域产生变化，则禁止内区监测过程。这会产生检测延迟并意味着，仅能检测内区的烟雾源。
本发明涉及一种烟雾检测系统，可克服上述缺陷并可在早期阶段识别潜在失火危险。
本发明提供一种烟雾检测系统，它包括摄像机监测装置，视像帧比较装置，信号处理装置，和取决于所述信号处理装置输出的报警产生装置；所述信号处理装置配置成分析所述摄像机监测装置顺序获取的帧并比较各像素或像素群的强度和/颜色，以考虑这些像素的整体特征和内部关系从而检测烟雾存在；所述信号处理装置分析所述特征和内部关系中多个不同类型的变化。
通常，信号处理装置以一帧(经常是紧接的前一帧，但未必总是这样)，为参照并比较当前帧与参照帧。信号处理装置在该帧的选定区域中，比较像素或像素群变化的方式。
有一系列不同种类变化可以分析，下面是其中一些种类的一览表以总门(overall gate)作为起始点，确定是否发生显著变化。
像素值识别为收敛于平均值。实际上，这意味着属于极端对比度且图像正变得灰度更高。
边缘信息变化。通过比较两帧(其中一帧相对于另一帧缩减了一些像素)可获得边缘信息。
可以两种方式使用边缘信息以确定正呈现的烟雾情况，一种方式是确定何时边缘细部失去，另一种是区分烟雾等轻漫的图像和例如运动中的人等变化较激烈的图像。
整体图像的动态部分识别为变成静止，或反之，该图像的静止部分变成较为活动。
致密性。这观察测定的像素内容差异的大小和位置。如果变化的像素分布在小隔离群中，则表明呈现烟雾情况。
不透明性。通过把变化像素的值(亮度或强度)与参照图像值进行比较，计算不透明性。这时寻找表示能见度减小，从而出现烟雾的差异。
形状。已知的表示出现烟雾或火焰的形状特征。
通常，至少应分析3种情况，最好是上述第1、第2和第3种情况，虽然也可利用其它变化类型的组合。
实践中，根据3种或4种不种类型的变化，先使用基于规则的分析，如果这种分析表明一种潜在的烟雾状况，则接着进行统计分析，例如借助于贝叶斯(Bayesian)分析进行统计分析。通常，统计分析是根据所有检测的变化，而基于规则的分析仅根据几个检测的差异种类，导出烟雾状况。
基于规则的分析可通过对各选定的分析加权，然后把加权结果相加来进行，例如使用计分系统(其各值由经验确定)提供通过/故障形式的评分。
通常，分析整体图像的选定区域，可以选择成排除屏幕的非典型区域，例如，很可能产生人员移动或其它期待变化的区域。或者，也可分析屏幕图像的整个范围。
现在参照附图叙述本发明的实施例，其中
图1是本发明装置的示意配置图。
参见图1，从一个或多个闭路摄像机输出的信号输入帧获取器(grabber)，后者的输出先输至存储器，在其中依次保持每一帧图像，然后帧获取器的输出输至信号处理器，该信号处理器包含比较器，用于分析不同帧及这些帧中所含像素间的差异。
在这方面，比较器先把该图像与前面图像进行比较，通过相减获得表示连续帧间差异的信号。系统还包含用于灵敏度设定的可调门限控制电平及可改变电平以消除信号噪声的装置。
比较器的输出然后施加根据本发明的信号主处理。实质上，信号处理器查看一帧的各像素中及邻近像素间的差异是否有烟雾粒子引起的变化。若产生这种危险的变化，则发出报警信号。与此同时，监测屏显示监测区域并可在原始产生的摄像机图像上叠加放大图像，以向观看者强调危险区域。
信号处理器包含多个独立的分析，其中包括在信号处理中通过适当计算机软件进行的数学分析，该软件作为设备的一部分。
信号处理装置必须包括硬件和/或软件，以识别选定的变化条件，从而可识别出现烟雾的状况。
分析可基于下述过程。符号和概念系统有两个一起工作的图像，图像定义为像素强度的有序集。
首先必须确定可能的像素强度值的集合，z＝<0，1，2，3，…，M>
其中M是最大像素值。
图像定义为像素值的有序集，像素值定义为ij∈z从而，图像可表示如下I＝<i0，i1，i2，i3，i4，...，iN>
式中N是图像中像素数。
系统提供两幅图像以评估各种变化。这些图像是R，参照图像C，当前图像假设已识别变化，则该变化用于确定图像子集。
RΔRCΔC用该确定的子集估算下述度量收敛于公共均值有参照图像R和当前图像C。认为有变化的像素集表示为CΔ和RΔ。
令m为C的变化均值，即m=1#CΔΣcΔ]]>其中#S表示有序集S的元数，∑S表示有序集S中所有元的和。
一旦确定m值，则估算相对于参照图像中相应值强度趋近于m的像素数。用同样图像还计算强度偏离该均值的像素数n趋近＝∑{sign(CΔ-RΔ)＝sign(CΔ-m)}n偏离＝∑{sign(CΔ-RΔ)≠sign(CΔ-m)}其中，函数符号对标量值确定如下，当用于有序集时，其符号为x＜0∶-1符号(x)→ x＝0∶0x＞0∶1确定后返回赋值的有序值。
这两个值提供“收敛于公共均值”的度量并传至判决系统。静态变动态对任何研究的区域，根据其整体外观或静态随时间评估变化区域的一致性，以评定该区域是否是动态的。光照变化改变图像，但整体外观不变。相关函数用于估算随时间变化的相似性，因其对标度和增加变化均是恒定的。如果一个目标移入感兴趣区域从而遮蔽背景，则该区域中的外观将改变。若相关随时间有足够波动，则该区域被认为是动态的。该一致性测量输至判决系统。边缘内容边缘信息的变化定义为边缘度量值的变化。边缘度量定义为已在上一阶段检测到变化的标准推演式滤波器核(standard derivative filter kernel)所作响应的和。应用的标准滤波器是Sobel边缘滤波器。该边缘内容的度量输至判决系统。形状特征应用的各形状特征包括密度和高宽比。
●密度定义为对变化集的所有元占据相邻元的平均数。适用“四连通性”方案，从而密度平均值位于0至4范围中。
●高宽比是变化区域的高度对宽度的比值。
在密度、高宽比和像素计数(即一区域中变化的像素数)一起取入时，它们描述变化区域的某些形状特征。这些值输至判决系统。系统描述烟雾检测硬件可接收高达6个并行视频流的视频输入。硬件包含具有200MHzMMX奔腾处理器和32MB系统RAM的工业PC。该PC包含MP300型帧获取器卡。烟雾检测软件以C++语言编写，用WATCOM C++编译程度编译。本发明中下述特征压缩在约50个源码元件和50个标题文件中，包含总数估计为40000代码行。算法综述概括地说，α算法检验数字视频流的下述特征以确定烟雾是否检测像素(或像素群)移向均值；边缘信息，边缘清晰度在烟雾出现时会增大或减小(取决于以前情况)；图像整体是静态还是动态；在图像中出现新形状，把特征形状与指示的烟雾形状比较。
系统算出当前图像与参照图像的差异。分析的重要部分如下。
在图像像素似乎已变化时，算法算出图像像素趋近于还是偏离某些公共均值。
边缘一在前已检测到变化时，标准微分滤波器(Sobel边缘滤波器)响应之和。
相关函数确定随时间的相似性。
形状“变化”区域的密度一四个最邻近元，高宽比，总区域。区域区域是系统安装时用户从整个图像中选择的矩形区。这些区域通常设置成复盖烟雾可能产生的分区且(十分重要)不覆盖景物的有疑问区域。各区域完全独立地进行处理，各区域的输出可组合以根据需要产生报警信号。可附加消除区域中的某些像素，使其不包含在计算中，例如，照明灯泡的灯丝，或阳光中会闪烁的发光金属目标。这些也可在系统交付使用时由用户选择。在任何时候，对该区域有两个主要图像数据集一当前图像和参照图像。在下面讨论中，这些图像的像素分别表示为X和Xr。
在各区域中，计算参数n的集合。这些参数构成定义“特征”空间的n维“矢量”。程序中存储的图像数据(平面)下述关键图像平面集由软件对各区域加以存储当前当前图像数据参照参照图像数据变化原始改变的像素环境来自参照图像数据的边缘敏感检测器值滤波器 组合“屏蔽”(mask)先前“滤波器”先前值消除人工消除像素的屏蔽基本操作从正规基本配置的帧获取器卡获得帧信息。在调节至标称亮度和对比度后，系统把最近获取的帧(当前帧)与参照帧进行比较。如果像素变化高于可调门限值(还考虑摄像机噪声)，则认为像素已改变。
在系统未检测到景物变化或系统确定当前景物与参照图像不再足够相似时，周期获取参照图像。用下述EDGE算法分析参照图像，产生“环境屏蔽”。这实质上表示区域中何处有边缘细部。
在下面详述的计算中使用的逐个像素“滤波器”屏蔽，通过组合变化像素与环境屏蔽加以构建。在当前与参照像素的差异幅度超过边缘细部像素值点处，变化的像素屏蔽仅复制到最终滤波器屏蔽。在该阶段人工选作有疑向的像素也从该屏蔽中去除。低级图像处理操作对区域图像数据执行一大套不同图像处理操作。某些操作仅使用不屏蔽的像素，而另一些操作对整个像素集进行。这些参数是提供至最终烟雾检测算法的原始数据。它们均是较简明的图像处理基本要素，但为了完整，算法中用的定义重述如下。MEAN(平均)这是N个像素值X在区域中的简单平均值。MEAN=⟨x⟩=ΣxN]]>TOWARDS_COMMON_MEAN该参数计算以参照图像中进行偏离相同的符号偏离平均值的图像中未屏蔽像素数。
TOWARDS＝∑[sign(x－xr)＝sign(<x>－xr)]FROM_COMMON_MEAN该参数计算以参照图像中进行偏离相反的符号偏离均值的图像中未屏蔽像素数。
FROM＝∑[sign(x－xr)＝sign(<x>-xr)]COFGX区域中未屏蔽像素的平均X坐标(区域中一些区屏蔽时该参数变化)。COFGY区域中未屏蔽像素的平均Y坐标(区域中某些区屏蔽时，该参数变化)。SIZE区域中包含屏蔽像素的像素总数。COUNT区域中未屏蔽像素的总数(即排除屏蔽像素)。EDGE边缘内容算法对当前图像的各未屏蔽像素查看四个相邻像素(上、下、左、右)。对左、右像素幅值差与上、下像差幅值差的和大于用户设定的门限值的像数，作该相加。
EDGE＝∑[{xup－xdown｜＋｜xleft－xright｜}(if＞threshold)]EDGE_REF根据参照图像像素而非当前图像像素计算EDGE函数。CORRELATION这是参照和当前图像间的相关值，计算如下CORR=(N*Σxxr-ΣxΣxr)(N*Σx2-(Σx)2)×(N*Σxr2-(Σxr)2)]]>该相关函数用作检测过程的总“门”。若该相关值大于预置的SIMILARITY(相似性)，则不再对该区域作进一步处理。这相当于图像实质上与参照图像相同的情况。CORRELATION_MASKED屏蔽相关仅考虑未屏蔽的像素计算与上述相关函数相同的函数。VARIANCE这是像素值X的标准方差，包含所有像素，计算如下。VAR=⟨x2⟩-⟨x⟩2-Σx2N-(ΣxN)2]]>VARIANCE_REF这是包含所有像素的参照像素值Xr的标准方差，计算如下。VAR=⟨xr2⟩-⟨xr⟩2=Σxr2N-(ΣxrN)2]]>SKEW，KURTOSIS和FIFTH这些参数查看当前图像中所有像素值的分布。作为例子，像素值可具有关于平均像素值的高斯分布，或分布可是非对称或非高斯分布。偏斜、峰态和5次均差等参数是分析分布非高斯特征的统计处理中使用的公知参数。这些参数计算如下。σ=⟨x2⟩-⟨x⟩2]]>SKEW=1NΣ[x-⟨x⟩σ]3]]>KURTOSIS=1NΣ[x-⟨x⟩σ]4]]>FIFTH=1NΣ[x-⟨x⟩σ]5]]>SKEW_REF，KURTOSIS和FIFTH_REF这些参数在参照图像而非当前图像中如上所述查看分布。COMPACTNESS该函数对各未屏蔽像素查看四个最接近的像素并计算未屏蔽的这些像素的平均数。OPACITY仅对未屏蔽像素计算不透明性，计算如下。OPACITY=1NΣ[x-xr⟨x⟩-xr]]]>RUNNING_CORRELATION_MEAN这是如上定义的相关(CORRELATION)的标准方差。这是运行平均，如同从总运行和的集合中简单计算的。RUNNING_MEAN_MEAN这是未屏蔽相关的均值，作为运行值。EDGE_EVIDENCE这基于图像中特定边缘的屏蔽。该屏蔽对所有循环紧缩1或2个像素。用上述EDGE算法测试当前和参照图像中的未屏蔽像素。程序然后计算未屏蔽区域中EDGE的当前图像的像素与EDGE的参照图像像素的平均比值，假定参照图像包含非零值。PERCENTAGE_CHANGE这是先前“滤波器”屏蔽与当前该屏蔽间未屏蔽像素数变化百分比的度量。这些是Boolean(布尔)屏蔽，百分比变化可简单地根据下述计算，即两个图像中只一个图像的非零(真)像素数由两个图像中的另一个或两者中的非零像素归一化。
在此计算前“蚀除”滤波器屏蔽，使用的算法在如果所有原四个邻近像素均是“真值”时仅允许“真值”像素保留。这是一种减少噪声的过滤形式。基于规则的分析(Rule-based Analysis)开始先用基于规则的分析以确定图像中是否产生变化及该变化是否显著。如果是，则执行进一步分析，查看是否把该变化当作与烟雾相关，或者该变化是否与例如一个人穿过景物相关。
基于规则的分析使用记分系统，对各适用的规则指配分数。如果总分数超过(可变)指标(通常是最大计分的90％)，则分析移至下一级。
对区域的分区子集的范围进行分析，该区域由未屏蔽像素边缘限定。对非相关检查如果对该区域运行相关很小(RUNNING_CORRELATION_MEAN＜0.1)，这表示参照图像与当前图像不再相似(例如由于摄像机移动)。如果图像不变化(PERCENTAGE_CHANGE＜0.3)，则这时更新区域的参照图像并放弃当前图像的烟雾检查。小于门限值的相关如果相关小于用户确定的门限，则计两分，否则放弃检查。趋近或偏离公共均值如果像素值倾向于趋近公共均值，则这可表示存在烟雾(整个图像变成均匀灰度)。算法查看趋近与偏离项的比值，如果该比值超过用户可调比率，则计3分。边缘度边缘度(edge-ness)是图像中像素的EDGES对COUNT的比。对当前和参照图像两者进行计算。如果当前图像边缘处于预定范围外，则计3分。如果边缘度偏离参照边缘度大于预置百分比(可选成高于或低于)，则附加计3分。致密性(compactness)致密性必须处于预置范围中，如果脱离至范围外，则计3分。边缘显著(Edge evidence)出现烟雾使DEGE_EVIDENCE减少。若低于预置门限值，则计3分。对指标计分(Scoring against criteria)设置系统时，用户可确定进行适用测试的子集。最大记分将较小，考虑到确定记分是否超过最大值的90％。如果是，则进行Bayesian分析。Bayesian分析Bayesian分析向我们提供考虑到特征协方差的合适判决准则并提供鉴别不同类事件(噪扰和实际报警)的能力。用Bayesian分析确定特征时要注意的一个重要事实是，它们对背景和光照等外部影响应是不变的。算法可克服某些变化，但通常外部影响应保持最小。
Bayesian分析在对像本申请这种多变量系统作判决方面是有用的工具。把参数(MEAN，TOWARDS_COMMON_MEAN等)组合成n维矢量。这些矢量通过建立统计集合“训练”系统。具体地说，系统按2种独立的类存储噪扰和真正报警的数据。对n维矢量V，对噪扰和实际报警各自为N个不同报警事件计算和s和S如下。
s＝∑vS＝∑vvTBayesian判决函数从当前区域/分区取矢量V，如下所示计算实际判决值d。m=sN]]>C=SN-mmT]]>d＝0.5×(log｜C｜＋(v-m)TC-1·(v-m))对两类参照—噪扰和真正报警计算d，得dn和dr。如果dr大于dn，则Bayesian分析发出信号通知报警状况。
如果由于dn和dr中重叠响应而碰到问题，则可通过增加特征数，从而转移至更多维空间加以解决(维数增加时偶然叠加烟雾的概率减小)。规则分析与贝叶斯分析组合烟雾检测系统避免虚警是至关重要的。这是系统的关键部分。
从而，本发明的重要特点是把基于规则的分析与基于统计的分析相结合，尤其是与贝叶斯分析结合。先进行基于规则的分析，如果符合一定的指标，则再进行贝叶斯分析。
经常，贝叶斯分析与基于规则的分析不一致。这时，贝叶斯分析中的置信度用于确定报警是真实的还是噪扰。两者间的差异取决于经验及系统配置精度随时间变化。
如果贝叶斯分析显示报警，但基于规则分析不报警，则dr与dn值的差用作报警置信度度量。若其超过最小置信水平，则即使基于规则的分析不触发报警，也发报警信号。
如果基于规则的分析显示报警，但贝叶斯处理否定，若dn与dr之差大于最小置信水平，则取消报警。
如果不报警，但当前图像与参照图像间相关小且百分比改变函数低，则更新参照图像。这对例如光照级的变化可进行有效调节。
权利要求
1.一种烟雾检测系统，它包括摄像机监测装置，视像帧比较装置，信号处理装置，和取决于所述信号处理装置输出的报警产生装置；所述信号处理装置配置成分析所述摄像机监测装置顺序获取的帧并比较各像素或像素群的强度和/颜色，以考虑这些像素的整体特征和内部关系从而检测烟雾存在；其特征在于，所述信号处理装置分析所述特征和内部关系中多个不同类型的变化。
2.如权利要求1所述的烟雾检测系统，其特征在于，所述信号处理装置设置成通过把基于加权规则的分析与基于统计的分析相结合分析所述变化。
3.如权利要求2所述的烟雾检测系统，其特征在于，所述基于统计的分析是贝叶斯分析。
4.如权利要求1所述的烟雾检测系统，其特征在于，待分析的变化是至少把某些分析像素的值识别为收敛于均值。
5.如权利要求1所述的烟雾检测系统，其特征在于，待分析的变化是像素规定的边缘信息从显示结构限定改变成显示信息的非结构性级。
6.如权利要求1所述的烟雾检测系统，其特征在于，待分析的变化是整体图像的动态部分识别为变成静止。
7.如权利要求1所述的烟雾检测系统，其特征在于，待分析的变化是测量的差异识别为小隔离群中的分布。
8.如权利要求1所述的烟雾检测系统，其特征在于，待分析的变化是当前图像与参照图像间的变化像素值表示可见度降低。
9.如权利要求1所述的烟雾检测系统，其特征在于，待分析的变化是新区域识别为显现的形状特征类似于出现烟雾或火焰状况的已知形状特征。
10.如权利要求1或2所述的烟雾检测系统，其特征在于，多个变化按照权利要求4至9中至少任二个所述的分析。
11.如权利要求4所述的烟雾检测系统，其特征在于，配置某些帧进行分析，测试各像素或像素群的值，查看是否收敛于均值。
12.如权利要求1所述的烟雾检测系统，其特征在于，所述信号处理装置设置成分析4种不同类型变化，第1种变化是区域中的至少某些像素值识别为收敛于均值，第2种变化是像素规定的边缘信息从显示结构定义变化至显示信息的非结构性级，第3种变化是总体图像不再是静止并识别为以不可预料的方式移动，第4种变化是新区域识别为显现的形状特征类似于出现烟雾或火焰状况的已知的形状特征。
全文摘要
一种烟雾检测系统,它包括:摄像机监测装置,视像帧比较装置,信号处理装置,和取决于所述信号处理装置输出的报警产生装置;所述信号处理装置配置成分析所述摄像机监测装置顺序获取的帧并比较各像素或像素群的强度和/颜色,以考虑这些像素的整体特征和内部关系从而检测烟雾存在;所述信号处理装置分析所述特征和内部关系中多个不同类型的变化。
文档编号G08B13/194GK1331823SQ9981471
公开日2002年1月16日 申请日期1999年10月20日 优先权日1998年10月20日
发明者H·J·格雷奇－奇尼 申请人:Vsd有限公司