一种基于火苗跳动建模的明火检测方法及系统与流程

本发明属于明火检测技术领域，具体涉及一种基于火苗跳动建模的明火检测方法及系统。

背景技术：

随着机器视觉和数字图像处理技术的发展，视频火灾检测方法因其具有非接触、检测距离远、大空间和室外环境适应性强等优点得到广泛应用，并成为火灾检测的重要研究方向。

大多数火灾探测系统都是通过温度、烟雾浓度、相对湿度等的传统探测器，系统多由烟雾传感器、红外传感器、离子传感器等组成，由于烟雾、热量等扩散到传感器需要数分钟时间，故此类系统无法及时准确地检测到火灾的发生但此类系统并不能够满足一些特定场所的探测需求，如在高大建筑、广阔森林等，传统的烟感、温感、光感探测系统在应用方面均比较局限。传统的烟火探测系统还存在灵敏度不高，很难达到实时性要求，且不能直观反映火灾现场情况的缺点。目前，随着视频监控和图像智能处理技术的快速发展，基于视频图像的火焰探测技术迅猛发展，这类探测技术具有反应灵敏度高、适用性广、响应速度快、成本较低等优点，可详细直观地反映火灾场景信息，利于后续的灾情分析与处理。视频火焰检测技术是用摄像头监测各个场所，利用图像处理、模式识别、深度学习等新型算法对采集的视频进行图像内容和目标特征的提取分析，直接识别出视频中存在的火焰目标，从而实现火灾的实时检测和报警。与传统的火焰检测技术相比，它具有明显的优势和广阔的应用前景。

现有基于视频图像监测中，大多通过火焰的颜色来检测，在复杂背景下，存在着检出率低的缺点，并不能很好地预防和消除火灾的危害。

技术实现要素：

目的：为了克服现有技术中存在的不足，本发明提供一种基于火苗跳动建模的明火检测方法及系统。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

第一方面，提供一种基于火苗跳动建模的明火检测方法，包括：

获取视频图像；

对图像进行标注、边缘检测，得到图像的边缘检测结果，在边缘检测结果中选择面积最大的闭合区域作为目标区域，得到标注有目标区域的图像；

将目标区域输入到预训练好的火苗跳动检测模型中；

使用火苗跳动检测模型对目标区域进行分析，确定图像中是否有明火；其中，所述火苗跳动检测模型为使用多组数据训练得出的，所述多组数据包括：第一类数据和第二类数据，所述第一类数据中的每组数据均包括：包含明火的图像和表示该图像包含明火的标签；第二类数据中的每组数据均包括：不包含明火的图像和表示该图像不包含明火的标签。

在一些实施例中，使用火苗跳动检测模型对目标区域进行分析，确定图像中是否有明火，包括：

对处理后的视频图像中的目标区域进行特征提取，得到静态火苗特征；

对提取的静态火苗特征进行序列标注，将静态火苗特征按时间排序，得到时间维度的火苗跳动特征；

对得到的时间维度的火苗跳动特征通过softmax函数进行分类判断，并输出明火检测结果。

在一些实施例中，所述的基于火苗跳动建模的明火检测方法，还包括：对所述视频图像中的连续帧图像进行预处理，包括：对所述视频图像中的连续帧图像进行高斯滤波与空间域增强。

在一些实施例中，所述的基于火苗跳动建模的明火检测方法，对图像进行标注、边缘检测，包括：对图像进行标注，然后利用图像奇异值方法对图像进行边缘检测，包括：

对图像中像素点v的24个邻域点为v1,v2,…,v24，构造完全图g；

定义完全图g赋权拉普拉斯矩阵lg如下：

其中ri＝|v-vi|为像素点v到vi之间的距离；rj为像素点v到vj之间的距离；i＝1,2,…，24为拉普拉斯矩阵lg的行标，j＝1,2，,24为拉普拉斯矩阵lg的列标；

对lg进行奇异值分解，获得24个实特征值λ1≥λ2≥…≥λ24＝0；

利用λ1代替像素点v的灰度值，λ1值越大，则该像素点越属于边界点，通过λ1的大小来检测图像中像素点的边缘信息。

在一些实施例中，所述的基于火苗跳动建模的明火检测方法，所述对处理后的视频图像中的目标区域进行特征提取，包括：得到具有自适应可变尺寸的卷积核，对不同尺寸的目标区域采用不同大小卷积核进行检测，包括：

目标区域原始图像，大小为b×h×w×c，记为o，经过一次卷积，输出结果大小为b×h×w×2c，记为r；b、h、w、c分别为批处理batch的尺寸、图像的高、宽以及特征的尺寸；

将o中像素索引值与r相加，获得偏移后的位置值s，大小为b×h×w×2c，s值限定为图像大小范围以内，根据s值计算像素值的坐标，获取不同大小卷积核。

在一些实施例中，所述的基于火苗跳动建模的明火检测方法，还包括：当一个目标区域提取得到多个静态火苗特征时，对目标区域中的静态火苗特征用滑动窗口策略来选择候选区域，通过若干个不同尺度的滑动窗口来获取火焰目标，得到一系列的静态火苗特征的候选区域；

对静态火苗特征的候选区域，通过非极大值抑制法来排除疑似目标区域，保留包含真实火焰图像的精确矩形框，检测区域dr与真实区域gt之间重合度iou如下：

去除重合度iou值较小的区域，得到静态火苗特征的目标区域，并将静态火苗特征的目标区域作为lstm单元的输入。

在一些实施例中，对得到的时间维度的火苗跳动特征通过softmax函数进行分类判断，包括：采用softmax函数进行分类

其中，m、n、k为预测框的个数。

第二方面，本发明还提供一种基于火苗跳动建模的明火检测系统，包括：

图像获取模块：获取视频图像；

目标区域确定模块：对图像进行标注、边缘检测，得到图像的边缘检测结果，在边缘检测结果中选择面积最大的闭合区域作为目标区域，得到标注有目标区域的图像；

明火检测模块：包括：

将目标区域输入到预训练好的火苗跳动检测模型中；

使用火苗跳动检测模型对目标区域进行分析，确定图像中是否有明火；其中，所述火苗跳动检测模型为使用多组数据训练得出的，所述多组数据包括：第一类数据和第二类数据，所述第一类数据中的每组数据均包括：包含明火的图像和表示该图像包含明火的标签；第二类数据中的每组数据均包括：不包含明火的图像和表示该图像不包含明火的标签。

在一些实施例中，所述火苗跳动检测模型包括卷积神经网络cnns单元、lstm长短期记忆单元和softmax分类器；

卷积神经网络cnns单元，用于对处理后的视频图像中的目标区域进行特征提取，得到静态火苗特征；

lstm长短期记忆单元，用于对提取的静态火苗特征进行序列标注，将静态火苗特征按时间排序，得到时间维度的火苗跳动特征；

softmax分类器，用于对得到的时间维度的火苗跳动特征通过softmax函数进行分类判断，并输出明火检测结果。

在一些实施例中，还包括图像预处理模块：对所述视频图像中的连续帧图像进行高斯滤波与空间域增强预处理，得到连续帧预处理后的图像。

在一些实施例中，所述图像预处理模块：对图像进行标注、边缘检测，包括：对图像进行标注，然后利用图像奇异值方法对图像进行边缘检测，包括：

对图像中像素点v的24个邻域点为v1,v2,…,v24，构造完全图g；

定义完全图g赋权拉普拉斯矩阵lg如下：

其中ri＝|v-vi|为像素点v到vi之间的距离；rj为像素点v到vj之间的距离；i＝1,2,…，24为拉普拉斯矩阵lg的行标，j＝1,2，,24为拉普拉斯矩阵lg的列标；

对lg进行奇异值分解，获得24个实特征值λ1≥λ2≥…≥λ24＝0；

利用λ1代替像素点v的灰度值，λ1值越大，则该像素点越属于边界点，通过λ1的大小来检测图像中像素点的边缘信息。

在一些实施例中，所述卷积神经网络cnns单元通过训练集迭代训练，得到具有自适应可变尺寸的卷积核，对不同尺寸的目标区域采用不同大小卷积核进行检测，包括：

目标区域原始图像，大小为b×h×w×c，记为o，经过一次卷积，输出结果大小为b×h×w×2c，记为r；b、h、w、c分别为批处理batch的尺寸、图像的高、宽以及特征的尺寸；

将o中像素索引值与r相加，获得偏移后的位置值s，大小为b×h×w×2c，s值限定为图像大小范围以内，根据s值计算像素值的坐标，获取不同大小卷积核。

有益效果：本发明提供的基于火苗跳动建模的明火检测方法及系统，具有以下优点：1、首先对输入的视频图像进行预处理；其次利用完全图的奇异值进行边界描述和提取；对处理后的视频图像通过自适应卷积核的卷积神经网络(cnns)进行特征提取；最后通过长短期记忆单元(lstm)获取时间维度的火苗跳动特征，建立火苗跳动模型进行明火检测。本发明能够克服传统的方法检测率不高的缺陷，快速高效地检测视频中存在的明火。

2、本发明利用完全图的奇异值进行边界描述和提取，可以准确地获取图像的边界信息；

3、本发明通过自适应卷积核的卷积神经网络(cnns)进行特征提取，能够有效地提取连续帧图像特征；

4、本发明利用长短期记忆单元(lstm)获取时间维度的火苗跳动特征，可以准确地描述火苗动态特征；

5、本发明采用卷积神经网络与长短期记忆单元相结合的火苗跳动建模方法检测火焰可以准确地检测视频图像中的动态明火。

附图说明

图1为实施例中明火检测系统的框图；

图2为实施例中火苗跳动检测模型的拓扑结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1

一种基于火苗跳动建模的明火检测方法，包括：

获取视频图像；

对图像进行标注、边缘检测，得到图像的边缘检测结果，在边缘检测结果中选择面积最大的闭合区域作为目标区域，得到标注有目标区域的图像；

将目标区域输入到预训练好的火苗跳动检测模型中；

使用火苗跳动检测模型对目标区域进行分析，确定图像中是否有明火；其中，所述火苗跳动检测模型为使用多组数据训练得出的，所述多组数据包括：第一类数据和第二类数据，所述第一类数据中的每组数据均包括：包含明火的图像和表示该图像包含明火的标签；第二类数据中的每组数据均包括：不包含明火的图像和表示该图像不包含明火的标签。

在一些实施例中，所述使用火苗跳动检测模型对目标区域进行分析，确定图像中是否有明火，包括：

对处理后的视频图像中的目标区域进行特征提取，得到静态火苗特征；

对提取的静态火苗特征进行序列标注，将静态火苗特征按时间排序，得到时间维度的火苗跳动特征；

对得到的时间维度的火苗跳动特征通过softmax函数进行分类判断，并输出明火检测结果。

在一些实施例中，所述的基于火苗跳动建模的明火检测方法，还包括对所述视频图像中的连续帧图像进行预处理，包括：对所述视频图像中的连续帧图像进行高斯滤波与空间域增强。

在一些实施例中，所述的基于火苗跳动建模的明火检测方法，对图像进行标注、边缘检测，包括：对图像进行标注，然后利用图像奇异值方法对图像进行边缘检测，包括：

对图像中像素点v的24个邻域点为v1,v2,…,v24，构造完全图g；

定义完全图g赋权拉普拉斯矩阵lg如下：

其中ri＝|v-vi|为像素点v到vi之间的距离；rj为像素点v到vj之间的距离；i＝1,2,…，24为拉普拉斯矩阵lg的行标，j＝1,2，,24为拉普拉斯矩阵lg的列标；

对lg进行奇异值分解，获得24个实特征值λ1≥λ2≥…≥λ24＝0；

利用λ1代替像素点v的灰度值，λ1值越大，则该像素点越属于边界点，通过λ1的大小来检测图像中像素点的边缘信息。

在一些实施例中，所述的基于火苗跳动建模的明火检测方法，对处理后的视频图像中的目标区域进行特征提取，包括：通过训练集迭代训练，得到具有自适应可变尺寸的卷积核，对不同尺寸的目标区域采用不同大小卷积核进行检测，包括：

目标区域原始图像，大小为b×h×w×c，记为o，经过一次卷积，输出结果大小为b×h×w×2c，记为r；b、h、w、c分别为批处理batch的尺寸、图像的高、宽以及特征的尺寸；

将o中像素索引值与r相加，获得偏移后的位置值s，大小为b×h×w×2c，s值限定为图像大小范围以内，根据s值计算像素值的坐标，获取不同大小卷积核。

在一些实施例中，所述的基于火苗跳动建模的明火检测方法，当提取得到的静态火苗特征有多个时，还包括：当一个目标区域提取得到多个静态火苗特征时，对目标区域中的静态火苗特征用滑动窗口策略来选择候选区域，通过若干个不同尺度的滑动窗口来获取火焰目标，得到一系列的静态火苗特征的候选区域；

对静态火苗特征的候选区域，通过非极大值抑制法来排除疑似目标区域，保留包含真实火焰图像的精确矩形框，检测区域dr与真实区域gt之间重合度iou如下：

去除重合度iou值较小的区域，得到静态火苗特征的目标区域，并将静态火苗特征的目标区域作为lstm单元的输入。

在一些实施例中，对得到的时间维度的火苗跳动特征通过softmax函数进行分类判断，包括：采用softmax函数进行分类

其中，m、n、k为预测框的个数。

如图2所示，所述火苗跳动检测模型包括卷积神经网络cnns单元、lstm长短期记忆单元和softmax分类器；

卷积神经网络cnns单元，用于对处理后的视频图像中的目标区域进行特征提取，得到静态火苗特征；

lstm长短期记忆单元，用于对提取的静态火苗特征进行序列标注，将静态火苗特征按时间排序，得到时间维度的火苗跳动特征；

softmax分类器，用于对得到的时间维度的火苗跳动特征通过softmax函数进行分类判断，并输出明火检测结果。

在一些实施例中，一种基于火苗跳动建模的明火检测方法，具体包括以下步骤：

步骤1、采集连续帧图像，并对所述图像进行高斯滤波与空间域增强，获得连续帧预处理后的图像；

步骤2、对图像进行标注，得到带有标注结果的图像；

步骤3、利用图像奇异值方法对图像进行边缘检测，在检测结果中选择面积最大的闭合区域作为目标区域；

3.1、对像素点v的24个邻域点为v1,v2,…,v24，构造完全图g；

3.2、定义完全图g赋权拉普拉斯矩阵lg如下：

其中ri＝|v-vi|为像素点v到vi之间的距离；rj为像素点v到vj之间的距离；i＝1,2,…，24为拉普拉斯矩阵lg的行标，j＝1,2，,24为拉普拉斯矩阵lg的列标。

3.3、对lg进行奇异值分解，获得24个实特征值λ1≥λ2≥…≥λ24＝0；

3.4、利用λ1代替像素点v的灰度值，λ1值越大，则该像素点越属于边界点，通过λ1的大小来检测图像中像素点的边缘信息。

步骤4、在训练集上利用改进的cnns来迭代训练网络模型；训练出具有自适应可变尺寸的卷积核，对不同尺寸的目标区域采用不同大小卷积核进行检测，达到去除背景的目的。

4.1、目标区域原始图像(大小为b×h×w×c)，记为o，经过一次卷积，输出结果为(b×h×w×2c)，记为r；b、h、w、c的分别为批处理batch的尺寸、图像的高、宽以及特征的尺寸；

4.2、将o中像素索引值与r相加，获得偏移后的位置值s(b×h×w×2c)，s值限定为图像大小范围以内，根据s值计算像素值的坐标，获取不同大小卷积核。

步骤5、利用训练好的改进cnns模型对输入的连续帧图像中的目标区域进行特征提取，得到静态火苗特征；

步骤6、当一个目标区域提取得到多个静态火苗特征时，对目标区域中的静态火苗特征用滑动窗口策略来选择候选区域，设计8个不同尺度的滑动窗口来获取火焰目标，得到一系列的静态火苗特征的候选区域；

步骤7、对静态火苗特征的候选区域，通过非极大值抑制法来排除疑似目标区域，保留包含真实火焰图像的精确矩形框，检测区域(dr：detectionregion)与真实区域(gt:groundtruth)之间重合度iou如下：

iou是检测区域与真实区域之间重合度；去除重合度iou值较小的区域，得到静态火苗特征的目标区域。

步骤8、将静态火苗特征的目标区域作为lstm单元的输入，用lstm单元对静态火苗特征的目标区域在时间轴上进行整合，得到时间维度的火苗跳动特征。

步骤9、利用softmax分类器对火苗跳动特征进行明火检测。

具体的，为获得预测框的概率，采用softmax函数进行分类

k为预测框的个数。

实施例2

如图1所示，一种基于火苗跳动建模的明火检测系统，包括：

图像获取模块：获取视频图像；

目标区域确定模块：对图像进行标注、边缘检测，得到图像的边缘检测结果，在边缘检测结果中选择面积最大的闭合区域作为目标区域，得到标注有目标区域的图像；

明火检测模块：包括：

将目标区域输入到预训练好的火苗跳动检测模型中；

使用火苗跳动检测模型对目标区域进行分析，确定图像中是否有明火；其中，所述火苗跳动检测模型为使用多组数据训练得出的，所述多组数据包括：第一类数据和第二类数据，所述第一类数据中的每组数据均包括：包含明火的图像和表示该图像包含明火的标签；第二类数据中的每组数据均包括：不包含明火的图像和表示该图像不包含明火的标签。

还包括：图像预处理模块：对所述视频图像中的连续帧图像进行预处理，得到连续帧预处理后的图像；

所述火苗跳动检测模型包括卷积神经网络cnns单元、lstm长短期记忆单元和softmax分类器；

卷积神经网络cnns单元，用于对处理后的视频图像中的目标区域进行特征提取，得到静态火苗特征；

lstm长短期记忆单元，用于对提取的静态火苗特征进行序列标注，将静态火苗特征按时间排序，得到时间维度的火苗跳动特征；

softmax分类器，用于对得到的时间维度的火苗跳动特征通过softmax函数进行分类判断，并输出明火检测结果。

在一些实施例中，所述的基于火苗跳动建模的明火检测系统，所述图像预处理模块，对图像进行标注、边缘检测，包括：对图像进行标注，然后利用图像奇异值方法对图像进行边缘检测，包括：

对图像中像素点v的24个邻域点为v1,v2,…,v24，构造完全图g；

定义完全图g赋权拉普拉斯矩阵lg如下：

其中ri＝|v-vi|为像素点v到vi之间的距离；rj为像素点v到vj之间的距离；i＝1,2,…，24为拉普拉斯矩阵lg的行标，j＝1,2，,24为拉普拉斯矩阵lg的列标；

对lg进行奇异值分解，获得24个实特征值λ1≥λ2≥…≥λ24＝0；

利用λ1代替像素点v的灰度值，λ1值越大，则该像素点越属于边界点，通过λ1的大小来检测图像中像素点的边缘信息。

在一些实施例中，所述卷积神经网络cnns单元通过训练集迭代训练，得到具有自适应可变尺寸的卷积核，对不同尺寸的目标区域采用不同大小卷积核进行检测，包括：

目标区域原始图像，大小为b×h×w×c，记为o，经过一次卷积，输出结果大小为b×h×w×2c，记为r；b、h、w、c分别为批处理batch的尺寸、图像的高、宽以及特征的尺寸；

将o中像素索引值与r相加，获得偏移后的位置值s，大小为b×h×w×2c，s值限定为图像大小范围以内，根据s值计算像素值的坐标，获取不同大小卷积核。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。