一种多模态融合的燃气站泄漏-火灾预警方法及系统

本发明属于燃气系统泄漏及火灾监测领域，涉及一种多模态融合的燃气站泄漏-火灾预警方法及系统。

背景技术：

1、城市燃气系统的安全性一直是社会各界高度关注的问题，燃气站作为燃气系统进行储气管理和城市燃气运输的核心设施，其安全性保障的重要性不言而喻。燃气泄漏若未能及时发现并处理，极易引发火灾甚至爆炸事故。传统的燃气泄漏监测手段主要依赖于单一传感器数据，如气体浓度、压力、流量等，这些设备在灵敏度、可靠性和准确性方面存在局限性，难以满足现代城市燃气系统对安全性的高要求。同时，火灾预警系统也面临着类似的挑战。在传统的火灾监测中，传感器被用来识别几个火灾参数，如烟雾、火灾规模、初始火焰面积和空气温度。传统技术暴露了诸多问题，例如，烟雾上升到天花板需要一段时间，导致火情警报具有延迟性。由于传统火灾系统缺乏对火灾征兆因素的有效识别，当由燃气泄漏导致的火灾时，火情会迅速发展并导致爆炸事故，因此，传统的火灾预警系统发挥的作用颇有局限。此外，泄漏监测和火灾预警技术大多基于单一模态的数据进行处理，无法充分利用来自不同模态(如图像、音频、温度、气体浓度等)的互补信息，限制了预警系统的准确性和可靠性。

2、多模态数据融合技术替换单一传感器的燃气泄漏/火灾监测系统将是更有效的选择，多模态融合的目的是将多个模态数据组合在一个模型中，以便做出更稳健的决策。通过合并多个模态，可以获得更多给定任务的信息，从而可以获得更高和更稳定的分类精度，其中，图像数据与传感器数据的融合是一种常见形式。深度学习技术在多模态融合中展现出巨大的潜力。通过构建深度神经网络模型自动提取数据的深层次特征，根据视觉线索、温度变化等特征来监测燃气系统是否泄漏并判断是否存在火灾环境及爆炸风险，实现不同模态数据之间的有效融合和联合学习，也是本发明在提取不同模态信息关联性及数据融合时采用的方法。

3、目前在基于多模态融合技术的城市燃气泄漏和火灾监测方面，大多存在着以下几个问题：(1)燃气系统泄漏监测和区域火灾识别往往被作为两个独立任务执行，但在燃气泄漏背景下，泄漏环境中一旦出现异常热源甚至明火，将可能导致火灾甚至爆炸事故，因此，对燃气站环境中可能引发火灾的要素识别是必要的。然而目前缺乏将燃气泄漏监测以及对燃气管道周边环境中可能导致火灾及爆炸的要素识别相结合的技术；(2)基于深度学习的方法缺少公开可用的数据集同时应用于上述的两个任务；(3)现有的多模态方法在数据处理时忽略了不同节点监测数据间的空间关联性，进而导致已有的多模态融合方法在监测时存在较高的误报率。

技术实现思路

1、本发明主要针对上述燃气站泄漏监测和火灾预警的多模态融合技术的不足之处进行改善，提出了一种多模态融合的燃气站泄漏-火灾预警方法及系统，将视频图像和多类型传感器数据作为输入，利用深度学习识别燃气泄漏以及由燃气泄漏导致火灾及爆炸的关键要素，实现燃气泄漏监测和火灾爆炸事故的提前预判，同时辅助管理人员定位隐患位置。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种多模态融合的燃气站泄漏-火灾预警方法，所述的方法首先采集燃气站管道的红外图像数据、压力和气体浓度时序数据。其次，对采集到的数据进行预处理，包括归一化、mosaic数据增强和自适应缩放。再次，制作异常热源图像数据集，构建并训练yolov5异常热源监测模型，用于识别异常热源并计算火灾征兆异常概率。然后，将火灾征兆异常概率与传感器数据集合并，制作泄漏-火灾数据集，并建立多模态燃气站泄漏-火灾异常识别模型进行训练调优。最后，使用训练好的多模态模型对燃气站进行泄漏-火灾异常监测，并根据输出结果发出相应的预警信息。包括以下步骤：

4、步骤s1：采集用于燃气站管道泄漏监测和区域火灾预警的多模态数据，本发明所述多模态数据包括燃气站各区域由双光谱热成像相机采集的红外图像数据g、由管道压力传感器采集的压力时序数据p、由管道气体浓度传感器采集的气体浓度时序数据c。

5、步骤s2：对采集到的压力时序数据和气体浓度时序数据进行归一化预处理，构建传感器时序数据集d，d＝[p’，c’]，对红外图像数据进行mosaic数据增强和自适应缩放，将预处理后红外图像数据制作燃气站热源图像数据集f，f＝[g’]。具体的：

6、步骤s21：将压力时序数据p和气体浓度时序数据c进行归一化处理，处理后构成传感器时序数据集d，d＝[p’，c’]。

7、步骤s22：对双光谱热成像相机采集的燃气管道区域的红外图像数据g，采用与传感器数据集d相同的时间间隔拍摄区域红外图像。对红外图像数据g采用mosaic数据增强，然后对数据增强后的红外图像数据采用图像自适应缩放，输出n×n的缩放图像。

8、步骤s23：将预处理后红外图像数据制作燃气站热源图像数据集f，f＝[g’]。

9、步骤s3：制作异常热源图像数据集，构建yolov5异常热源监测模型并进行训练、微调以及测试，将燃气站热源图像数据集f作为输入，计算燃气站不同区域的火灾征兆异常概率px,t。

10、具体的：

11、步骤s31：利用双光谱热成像相机拍摄任意场景中包含火焰燃烧、高温铁块、燃烧产生的烟雾图像素材，使用labelme对异常热源图像中的高温物体标注数字“1”以表示“异常热源”标签，制作形成异常热源图像数据集。

12、步骤s32：构建yolov5异常热源监测模型，所述yolov5异常热源监测模型核心结构由骨干网络和颈部网络组成，以二元交叉熵和ciou构建组合损失函数。

13、步骤s33：加载超参数随机初始化的yolov5异常热源监测模型，将异常热源图像数据集中的图像以7：3的比例划分为训练集和测试集，将训练集和测试集分别按照步骤s22中红外图像数据处理方式进行图像数据预处理，预处理后输入yolov5异常热源监测模型。通过多次微调yolov5异常热源监测模型的超参数对模型进行多次训练和测试，选取测试结果中的f1分数最高的模型作为最终的yolov5异常热源监测模型，用于火灾征兆异常概率计算。所述的f1分数指用于衡量分类模型精确度的一种指标，取值范围在0和1之间，越接近1表示yolov5异常热源监测模型识别异常热源的效果越好。

14、步骤s34：加载步骤s33已训练好的yolov5异常热源监测模型，以燃气站热源图像数据集f作为输入。采用加权非最大值抑制运算对同一个目标删除冗余重叠的检测框，保留置信度最高的检测框，若在一个图像中识别到多个异常热源，模型会对比该图像中每个异常热源的置信度，所述的置信度是指yolov5异常热源监测模型将识别到的物体划分为“异常热源”类别的预测概率，输出当前图像识别到的所有异常热源中置信度的最大值，以该最大置信度作为t时刻第x区域中火灾征兆异常概率px,t，设定置信度阈值pt为0.6，当识别结果的异常热源置信度≥0.6，则px,t保留并输出由模型计算得到的置信度，当识别的异常热源置信度＜0.6，则输出“无异常热源”，考虑到事故具有偶然性，因此输出“无异常热源”时，以较小的事故偶然概率作为px,t输出。

15、步骤s4：将火灾征兆异常概率px,t与传感器数据集d进行合并，制作泄漏-火灾数据集leakage-fire，建立多模态燃气站泄漏-火灾异常识别模型，并对多模态燃气站泄漏-火灾异常识别模型进行训练调优；具体的：

16、步骤s41：选取10000条时间同步的连续压力时序数据pt’、气体浓度时序数据ft’、火灾概率时序数据px,t数据，将同一时刻时序数据视为s(t)＝(pt’，ct’，px,t)制作泄漏-火灾数据集leakage-fire；根据燃气数据实际情况，为每个s(t)添加标签，标签类型包括：“正常”、“泄漏”和“存在火灾-爆炸风险”。按照7：1：2的比例将泄漏-火灾数据集分别划分为训练集strain、验证集sval和测试集stest，将管网拓扑结构以有向图形式构造邻接矩阵a；

17、步骤s42：构建多模态燃气站泄漏-火灾异常识别模型，该多模态燃气站泄漏-火灾异常识别模型结构包括传感器信息嵌入、图结构学习、基于图注意力的预测和图偏差评分四个部分。

18、具体的：

19、所述传感器信息嵌入部分通过计算传感器i的嵌入向量与候选关系j∈ci之间的归一化点积eji，然后选出前k个归一化点积，使用topk表示其输入的前k个值的索引。图结构学习部分利用邻接矩阵a中的图结构将节点信息与其邻近节点信息融合在一起，基于图注意力的预测部分，计算注意力系数αi,j，然后每一个系数αi,j都与相应的时间序列嵌入值逐元素相乘，将邻接矩阵a中所有节点的结果值作为全连接层的输入。在图偏差评分部分设置损失函数为预测值与真实值之间的均方误差，然后计算每个传感器的单独异常得分并归一化处理，对每个节点归一化后的异常得分ai(t)进行筛选，通过简单移动平均法，对每个传感器的异常分数聚合生成平滑分数ai(t)。如果ai(t)超过预定阈值at,i，第i个节点的时间t将被标记为异常。

20、进一步的，所述的图偏差评分部分的损失函数为预测值与真实值之间的均方误差，所述的预测值是指多模态燃气站泄漏-火灾异常识别模型基于输入的泄漏-火灾数据集中的数据s(t)预测得到的数据s(t+1)’，真实值是指在泄漏-火灾数据集t+1时刻所对应的数据s(t+1)。

21、步骤s43：将步骤s41划分的训练集、验证机和测试集数据进行归一化。将归一化后的训练集用于训练多模态燃气站泄漏-火灾异常识别模型，然后将验证集输入训练后的模型，选取验证集模型中计算得到的每个节点的as,i(t)最大值作为异常阈值at,i。使用f1分数作为模型性能评估指标，通过调整模型超参数对模型进行多次训练、验证和测试，选取在所有测试结果中f1分数最高所对应的训练好的多模态燃气站泄漏-火灾异常识别模型，用于燃气站实际场景的燃气泄漏-火灾异常识别与定位。

22、步骤s5：使用已经训练好的多模态燃气站泄漏-火灾异常识别模型，并结合yolov5异常热源监测模型对燃气站场景异常热源的识别结果进行泄漏-火灾异常识别。根据模型的输出结果，当多模态燃气站泄漏-火灾异常识别模型输出结果为“正常”，yolov5异常热源监测模型识别到异常热源，则发送异常热源预警信息；当多模态燃气站泄漏-火灾异常识别模型输出结果为“泄漏”，发送泄漏预警信息；多模态燃气站泄漏-火灾异常识别模型输出结果为“存在火灾-爆炸风险”，且yolov5异常热源监测模型识别到异常热源，发送火灾爆炸预警信息。具体的：

23、步骤s51：对模型结果输出条件进行设置，当第i个节点连续10个时序数据si(t)被标记为异常，且时序数据s(t)中存在3个以上的px,t≥0.6，则异常被输出为“存在火灾-爆炸风险”；否则模型异常识别结果输出为“泄漏”。

24、步骤s52：当多模态燃气站泄漏-火灾异常识别模型识别结果为“正常”，但yolov5异常热源监测模型识别到区域内存在异常热源，则发送的异常热源预警包括异常热源位置信息以及该异常热源所属区域异常时段的红外图像数据。

25、步骤s53：当多模态燃气站泄漏-火灾异常识别模型识别结果为“泄漏”，将该连续异常时段数据对应的模型输出的异常分数累加求和得到asum,i(t)’。对邻接矩阵a中所有节点进行累加异常分数的计算，选取计算结果中asum,i(t)’最大和次大的异常节点所连接的管段标记为异常管段，发送的泄漏预警信息包括多模态燃气站泄漏-火灾异常识别模型输出的泄漏监测结果以及asum,i(t)’最大和次大的异常节点编号。

26、步骤s54：若多模态燃气站泄漏-火灾异常灾识别模型识别结果为“存在火灾-爆炸风险”，发送的火灾爆炸预警信息包括多模态燃气站泄漏-火灾异常识别模型输出的存在火灾-爆炸风险监测结果、采用与步骤s53相同的方式得到的asum,i(t)’最大和次大的异常节点编号以及由yolov5异常热源监测模型输出的异常时段内该异常管段所属区域的红外图像数据。

27、本技术还提供了一种多模态融合的燃气站泄漏-火灾预警系统，执行多模态融合的燃气站泄漏-火灾预警方法，包括以下模块：

28、数据采集与存储模块：采集燃气站泄漏-火灾预警所需的多模态数据，多模态数据包括双光谱热成像相机采集燃气站各管网区域的红外图像数据、管道压力传感器采集的压力时序数据、气体浓度传感器采集的气体浓度时序数据，数据采样间隔为5秒/次，采集后的数据存储至该数据采集与存储模块。

29、数据预处理模块：对采集的压力时序数据和气体浓度时序数据进行归一化处理，对双光谱热成像相机采集的红外图像进行mosaic数据增强和图片自适应缩放预处理，输出传感器时序数据集d，d＝[p’，c’]和燃气站热源图像数据集f，f＝[g’]。

30、异常热源识别模型训练及评估模块：加载初始化yolov5异常热源监测模型，使用异常热源图像数据集对yolov5异常热源监测模型进行训练和测试，将测试结果最好的模型参数文件为“best_fd.pt”文件储存至当前模块。

31、异常热源识别模块：加载由本实施例所述火灾概率模型训练模块中的“best.pt”文件中的最优模型参数至yolov5异常热源监测模型，将燃气站热源图像数据集f作为输入，输出被方框标记的异常热源所在区域的红外图像和t时刻第x区域中火灾征兆异常概率px,t。

32、多模态模型训练及评估模块：加载初始化多模态燃气站泄漏-火灾异常识别模型，将strain数据以及基于管网拓扑结构构造的邻接矩阵a作为输入对多模态燃气站泄漏-火灾异常识别模型进行训练，使用sval数据输入训练好的多模态燃气站泄漏-火灾异常识别模型中计算异常阈值at,i，利用stest数据测试已训练好并确定异常阈值的模型，重复多次训练、验证及测试过程，选取测试结果中f1分数最高对应的模型，将模型参数以异常阈值at,i保存为“best_lfd.pt”文件。

33、燃气泄漏-火灾识别模块：加载“best_lfd.pt”文件中的最优模型参数至多模态燃气站泄漏-火灾异常识别模型中，将压力时序数据、气体浓度时序数据和火灾概率时序数据时间对齐后形成时序数据s(t)输入多模态燃气站泄漏-火灾异常识别模型，模型输出结果包括：(1)“正常”；(2)当任意节点的异常分数连续10个时序数据超过异常阈值at,i，时序数据s(t)中px,t≥0.6的数据量小于3，则输出结果为“泄漏”；(3)当任意节点的异常分数连续10个时序数据超过异常阈值at,i且时序数据s(t)中存在3个以上的px,t≥0.6，输出结果为“存在火灾-爆炸风险”。

34、泄漏-火灾预警模块：根据本实施例所述异常热源识别模块和燃气泄漏-火灾识别模块的输出结果发送预警信息。当燃气泄漏-火灾识别模块监测结果为“正常”，但异常热源识别模块识别到区域存在异常热源，本模块向管理人员发送异常热源预警信息及被方框标记的异常热源所在区域异常时段的红外图像；当燃气泄漏-火灾识别模块监测结果为“泄漏”，但异常热源识别模块未识别到异常热源，本模块向管理人员发送泄漏预警信息，并附带泄漏管段编号；当燃气泄漏-火灾识别模块监测结果为“存在火灾-爆炸风险”，本模块向管理人员发送火灾-爆炸预警信息、泄漏管段编号及被方框标记的异常热源所在区域异常时段的红外图像。

35、本发明与现有技术相比具有以下有益效果：

36、(1)本发明与现有燃气站异常监测方法中将泄漏监测和火灾预警作为两个独立任务处理的做法不同，本发明创新性地在监测管道泄漏的同时，也密切关注环境中的火灾征兆要素，将燃气泄漏监测与火灾预警紧密融合为一个关联性任务，旨在显著降低突发燃气泄漏事故进一步引发火灾或爆炸的风险；

37、(2)本发明采用的多数火灾预警方法依赖于传感器识别烟雾、温度等参数，这往往导致火情警报存在较高的延迟。相比之下，本发明采用计算机视觉技术与深度学习相结合的方法，能够迅速识别环境中的温度异常区域，并计算该区域的火灾征兆异常概率，从而有效辅助安全管理人员判断潜在火灾隐患；

38、(3)本发明设计的多模态燃气站泄漏-火灾异常识别模型，相较于大多数异常监测模型，该模型融合了火灾征兆异常概率、压力时序数据和气体浓度时序数据等多模态数据作为节点特征，能够学习更全面的管网特征，从而实现更精确的异常识别，有效提前消防作业的干预时机，降低燃气泄漏及可能衍生的火灾、爆炸事故造成的损失。此外，模型还引入了管网拓扑结构作为输入，使模型能够捕捉监测节点之间输入特征的空间关联性，进一步提升了模型的分类精度。在识别出异常后，模型能够即时为安全管理人员提供异常位置信息，辅助快速定位异常管段，为安全管理决策提供有力支持。