一种矿井火灾视频图像智能识别装置及方法与流程

1.本发明属于矿井火灾监测技术领域，尤其是涉及一种矿井火灾视频图像智能识别装置及方法。


背景技术：

2.矿井的安全系数对矿井工作人员是至关重要的，而煤矿火灾往往是造成矿井灾难的重要原因之一。在煤矿生产过程中，许多不可控因素的产生都会造成火灾的形成，对矿井操作人员的生命安全及行业的经济指标都构成了潜在的威胁。火灾形成初期，如果不进行控制就会带来巨大的损失甚至会引起瓦斯及煤粉爆炸等更严重的事故。
3.由于矿井环境复杂，可燃性气体及易燃物质多，即使是微型火焰也会在短时间内受到助燃，而且矿井空间小光照不足等因素对火灾的检测也带来极大的影响，因此对火焰初期进行识别及预警是火灾防治措施，能够在很大程度上降低火灾的扩大化。
4.当前矿井火灾检测领域所使用的检测设备大多是对火灾产生过程中产生的气体进行分析，但是这种设备的普适性较低，对于通风性较好的区域难以检测，此外这种设备的响应慢且实时性差，难以达到矿井火灾检测的精度要求。
5.因此，现如今缺少一种矿井火灾视频图像无线智能识别装置及方法。能够实现对矿井火灾的实时监测，能够对检测到的火焰图像进行快速识别，及时发现火灾隐患，确保矿井的安全生产及工作人员的生命安全。


技术实现要素：

6.本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种矿井火灾视频图像智能识别装置，其设计合理，能够实现对矿井火灾的实时监测，能够对检测到的火焰图像进行快速识别，及时发现火灾隐患，确保矿井的安全生产及工作人员的生命安全。
7.为解决上述技术问题，本发明采用的技术方案是：一种矿井火灾视频图像智能识别装置，其特征在于：包括多个安装在矿井巷道内的火灾视频采集模块和设置在煤矿井上监控室内且与多个所述火灾视频采集模块连接的监控计算机，多个所述火灾视频采集模块均通过通信模块和监控计算机连接，多个所述火灾视频采集模块的结构相同，所述火灾视频采集模块均包括摄像头，所述摄像头通过通信模块和监控计算机连接。
8.上述的一种矿井火灾视频图像智能识别装置，其特征在于：所述通信模块包括依次连接的本安交换机、本安光端机和环网交换机，所述摄像头通过双绞线与本安交换机的电口连接，所述本安交换机的光口通过光纤线缆与本安光端机的光口连接，所述本安光端机的光口通过光纤线缆与环网交换机的光口连接，所述环网交换机的电口通过双绞线与监控计算机连接。
9.上述的一种矿井火灾视频图像智能识别装置，其特征在于：所述摄像头为矿用本质安全型ccd摄像头；所述监控计算机连接有显示器和报警器。
10.同时，本发明还公开了一种方法步骤简单、设计合理且实现方便、检测准确性高、
使用效果好的矿井火灾视频图像智能识别方法，其特征在于，该方法包括以下步骤：
11.步骤一、火灾视频采集模块的安装及视频图像的采集：
12.步骤101、沿矿井巷道安装多个火灾视频采集模块，在煤矿井上监控室内设置与多个所述火灾视频采集模块连接的监控计算机；其中，每组火灾视频采集模块均为设置在矿井巷道上的摄像头，所述通信模块包括本安交换机、本安光端机和环网交换机，所述本安交换机与多个摄像头连接；
13.步骤102、多个摄像头对矿井巷道内的火灾视频进行采集，并将采集到的火灾视频依次经过本安交换机、本安光端机和环网交换机传送至监控计算机；
14.步骤二、火灾图像的提取：
15.监控计算机从火灾视频中提取多帧火灾图像，且多帧火灾图像按照拍摄时间先后顺序进行排列；其中，每帧火灾图像为rgb图像，火灾图像的帧数为m，且m为10000～12000的正整数；
16.步骤三、构造火灾图像样本集：
17.步骤301、采用监控计算机将m帧火灾图像分别进行去雾处理和前景提取，得到m帧火灾前景图像；
18.步骤302、监控计算机利用lableimg软件对m帧火灾前景图像均进行火焰区域矩形框标记，得到火灾图像样本集；其中，火灾图像样本集中每帧火灾前景图像中矩形框记作标记矩形框；
19.步骤四、基于yolov5深度网络模型的火灾图像训练：
20.将火灾图像样本集中的各个火灾图像分别输入yolov5深度网络模型进行训练，直至火灾图像样本集训练完毕，得到训练好的yolov5深度网络模型；其中，yolov5深度网络模型包括backbone结构、neck结构、prediction结构；
21.步骤五、后续采集的火灾图像的去雾处理：
22.摄像头对矿井巷道内的火灾视频进行后续实时采集，并按照步骤一和步骤二所述的方法处理，之后，监控计算机按照时间先后顺序对后续采集的矿井巷道内多帧火灾图像分别进行去雾处理，且对后续各帧火灾图像的去雾处理均相同，则对任一帧火灾图像进行去雾处理时，包括以下步骤：
23.步骤501、监控计算机调取像素值提取模块对火灾图像中第c通道各个像素点的像素值进行处理，获取火灾图像中第c通道各个像素点的像素值；其中，火灾图像中第c通道像素点的总数记作n
c
，火灾图像中第c通道的第i
c
个像素点的像素值记作i
c
和n
c
均为正整数，且1≤i
c
≤n
c
，c表示彩色图像的通道数，且c的取值为1、2、3，当c＝1表示火灾图像的r通道；当c＝2表示火灾图像的g通道；当c＝3表示火灾图像的b通道；
24.步骤502、监控计算机将第c通道n
c
个像素点的像素值记作集合x
c
，且
25.步骤503、监控计算机利用k
‑
means聚类算法对集合x
c
进行聚类，并采用监控计算机对最终聚类好的每个类中的所有像素值进行平均值处理，得到第c通道k
c
个像素值平均值；其中，第c通道中第j
c
类中的所有像素值的平均值记作第c通道第j
c
个像素值平均值，j
c
和k
c
均为正整数，1≤j
c
≤k
c
；
26.步骤504、监控计算机对第c通道k
c
个像素值平均值进行平均值处理，得到第c通道的去雾调整系数a
c
；
27.步骤505、监控计算机根据公式得到去雾透射率t(x)；其中，ω表示去雾参数，x表示火灾图像中任一个像素，ω(x)表示火灾图像中以像素x为中心的窗口区域，y表示火灾图像中ω(x)区域中任一个像素，i
c
(y)表示火灾图像中在ω(x)区域中第c通道的任一个像素的像素值；
28.步骤506、监控计算机根据公式得到去雾后第c通道任一个像素的像素值j
c
(x)；其中，i
c
(x)表示火灾图像中第c通道任一个像素的像素值，t0表示透射率的最小阈值；
29.步骤507、多次重复步骤506，得到去雾后第r通道任一个像素的像素值j
r
(x)、去雾后第g通道任一个像素的像素值j
g
(x)和去雾后第b通道任一个像素的像素值j
b
(x)；
30.步骤508、监控计算机根据去雾后第r通道任一个像素的像素值j
r
(x)、去雾后第g通道任一个像素的像素值j
g
(x)和去雾后第b通道任一个像素的像素值j
b
(x)，得到去雾后火灾图像；
31.步骤六：后续采集的火灾图像的前景提取：
32.步骤601、采用监控计算机利用五帧差法对当前k时刻的去雾后火灾图像进行前景提取，得到当前k时刻的一次火灾前景图像；其中，k为正整数，且k≥3；
33.步骤602、采用监控计算机利用混合高斯模型对当前k时刻的去雾后火灾图像进行前景提取，得到当前k时刻的二次火灾前景图像；
34.步骤603、采用监控计算机将一次火灾前景图像和二次火灾前景图像进行图像与运算，得到当前k时刻的火灾前景图像；
35.步骤七、矿井火灾视频图像实时检测识别及报警：
36.步骤701、监控计算机将当前k时刻的火灾前景图像，输入步骤六中已训练好的yolo
‑
v5深度神经网络模型中，得到火灾前景图像的预测矩形框；
37.步骤702、当步骤701中火灾前景图像的预测矩形框的宽高均大于零时，说明矿井当前k时刻监测区域的火灾状态为有火焰状态；当步骤701中火灾前景图像的预测矩形框的宽高均为零时，说明矿井当前k时刻监测区域的火灾状态为无火焰状态；
38.步骤703、当矿井当前k时刻监测区域的火灾状态为有火焰状态，监控计算机控制显示器显示，且控制报警器同步报警；当矿井当前k时刻监测区域的火灾状态为无火焰状态时，从步骤五开始，对下一帧火灾图像进行识别。
39.上述的一种矿井火灾视频图像智能识别方法，其特征在于：步骤505中去雾参数ω＝0.95，ω(x)的大小为11
×
11、13
×
13或者15
×
15；步骤506中透射率的最小阈值t0＝0.1；
40.步骤503中监控计算机利用k
‑
means聚类算法对集合x
c
进行聚类，并采用监控计算机对最终分配好的每个类中的所有像素值进行平均值处理，得到第c通道k
c
个像素值平均值，具体过程如下：
41.步骤5031、监控计算机将集合x
c
随机初始化为k
c
个类，且k
c
个类的聚类中心分别为
其中，表示第c通道第1个类的聚类中心，表示第c通道第2个类的聚类中心，表示第c通道第k
c
个类的聚类中心，k
c
为正整数；
42.步骤5032、监控计算机计算火灾图像中每一个像素点到k
c
个聚类中心的像素值差值，并将该像素归为与该像素的像素值差值最小值所对应的类中，得到第一次迭代类簇其中，表示第c通道第一次迭代第1个类簇，表示第c通道第一次迭代第2个类簇，表示第c通道第一次迭代第k
c,1
个类簇；k
c,1
为正整数；
43.步骤5033、监控计算机分别对第c通道第一次迭代类簇每个类簇中所有像素值求取平均值，得到第c通道第一次迭代类簇的中心其中，表示第c通道第一次迭代第1个类簇的中心，表示第c通道第一次迭代第2个类簇的中心，表示第c通道第一次迭代第k
c,1
个类簇的中心；
44.步骤5034、监控计算机按照步骤5032和步骤5033所述的方法，对第c通道第l
‑
1次迭代类簇进行第l次迭代聚类，得到第c通道第l次迭代类簇和第c通道第l次迭代类簇的中心其中，k
c,l
‑1和k
c,l
均为正整数；
45.步骤5035、多次重复步骤5034迭代，得到第c通道第l次迭代类簇和第c通道第l次迭代类簇的中心其中，l和l均为正整数，且1＜l≤l；l表示聚类迭代总次数；其中，第l次迭代类簇和第l
‑
1次迭代类簇相同；k
c,l
为正整数；
46.步骤5036、监控计算机对第l次迭代类簇中每个类簇中的所有像素值进行平均值处理，得到第c通道每个类的像素值平均值；
47.监控计算机将第l次迭代类簇的数量k
c,l
记作最终聚类好的类数k
c
，根据第c通道每个类的像素值平均值，得到第c通道k
c
个像素值平均值。
48.上述的一种矿井火灾视频图像智能识别方法，其特征在于：步骤601中采用监控计算机利用五帧差法对当前k时刻的去雾后火灾图像进行前景提取，得到当前k时刻的一次火灾前景图像，具体过程如下：
49.步骤6011、采用监控计算机将相邻五帧去雾后火灾图像分别记作f
k
‑2(u,v)，f
k
‑1(u,v)，f
k
(u,v)，f
k+1
(u,v)，f
k+2
(u,v)；其中，f
k
(u,v)表示当前k时刻的去雾后火灾图像，f
k
‑1(u,v)表示k
‑
1时刻的去雾后火灾图像，f
k
‑2(u,v)表示k
‑
2时刻的去雾后火灾图像，f
k+1
(u,v)表示k+1时刻的去雾后火灾图像，f
k+2
(u,v)表示k+2时刻的去雾后火灾图像，(u,v)表示去雾后火灾图像中任一个像素的像素坐标；
50.步骤6012、采用监控计算机根据公式得到第一个差分火灾图像g1(u,v)、第二个差分火灾图像g2(u,v)、第三个差分火灾图像g3(u,v)和第四
个差分火灾图像g4(u,v)；
51.步骤6013、采用监控计算机根据h1(u,v)＝g1(u,v)∩g4(u,v)和h2(u,v)＝g2(u,v)∩g3(u,v)，得到第一个与运算后火灾图像h1(u,v)和第二个与运算后火灾图像h2(u,v)；其中，∩表示图像与运算；
52.步骤6014、采用监控计算机根据h(u,v)＝h1(u,v)∪h2(u,v)，得到一次火灾前景图像h(u,v)；其中，∪表示图像或运算。
53.上述的一种矿井火灾视频图像智能识别方法，其特征在于：步骤602中采用监控计算机利用混合高斯模型对当前k时刻的去雾后火灾图像进行前景提取，得到二次火灾前景图像，具体过程如下：
54.步骤6021、监控计算机采用混合高斯模型对多帧去雾后火灾图像进行背景建模，得到背景图像；
55.步骤6022、采用监控计算机将当前k时刻的去雾后火灾图像和和背景图像进行差分运算，得到当前k时刻的二次火灾前景图像。
56.本发明与现有技术相比具有以下优点：
57.1、本发明采用了模块化设计，通过火灾视频采集模块进行火灾图像采集，设计合理，实现方便。
58.2、本发明通过设置火灾视频采集模块，对矿井巷道内进行图像采集，实时性高，实现了对矿井火灾的实时监测。
59.3、本发明通过通信模块和监控室内的监控计算机数据通信，可以适用于巷道、以及其他输送机胶带巷、变电所、水泵房、电气焊作业场所、井底车场、钻场、爆破场所、采煤工作面等不同的场合，数据传输快，响应速度快。
60.4、本发明通过k
‑
means聚类算法对暗通道去雾模型进行改进，减少矿井下光照不足等因素造成的影响，从而提高火灾图像的识别效率，提高火灾图像的细节信息并且去除干扰。
61.5、本发明利用五帧差法进行前景提取和利用混合高斯模型进行前景提取，以使利用五帧差法得到的一次火灾前景图像和利用混合高斯模型得到的二次火灾前景图像融合处理，具有更好的前景区域识别效果，降低矿井环境的影响，更有利于后期的火灾识别。
62.6、本发明通过yolo
‑
v5深度神经网络模型对火灾图像进行训练，得到训练好的yolo
‑
v5深度神经网络模型，从而便于后续采集的火灾图像输入已训练好的yolo
‑
v5深度神经网络模型而得到监测区域的火灾状态，进行报警提醒，实时性好、精度高，对矿井的火灾识别具有一定的价值。
63.综上所述，本发明设计合理，能够实现对矿井火灾的实时监测，能够对检测到的火焰图像进行快速识别，及时发现火灾隐患，确保矿井的安全生产及工作人员的生命安全。
64.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
65.图1为本发明矿井火灾视频图像智能识别装置的电路原理框图。
66.图2为本发明矿井火灾视频图像智能识别方法的流程框图。
67.附图标记说明:
68.1—摄像头；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
2—本安交换机；
ꢀꢀꢀꢀ
3—本安光端机；
69.4—环网交换机；
ꢀꢀꢀꢀꢀꢀ
5—计算机；
ꢀꢀꢀꢀꢀꢀꢀꢀ
6—显示器；
70.7—报警器。
具体实施方式
71.如图1所示的一种矿井火灾视频图像智能识别装置，包括多个安装在矿井巷道内的火灾视频采集模块和设置在煤矿井上监控室内且与多个所述火灾视频采集模块连接的监控计算机5，多个所述火灾视频采集模块均通过通信模块和监控计算机5连接，多个所述火灾视频采集模块的结构相同，所述火灾视频采集模块均包括摄像头1，所述摄像头1通过通信模块和监控计算机5连接。
72.本实施例中，所述通信模块包括依次连接的本安交换机2、本安光端机3和环网交换机4，所述摄像头1通过双绞线与本安交换机2的电口连接，所述本安交换机2的光口通过光纤线缆与本安光端机3的光口连接，所述本安光端机3的光口通过光纤线缆与环网交换机4的光口连接，所述环网交换机4的电口通过双绞线与监控计算机5连接。
73.本实施例中，所述摄像头1为矿用本质安全型ccd摄像头；所述监控计算机5连接有显示器6和报警器7。
74.如图2所示的一种矿井火灾视频图像智能识别方法，包括
75.步骤一、火灾视频采集模块的安装及视频图像的采集：
76.步骤101、沿矿井巷道安装多个火灾视频采集模块，在煤矿井上监控室内设置与多个所述火灾视频采集模块连接的监控计算机5；其中，每组火灾视频采集模块均为设置在矿井巷道上的摄像头1，所述通信模块包括本安交换机2、本安光端机3和环网交换机4，所述本安交换机2与多个摄像头1连接；
77.步骤102、多个摄像头1对矿井巷道内的火灾视频进行采集，并将采集到的火灾视频依次经过本安交换机2、本安光端机3和环网交换机4传送至监控计算机5；
78.步骤二、火灾图像的提取：
79.监控计算机3从火灾视频中提取多帧火灾图像，且多帧火灾图像按照拍摄时间先后顺序进行排列；其中，每帧火灾图像为rgb图像，火灾图像的帧数为m，且m为10000～12000的正整数；
80.步骤三、构造火灾图像样本集：
81.步骤301、采用监控计算机3将m帧火灾图像分别进行去雾处理和前景提取，得到m帧火灾前景图像；
82.步骤302、监控计算机3利用lableimg软件对m帧火灾前景图像均进行火焰区域矩形框标记，得到火灾图像样本集；其中，火灾图像样本集中每帧火灾前景图像中矩形框记作标记矩形框；
83.步骤四、基于yolov5深度网络模型的火灾图像训练：
84.将火灾图像样本集中的各个火灾图像分别输入yolov5深度网络模型进行训练，直至火灾图像样本集训练完毕，得到训练好的yolov5深度网络模型；其中，yolov5深度网络模型包括backbone结构、neck结构、prediction结构；
85.步骤五、后续采集的火灾图像的去雾处理：
86.摄像头1对矿井巷道内的火灾视频进行后续实时采集，并按照步骤一和步骤二所述的方法处理，之后，监控计算机3按照时间先后顺序对后续采集的矿井巷道内多帧火灾图像分别进行去雾处理，且对后续各帧火灾图像的去雾处理均相同，则对任一帧火灾图像进行去雾处理时，包括以下步骤：
87.步骤501、监控计算机3调取像素值提取模块对火灾图像中第c通道各个像素点的像素值进行处理，获取火灾图像中第c通道各个像素点的像素值；其中，火灾图像中第c通道像素点的总数记作n
c
，火灾图像中第c通道的第i
c
个像素点的像素值记作i
c
和n
c
均为正整数，且1≤i
c
≤n
c
，c表示彩色图像的通道数，且c的取值为1、2、3，当c＝1表示火灾图像的r通道；当c＝2表示火灾图像的g通道；当c＝3表示火灾图像的b通道；
88.步骤502、监控计算机3将第c通道n
c
个像素点的像素值记作集合x
c
，且
89.步骤503、监控计算机3利用k
‑
means聚类算法对集合x
c
进行聚类，并采用监控计算机3对最终聚类好的每个类中的所有像素值进行平均值处理，得到第c通道k
c
个像素值平均值；其中，第c通道中第j
c
类中的所有像素值的平均值记作第c通道第j
c
个像素值平均值，j
c
和k
c
均为正整数，1≤j
c
≤k
c
；
90.步骤504、监控计算机3对第c通道k
c
个像素值平均值进行平均值处理，得到第c通道的去雾调整系数a
c
；
91.步骤505、监控计算机3根据公式得到去雾透射率t(x)；其中，ω表示去雾参数，x表示火灾图像中任一个像素，ω(x)表示火灾图像中以像素x为中心的窗口区域，y表示火灾图像中ω(x)区域中任一个像素，i
c
(y)表示火灾图像中在ω(x)区域中第c通道的任一个像素的像素值；
92.步骤506、监控计算机3根据公式得到去雾后第c通道任一个像素的像素值j
c
(x)；其中，i
c
(x)表示火灾图像中第c通道任一个像素的像素值，t0表示透射率的最小阈值；
93.步骤507、多次重复步骤506，得到去雾后第r通道任一个像素的像素值j
r
(x)、去雾后第g通道任一个像素的像素值j
g
(x)和去雾后第b通道任一个像素的像素值j
b
(x)；
94.步骤508、监控计算机3根据去雾后第r通道任一个像素的像素值j
r
(x)、去雾后第g通道任一个像素的像素值j
g
(x)和去雾后第b通道任一个像素的像素值j
b
(x)，得到去雾后火灾图像；
95.步骤六：后续采集的火灾图像的前景提取：
96.步骤601、采用监控计算机3利用五帧差法对当前k时刻的去雾后火灾图像进行前景提取，得到当前k时刻的一次火灾前景图像；其中，k为正整数，且k≥3；
97.步骤602、采用监控计算机3利用混合高斯模型对当前k时刻的去雾后火灾图像进行前景提取，得到当前k时刻的二次火灾前景图像；
98.步骤603、采用监控计算机3将一次火灾前景图像和二次火灾前景图像进行图像与运算，得到当前k时刻的火灾前景图像；
99.步骤七、矿井火灾视频图像实时检测识别及报警：
100.步骤701、监控计算机3将当前k时刻的火灾前景图像，输入步骤六中已训练好的yolo
‑
v5深度神经网络模型中，得到火灾前景图像的预测矩形框；
101.步骤702、当步骤701中火灾前景图像的预测矩形框的宽高均大于零时，说明矿井当前k时刻监测区域的火灾状态为有火焰状态；当步骤701中火灾前景图像的预测矩形框的宽高均为零时，说明矿井当前k时刻监测区域的火灾状态为无火焰状态；
102.步骤703、当矿井当前k时刻监测区域的火灾状态为有火焰状态，监控计算机3控制显示器6显示，且控制报警器7同步报警；当矿井当前k时刻监测区域的火灾状态为无火焰状态时，从步骤五开始，对下一帧火灾图像进行识别。
103.本实施例中，步骤505中去雾参数ω＝0.95，ω(x)的大小为11
×
11、13
×
13或者15
×
15；步骤506中透射率的最小阈值t0＝0.1；
104.步骤503中监控计算机3利用k
‑
means聚类算法对集合x
c
进行聚类，并采用监控计算机3对最终分配好的每个类中的所有像素值进行平均值处理，得到第c通道k
c
个像素值平均值，具体过程如下：
105.步骤5031、监控计算机3将集合x
c
随机初始化为k
c
个类，且k
c
个类的聚类中心分别为1＜k
c
≤n
c
；其中，表示第c通道第1个类的聚类中心，表示第c通道第2个类的聚类中心，表示第c通道第k
c
个类的聚类中心，k
c
为正整数；
106.步骤5032、监控计算机3计算火灾图像中每一个像素点到k
c
个聚类中心的像素值差值，并将该像素归为与该像素的像素值差值最小值所对应的类中，得到第一次迭代类簇其中，表示第c通道第一次迭代第1个类簇，表示第c通道第一次迭代第2个类簇，表示第c通道第一次迭代第k
c,1
个类簇；k
c,1
为正整数；
107.步骤5033、监控计算机3分别对第c通道第一次迭代类簇每个类簇中所有像素值求取平均值，得到第c通道第一次迭代类簇的中心其中，表示第c通道第一次迭代第1个类簇的中心，表示第c通道第一次迭代第2个类簇的中心，表示第c通道第一次迭代第k
c,1
个类簇的中心；
108.步骤5034、监控计算机3按照步骤5032和步骤5033所述的方法，对第c通道第l
‑
1次迭代类簇进行第l次迭代聚类，得到第c通道第l次迭代类簇和第c通道第l次迭代类簇的中心其中，k
c,l
‑
1和k
c,l
均为正整数；
109.步骤5035、多次重复步骤5034迭代，得到第c通道第l次迭代类簇和第c通道第l次迭代类簇的中心其中，l和l均为正整数，且1＜l≤l；l表示聚类迭代总次数；其中，第l次迭代类簇和第l
‑
1次迭代类簇相同；k
c,l
为正整数；
110.步骤5036、监控计算机3对第l次迭代类簇中每个类簇中的所有像素值进行平均值处理，得到第c通道每个类的像素值平均值；
111.监控计算机3将第l次迭代类簇的数量k
c,l
记作最终聚类好的类数k
c
，根据第c通道
每个类的像素值平均值，得到第c通道k
c
个像素值平均值。
112.本实施例中，步骤601中采用监控计算机3利用五帧差法对当前k时刻的去雾后火灾图像进行前景提取，得到当前k时刻的一次火灾前景图像，具体过程如下：
113.步骤6011、采用监控计算机3将相邻五帧去雾后火灾图像分别记作f
k
‑2(u,v)，f
k
‑1(u,v)，f
k
(u,v)，f
k+1
(u,v)，f
k+2
(u,v)；其中，f
k
(u,v)表示当前k时刻的去雾后火灾图像，f
k
‑1(u,v)表示k
‑
1时刻的去雾后火灾图像，f
k
‑2(u,v)表示k
‑
2时刻的去雾后火灾图像，f
k+1
(u,v)表示k+1时刻的去雾后火灾图像，f
k+2
(u,v)表示k+2时刻的去雾后火灾图像，(u,v)表示去雾后火灾图像中任一个像素的像素坐标；
114.步骤6012、采用监控计算机3根据公式得到第一个差分火灾图像g1(u,v)、第二个差分火灾图像g2(u,v)、第三个差分火灾图像g3(u,v)和第四个差分火灾图像g4(u,v)；
115.步骤6013、采用监控计算机3根据h1(u,v)＝g1(u,v)∩g4(u,v)和h2(u,v)＝g2(u,v)∩g3(u,v)，得到第一个与运算后火灾图像h1(u,v)和第二个与运算后火灾图像h2(u,v)；其中，∩表示图像与运算；
116.步骤6014、采用监控计算机3根据h(u,v)＝h1(u,v)∪h2(u,v)，得到一次火灾前景图像h(u,v)；其中，∪表示图像或运算。
117.本实施例中，步骤602中采用监控计算机3利用混合高斯模型对当前k时刻的去雾后火灾图像进行前景提取，得到二次火灾前景图像，具体过程如下：
118.步骤6021、监控计算机3采用混合高斯模型对多帧去雾后火灾图像进行背景建模，得到背景图像；
119.步骤6022、采用监控计算机3将当前k时刻的去雾后火灾图像和和背景图像进行差分运算，得到当前k时刻的二次火灾前景图像。
120.本实施例中，步骤301中的去雾处理与步骤五中去雾处理的方法相同，步骤301中的前景提取和步骤六中前景提取方法相同。
121.本实施例中，实际使用时，火灾图像中第r通道像素点的总数n1、火灾图像中第g通道像素点的总数n2和火灾图像中第b通道像素点的总数n3均相同。
122.本实施例中，表示火灾图像中第c通道的第1个像素点的像素值，表示火灾图像中第c通道的第n
c
个像素点的像素值。
123.本实施例中，表示第c通道第l
‑
1次迭代第1个类簇，表示第c通道第l
‑
1次迭代第2个类簇，表示第c通道第l
‑
1次迭代第k
c,l
‑1个类簇；k
c,
l
‑
1为正整数；表示第c通道第l次迭代第1个类簇，表示第c通道第l次迭代第2个类簇，表示第c通道第l次迭代第k
c,l
个类簇；k
c,l
为正整数；表示第c通道第l次迭代第1个类簇的中心，表示第c通道第l次迭代第2个类簇的中心，表示第c通道第l次迭代第k
c,l
个类簇的中心。
124.本实施例中，通过步骤三对火灾图像进行去雾处理，减少环境对火灾图像的影响。
125.本实施例中，yolov5深度网络模型的主干网络包括backbone结构、neck结构、prediction结构，backbone结构包括1个focus模块，4个cbl模块，3个csp模块以及1个spp模块；neck结构包括5个csp模块，4个cbl模块，两个上采样模块以及4个全连接模块，prediction结构输出预测矩形框。
126.本实施例中，训练好的yolov5深度网络模型，以使火灾图像样本集中预测框矩框和标记框矩形之间的损失函数giou_loss逐渐减少。
127.本实施例中，实际使用时，采用深度可分离卷积网络将csp模块的cbm结构进行替换，使得yolov5深度网络模型具有更少的参数和更小的计算量，让算法的检测速度更快。csp模块包括2个cbl模块，1个resunit模块，2个conv模块，1个concat模块，1个bn模块以及leakyrelu函数；cbl模块包括conv模块、bn模块、leakyrelu函数；采用可分离卷积网络对cbl模块的卷积层conv进行替换，减少算法模型的参数。
128.以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。