一种智能火灾识别方法、装置、计算机设备及存储介质与流程

1.本文涉及人工智能领域，尤其是一种智能火灾识别方法、装置、计算机设备及存储介质。


背景技术：

2.在智慧银行网点、智能安防场景中，实时准确的火灾识别对于安防系统具有重要意义。全天候监测安防场景中的火灾情况、在火灾发生的早期阶段及时发出预警，可以有效减少值守人员的投入成本，可以最小限度地减少火灾对人民生命及财产安全带来的危害。
3.现有技术的火灾识别方法包括：在安防监控场景中设置温度、烟雾等传感器，监控传感器的状态对火灾进行识别。这种方法部署成本较高，且受限于传感器灵敏度，预警具有一定的滞后性。
4.现在技术的火灾识别方法还包括基于传统图像算法的火灾识别方法。传统图像算法通过像素值特征来识别火灾，容易对黄色、红褐色物体造成误识别，且传统算法的识别精度不高。该类方案没有充分融合场景、时空等维度信息特征，另外在部分火灾场景中存在明火不明显问题，导致漏检、误报事件。
5.现有技术的火灾识别方法还包括基于深度学习算法识别火灾。该类方案大部分通过目标检测方法检测图像中是否存在火焰进行火灾识别。这种方法的算法部署在云端，本地的摄像头数据需通过网络传输到云端进行识别分析。多路视频流数据首先需要回传云端，在云端进行分析计算，占用回传网络带宽大，严重依赖网络情况，业务时延较高。
6.针对目前火灾识别存在时延、容易发生漏检、识别准确率低等问题，需要一种智能火灾识别方法。


技术实现要素：

7.为解决上述现有技术的问题，本文实施例提供了一种智能火灾识别方法、装置、计算机设备及存储介质。
8.本文实施例提供了一种智能火灾识别方法，所述方法应用于边缘服务器，包括：解析摄像头发送的视频流数据，得到图像帧序列；利用火灾特征识别模型识别所述图像帧序列中的图像，得到火灾特征识别结果；计算所述图像帧序列在预设时间窗口内的图像帧相似度，得到图像相似度识别结果；对所述火灾特征识别结果、图像相似度识别结果分别赋予不同权重，计算得到火灾识别分值；根据所述火灾识别分值与预设报警阈值，输出火灾识别结果；将所述火灾识别结果发送至平台集中显示。
9.根据本文实施例的一个方面，所述解析摄像头发送的视频流数据，得到图像帧序列包括：对所述视频流数据进行解码，得到初始图像帧；根据获取的视频流数据的帧率，确定对初始图像帧的采样频率及采样数量；根据所述对初始图像帧的采样频率及采样数量，对所述初始图像帧进行采样，得到图像帧序列。
10.根据本文实施例的一个方面，所述方法还包括：利用火灾分类模型识别所述图像
帧序列，得到火灾分类识别结果；对所述火灾特征识别结果、图像相似度识别结果分别赋予不同权重，计算得到火灾识别分值进一步为：对所述火灾分类识别结果、所述火灾特征识别结果、所述图像相似度识别结果分别赋予不同权重，计算得到火灾识别分值。
11.根据本文实施例的一个方面，所述火灾分类模型训练过程包括：获取训练样本图像，所述训练样本图像包括具有火灾类型标注信息的历史火灾图像及正常图像，所述火灾类型标注信息包括：训练样本图像中是否包含火灾；利用所述训练样本图像训练预设分类网络，得到火灾分类识别模型。
12.根据本文实施例的一个方面，所述对所述火灾分类识别结果、所述火灾特征识别结果、所述图像相似度识别结果分别赋予不同权重，计算得到火灾识别分值包括：利用如下公式确定火灾识别分值：score
total
＝m
×
scoreb+n
×
(scorea+scorec)/2，其中，score
total
为所述火灾识别分值，scorea为火灾特征识别结果，scoreb为图像相似度识别结果，scorec为火灾分类识别结果，m为所述图像相似度识别结果的权重，n为所述火灾特征识别结果与所述火灾分类识别结果的权重。
13.根据本文实施例的一个方面，对所述火灾分类识别结果、所述火灾特征识别结果、所述图像相似度识别结果分别赋予不同权重包括：从预设权重表中查询所述火灾分类结果、所述火灾特征识别结果、所述图像相似度对应的权重；所述预设权重表中存储有火灾分类与权重的对应关系，火灾特征与权重的对应关系，图像相似度范围与权重的对应关系。
14.根据本文实施例的一个方面，所述火灾特征识别模型的训练过程包括：获取训练样本图像，所述训练样本图像包括具有火灾特征标注信息及火灾位置标注信息的历史火灾图像及正常图像；将所述训练样本图像的火灾特征标注信息转换为火灾特征置信度得分；将所述训练样本图像的火灾位置标注信息转换为火灾特征坐标信息；将所述训练样本图像作为输入，所述火灾特征置信度得分及所述火灾特征坐标信息作为输出，训练预设神经网络模型中的参数；根据预设神经网络模型的结构及参数，确定火灾特征识别模型。
15.根据本文实施例的一个方面，获取训练样本图像之后还包括：计算所述训练样本图像中火灾位置的面积；当火灾位置的面积大于预设面积，将所述训练样本图像进行图像分割；使用分段标注方法对分割后的训练样本图像中的目标特征分别添加标注信息。
16.根据本文实施例的一个方面，计算图像帧序列在预设时间窗口内的图像帧相似度，得到图像相似度识别结果包括：确定预设时间窗口大小及窗口滑动步长；根据预设时间窗口内n帧图像中每一帧图像的原始像素矩阵，确定当前预设时间窗口内图像帧的相似度；根据所述窗口滑动步长移动所述预设时间窗口，确定下一时间窗口内图像的相似度。
17.根据本文实施例的一个方面，所述方法还包括：对预定时间段内的火灾识别结果进行校验，得到火灾识别结果错误的次数；比较记录次数与预设次数，若记录次数超过预设次数，则调整所述预设报警阈值。
18.根据本文实施例的一个方面，对预定时间段内的火灾识别结果进行校验，得到火灾识别结果错误的次数包括：根据火灾识别区域，确定与火灾识别区域相关摄像头；比较预定时间段内所述相关摄像头对应的火灾识别结果是否一致，记录比较结果不一致的次数，将比较结果不一致的次数作为火灾识别结果错误的次数。
19.根据本文实施例的一个方面，所述将所述火灾识别结果发送至平台集中显示还包括：获取所述摄像头的ip地址；根据所述ip地址，确定火灾识别的地理位置；将所述地理位
置与所述火灾识别结果相关联，发送至平台进行显示。
20.本文实施例还提供一种智能火灾识别装置，所述装置包括：图像帧序列获取单元，用于解析摄像头发送的视频流数据，得到图像帧序列；火灾特征识别结果获取单元，用于利用火灾特征识别模型识别所述图像帧序列中的图像，得到火灾特征识别结果；图像相似度识别结果获取单元，用于计算所述图像帧序列在预设时间窗口内图像帧的相似度，得到图像相似度识别结果；火灾识别分值计算单元，用于对所述火灾特征识别结果、图像相似度识别结果分别赋予不同权重，计算得到火灾识别分值；火灾识别结果输出单元，用于根据所述火灾识别分值与预设报警阈值，输出火灾识别结果；发送单元，用于将所述火灾识别结果发送至平台集中显示。
21.本文实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
22.本文实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现上述的方法。
23.本方案的智能火灾识别方法不需要将视频流数据上传到云端服务器，直接由边缘服务器进行火灾识别算法的计算，减少对于网络宽带的需求，并且提高了火灾预警的实时性。火灾识别算法通过计算预设时间窗口内的图像帧相似度、利用火灾特征识别模型计算火灾特征识别结果，分别融合了图像的时间、场景等多维度信息，极大较少了误报和漏报数据，可以更好适用复杂的应用场景。
附图说明
24.为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1所示为本文实施例一种智能火灾识别方法的流程图；
26.图2所示为本文实施例一种火灾识别分值计算方法的流程图；
27.图3所述为本文实施例一种对火灾分类识别结果、火灾特征识别结果、图像相似度识别结果分别赋予不同权重的方法流程图；
28.图4为本文实施例一种火灾特征识别模型的训练过程的方法流程图；
29.图5所示为本文实施例一种得到图像相似度识别结果的方法流程图；
30.图6所示为本文实施例一种对火灾识别结果进行校验的方法流程图；
31.图7所示为本文实施例一种确定火灾识别结果错误的方法流程图；
32.图8所示为本文实施例一种将火灾识别结果发送至平台的方法流程图；
33.图9所示为本文实施例一种智能火灾识别装置的示意图；
34.图10所示为本实施例智能火灾识别装置的具体结构示意图；
35.图11所示为本文实施例一种计算机设备的结构示意图。
36.附图符号说明：
37.901、图像帧序列获取单元；
38.9011、初始图像帧获取模块；
39.902、火灾特征识别结果获取单元；
40.9021、火灾特征识别模型训练模块；
41.9022、分段标注模块；
42.903、图像相似度识别结果获取单元；
43.9031、预设窗口大小设置模块；
44.9032、图像相似度计算模块；
45.904、火灾识别分值计算单元；
46.9041、权重确定模块；
47.905、火灾识别结果输出单元；
48.9051、火灾识别结果检验模块；
49.9052、预设报警阈值调整模块；
50.906、发送单元；
51.9061、地理位置发送模块；
52.1102、计算机设备；
53.1104、处理器；
54.1106、存储器；
55.1108、驱动机构；
56.1110、输入/输出模块；
57.1112、输入设备；
58.1114、输出设备；
59.1116、呈现设备；
60.1118、图形用户接口；
61.1120、网络接口；
62.1122、通信链路；
63.1124、通信总线。
具体实施方式
64.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。
65.需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
66.本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造
性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或装置产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。
67.需要说明的是，本文的智能火灾识别方法可用于安防领域，具体场景例如为银行网点或银行自助服务机提供火灾识别服务。
68.如图1所示为本文实施例一种智能火灾识别方法的流程图，该方法应用于边缘服务器。该边缘服务器也可以是边缘设备，其中主要部署了智能火灾识别算法。进一步的，边缘服务器具有用于智能计算的边缘盒子、具有采集图像及计算功能的智能摄像头等。本方法具体包括如下步骤：
69.步骤101，解析摄像头发送的视频流数据，得到图像帧序列。在本步骤中，边缘服务器接收ipc摄像头发送的视频流数据。其中，ipc摄像头分布在需要识别火灾情况的环境中，也即，火灾识别区域。在本说明书的一些实施例中，火灾识别区域包括但不限于银行网点、自助柜员机等。ipc摄像头实时采集现场环境中的视频流数据，并可以对采集到的视频流数据进行编码压缩，并将编码后的视频流数据发送至边缘服务器。在本说明书的一些实施例中，ipc摄像头将获取到的视频流数据发送网络视频录像机(nvr，network video recorder)，边缘服务器从nvr中拉取指定摄像头的视频流。在本说明书的另外一些实施例中，边缘服务器也可以直接从ipc摄像头获取视频流数据。
70.在本说明书的一些实施例中，边缘服务器获取视频流数据后，对视频流数据进行解码，得到初始图像数据。并根据边缘服务器中智能摄像头获取的视频流的帧率，确定对初始图像帧的采样频率、采样数量，进一步根据对初始图像帧的采样频率及采用数量，对获取到的初始图像帧进行采样，得到图像帧序列。
71.步骤102，利用火灾特征识别模型识别所述图像帧序列中的图像，得到火灾特征识别结果。在本步骤中，火灾特征识别模型用于识别图像帧序列中的图像中是否存在于火灾相关的目标特征。其中，火焰、烟雾为与火灾较为相关的目标特征。火灾特征识别模型根据包含火焰、烟雾等目标特征的训练样本图像，输出火灾特征识别结果。关于本步骤火灾特征识别模型及模型输出得到火灾特征识别结果的具体步骤见图2、图4的描述。
72.步骤103，计算所述图像帧序列在预设时间窗口内的图像帧的相似度，得到图像相似度识别结果。在本步骤中，将图像帧序列按照预设时间窗口进行划分。因为当视频流数据变化较小或视频画面没有变化时，预设时间窗口内的图像趋于静止。当平静的画面突然发生火情时，视频流数据中的图像帧会发生突变，因此根据发生火灾的时刻前后一段时间窗口内的图像帧的相似度，可以确定预设时间窗口内是否发生火灾。进一步确定发生火灾的时间维度的信息。在本说明书的一些实施例中，对预设时间窗口内的图像帧计算相似度。关于确定预设时间窗口及计算图像相似度的具体描述详见图5描述。
73.步骤104，对所述火灾特征识别结果、图像相似度识别结果分别赋予不同权重，计算得到火灾识别分值。在本说明书的一些实施例中，根据火灾特征识别结果与火灾的关联度，可以为火灾特征识别结果赋予第一权重，根据图像相似度识别结果，对火灾特征识别结果赋予第二权重。进一步计算得到火灾识别分值。
74.步骤105，根据所述火灾识别分值与预设报警阈值，输出火灾识别结果。在本说明书的一些实施例中，预设报警阈值可以是根据历史火灾识别情况确定的。当计算得到的火
灾识别分值大于预设报警阈值，则输出的火灾识别结果为：发生火灾或存在火灾情况；当计算得到的火灾识别分值小于预设报警阈值，则输出的火灾识别结果为：未发生火灾，或不存在火灾情况。在本说明书的一些实施例中，可以根据火灾识别区域的实际情况调整预设的火灾报警阈值。预设的报警阈值可能并不适用于紧急情况下输出火灾识别结果，存在滞后或不适应紧急、临时的火灾情况。因此，预设的报警阈值可能在部分情况下有误。因此需要进一步对预设时间段内的火灾识别结果进行校验、比较火灾识别区域的多个摄像头对应的火灾识别结果是否一致等方法，确定是否调整火灾报警阈值。
75.步骤106，将所述火灾识别结果发送至平台集中显示。本步骤将火灾识别结果发送至云平台集中显示。也可以将火灾识别结果与报警信息一同发送至云平台进行显示。也可以将火灾识别结果、报警信息及火灾识别区域的地理位置信息一同发送至云平台进行显示。
76.图2所示为本文实施例一种火灾识别分值计算方法的流程图。具体包括如下步骤：
77.步骤201，利用火灾分类模型识别所述图像帧序列，得到火灾分类识别结果。在本说明书的一些实施例中，除了使用火灾特征识别模型得到火灾特征识别结果、计算图像相似度识别结果计算得到火灾识别分值。本技术还公开了利用火灾识别模型计算得到火灾分类识别结果以进一步得到火灾识别分值的方法。在本说明书的一些实施例中，火灾分类模型可以使用分类模型及训练样本图像训练得到。在本步骤中，火灾分类模型的训练过程包括：获取训练样本图像，所述训练样本图像包括具有火灾类型标注信息的历史火灾图像及正常图像，所述火灾类型标注信息包括：训练样本图像中是否包含火灾。其中，火灾类型标注信息可以用数字表示以便模型训练。例如，数字1可以表示训练样本图像中包含火灾；数字0可以表示训练样本图像中不包括火灾。本技术对使用数字对训练样本图像进行标注的方式不作限定。
78.利用训练样本图像训练预设的分类网络，可以得到火灾分类识别模型。在本说明书的一些实施例中，火灾分类模型输出的火灾分类识别结果可以包括：图像包括火灾或图像不包括火灾的识别结果。与训练样本相对应的，火灾分类模型输出的火灾分类识别结果也可以是数字1或0，可以分别表示：图像包括火灾或图像不包括火灾的识别结果。
79.步骤202，对所述火灾特征识别结果、图像相似度识别结果分别赋予不同权重，计算得到火灾识别分值进一步为：对所述火灾分类识别结果、所述火灾特征识别结果、所述图像相似度识别结果分别赋予不同权重，计算得到火灾识别分值。与步骤104相对应的，当利用火灾分类模型识别得到火灾分类识别结果后，可以结合图1中的方法计算得到的火灾特征识别结果、图像相似度识别结果，分别对这三类结果赋予不同的权重，计算火灾识别分值。
80.例如，利用如下公式确定火灾识别分值：score
total
＝m
×
scoreb+n
×
(scorea+scorec)/2，其中，score
total
为所述火灾识别分值，scorea为火灾特征识别结果，scoreb为图像相似度识别结果，scorec为火灾分类识别结果，m为所述图像相似度识别结果的权重，n为所述火灾特征识别结果与所述火灾分类识别结果的权重。在本说明书的一些实施例中，火灾特征识别结果与火灾分类识别结果均与火灾中的火焰、烟雾等特征相关，因此火灾识别特征结果scorea、火灾分类识别结果scorec与火灾的相关性较大，可以对这两类结果赋予相同的权重n。而图像相似度识别结果与火灾发生的时刻或火灾时间维度相关，因此可以对该
结果赋予权重m。在本说明书的一些实施例中，n可以为0.8、0.75、0.7等数值，n可以是0.2、0.25、0.3等数值。本技术对赋予火灾分类识别结果、火灾特征识别结果、图像相似度识别结果的权重的方法不作限定，对火灾分类识别结果、火灾特征识别结果、图像相似度识别结果分别赋予不同权重的方法与并不限于本步骤的公式对应的描述。
81.图3所示为本文实施例一种对火灾分类识别结果、火灾特征识别结果、图像相似度识别结果分别赋予不同权重的方法流程图，具体包括如下步骤：
82.步骤301，从预设权重表中查询所述火灾分类结果、所述火灾特征识别结果、所述图像相似度对应的权重。在本说明书中，火灾分类结果、火灾特征识别结果、图像相似度对应的权重可以预先设定，并存储在预设权重表中。在本说明书的另外一些实施例中，对不同的识别结果赋予的不同权重也可以根据火灾识别区域的现场情况实时进行调整。
83.步骤302，所述预设权重表中存储有火灾分类与权重的对应关系，火灾特征与权重的对应关系，图像相似度范围与权重的对应关系。在本说明书的一些实施例中，根据火灾分类、火灾特征及图像相似度与火灾的相关性，对火灾分类识别结果、火灾特征识别结果、图像相似度识别结果赋予不同的权重。在本步骤中，火灾分类识别结果包括：发送火灾及未发生火灾的结果，火灾特征包括火焰、烟雾、火星等特征。在实际场景中，火焰与火灾的相关度较大，因此火焰与权重的对应关系相对较大；火星与火灾的相关度相对小，因此火星与权重的对应关系较小。但也存在一些情况例如，有人员使用打火机吸烟产生火星及烟雾，但持续时间较短，只在仅有的几帧图像中出现，并不是实际发生火灾。因此，本方案还可以结合火灾特征识别结果与图像相似度识别结果二者结合的结果赋予权重。
84.图4所示为本文实施例一种火灾特征识别模型的训练过程的方法流程图。具体包括如下步骤：
85.步骤401，获取训练样本图像，所述训练样本图像包括具有火灾特征标注信息及火灾位置标注信息的历史火灾图像及正常图像。在本步骤中，火灾特征识别模型由训练样本图像训练得到。训练样本图像为大量的事先由人工标注过的具有标注信息的图像，包括历史火灾图像及正常图像。其中，历史火灾图像包括具有火灾特征标注信息及火灾位置标注信息的图像。在本步骤中，训练的初始模型包括但不限于：tolov5s模型、yolov5f模型等。以yolov5f模型为例，该模型可以实现对火焰、烟雾等目标物体的检测，从图像中识别出该图像所包含的目标物体特征、目标物体类别，并输出目标物体在图像中的坐标位置、目标物体对应的类别置信度得分。
86.在本说明书的一些实施例中，在获取训练样本图像后，若训练样本图像中主要包含的特征为火焰时，模型可以进一步计算所述训练样本图像中火灾位置的面积；当火灾位置的面积大于预设面积，将所述训练样本图像进行图像分割；使用分段标注方法对分割后的训练样本图像中的目标特征分别添加标注信息。在本说明书的一些实施例中，当训练样本图像中火焰面积较大时，火焰中可能会包含大量的背景信息，造成大量噪声。使用常规的特征标注可能会造成较大误差。因此，设定预设面积，当训练样本图像中火灾位置的面积大于预设面积，将训练样本图像进行图像分割，进一步使用分段标注方法对分割后的训练样本图像中的火焰特征分别进行标注，添加标注信息。
87.步骤402，将所述训练样本图像的火灾特征标注信息转换为火灾特征置信度得分。在本说明书的一些实施例中，训练样本图像中的火灾特征标注信息包括识别具体的火灾目
标特征，包括但不限于：火焰、烟雾、火星等。相对应的，火灾特征标注信息为每一训练样本图像对应的此图像包括何种目标特征的标注信息。进一步的，训练的模型将训练样本图像中识别到的火灾特征标注信息转换为火灾特征置信度得分。在本步骤中，火灾特征置信度得分表示训练样本图像中的目标特征的分类得分。例如，训练样本图像a中包含火焰特征标注信息，则模型在训练过程中可以将火焰特征标注信息转化为火焰特征的置信度得分，如0.8分；又例如，训练样本图像b中包含烟雾特征标注信息，则模型在训练过程中可以将烟雾特征标注信息转化为烟雾特征的置信度得分，如0.6分，等。
88.步骤403，将所述训练样本图像的火灾位置标注信息转换为火灾特征坐标信息。在本说明书的一些实施例中，训练样本图像中的火灾位置标注信息为步骤402中识别到的火灾特征在各自图像中对应的位置信息，该位置信息包括火灾特征在图像中的二维目标框位置信息。在本步骤中，训练的模型可以识别训练样本图像中的火灾位置标注信息转换为火灾特征坐标信息。计算得出火灾特征在图像中的二维目标框的左上角、右下角坐标位置。
89.步骤404，将所述训练样本图像作为输入，所述火灾特征置信度得分及所述火灾特征坐标信息作为输出，训练预设神经网络模型中的参数。根据前面步骤所述，预设神经网络模型包括yolov5s、yolov5f等。训练样本图像为预设神经网络模型的输入数据，经转化后的火灾特征标注信息、火灾位置标注信息分别成为火灾特征置信度得分、火灾特征坐标信息，作为模型的输出。
90.步骤405，根据预设神经网络模型的结构及参数，确定火灾特征识别模型。在本步骤中，根据预设神经网络的网络结构及模型参数，学习步骤404中的输入数据及输出数据之间的关系，进一步优化预设神经网络模型。当优化完成后，预设神经网络模型训练结束，得到训练好的火灾特征识别模型。
91.如图5所示为本文实施例一种得到图像相似度识别结果的方法流程图，具体包括如下步骤：
92.步骤501，确定预设时间窗口大小及窗口滑动步长。在本步骤中，对解析为图像帧的图像帧序列确定预设时间窗口大小。预设时间窗口用于限定一定时间序列的图像帧，进一步计算时间序列内的图像之间的相似度。例如，预设时间窗口大小为2个时间序列、5个时间序列或10个时间序列。当确定预设时间窗口内的图像帧相似度后，根据窗口滑动步长依次移动窗口，得到新的时间窗口，进一步计算新的时间窗口内的图像相似度。
93.步骤502，根据预设时间窗口内n帧图像中每一帧图像的原始像素矩阵，确定当前预设时间窗口内图像帧的相似度。在本步骤中，根据预设时间窗口内的图像中每一帧图像的原始像素矩阵，计算各个图像的原始像素矩阵之间的相似度。例如，预设时间窗口长度为2个时间序列，则预设时间窗口内具有2帧图像，则根据这2帧图像中的原始像素矩阵，计算图像相似度。又例如，预设时间窗口长度为5个时间序列，则预设时间窗口内具有5帧图像，则根据这5帧图像中的原始像素矩阵，计算图像相似度。在本说明书的一些实施例中，计算图像相似度的方式包括但不限于：欧式距离、余弦相似度、皮尔逊相似度、曼哈顿距离、修正余弦相似度等。以利用欧式距离计算图像相似度为例进行说明：当预设时间窗口长度为2，根据两帧图像的原始像素矩阵计算欧式距离，根据欧式距离的大小判断相似度。
94.步骤503，根据所述窗口滑动步长移动所述预设时间窗口，确定下一时间窗口内图像的相似度。在本步骤中，每计算一个预设时间窗口内的图像帧的相似度，根据窗口滑动步
长移动当前的时间窗口，继续计算下一个时间窗口内的图像的相似度。直到将获取的所有图像帧序列对应的图像相似度计算完成。在本步骤中，窗口滑动步长可以为1个时间序列。
95.图6所示为本文实施例一种对火灾识别结果进行校验的方法流程图，具体包括如下步骤：
96.步骤601，对预定时间段内的火灾识别结果进行校验，得到火灾识别结果错误的次数。在本技术中，边缘服务器通过布设在现场的多个ipc摄像头获取视频流数据，进一步处理计算得到预设时间段内的火灾识别分值。进一步根据预设报警阈值，输出火灾识别结果。例如，边缘服务器计算得到的火灾识别分值为0.8分、预设报警阈值设置为0.9分，因火灾识别分值小于预设报警阈值，因此边缘服务器输出的火灾识别结果为：网点a在1小时内无火灾发生，但经过现场实际查验发现网点a在1小时内发生了火灾，则认为此次火灾识别结果是错误的。因此，若预设报警阈值设定不准确，则每一次火灾识别结果并不一定是完全正确的，因此需要对预设时间段内计算得到的火灾识别结果进行校验，确定火灾识别结果是否发生错误。本步骤中关于校验火灾识别结果的方法在图7中详细描述。
97.步骤602，比较记录次数与预设次数，若记录次数超过预设次数，则调整所述预设报警阈值。在本步骤中，根据火灾输出结果的记录次数与预设次数进行比较，若火灾识别结果的错误次数较多，超出预设次数，则认为当前的预设报警阈值设置不合理，需要重新调整预设报警阈值以适应当前实时场景。其中，预设次数用于判断是否调整预设报警阈值的条件。例如，设定预设次数为2次，当记录到边缘盒子输出的火灾识别结果错误的次数大于2次，则重新调整预设报警阈值。又例如，设定预设次数为1次，当记录到边缘盒子输出的火灾识别结果错误的次数大于1次，则需要重新调整报警阈值。
98.图7所示为本文实施例一种确定火灾识别结果错误的方法流程图，具体包括如下步骤：
99.步骤701，根据火灾识别区域，确定与火灾识别区域相关摄像头。如步骤101所述，ipc摄像头分布在火灾识别区域中。因此，本步骤根据火灾识别区域，确定在火灾识别区域中或与火灾识别区域相关的摄像头。每一摄像头分别记录火灾识别区域中至少部分区域的画面。例如，火灾识别区域为某银行网点的atm机，该火灾识别区域中设置了4个ipc摄像头，分别安装在amt机柜上方、atm机柜左侧、atm机柜门外正上方、atm机柜右侧。
100.步骤702，比较预定时间段内所述相关摄像头对应的火灾识别结果是否一致，记录比较结果不一致的次数，将比较结果不一致的次数作为火灾识别结果错误的次数。在本步骤中，若同一个火灾识别区域中的不同摄像头对应的火灾识别结果不一致，则最终计算得到的火灾识别结果可能发生错误。例如，预定时间内，安装在atm机柜上方的摄像头对应的火灾识别结果为：发生火灾；而相同时间内该火灾识别区域的其他3个摄像头对应的火灾识别结果均为：未发生火灾。则根据该区域内所有相关摄像头对应的火灾识别结果不一致的结论，可以确定该火灾识别区域内，在该预定时间段内的比较结果不一致。将该比较不一致的次数作为火灾识别结果错误的次数。
101.在本说明书的一些实施例中，可以按照一定比较周期记录预定时间段内的火灾识别结果，确定火灾识别结果的错误次数。其中，比较周期可以是10分钟/次、30分钟/次、1小时/次或2小时/次等。根据比较周期，有规律地记录火灾识别结果，有效发现火灾识别结果错误情况。
102.图8所示为本文实施例一种将火灾识别结果发送至平台的方法流程图，包括如下步骤：
103.步骤801，获取所述摄像头的ip地址。在本步骤中，所述摄像头为ipc摄像头。边缘服务器在获取该种摄像头发送的视频流数据时，还可以获取该摄像头的ip地址。
104.步骤802，根据所述ip地址，确定火灾识别的地理位置。其中，摄像头的ip地址对应摄像头的服务器地址。在本步骤中，摄像头的服务器地址与火灾识别的地理位置可以预先存储在地址表中。本步骤进一步可以根据摄像头的服务器地址确定火灾识别的地理位置。
105.步骤803，将所述地理位置与所述火灾识别结果相关联，发送至平台进行显示。本步骤在将前文计算得到的火灾识别结果发送到云端平台的同时，可以将火灾识别的地理位置与火灾识别结果一起发送至云端平台进行集中显示。
106.图9所示为本文实施例一种智能火灾识别装置的示意图，包括：
107.图像帧序列获取单元901，用于解析摄像头发送的视频流数据，得到图像帧序列；
108.火灾特征识别结果获取单元902，用于利用火灾特征识别模型识别所述图像帧序列中的图像，得到火灾特征识别结果；
109.图像相似度识别结果获取单元903，用于计算所述图像帧序列在预设时间窗口内的图像帧的相似度，得到图像相似度识别结果；
110.火灾识别分值计算单元904，用于对所述火灾特征识别结果、图像相似度识别结果分别赋予不同权重，计算得到火灾识别分值；
111.火灾识别结果输出单元905，用于根据所述火灾识别分值与预设报警阈值，输出火灾识别结果；
112.发送单元906，用于将所述火灾识别结果发送至平台集中显示。
113.本方案的智能火灾识别方法不需要将视频流数据上传到云端服务器，直接由边缘服务器进行火灾识别算法的计算，减少对于网络宽带的需求，并且提高了火灾预警的实时性。火灾识别算法融合了图像的时间、场景等多维度信息，极大较少了误报和漏报数据，可以更好适用复杂的应用场景。
114.作为本文的一个实施例，还可以参考如图10所示为本实施例智能火灾识别装置的具体结构示意图。
115.作为本文的一个实施例，所述图像帧序列获取单元901进一步包括：
116.初始图像帧获取模块9011，用于对所述视频流数据进行解码，得到初始图像帧；
117.火灾特征识别结果获取单元902进一步包括：火灾特征识别模型训练模块9021，用于获取训练样本、火灾特征标注信息及火灾位置标注信息，训练预设神经网络模型，以确定火灾特征识别模型；
118.分段标注模块9022，用于使用分段标注方法对火灾位置的面积大于预设面积的训练样本图像添加标注信息；
119.图像相似度识别结果获取单元903进一步包括：预设窗口大小设置模块9031，用于确定预设时间窗口大小及窗口滑动步长；
120.图像相似度计算模块9032，用于根据预设时间窗口内n帧图像中每一帧图像的原始像素矩阵，确定当前预设时间窗口内图像帧的相似度；
121.火灾识别分值计算单元904进一步包括：权重确定模块9041，用于对所述火灾分类
识别结果、所述火灾特征识别结果、所述图像相似度识别结果分别赋予不同权重，计算得到火灾识别分值；
122.火灾识别结果输出单元905进一步包括：火灾识别结果检验模块9051，用于对预定时间段内的火灾识别结果进行校验，得到火灾识别结果错误的次数；
123.预设报警阈值调整模块9052，用于比较记录次数与预设次数，若记录次数超过预设次数，则调整所述预设报警阈值。
124.发送单元906进一步包括：地理位置发送模块9061，用于将根据摄像头ip地质确定的火灾识别的地理位置与所述火灾识别结果相关联，发送至平台进行显示。
125.如图11所示，为本文实施例提供的一种计算机设备，所述计算机设备1102可以包括一个或多个处理器1104，诸如一个或多个中央处理单元(cpu)，每个处理单元可以实现一个或多个硬件线程。计算机设备1102还可以包括任何存储器1106，其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的，比如，存储器1106可以包括以下任一项或多种组合：任何类型的ram，任何类型的rom，闪存设备，硬盘，光盘等。更一般地，任何存储器都可以使用任何技术来存储信息。进一步地，任何存储器可以提供信息的易失性或非易失性保留。进一步地，任何存储器可以表示计算机设备1102的固定或可移除部件。在一种情况下，当处理器1104执行被存储在任何存储器或存储器的组合中的相关联的指令时，计算机设备1102可以执行相关联指令的任一操作。计算机设备1102还包括用于与任何存储器交互的一个或多个驱动机构1108，诸如硬盘驱动机构、光盘驱动机构等。
126.计算机设备1102还可以包括输入/输出模块1110(i/o)，其用于接收各种输入(经由输入设备1112)和用于提供各种输出(经由输出设备1114)。一个具体输出机构可以包括呈现设备1116和相关联的图形用户接口(gui)1118。在其他实施例中，还可以不包括输入/输出模块1110(i/o)、输入设备1112以及输出设备1114，仅作为网络中的一台计算机设备。计算机设备1102还可以包括一个或多个网络接口1120，其用于经由一个或多个通信链路1122与其他设备交换数据。一个或多个通信总线1124将上文所描述的部件耦合在一起。
127.通信链路1122可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路1122可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
128.对应于图1至图8中的方法，本文实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
129.本文实施例还提供一种计算机可读指令，其中当处理器执行所述指令时，其中的程序使得处理器执行如图1至图8所示的方法。
130.应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。
131.还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
132.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单
元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。
133.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
134.在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
135.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
136.另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
137.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
138.本文中应用了具体实施例对本文的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本文的方法及其核心思想；同时，对于本领域的一般技术人员，依据本文的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本文的限制。