火点区域的确定方法及装置、存储介质和电子装置与流程

本发明涉及视频监控领域，具体而言，涉及一种火点区域的确定方法及装置、存储介质和电子装置。

背景技术：

火灾是一种破坏力强、突发性强、扑救难度大的人为灾害或者自然灾害。在野外，如森林、平原、田间等地，每年由于未及时发现着火点并报警，从而着火点扩散并失去控制形成火灾的现象屡见不鲜。因此，及时发现野外的着火点、及时触发火灾预警报警，从而使消防人员及时采取措施扑灭火点，对野外防火、森林防火工作至关重要。

目前，基于传统野外火灾监测方法主要通过人工巡查监测是否存在火灾，或者利用视频监控是否发生火灾。人工巡查存在一定的滞后性，需要火势达到一定的程度才会被发现。目前的视频监控方法主要利用可见光相机拍摄图像，根据图像信息确定是否发生火灾。但是可见光相机拍摄图像容易受天气影响。如雾、霾、扬尘等可见度低的天气及环境会很大程度降低可见光的穿透力，可见光相机不能够清晰的获取待检区域的烟火图像，从而导致漏报警。

因此，针对相关技术中，火灾监测方法准确率较低的问题，目前尚未存在有效的解决方案。

技术实现要素：

本发明实施例提供了一种火点区域的确定方法及装置、存储介质和电子装置，以至少解决相关技术中火灾监测方法准确率较低的问题。

根据本发明的一个实施例，提供了一种火点区域的确定方法，包括：获取由图像拍摄设备采集的图像帧序列，以及与所述图像帧序列中每帧图像相对应的温度分布信息；根据所述温度分布信息确定所述图像帧序列中的第一区域，其中，所述第一区域中的温度大于或等于第一预设阈值；以所述图像帧序列作为目标检测算法的输入，获取由所述目标检测算法输出的第二区域；根据所述第一区域和所述第二区域确定火点区域。

可选地，根据所述温度分布信息确定所述图像帧序列中的第一区域，包括：对所述图像帧序列中每帧图像的温度分布矩阵进行二值化处理，得到第一分布矩阵，其中，所述温度分布信息包括所述温度分布矩阵；将所述第一分布矩阵进行连通域标记处理，得到所述第一区域。

可选地，以所述图像帧序列作为目标检测算法的输入，获取由所述目标检测算法输出的第二区域，包括：将所述图像帧序列输入至所述目标检测算法，其中，所述目标检测算法是使用多组训练数据通过机器学习训练出来的，其中，所述多组训练数据中的每组数据包括：图像帧序列；获取由所述目标检测算法输出的所述第二区域，以及位于所述第二区域内的目标对象类别。

可选地，根据所述第一区域和所述第二区域确定火点区域，包括：确定所述第一区域与所述第二区域交集为第三区域，所述第一区域与所述第二区域的并集为第四区域；根据所述第三区域与所述第四区域确定所述火点区域。

可选地，根据所述第三区域与所述第四区域确定所述火点区域，包括：确定所述第三区域与所述第四区域的区域面积比值；在所述区域面积比值小于或等于第二预设阈值的情况下，确定所述第一区域为所述火点区域。

可选地，在确定出所述火点区域之后，所述方法还包括：发送报警信息。

根据本发明的另一个实施例，提供了一种火点区域的确定装置，包括：第一获取模块，用于获取由图像拍摄设备采集的图像帧序列，以及与所述图像帧序列中每帧图像相对应的温度分布信息；第一确定模块，用于根据所述温度分布信息确定所述图像帧序列中的第一区域，其中，所述第一区域中的温度大于或等于第一预设阈值；第二获取模块，用于以所述图像帧序列作为目标检测算法的输入，获取由所述目标检测算法输出的第二区域；第二确定模块，用于根据所述第一区域和所述第二区域确定火点区域。

可选地，所述第一确定模块，包括：第一处理单元，用于对所述图像帧序列中每帧图像的温度分布矩阵进行二值化处理，得到第一分布矩阵，其中，所述温度分布信息包括所述温度分布矩阵；第二处理单元，用于将所述第一分布矩阵进行连通域标记处理，得到所述第一区域。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，由于通过获取由图像拍摄设备采集的图像帧序列，以及与图像帧序列中每帧图像相对应的温度分布信息；根据温度分布信息确定图像帧序列中的第一区域，其中，第一区域中的温度大于或等于第一预设阈值；以图像帧序列作为目标检测算法的输入，获取由所述目标检测算法输出的第二区域；根据第一区域和第二区域确定火点区域。因此，可以解决火灾监测方法准确率较低问题，达到提高火灾监测准确率的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种火点区域的确定方法的移动终端的硬件结构框图；

图2是根据本发明实施例的火点区域的确定方法的流程图；

图3是根据本发明可选实施例火点区域的确定方法的示意图一；

图4是根据本发明可选实施例火点区域的确定方法的示意图二；

图5是根据本发明可选实施例火点区域的确定方法的示意图三；

图6是根据本发明可选实施例火点区域的确定方法的示意图四；

图7是根据本发明可选实施例火点区域的确定方法的示意图五；

图8是根据本发明实施例的火点区域的确定装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种火点区域的确定方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的火点区域的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(networkinterfacecontroller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radiofrequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述移动终端的火点区域的确定方法，图2是根据本发明实施例的火点区域的确定方法的流程图，如图2所示，该流程包括如下步骤：

步骤s202，获取由图像拍摄设备采集的图像帧序列，以及与所述图像帧序列中每帧图像相对应的温度分布信息；

其中，图像拍摄设备可以是红外热成像相机，红外热成像相机可以实时采集监控区域的视频图像和热成像光谱图，热成像光谱图中包括了视频图像的温度探测数据，通过热成像光谱图可以反映出每帧图像的温度分布信息。

步骤s204，根据所述温度分布信息确定所述图像帧序列中的第一区域，其中，所述第一区域中的温度大于或等于第一预设阈值；

其中，第一预设阈值可以根据实际情况而定，将超过第一预设阈值的区域作为可疑火点的高温区域。

步骤s206，以所述图像帧序列作为目标检测算法的输入，获取由所述目标检测算法输出的第二区域；

其中，由于受到环境因素的影响，例如人、机动车、非机动车、动物、路灯等，高温区域并不一定完全是火点区域，通过目标检测算法可以排除其他环境因素的干扰，增加监测结果的准确性。

步骤s208，根据所述第一区域和所述第二区域确定火点区域。

通过上述步骤，由于通过获取由图像拍摄设备采集的图像帧序列，以及与图像帧序列中每帧图像相对应的温度分布信息；根据温度分布信息确定图像帧序列中的第一区域，其中，第一区域中的温度大于或等于第一预设阈值；以图像帧序列作为目标检测算法的输入，获取由所述目标检测算法输出的第二区域；根据第一区域和第二区域确定火点区域。因此，可以解决火灾监测方法准确率较低问题，达到提高火灾监测准确率的效果。

可选地，上述步骤的执行主体可以为终端等，但不限于此。

作为一个可选实施例，根据所述温度分布信息确定所述图像帧序列中的第一区域，包括：对所述图像帧序列中每帧图像的温度分布矩阵进行二值化处理，得到第一分布矩阵，其中，所述温度分布信息包括所述温度分布矩阵；将所述第一分布矩阵进行连通域标记处理，得到所述第一区域。在本实施例中，可以通过高温检测模块执行以下步骤：

步骤1：实时采集野外各个监控点位热成像相机的视频图像序列以及相应的温度分布矩阵序列。图像序列可为白热、黑热、琥珀、玉石等伪彩色，若热成像相机为双光谱相机，所述视频图像序列还可以为可见光图像；

步骤2：对图像帧序列中每帧图像按照以下方式进行处理：以图像i为例，图像i对应的温度分布矩阵为t，以温度t为阈值进行二值化处理，其中，t值可以根据实际情况调整，具体地，可以为：100摄氏度、80摄氏度、60摄氏度等，得到二值化后的温度分布矩阵tbinij：

其中，m和n分别为温度矩阵t的矩阵宽度和长度，或者是热成像图像i的长和宽。

步骤3：对二值化后的温度分布矩阵tbinij执行连通域标记算法，得到二值化高温区域的标记框(id,tx1,ty1,tx2,ty2)，其中，(tx1,ty1)和(tx2,ty2)分别为标记框的左上角坐标及右下角坐标，id为标记框编号。其中，所确定出的高温区域的标记框(id,tx1,ty1,tx2,ty2)为第一区域。如图3所示为本实施例中第一区域的示意图。通过本实施例可以标记处高温区域，确定了监控范围内的可疑高温区。

作为一个可选实施例，以所述图像帧序列作为目标检测算法的输入，获取由所述目标检测算法输出的第二区域，包括：将所述图像帧序列输入至所述目标检测算法，其中，所述目标检测算法是使用多组训练数据通过机器学习训练出来的，其中，所述多组训练数据中的每组数据包括：图像帧序列；获取由所述目标检测算法输出的所述第二区域，以及位于所述第二区域内的目标对象类别。在本实施例中，可以通过高温检测模块执行以下步骤：

步骤1：将热成像相机拍摄的视频图像序列输入热成像图像目标检测模块，进行热成像图像目标检测。其中，热成像图像目标检测算法为预先训练好的深度卷积神经网络，检测类别包括但不限于：人、机动车、非机动车、动物、路灯等类别。热成像图像目标检测算法包括但不限于：r-cnn、r-fcn、ssd、yolo系列等目标检测算法。

步骤2：对于高温区域检测模块中温度分布矩阵t对应的热成像图像帧i执行上述热成像图像目标检测算法，获得热成像图中的检测到的各个目标及相应坐标(class,ix1,iy1,ix2,iy2)。其中，(ix1,iy1)和(ix2,iy2)分别为目标的左上角像素坐标及右下角像素坐标，class为检测出的类别。以(ix1,iy1)和(ix2,iy2)构成第二区域，如图4所示为通过目标检测算法检测出的第二区域示意图。

作为一个可选实施例，根据所述第一区域和所述第二区域确定火点区域，包括：确定所述第一区域与所述第二区域交集为第三区域，所述第一区域与所述第二区域的并集为第四区域；根据所述第三区域与所述第四区域确定所述火点区域。在本实施例中，如图5所示，为第一区域和第二区域的交集构成的第三区域示意图；如图6所示，为第一区域和第二区域的并集构成的第四区域示意图。

作为一个可选实施例，根据所述第三区域与所述第四区域确定所述火点区域，包括：确定所述第三区域与所述第四区域的区域面积比值；在所述区域面积比值小于或等于第二预设阈值的情况下，确定所述第一区域为所述火点区域。在本实施例中，将高温区域标记框(id,tx1,ty1,tx2,ty2)与热成像目标检测算法的检测框(class,ix1,iy1,ix2,iy2)进行重叠程度计算。本提案重叠程度计算方法采用交并比iou计算方法，其计算流程如下：计算标记框与检测框的交集overlap：

overlap＝(min(tx2,ix2)-max(tx1,ix1))×(min(ty2,iy2)-max(ty1,iy1))

计算标记框与检测框的并集union：

union＝w1×h1+w2×h2-overlap

其中，w1＝tx2-tx1，h1＝ty2-ty1，w2＝ix2-ix1，h2＝iy2-iy1。

计算交并比iou：

当iou≥iou_thresh时，可判断该id对应的高温标记框为负样本，将该高温区域从可疑火点中排除。

当iou<iou_thresh时，判断该id对应高温标记框为正样本，即，该区域为可疑火点，及时触发报警输出。具体地第二预设阈值iou_thresh可以根据实际情况而定，例如可以是：0.2、0.3或0.5等。

作为一个可选实施例，在确定出所述火点区域之后，所述方法还包括：发送报警信息。在本实施例中，如图7所示是根据本发明实施例的整体方案的流程图。本实施例基于计算机视觉和深度学习方法，利用红外热成像相机实时监测野外如森林、平原等环境的可疑热源，可疑及时并精确地发现可疑火点并报警输出。利用红外光谱热成像相机，具有很强的环境抗干扰能力，可在能见度低的条件下实时监控可疑热源；可以在明火出现之前及时发现并报警，避免火灾发生；利用目标检测算法生成负样本，可排除机动车、行人、非机动车、野外动物等非火点热源，提高了报警的正确率。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种火点区域的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图8是根据本发明实施例的火点区域的确定装置的结构框图，如图8所示，该装置包括：第一获取模块82，用于获取由图像拍摄设备采集的图像帧序列，以及与所述图像帧序列中每帧图像相对应的温度分布信息；第一确定模块84，用于根据所述温度分布信息确定所述图像帧序列中的第一区域，其中，所述第一区域中的温度大于或等于第一预设阈值；第二获取模块86，用于以所述图像帧序列作为目标检测算法的输入，获取由所述目标检测算法输出的第二区域；第二确定模块88，用于根据所述第一区域和所述第二区域确定火点区域。

作为一个可选实施例，所述第一确定模块，包括：第一处理单元，用于对所述图像帧序列中每帧图像的温度分布矩阵进行二值化处理，得到第一分布矩阵，其中，所述温度分布信息包括所述温度分布矩阵；第二处理单元，用于将所述第一分布矩阵进行连通域标记处理，得到所述第一区域。

作为一个可选实施例，所述第二获取模块包括：输入单元，用于将所述图像帧序列输入至所述目标检测算法，其中，所述目标检测算法是使用多组训练数据通过机器学习训练出来的，其中，所述多组训练数据中的每组数据包括：图像帧序列；获取单元，用于获取由所述目标检测算法输出的所述第二区域，以及位于所述第二区域内的目标对象类别。

作为一个可选实施例，所述第二确定模块还用于通过如下方式实现根据所述第一区域和所述第二区域确定火点区域：确定所述第一区域与所述第二区域交集为第三区域，所述第一区域与所述第二区域的并集为第四区域；根据所述第三区域与所述第四区域确定所述火点区域。

作为一个可选实施例，所述第二确定模块还用于通过如下方式实现根据所述第三区域与所述第四区域确定所述火点区域：确定所述第三区域与所述第四区域的区域面积比值；在所述区域面积比值小于或等于第二预设阈值的情况下，确定所述第一区域为所述火点区域。

作为一个可选实施例，所述装置还用于在确定出所述火点区域之后，所述方法还包括：发送报警信息。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

s1，获取由图像拍摄设备采集的图像帧序列，以及与所述图像帧序列中每帧图像相对应的温度分布信息；

s2，根据所述温度分布信息确定所述图像帧序列中的第一区域，其中，所述第一区域中的温度大于或等于第一预设阈值；

s3，以所述图像帧序列作为目标检测算法的输入，获取由所述目标检测算法输出的第二区域；

s4，根据所述第一区域和所述第二区域确定火点区域。

可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-onlymemory，简称为rom)、随机存取存储器(randomaccessmemory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

s1，获取由图像拍摄设备采集的图像帧序列，以及与所述图像帧序列中每帧图像相对应的温度分布信息；

s2，根据所述温度分布信息确定所述图像帧序列中的第一区域，其中，所述第一区域中的温度大于或等于第一预设阈值；

s3，以所述图像帧序列作为目标检测算法的输入，获取由所述目标检测算法输出的第二区域；

s4，根据所述第一区域和所述第二区域确定火点区域。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。