基于深度学习和混合遗传算法的火灾疏散路径规划方法

1.本技术涉及计算机智能化应用技术领域，特别是基于深度学习和混合遗传算法的火灾疏散路径规划方法。


背景技术：

2.火灾事件是严重影响社会公共安全与人民生活的危险因素之一，往往会带来无可挽回的人身伤害和财产损失，因此火灾检测及灾时逃生是公共安全隐患预防工作中重要一环；当发生火灾时，如果火灾发生区域存在被困人员，为了避免被困人员出现伤亡等情况，需要将被困人员及时进行疏散，以远离该火灾发生区域，因此，确定火灾疏散路径的方法受到了人们的广泛关注。相关技术中，对于火灾发生后规划的疏散路径的规划，只考虑到了着火点的分布与室内空间结构，而没有考虑到人流量密度和疏散拥堵度对疏散路径的影响，按规划出对应的疏散路径进行人群疏散，在人群聚集处极易造成拥堵或发生踩踏事件，疏散人群的疏散速度慢、疏散效率低。
3.目前针对相关技术中规划的火灾疏散路径疏散人群速度慢、疏散效率低的问题，尚未提出有效的解决方案。


技术实现要素：

4.本技术实施例提供了一种基于深度学习和混合遗传算法的火灾疏散路径规划方法，以至少解决相关技术中规划的火灾疏散路径疏散人群速度慢、疏散效率低的问题。
5.第一方面，本技术实施例提供了基于深度学习和混合遗传算法的火灾疏散路径规划方法，包括：在根据实时消防监测的视频确定目标区域发生火灾时，获取处于所述目标区域的疏散目标所对应的跟踪信息，其中，所述跟踪信息包括基于由目标检测模型检测的所述疏散目标的人物标签数据，在所述视频的视频帧中进行多目标跟踪得到的人流信息和目标位置信息，所述目标检测模型是基于深度学习算法训练的，并被训练为根据火险图像得到该火险图像中的人物目标的人物标签数据；获取所述目标区域外多个空间节点所对应的节点信息，生成与所述疏散目标对应的可疏散路径，其中，所述空间节点用于表征所述疏散目标疏散时所经过的区域，每个所述疏散目标对应至少一条所述可疏散路径，每条所述可疏散路径包括多个所述空间节点；基于所述人流信息、所述目标位置信息和所述可疏散路径，确定疏散优化标签，其中，所述疏散优化标签用于表征对所述可疏散路径进行优化所参考的参数的重要程度；利用混合遗传算法和所述疏散优化标签对所述可疏散路径进行处理，得到每个所述疏散目标所对应的备选疏散路径，并根据所述备选疏散路径是否被阻断，确定疏散路径规划结果。
6.第二方面，本技术实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于深度学习和混合遗传算法的火灾疏散路径规划方法的步骤。
7.第三方面，本技术实施例提供了一种存储介质，其上存储有计算机程序，该程序被
处理器执行时实现如上述第一方面所述的基于深度学习和混合遗传算法的火灾疏散路径规划方法的步骤。
8.相比于相关技术，本技术实施例提供的基于深度学习和混合遗传算法的火灾疏散路径规划方法、电子装置以及存储介质，通过在根据实时消防监测的视频确定目标区域发生火灾时，获取处于目标区域的疏散目标所对应的跟踪信息，跟踪信息包括基于由目标检测模型检测的疏散目标的人物标签数据，在视频的视频帧中进行多目标跟踪得到的人流信息和目标位置信息，目标检测模型是基于深度学习算法训练的，并被训练为根据火险图像得到该火险图像中的人物目标的人物标签数据；获取目标区域外多个空间节点所对应的节点信息，生成与疏散目标对应的可疏散路径，空间节点用于表征疏散目标疏散时所经过的区域，每个疏散目标对应至少一条可疏散路径，每条可疏散路径包括多个空间节点；基于人流信息、目标位置信息和可疏散路径，确定疏散优化标签，疏散优化标签用于表征对可疏散路径进行优化所参考的参数的重要程度；利用混合遗传算法和疏散优化标签对可疏散路径进行处理，得到每个疏散目标所对应的备选疏散路径，并根据备选疏散路径是否被阻断，确定疏散路径规划结果，解决了相关技术中相关技术中规划的火灾疏散路径疏散人群速度慢、疏散效率低的问题，实现了提高疏散效率，保障人员快速到达安全区域的有益效果。
9.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
10.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
11.图1是根据本技术实施例的基于深度学习和混合遗传算法的火灾疏散路径规划方法的终端的硬件结构框图；
12.图2是根据本技术实施例的基于深度学习和混合遗传算法的火灾疏散路径规划方法的流程图；
13.图3是根据本技术实施例的基于深度学习和混合遗传算法的火灾疏散路径规划装置的结构框图。
具体实施方式
14.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
15.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显
式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
16.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
17.本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本技术实施例的基于深度学习和混合遗传算法的火灾疏散路径规划方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
18.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的基于深度学习和混合遗传算法的火灾疏散路径规划方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
19.传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
20.本实施例提供了一种运行于上述终端的基于深度学习和混合遗传算法的火灾疏散路径规划方法，图2是根据本技术实施例的基于深度学习和混合遗传算法的火灾疏散路径规划方法的流程图，如图2所示，该流程包括如下步骤：
21.步骤s201，在根据实时消防监测的视频确定目标区域发生火灾时，获取处于目标区域的疏散目标所对应的跟踪信息，其中，跟踪信息包括基于由目标检测模型检测的疏散目标的人物标签数据，在视频的视频帧中进行多目标跟踪得到的人流信息和目标位置信
息，目标检测模型是基于深度学习算法训练的，并被训练为根据火险图像得到该火险图像中的人物目标的人物标签数据。
22.在本实施例中，在确定目标区域发生火灾之前，通过对实时消防监测的视频进行实时烟雾检测，以检测出烟雾或着火的异常情况，并在检测到烟雾或着火时，则将检测到的着火点和烟雾的位置数据发送至对应的数据库，从而使的执行本技术方法的执行主体(例如：上述终端)获取着火点和烟雾的位置数据而确定对应的目标区域；在本实施例中，对应的实时消防检测的视频是采集对应的监控系统获取的各个监控终端(例如：摄像头)的实时视频数据。
23.在本实施例中，在确定目标区域发生火灾之后，则启动人流量实时检测，并通过基于深度学习算法的目标检测模型(例如：基于yolov5神经网络训练的目标检测模型)对目标区域内的人物目标进行检测，进而完成处于目标区域内的待疏散人员的检测，检测出对应的待疏散人员对应的人物标签数据，该人物标签数据包括检测的目标为人物目标的概率及人物目标的位置；在本实施例中，在完成对目标区域内的疏散人员检测后，采用多目标跟踪算法(例如：deepsort算法)实现多目标跟踪，实现疏散人员的定位和轨迹跟踪，籍以实现人流量统计；在本实施例中，采用深度学习的卷神经网络yolov5进行疏散人员检测和采用deepsort算法对疏散人员定位和轨迹跟踪，完成动态跟踪每个疏散人员并进行疏散人员的人流量统计(计算疏散人群的人群密度)。
24.在本实施例中，执行本方法的执行主体在读取设定的数据库中的烟雾检测数据，并确定目标区域发生火灾时，对应读取疏散人员对应的人流量的实时数据(对应为跟踪信息)，而人流量的实时数据是采用上述的yolov5进行疏散人员检测和采用deepsort算法对疏散人员定位和轨迹跟踪所获得的。
25.步骤s202，获取目标区域外多个空间节点所对应的节点信息，生成与疏散目标对应的可疏散路径，其中，空间节点用于表征疏散目标疏散时所经过的区域，每个疏散目标对应至少一条可疏散路径，每条可疏散路径包括多个空间节点。
26.在本实施例中，在确定目标区域发生火灾，且完成对应的疏散人员的人流量统计之后，根据目标区域外存在的空间节点(例如：走廊通道、房门、门洞、上、下行楼梯)的节点信息，对每个疏散目标(对应疏散人员)生成多条可疏散路径；其中，节点信息可以是处于该空间节点中的监控设备(例如：摄像头)与目标区域中的楼层或位置一一对应的编码。
27.在本实施例中，生成的每条可疏散路径是指对应的疏散人员在依次途径对应的疏散路径对应的空间节点后，可以达到目标区域外的安全区域，例如：按如下空间节点的排序：房门-门洞-走廊通道-下行楼梯所形成的可疏散路径。
28.步骤s203，基于人流信息、目标位置信息和可疏散路径，确定疏散优化标签，其中，疏散优化标签用于表征对可疏散路径进行优化所参考的参数的重要程度。
29.在本实施例中，在对每个疏散目标生成多条可疏散路径后，需要对每条可疏散路径按设定的疏散优化目标(例如：最短疏散时间、最低疏散风险、最低疏散拥堵度)进行优化，单个疏散优化目标表征该对应的疏散路径具有的疏散效能；在本实施例中，单个疏散优化目标是通过对应的数学计算模型(例如：单个疏散优化目标的计算公式)进行表征的，并通过对应的数学计算模型确定出与对应的疏散优化目标的参数对应的最优参数，例如：在某条可疏散路径对应的多个疏散时间中，选取一个疏散时间作为最短疏散时间；当确定疏
散优化目标的每种参数对应的最优参数之后，在考虑多目标优化时，则采用设定的最优解算法(例如：帕累托pareto遗传算法)，获得对应的最优解，其中，对应的最优解包括每种参数对应的最优参数的权重，也就是生成对应的疏散优化标签；在本实施例中，通过生成疏散优化标签，籍以为后续生成进行遗传操作所需的适应度函数或适应度值提供对应的数据，使的按对应的遗传算法进行遗传操作后可疏散路径变成当前最优疏散路径。
30.步骤s204，利用混合遗传算法和疏散优化标签对可疏散路径进行处理，得到每个疏散目标所对应的备选疏散路径，并根据备选疏散路径是否被阻断，确定疏散路径规划结果。
31.在本实施例中，利用混合遗传算法和疏散优化标签对可疏散路径进行处理是指以可疏散路径上的空间节点对应的节点信息为基础，通过生成对应的随机节点编码(原始种群)、以疏散优化标签作为适应度参数对随机节点编码进行混合遗传算法(例如：轮盘赌算法)对应的遗传操作(包括：选择、交叉及变异)，并以设定的终止条件为目标迭代执行遗传操作，生成目标节点编码种群(新种群)，并基于目标节点编码种群中的编码所对应的节点信息作为备选疏散路径对应的空间节点信息，生成对应的备选疏散路径(对应为当前最优疏散路径)。
32.在本实施例中，当生成对应的备选疏散路径之后，通过检查烟雾检查的更新数据(例如：火灾蔓延造成的目标区域的扩展、转移)和疏散人员跟踪数据的更新(例如：是否存在疏散人员的滞留)，从而判断备选疏散路径是否被阻断，当备选疏散路径未被阻断，则确定该备选疏散路径为目标疏散路径，也就是对应的最优疏散路径。
33.上述步骤s201至步骤s204，通过在根据实时消防监测的视频确定目标区域发生火灾时，获取处于目标区域的疏散目标所对应的跟踪信息，跟踪信息包括基于由目标检测模型检测的疏散目标的人物标签数据，在视频的视频帧中进行多目标跟踪得到的人流信息和目标位置信息，目标检测模型是基于深度学习算法训练的，并被训练为根据火险图像得到该火险图像中的人物目标的人物标签数据；获取目标区域外多个空间节点所对应的节点信息，生成与疏散目标对应的可疏散路径，空间节点用于表征疏散目标疏散时所经过的区域，每个疏散目标对应至少一条可疏散路径，每条可疏散路径包括多个空间节点；基于人流信息、目标位置信息和可疏散路径，确定疏散优化标签，疏散优化标签用于表征对可疏散路径进行优化所参考的参数的重要程度；利用混合遗传算法和疏散优化标签对可疏散路径进行处理，得到每个疏散目标所对应的备选疏散路径，并根据备选疏散路径是否被阻断，确定疏散路径规划结果，解决了相关技术中相关技术中规划的火灾疏散路径疏散人群速度慢、疏散效率低的问题，实现了提高疏散效率，保障人员快速到达安全区域的有益效果。
34.在其中一些实施例中，根据实时消防监测的视频确定目标区域发生火灾，通过如下步骤实现：
35.步骤21、获取视频。
36.在本实施例中，视频是指实时消防监测的视频，也就是各个监控设备(例如：摄像头)实时监控的视频。
37.步骤22、通过烟雾检测模型对视频的每帧视频帧进行烟雾检测，获得第一烟雾险情标签，其中，烟雾检测模型是基于yolov5深度学习算法训练的，并被训练为用于根据烟雾图像得到该烟雾图像对应的烟雾险情标签，烟雾险情标签包括该烟雾图像对应火灾险情类
别的概率和位置信息，火灾险情类别包括烟雾或着火。
38.步骤23、判断所述第一烟雾险情标签所对应的每种火灾险情类别的概率是否大于预设阈值。
39.在本实施例中，火灾险情类别包括但不限于以下的类别：烟雾、浓烟、着火。
40.步骤24、在判断到火灾险情类别的概率大于预设阈值的情况下，确定对应位置信息对应的区域为目标区域，其中，位置信息是根据与对应的视频帧所对应的监控终端的节点信息所确定的。
41.在本实施例中，监控终端是设置在火灾场景对应的建筑物对应的空间中的，例如：房间、大厅、走廊通道、房门、门洞、楼梯，同时，监控终端对应的节点信息还与监控终端所处理区域中的楼层或位置相对应，也就是对应的节点信息是可以根据对监控终端的编码信息确定的。同时，对应的节点信息还可以是通过对视频帧中的节点进行类别判断，然后基于该生成该视频帧的监控终端的编码而确定的，例如：当某个节点信息对应的空间节点为楼层a的b房的大厅，对应的监控设备设置在b房的走廊上，在判断节点信息时，在该监控设备所采集的视频中检测到火灾险情发生的位置的节点类别，当判断到是大厅节点这个类别时，则可根据节点类别对应的节点信息(大厅类别)、楼层a的b房对应的节点信息组成该空间节点的节点信息。
42.通过上述步骤中的获取视频；通过烟雾检测模型对视频的每帧视频帧进行烟雾检测，获得第一烟雾险情标签；判断所述第一烟雾险情标签所对应的每种火灾险情类别的概率是否大于预设阈值；在判断到火灾险情类别的概率大于预设阈值的情况下，确定对应位置信息对应的区域为目标区域，实现基于深度学习视觉识别算法结合各个监控终端进行实时监控，以检测烟雾或着火的异常现象。
43.需要说明的是，在本实施例中，烟雾检测采用yolov5网络模型，其检测具有快速、高效的优点，在火灾发生第一时间迅速检测出烟雾并找到起火点位置。
44.以下对本技术实施例中的烟雾检测模型的训练过程及对烟雾的实时检测说明。
45.步骤31、构建分辨率为2560
×
1920的烟雾识别数据集，数据集包括有烟雾图片和无烟雾图片，利用旋转、尺寸变化的数据增强技术丰富图像训练集，增强数据样本数量。
46.步骤32、利用标记工具labelimg对整理好的图像数据进行人工标记，得到每张图片中火灾险情类别(烟雾类别信息)以及坐标信息，生成voc格式的标注文件，将voc格式数据转化为yolov5格式的数据集，并以6:2:2的比例划分训练集、测试集和验证集。
47.步骤33、将步骤32中得到的火灾险情类别以及坐标信息输入yolov5深度学习检测网络中并进行训练。
48.步骤34、构建yolov5网络模型，yolov5网络模型包括输入端、主干网络backbone、neck和输出端四个部分，输入端采用mosaic数据增强的方式，包括自适应描框计算和自适应图片缩放；backbone包括focus结构和两种csp结构；neck采用fpn+pan的结构；输出端采用giou_loss作为boundingbox的损失函数；其中，设置yolov5的损失函数的公式为：
49.[0050][0051][0052]
式中，giou_loss为回归损失函数，iou为目标检测中的度量，giou为比较两个任意形状的指标，a为预测框，b为目标框，c是预测框和目标框的最小外接矩形，a∪b为预测框和目标框的并集，a∩b为预测框和目标框的交集，iou为预测框和目标框的交集占两者并集的比例，c-(a∪b)为最小外接矩形和两框并集之间的差集，giou等于iou与上述差集所占最小外接矩形的比例的差集。
[0053]
在本实施例中，giou损失不仅关注重叠区域，还关注非重合区域，解决了无重叠框之间无法评估的问题；在本实施例中，当预测框和目标框完全重叠时，giou＝iou＝1；当预测框和目标框无重叠时，giou随着距离的增大而减小，逐渐趋近于-1；当预测框和目标框部分重叠时，giou介于0和1之间。
[0054]
步骤35、获取对应的实时消防监测的视频，并对视频进行预处理，将预处理后的视频的单帧视频帧输入到训练好的yolov5检测网络中进行烟雾检测，判断火灾险情发生的火灾险情类别的概率以及位置信息。
[0055]
通过上述步骤31至步骤35，根据实时消防监测的视频进行火灾烟雾实时监控，在检测到烟雾或着火异常时，根据对应视频帧所对应监控终端的节点信息(与楼层及位置相对应的编号)判定火灾发生点的位置，也就是确定出着火点位置数据，并更新至预设的数据库，此后，yolov5检测网络持续进行监控，并将检测到的着火点位置数据更新至数据库。
[0056]
在其中一些实施例中，目标检测模型检测疏散目标的人物标签数据，通过如下步骤实现：
[0057]
步骤41、通过目标检测模型在目标区域所对应的视频帧中检测疑似目标的位置及疑似目标的类别，并获取目标检测模型生成的第一置信度分数。
[0058]
在本实施例中，通过目标检查模型在对应的视频帧中提取图像特征，然后预测出疑似目标的位置、疑似目标的类别以及对应的疑似目标为人物目标的概率(对应第一置信度分数)。
[0059]
步骤42、通过目标检测模型对疑似目标的类别进行验证。
[0060]
在本实施例中，检测出的疑似目标的类别至少包括人物目标类别，因此，在检测了疑似目标的类别后，需要在判断为人物目标的疑似目标中根据对应的置信度进行人物目标的验证。
[0061]
步骤43、在对疑似目标的类别的验证通过和第一置信度分数大于预设置信度阈值的情况下，确定疑似目标为疏散目标，并确定人物标签数据包括疏散目标对应的位置。
[0062]
在本实施例中，验证通过是指验证到疑似目标的类别为人物类别，同时，在本实施例中，通过设置同时满足类别符合设定要求和对应的置信度满足符合设定要求，从而实现确保检查疏散目标的准确率。
[0063]
通过上述步骤中的通过目标检测模型在目标区域所对应的视频帧中检测疑似目标的位置及疑似目标的类别，并获取目标检测模型生成的第一置信度分数；通过目标检测
模型对疑似目标的类别进行验证；在对疑似目标的类别的验证通过和第一置信度分数大于预设置信度阈值的情况下，确定疑似目标为疏散目标，并确定人物标签数据包括疏散目标对应的位置，实现了疏散人员的检查，并提高检查疏散目标的准确率。
[0064]
需要说明的是，在其中一些可选实施方式中，目标检测模型以处于设定分辨率之间的图像(视频帧)作为输入，经过提取图像特征，预测出每张图像特征(人物目标)的位置以及第一置信度分数；在经过置信度阈值的筛选后，得到对应的疏散人员的目标位置数据。该目标位置数据作为多目标跟踪的输入，实现疏散人员的动态跟踪和人流量统计。
[0065]
以下对本技术实施例中的目标检测模型的训练过程及对疏散目标的检测说明。
[0066]
具体包括如下步骤：
[0067]
步骤51、构建yolov5格式的目标检查的训练集、测试集和验证集数据。
[0068]
在本实施例中，训练集、测试集以及验证集数据可以采用上述对烟雾检测模型的训练所构建的对应的训练集、测试集和验证集的方式进行构建；但标记时所标记的信息为满足对目标检测识别需求的数据标记，同时，训练集、测试集和验证集的数据来源均为消防监测的视频。应当理解，训练集、测试集和验证集的构建是本领域技术人员可以完成的，不构成对本技术实施例中目标检测模型的相关限制。
[0069]
步骤52、将对应的训练集输入到yolov5深度学习检测网络中并进行训练，在其中一些可选实施方式中，设置网络深度参数为0.67，网络宽度参数为0.75，学习率learning_rate为0.01，随机梯度下降动量参数momentum为0.937，权重衰减为0.0005；在本实施例中，yolov5的损失函数的公式为：
[0070][0071][0072]
式中，giou_loss为回归损失函数，iou为目标检测中的度量，giou为比较两个任意形状的指标，a为预测框，b为目标框，c是预测框和目标框的最小外接矩形，a∪b为预测框和目标框的并集，a∩b为预测框和目标框的交集，iou为预测框和目标框交集占并集的比例，c-(a∪b)为最小外接矩形和两框并集之间的差集，giou等于iou与上述差集所占最小外接矩形的比例的差集。
[0073]
步骤53、构建yolov5检测网络模型，yolov5检测网络模型包括输入端、主干网络backbone、neck和输出端四个部分，输入端采用mosaic数据增强的方式，包括自适应描框计算和自适应图片缩放；backbone中包括focus结构、两种csp结构；neck采用fpn+pan的结构；输出端采用giou_loss做边框回归boundingbox的损失函数。
[0074]
步骤54、将预处理后的消防检测的视频的单帧视频帧输入到训练好的yolov5检测网络中进行检测，判断人物目标(疏散目标)的概率以及位置。
[0075]
在其中一些实施例，基于由目标检测模型检测的疏散目标的人物标签数据，在视频的视频帧中进行多目标跟踪，通过如下步骤实现：
[0076]
步骤61、以疏散目标对应的位置为初始位置，利用多目标跟踪算法对疏散目标进行跟踪，得到跟踪轨迹，其中，疏散目标数目为多个。
[0077]
在本实施例中，多目标跟踪算法包括但不限于deepsort算法。
[0078]
步骤62、将跟踪轨迹与已有跟踪轨迹进行匹配；其中，已有跟踪轨迹为前一帧视频帧中的疏散目标的跟踪轨迹。
[0079]
步骤63、在跟踪轨迹与已有跟踪轨迹匹配成功的情况下，将跟踪轨迹更新为疏散目标的跟踪轨迹信息，以及在疏散目标未匹配到已有跟踪轨迹和/或不存在已有跟踪轨迹的情况下，判定疏散目标为新出现人物目标，并将跟踪轨迹创建为新出现人物目标的跟踪轨迹信息。
[0080]
步骤64、基于疏散目标和新出现人物目标的数目，生成人流信息，并从对应的跟踪轨迹信息中，获取对应的疏散目标的目标位置信息。
[0081]
通过上述步骤中的以疏散目标对应的位置为初始位置，利用多目标跟踪算法对疏散目标进行跟踪，得到跟踪轨迹；将跟踪轨迹与已有跟踪轨迹进行匹配，已有跟踪轨迹为前一帧视频帧中的疏散目标的跟踪轨迹；在跟踪轨迹与已有跟踪轨迹匹配成功的情况下，将跟踪轨迹更新为疏散目标的跟踪轨迹信息，以及在疏散目标未匹配到已有跟踪轨迹和/或不存在已有跟踪轨迹的情况下，判定疏散目标为新出现人物目标，并将跟踪轨迹创建为新出现人物目标的跟踪轨迹信息；基于疏散目标和新出现人物目标的数目，生成人流信息，并从对应的跟踪轨迹信息中，获取对应的疏散目标的目标位置信息，实现采用deepsort算法对多个疏散人员的定位和轨迹跟踪。
[0082]
需要说明的是，在本实施例中，基于deepsort算法的目标跟踪网络以疏散目标对应的位置为输入，使用reid网络提取人员框的图像特征，在使用卡尔曼滤波预测轨迹，运用匈牙利算法将预测轨迹和当前轨迹进行匹配和运用匈牙利算法计算deepsort预测框和yolov5实际框的iou并集与iou阈值比较，若小于阈值则拒绝将两者匹配，重复进行上述计算，从而实现动态跟踪每个疏散人员并统计人数以计算人群密度；同时，在本实施例中，采用yolov5网络进行疏散人员检测和采用deepsort算法对疏散人员定位和轨迹跟踪，yolov5检测速度快、对检测小目标有优异的性能，deepsort算法对人群进行跟踪以便于统计，二者可以实现较高的检测精度，计算出人群的数量和密度，避免大量漏检的情况出现。
[0083]
在其中一些实施例中，基于人流信息、目标位置信息和可疏散路径，确定疏散优化标签，通过如下步骤实现：
[0084]
步骤71、确定疏散优化标签所对应的参数，其中，参数包括以下其中一种：疏散时间、疏散风险、疏散拥堵度。
[0085]
在本实施例中，设定疏散时间、疏散风险、疏散拥堵度三个目标参数对疏散路径进行优化。
[0086]
步骤72、将人流信息、目标位置信息和可疏散路径输入每种参数对应的单目标优化数学模型，得到每种参数对应的最优参数，其中，最优参数包括以下其中一种：最短疏散时间、最短疏散风险、最低疏散拥堵度。
[0087]
在本实施例中，为每个作为目标的参数设定对应目标优化数学模型，也就是通过该目标优化数学模型，基于可疏散路径对应的疏散人员数名、节点数、疏散路径长度、疏散人员在疏散路径上的速度、人流密度等确定出对应的最优参数。
[0088]
在本实施例中，基于所有疏散目标(疏散人员)确定最短疏散时间的公式为：
[0089][0090]
其中，
[0091]
n为疏散目标总数；
[0092]
v为可疏散路径上的节点数；
[0093]
l
ij
表示从可疏散路径的第i节点到第j节点长度；
[0094]
x
nij
是疏散过程中的决策变量，x
nij
＝1表示第n个疏散人员的疏散路径不包括路径l
ij
，x
nij
＝0表示第n个疏散人员的疏散路径包括路径l
ij
；
[0095]vnijt
表示第n个疏散目标在t时刻在路径l
ij
上的速度，v
nijt
＝v0[1-aln(d
t
/d)]，初始速度v0取正常人在平地上行走的值，例如：v0＝1.2m/s；d
t
为t时刻的人流密度，可由检测到的人流信息得到，a为路径系数，d为瓶颈密度，其中，a与d的值可参考如下表格：
[0096]
路段类型(举例)路径系数a(无量纲)瓶颈密度d(无量纲)走廊通道0.4070.69房门0.2950.51门洞0.2950.65上行楼体0.3050.67下行楼体0.4000.89
[0097]
在本实施例中，基于所有疏散目标(疏散人员)确定最低疏散风险的公式为：
[0098][0099]
其中，
[0100]
n为疏散目标总数；
[0101]
v为可疏散路径上的节点数；
[0102]
l
ij
表示从可疏散路径的第i节点到第j节点长度；
[0103]rij
表示是否有浓烟风险，r
ij
＝0表示路径l
ij
上不存在浓烟风险，r
ij
＝1表示路径l
ij
上存在浓烟风险；
[0104]
x
nij
是疏散过程中的决策变量，x
nij
＝1表示第n个疏散目标的疏散路径不包括路径l
ij
，x
nij
＝0表示第n个疏目标的疏散路径包括路径l
ij
。
[0105]
在本实施例中，基于所有疏散目标(疏散人员)确定最低疏散拥堵度的公式为：
[0106][0107]
其中，
[0108]
n为疏散目标总数；
[0109]
v为可疏散路径上的节点数；
[0110]
l
ij
表示从可疏散路径的第i节点到第j节点长度；
[0111]
x
nij
是疏散过程中的决策变量，x
nij
＝1表示第n个疏散目标的疏散路径不包括路径l
ij
，x
nij
＝0表示第n个疏散目标的疏散路径包括路径l
ij
；
[0112]
f(t)
ij
表示t时刻在路径l
ij
上的拥堵度，f(t)
ij
的计算公式如下：
[0113][0114]
式中，t
′
为通过路径l
ij
上的时间，numi(t)表示在t时刻上i节点上的疏散目标总数，可由人流信息确定；ci表示i节点上的通行能力，例如：设定ci＝2.25人/s。
[0115]
在本实施例中，基于对应的公式计算出最优参数之后，可以将三种最优参数转换目标函数进行表征，例如：设定目标函数为：
[0116][0117]
其中：ωi表示目标函数fi所对应的权重，ωi∈[0，1]，
[0118]
步骤73、利用层次分析法对最优参数进行处理，生成每项最优参数所对应的权重，其中，最优参数所对应的权重用于表征对应的最优参数对疏散路径的影响程度，疏散优化标签包括每项最优参数及其对应的权重。
[0119]
在本实施例中，在得到上述的目标函数之后，基于帕累托分析pareto原理，对目标函数中的ωi进行赋值，都可以获得一个pareto解，由此可以得到一个pareto解级；在本实施例中，为获得最优参数所对应的权重，也就是每项最优参数对疏散路径规划的影响程度，采用层次分析法对满足目标函数的最优参数进行处理，具体地，利用层次分析法对应的判断矩阵对最优参数进行处理，从而获得最优参数所对应的权重，在其中一些可选实施方式中，最短疏散时间、最短疏散风险、最低疏散拥堵度分别对应的权重为0.123、0.557、0.320。
[0120]
通过上述步骤中的确定疏散优化标签所对应的参数；将人流信息、目标位置信息和可疏散路径输入每种参数对应的单目标优化数学模型，得到每种参数对应的最优参数；利用层次分析法对最优参数进行处理，生成每项最优参数所对应的权重，实现疏散路径规划优化目标中的每项最优参数的权重的确认，并使的疏散路径的规划是基于多目标完成的，避免因单一目标规划的疏散路径的疏散效率低且疏散不安全的问题。
[0121]
在其中一些实施例中，利用混合遗传算法和疏散优化标签对可疏散路径进行处理，得到每个疏散目标所对应的备选疏散路径，通过如下步骤实现：
[0122]
步骤81、获取疏散优化标签每种参数对应的最优参数及其权重，并根据最优参数及其权重，构建对应的适应度评价函数，其中，适应度评价函数用于评价对应的疏散路径的疏散效能。
[0123]
在本实施例中，在确定最优参数所对应的权重后，启动混合移动算法程序，对可疏散路径中的空间节点进行优化，其中，每项最优参数及其权重用于构建用于对混合遗传算法所进行的遗传操作进行适应度验证的适应度函数。
[0124]
在其中一些可选实施方式中，根据最优参数及权重确定的适应度评价函数为：
[0125][0126]
式中，ω1、ω2、ω3分别为最短疏散时间、最短疏散风险、最低疏散拥堵度对应的权重，f
1i
、f
2i
、f
3i
分别为最短疏散时间、最短疏散风险、最低疏散拥堵度对应的目标值。
[0127]
步骤82、获取每个疏散目标对应的每条可疏散路径的所有节点信息，并生成随机节点编码种群，其中，随机节点编码种群的编码用于表征节点信息对应的节点坐标。
[0128]
步骤83、以适应度评价函数为混合遗传算法的适应度函数，对随机节点编码进行遗传操作，生成目标节点编码种群，其中，混合遗传算法包括轮盘赌算法。
[0129]
在本实施例中，随机节点编码对应为原始种群，目标节点编码种群对应为新种群，在根据适度评价函数，进行遗传操作(种群选取、交叉及变异)产生新种群过程中，对原始种群采用混合遗传算法进行选择操作，在通过对应的交叉和变异操作而产生新种群，然后重复迭代上述遗传操作过程直至满足终止条件，其中，终止条件为最大的迭代次数。
[0130]
需要理解，本技术实施例中的混合遗传算法为已知的遗传算法的一种，同时，应当理解，在已知对应的混合遗传算法的情况下，该遗传算法对应的遗传操作对应为已知的。
[0131]
步骤84、根据目标节点编码种群的编码对应的节点坐标，对可疏散路径对应的节点信息进行更新，生成备选疏散路径。
[0132]
通过上述步骤中的获取疏散优化标签每种参数对应的最优参数及其权重，并根据最优参数及其权重，构建对应的适应度评价函数；获取每个疏散目标对应的每条可疏散路径的所有节点信息，并生成随机节点编码种群；以适应度评价函数为混合遗传算法的适应度函数，对随机节点编码进行遗传操作，生成目标节点编码种群；根据目标节点编码种群的编码对应的节点坐标，对可疏散路径对应的节点信息进行更新，生成备选疏散路径，实现备选疏散路径(当前最优疏散路径)的生成。
[0133]
在其中一些实施例中，根据备选疏散路径是否被阻断，确定疏散路径规划结果，包括如下步骤：
[0134]
步骤91、在得到备选疏散路径后，检测目标区域是否覆盖备选疏散路径的节点信息所对应的空间节点，并在检测到目标区域未覆盖备选疏散路径的节点信息所对应的空间节点时，确定备选疏散路径未被阻断，其中，疏散路径规划结果包括将备选疏散路径作为目标疏散路径，以及在检测到目标区域覆盖备选疏散路径至少一个节点信息所对应的空间节点时，确定备选疏散路径被阻断。
[0135]
步骤92、在得到备选疏散路径后，检测位于备选疏散路径所对应的每个空间节点位置上疏散目标的位置信息，并在检测到对应的疏散目标的位置信息发生变化时，确定备选疏散路径未被阻断，其中，疏散路径规划结果包括将备选疏散路径作为目标疏散路径；以及在检测到对应的疏散目标的位置信息未发生变化时，确定备选疏散路径被阻断。
[0136]
在本实施例中，在得到备选疏散路径后，还需判断数据库的更新情况，也就是检测目标区域是否覆盖备选疏散路径的节点信息所对应的空间节点(对应该路径是否被火势阻断)或检测到对应的疏散目标的位置信息是否发生变化(对应该路径是否被人员滞留阻断)，进而确定最优疏散路径，否则将重新进行规划，直至得到最优疏散路径。
[0137]
本实施例还提供了一种麦穗检测装置，该装置用于实现上述实施例及优选实施方
式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0138]
图3是根据本技术实施例的基于深度学习和混合遗传算法的火灾疏散路径规划装置的结构框图，如图3所示，该装置包括：
[0139]
获取模块31，用于在根据实时消防监测的视频确定目标区域发生火灾时，获取处于目标区域的疏散目标所对应的跟踪信息，其中，跟踪信息包括基于由目标检测模型检测的疏散目标的人物标签数据，在视频的视频帧中进行多目标跟踪得到的人流信息和目标位置信息，目标检测模型是基于深度学习算法训练的，并被训练为根据火险图像得到该火险图像中的人物目标的人物标签数据。
[0140]
生成模块32，与获取模块31耦合连接，用于获取目标区域外多个空间节点所对应的节点信息，生成与疏散目标对应的可疏散路径，其中，空间节点用于表征疏散目标疏散时所经过的区域，每个疏散目标对应至少一条可疏散路径，每条可疏散路径包括多个空间节点。
[0141]
确定模块33，与生成模块32耦合连接，用于基于人流信息、目标位置信息和可疏散路径，确定疏散优化标签，其中，疏散优化标签用于表征对可疏散路径进行优化所参考的参数的重要程度。
[0142]
处理模块34，与确定模块33耦合连接，用于利用混合遗传算法和疏散优化标签对可疏散路径进行处理，得到每个疏散目标所对应的备选疏散路径，并根据备选疏散路径是否被阻断，确定疏散路径规划结果。
[0143]
在其中一些实施例中，获取模块31还用于获取视频；通过烟雾检测模型对视频的每帧视频帧进行烟雾检测，获得第一烟雾险情标签，其中，烟雾检测模型是基于yolov5深度学习算法训练的，并被训练为用于根据烟雾图像得到该烟雾图像对应的烟雾险情标签，烟雾险情标签包括该烟雾图像对应火灾险情类别的概率和位置信息，火灾险情类别包括烟雾或着火；判断第一烟雾险情标签所对应的每种火灾险情类别的概率是否大于预设阈值；在判断到火灾险情类别的概率大于预设阈值的情况下，确定对应位置信息对应的区域为目标区域，其中，位置信息是根据与对应的视频帧所对应的监控终端的节点信息所确定的。
[0144]
在其中一些实施例中，获取模块31还用于通过目标检测模型在目标区域所对应的视频帧中检测疑似目标的位置及疑似目标的类别，并获取目标检测模型生成的第一置信度分数；通过目标检测模型对疑似目标的类别进行验证；在对疑似目标的类别的验证通过和第一置信度分数大于预设置信度阈值的情况下，确定疑似目标为疏散目标，并确定人物标签数据包括疏散目标对应的位置。
[0145]
在其中一些实施例中，获取模块31还用于以疏散目标对应的位置为初始位置，利用多目标跟踪算法对疏散目标进行跟踪，得到跟踪轨迹，其中，疏散目标数目为多个；将跟踪轨迹与已有跟踪轨迹进行匹配；其中，已有跟踪轨迹为前一帧视频帧中的疏散目标的跟踪轨迹；在跟踪轨迹与已有跟踪轨迹匹配成功的情况下，将跟踪轨迹更新为疏散目标的跟踪轨迹信息，以及在疏散目标未匹配到已有跟踪轨迹和/或不存在已有跟踪轨迹的情况下，判定疏散目标为新出现人物目标，并将跟踪轨迹创建为新出现人物目标的跟踪轨迹信息；基于疏散目标和新出现人物目标的数目，生成人流信息，并从对应的跟踪轨迹信息中，获取
对应的疏散目标的目标位置信息。
[0146]
在其中一些实施例中，确定模块33还用于确定疏散优化标签所对应的参数，其中，参数包括以下其中一种：疏散时间、疏散风险、疏散拥堵度；将人流信息、目标位置信息和可疏散路径输入每种参数对应的单目标优化数学模型，得到每种参数对应的最优参数，其中，最优参数包括以下其中一种：最短疏散时间、最短疏散风险、最低疏散拥堵度；利用层次分析法对最优参数进行处理，生成每项最优参数所对应的权重，其中，最优参数所对应的权重用于表征对应的最优参数对疏散路径的影响程度，疏散优化标签包括每项最优参数及其对应的权重。
[0147]
在其中一些实施例中，处理模块34还用于获取疏散优化标签每种参数对应的最优参数及其权重，并根据最优参数及其权重，构建对应的适应度评价函数，其中，适应度评价函数用于评价对应的疏散路径的疏散效能；获取每个疏散目标对应的每条可疏散路径的所有节点信息，并生成随机节点编码种群，其中，随机节点编码种群的编码用于表征节点信息对应的节点坐标；以适应度评价函数为混合遗传算法的适应度函数，对随机节点编码进行遗传操作，生成目标节点编码种群，其中，混合遗传算法包括轮盘赌算法；根据目标节点编码种群的编码对应的节点坐标，对可疏散路径对应的节点信息进行更新，生成备选疏散路径。
[0148]
在其中一些实施例中，处理模块34还用于在得到备选疏散路径后，检测目标区域是否覆盖备选疏散路径的节点信息所对应的空间节点，并在检测到目标区域未覆盖备选疏散路径的节点信息所对应的空间节点时，确定备选疏散路径未被阻断，其中，疏散路径规划结果包括将备选疏散路径作为目标疏散路径，和/或，在得到备选疏散路径后，检测位于备选疏散路径所对应的每个空间节点位置上疏散目标的位置信息，并在检测到对应的疏散目标的位置信息发生变化时，确定备选疏散路径未被阻断，其中，疏散路径规划结果包括将备选疏散路径作为目标疏散路径。
[0149]
在其中一些实施例中，处理模块34还用于在检测到目标区域覆盖备选疏散路径至少一个节点信息所对应的空间节点时，确定备选疏散路径被阻断，和/或，在检测到对应的疏散目标的位置信息未发生变化时，确定备选疏散路径被阻断。
[0150]
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
[0151]
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0152]
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0153]
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
[0154]
s1，在根据实时消防监测的视频确定目标区域发生火灾时，获取处于目标区域的疏散目标所对应的跟踪信息，其中，跟踪信息包括基于由目标检测模型检测的疏散目标的人物标签数据，在视频的视频帧中进行多目标跟踪得到的人流信息和目标位置信息，目标检测模型是基于深度学习算法训练的，并被训练为根据火险图像得到该火险图像中的人物
目标的人物标签数据。
[0155]
s2，获取目标区域外多个空间节点所对应的节点信息，生成与疏散目标对应的可疏散路径，其中，空间节点用于表征疏散目标疏散时所经过的区域，每个疏散目标对应至少一条可疏散路径，每条可疏散路径包括多个空间节点。
[0156]
s3，基于人流信息、目标位置信息和可疏散路径，确定疏散优化标签，其中，疏散优化标签用于表征对可疏散路径进行优化所参考的参数的重要程度。
[0157]
s4，利用混合遗传算法和疏散优化标签对可疏散路径进行处理，得到每个疏散目标所对应的备选疏散路径，并根据备选疏散路径是否被阻断，确定疏散路径规划结果。
[0158]
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0159]
另外，结合上述实施例中的基于深度学习和混合遗传算法的火灾疏散路径规划方法，本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于深度学习和混合遗传算法的火灾疏散路径规划方法。
[0160]
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0161]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。