一种无人机视觉灭火决策方法及系统

本技术涉及消防救援多火源灭火，具体地，涉及具有一种无人机视觉灭火决策方法及系统。

背景技术：

1、火灾是指由于燃烧过程失控而引发的突发性灾害，这一灾害往往造成严重的人员伤亡和财产损失，对社会和经济造成巨大影响。现阶段通过使用无人机挂载相机即单目视觉装置进行火场的侦查，火源图像目标定位对消防员掌握全局火场发展信息也具有一定指导意义，然而对于灭火决策的实施，依然需要消防员根据经验进行分析并指导地面消防机器人依次顺序打击不同火源实施救援。对于火源点较多的火灾场景，该方法存在一定的主观性影响，在地面消防机器人资源有限的情况下，每个消防机器人将会承担多个火源点的打击任务，很难实现整体利益的最大化，而且系统设备之间也缺乏相应的关联性和自主性。因此，研究多火源目标打击的决策优化对提高灭火机器人作业灭火效率十分重要。

2、现有技术中，面对无人机视觉下的灭火剂射流落点和火源点目标像素分割，unet模型依然存在对小目标火源点提取特征能力不足，进而导致小火源点的图像分割及定位精度受限的问题。此外，在传统遗传算法寻优过程中，种群的交叉概率和变异概率均保持不变，这使得每次迭代过程中种群的全局和局部搜索能力无变化，可能导致算法陷入局部最优解或者收敛过慢的问题，从而导致灭火机器人作业灭火效率低下，因此，急需具有改进unet模型和遗传算法的无人机视觉灭火决策系统来解决上述出现的问题。

技术实现思路

1、针对现有技术存在的不足，本技术目的是提供一种无人机视觉灭火决策方法及系统，以解决上述背景技术中提出的问题。

2、为了实现上述目的，本技术提供了一种无人机视觉灭火决策方法，决策方法包括以下步骤：

3、步骤s1、无人机飞往火场上空预定位置，调整单目视觉装置姿态获取火场图像信息，当火场存在多处火源点时，地面救援消防机器人喷射灭火剂到火场环境，单目视觉装置传送包括多个火源点分布和灭火剂射流落点的火场图像信息至无线图像处理终端；

4、步骤s2、无线图像处理终端内部的改进的unet网络模型接收来自单目视觉装置的火场图像信息，通过采用优化后的交叉熵损失函数完成训练过程的改进的unet网络模型处理，输出火场图像信息中所有火源点和灭火剂射流落点像素分割结果；

5、步骤s3、对改进的unet网络模型输出的火场图像信息中所有火源点和灭火剂射流落点像素分割结果采用密度的聚类算法dbscan和中心法获取不同火源点位置及像素大小信息和灭火剂射流落点位置信息，并对不同火源点进行序列编号，灭火剂射流落点位置作为灭火路径的起始点；

6、步骤s4、根据不同火源点位置及像素大小信息和灭火剂射流落点位置信息，采用改进的遗传优化算法获得多火源点编号次序作为多火源点灭火次序的最优解个体；

7、步骤s5、通过改进的遗传算法输出最优解个体，将多火源点编号次序生成指令编码发送至消防机器人控制系统，消防机器人控制系统依次按照多火源点编号次序喷射灭火剂直到所有火源点熄灭；

8、其中改进的遗传优化算法具体为：针对不同火源点为目标采用整数编码方式完成染色体编码，染色体的基因表示灭火剂射流落点路径上的灭火节点，对应火场环境中火源点的编号，建立以灭火时间最短为目标的个体适应度函数，采用锦标赛法为遗传算法的选择算子，计算由个体适应度函数得到的每个个体适应度值依概率保留优良个体基因，紧接着进行个体交叉、变异过程，得到新的种群，以此不断迭代直到满足收敛条件或达到最大迭代次数则停止更新种群，最后选择个体适应度值最大的个体基因上所携带的多火源点编号次序作为多火源点灭火次序的最优解个体。

9、优选的，步骤s2中的改进的unet网络模型使用编码结构和解码结构；

10、其中，编码结构包括13层3×3卷积核的卷积层和5层最大池化层，每个池化层分别输出维度大小为160×160×64、80×80×128、40×40×256、20×20×512、10×10×512；

11、编码结构用于捕获火场图像特征信息；

12、解码结构包括5层卷积核为2×2的反池化层和5层卷积核为3×3的卷积层和1层卷积核1×1的卷积层作为模型输出层；

13、其中，编码结构的每个池化层输出分别与解码结构的第1次反池化层、第2次反池化层、第3次反池化层、第4次反池化层的输出进行特征通道拼接，并将通道拼接结果输入到解码结构中的卷积层进行特征还原，将解码结构中的卷积层输出连接到解码结构中的批归一化层bn，第5次反池化层输出连接到卷积核3×3的卷积层，再连接到卷积层进行特征压缩并作为模型输出层，且模型输出层为3通道特征图组成，其输出层维度大小为320×320×3，输出层卷积核大小为1×1，步长为1进行特征压缩，使用softmax函数激活；

14、解码结构用于将压缩后的图像特征进行重构，还原原始输入图像大小，得到输入图像对应的分割结果；

15、改进的unet网络模型输入与输出图像大小一致均为320×320。

16、优选的，步骤s2中的改进的unet网络模型的编码结构采用预训练好的vgg-16模型参数作为改进的unet网络模型训练的初始参数，降采样采用编码结构中最大池化层2×2的卷积核进行处理，反池化层采用2×2卷积核，步长为2进行上采样操作。

17、优选的，解码结构中使用跳跃连接进行不同层级之间的特征通道拼接，具体表现为：

18、(1)将网络模型第一次降采样输出结果维度160×160×64与网络模型第四次反池化层输出结果维度160×160×128进行通道拼接；

19、(2)将网络模型第二次降采样输出结果维度80×80×128与网络模型第三次反池化层输出结果维度80×80×256进行通道拼接；

20、(3)将网络模型第三次降采样输出结果维度40×40×256与网络模型第二次反池化层输出结果维度40×40×512进行通道拼接；

21、(4)将网络模型第四次降采样输出结果维度20×20×512与网络模型第一次反池化层输出结果维度20×20×512进行通道拼接；

22、其通道拼接结果输入到卷积核3×3，步长为1的卷积层处理。

23、优选的，步骤s2中优化后的交叉熵损失函数具体为：

24、

25、其中，表示网络输出预测值所属目标分类则为1，否则为0，表示网络输出预测值所属背景分类则为1，否则为0，表示背景类别损失权重，为目标类别损失权重，为网络模型输出层结果，为真实值，n表示一个批次样本数量与模型输出层分类神经元数量的乘积，所属目标分类根据每个像素点真实类型为火源点、灭火剂射流落点确定，所属背景分类根据每个像素点真实类型为背景确定。

26、优选的，步骤s3中采用密度的聚类其过程具体如下：

27、步骤s31、从改进的unet网络模型输出层输出的分割特征图，每个分割特征图包含分割目标像素点坐标信息(x,y)，进一步将火源点像素坐标、灭火剂射流落点像素坐标分别作为密度的聚类算法dbscan的样本数据点，以此判断图像分割目标像素点是否为核心点，如果是核心点，则继续扩展，找到所有密度可达点，并将其标记为同一簇，且最小邻域半径为5和最小样本数minpts为6；

28、步骤s32、通过输入的火源点像素坐标可得到所有分割火源点像素点的分类结果并标记为火源点1、火源点2、火源点3、...火源点n，同时，通过灭火剂射流落点像素坐标可得到分割灭火剂射流落点像素点的聚类结果并标记为灭火剂射流落点j；

29、步骤s33、采用中心法，将属于同一簇的所有像素点横坐标x,纵坐标y求取平均值得到来表示图像中不同火源点和灭火剂射流落点的位置信息，统计属于同一簇的所有像素点数量来表示图像中不同火源点和灭火剂射流落点的像素大小信息；

30、步骤s34、把获取到的不同火源点、灭火剂射流落点的位置及像素大小信息作为遗传算法的输入信息，具体表现为对不同火源点进行编号组成一个序列以此建立个体基因编码，根据不同火源点、灭火剂射流落点的位置信息计算不同目标点之间的像素距离，根据不同火源点像素大小作为火源点初始大小信息，最终把不同目标点之间的像素距离、火源点初始大小信息带入遗传算法个体适应度函数得到个体适应度值。

31、优选的，步骤s4中个体适应度函数为：

32、、、

33、，

34、其中，、、、表示火灾模型参数为常量，为灭火剂射流落点抵达第个火源点，为灭火剂射流落点抵达第个火源点该火源点当前火源点像素大小，为射流落移动速率，为第个火源点初始像素大小其根据聚类结果得到n个火源点分别所包含的像素点数量，根据不同火源点分别所包含的像素点数量作为火源点初始大小信息，为灭火剂射流落点抵达第个火源点所需时间，表示种群中个体的基因编码其来源于不同火源点进行编号随机组成的序列编码，表示火源点目标数量，表示由第个火源点指向第个火源点像素距离其根据不同火源点坐标位置信息计算不同火源点之间的像素距离获得，表示由第个火源点指向第个火源点像素距离，其中表示灭火剂射流落点指向第一个火源点像素距离，根据灭火剂射流落点坐标位置信息与基因编码第一个火源点坐标信息计算像素距离获得。

35、优选的，步骤s4中遗传优化算法中对种群进化过程中前期和后期的交叉概率、变异概率分别进行如下优化：

36、、

37、，

38、式中，、、、表示交叉、变异概率为常数，为第个个体的适应度，为种群的平均适应度，为当前迭代次数，为最大迭代次数，、分别表示第个个体的交叉概率和变异概率。

39、另一方面，本技术提供了使用上述无人机视觉灭火方法的无人机视觉灭火决策系统，其包括：

40、地面救援消防机器人，用于喷射灭火剂到指定火源点位置；

41、空中无人机，用于飞往多火源点火场上空指定位置；

42、安装在空中无人机下方的单目视觉装置，用于采集不同火源点分布的火场rgb图像并生成火场图像信息传输给无线图像处理终端；

43、无线图像处理终端，用于接收单目视觉装置发出的火场图像信息，并输出最优灭火决策方法，地面救援消防机器人基于最优灭火决策方法以控制消防炮依次有序对准不同火源点完成作业灭火。

44、优选的，单目视觉装置内部设置有用于将火场图像信息传输给无线图像处理终端的无线图像传输模块。

45、根据本技术的改进unet模型和遗传算法的无人机视觉灭火决策系统，结构设置合理，能够寻优到最优的多火源灭火决策次序，获得完成时间最短或近似最短的灭火打击任务，进一步提高了消防救援作业灭火效率。