基于无人机集群的森林灭火方法及系统与流程

本发明涉及森林防火领域，特别是基于无人机集群的森林灭火方法及系统。

背景技术：

森林是自然资源的重要组成部分，也是诸多动植物的栖身之所。但森林也是火灾高发地区。减少森林火灾损失的最有效的手段是及时发现以及及时扑灭。卫星遥感的受天气影响严重，实时性和分辨率欠佳；人工巡护，需要人力成本高。且进行森林灭火，消防车难以开进，对于小型火灾，动用飞机灭火则耗费资源严重。随着无人机技术的兴起，为森林巡检和灭火提供了另一种新途径。

技术实现要素：

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供基于无人机集群的森林灭火方法及系统。

本发明解决其问题所采用的技术方案是：

本发明的第一方面，基于无人机集群的森林灭火方法，所述无人机集群包括多架用于巡检火灾的固定翼无人机和多架用于投掷灭火弹灭火的多旋翼无人机，所述方法包括以下步骤：

接收所述固定翼无人机回传的第一火灾现场图像和火灾地点的坐标；

利用深度学习算法对所述第一火灾现场图像进行处理并判断火势，若判断火势处于初期阶段，则建立无人机灭火任务，否则通知人工消防；

根据自主决策算法分批派遣多架所述多旋翼无人机进行灭火；

接收多架所述多旋翼无人机投掷灭火弹后回传的第二火灾现场图像；

利用深度学习算法对所述第二火灾现场图像进行处理并判断火势，若判断火势处于非初期阶段，则通知人工消防，否则持续派遣所述多旋翼无人机进行灭火直至判断火势扑灭；

当判断火势扑灭，取消无人机灭火任务。

根据本发明的第一方面，利用深度学习算法对火灾图像进行处理并判断火势包括以下步骤：

对所述火灾图像进行预处理；

将经预处理后的所述火灾图像输入至经大量包括多个阶段火势的火灾样本图像训练的maskr-cnn网络模型识别出火焰类和烟雾类；

若识别得到连续x帧火灾图像均只有烟雾类，判断为初期阶段；若识别得到火灾图像存在火焰，则根据连续x帧火灾图像中火焰类的平均面积判断火势情况；

其中，所述火灾图像包括所述第一火灾现场图像或所述第二火灾现场图像，所述火势情况包括所述初期阶段和所述非初期阶段。

根据本发明的第一方面，所述预处理包括图像增强、平滑滤波、边缘检测和图像分割。

根据本发明的第一方面，一帧火灾图像中，火焰类的面积的计算公式如下：s(火焰类)＝s(边界框)*(num(火焰类的掩膜)/num(边界框))；式中，s(火焰类)为火焰类的面积，s(边界框)为边界框的面积，num(火焰类的掩膜)为火焰类的掩膜的像素点数，num(边界框)为边界框的像素点数。

根据本发明的第一方面，所述火灾图像是所述固定翼无人机或所述多旋翼无人机处于相对地平面的相同高度拍摄的。

根据本发明的第一方面，所述根据自主决策算法分批派遣多架多旋翼无人机进行灭火具体包括以下步骤：

分别计算各台所述多旋翼无人机抵达所述新任务的任务地点的距离和飞行时间；

依次将符合要求的多旋翼无人机按照与火灾地点的距离由近至远排序后加入任务队列，其中所述符合要求的多旋翼无人机为装备有能完成所述无人机灭火任务的资源且处于无任务状态的多旋翼无人机；

按照设定时间间隔地向所述任务队列中的多旋翼无人机发送执行指令，直至取消无人机灭火任务。

本发明的第二方面，基于无人机集群的森林灭火系统，包括控制后台和所述无人机集群，所述无人机集群包括多架固定翼无人机和多架多旋翼无人机；

所述控制后台包括：

通信模块，用于接收所述固定翼无人机回传的第一火灾现场图像、火灾地点的坐标和所述多旋翼无人机投掷灭火弹后回传的第二火灾现场图像；

图像处理模块，用于利用深度学习算法对所述第一火灾现场图像和所述第二火灾现场图像进行处理；

火势判断模块，用于根据所述图像处理模块输出的图像判断火势；

任务处理模块，用于根据所述火势判断模块的判断结果建立和取消无人机灭火任务；

自主决策模块，用于根据自主决策算法派遣多架所述多旋翼无人机进行灭火。

根据本发明的第二方面，基于无人机集群的森林灭火系统，还包括地面控制站，所述地面控制站用于中继所述控制后台与所述无人机集群间交互的信息和用于为所述无人机集群补充资源和灭火弹。

根据本发明的第二方面，所述固定翼无人机和所述多旋翼无人机设有摄像头、gps定位模块、联网模块、自动避障模块和高度测量装置；所述多旋翼无人机还设有灭火弹投掷装置。

根据本发明的第二方面，所述高度测量装置包括用于测量与地平面的距离的声呐装置、用于测量垂直加速度的加速度计、用于测量大气气压的气压计以及用于结合所述声呐装置、所述加速度计和所述气压计采集的数据计算当前高度的高度计算模块。

上述基于无人机集群的森林灭火系统至少具有以下的有益效果：固定翼无人机进行火灾巡检，一旦发现火灾就回传火灾现场图像和火灾地点的坐标；根据火灾现场图像利用深度学习算法判断火势做出决策，分批派遣多旋翼无人机进行灭火，派出的无人机在投掷灭火弹后会立刻回传火灾现场图像，控制后台再次判断火势，根据火势决策是否需要继续派遣多旋翼无人机灭火还是通知人工消防。多架固定翼无人机能持续对大范围的森林进行巡检，能及时发现火灾；多旋翼无人机可快速跨越森林到达火灾现场进行灭火，适用于小型火灾，安全快捷；分批派遣无人机执行任务，根据实时回传的火灾现场照片即时判断火势，合理安排，减少资源的浪费。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明实施例基于无人机集群的森林灭火方法的流程图；

图2是图像处理和火势判断的示例图；

图3是本发明实施例基于无人机集群的森林灭火系统的结构图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

参照图1，本发明的一个实施例，提供了基于无人机集群的森林灭火方法，无人机集群包括多架用于巡检火灾的固定翼无人机31和多架用于投掷灭火弹灭火的多旋翼无人机32，方法包括以下步骤：

步骤s100、接收固定翼无人机31回传的第一火灾现场图像和火灾地点的坐标；

步骤s200、利用深度学习算法对第一火灾现场图像进行处理并判断火势，若判断火势处于初期阶段，则建立无人机灭火任务，否则通知人工消防；

步骤s300、根据自主决策算法分批派遣多架多旋翼无人机32进行灭火；

步骤s400、接收多架多旋翼无人机32投掷灭火弹后回传的第二火灾现场图像；

步骤s500、利用深度学习算法对第二火灾现场图像进行处理并判断火势，若判断火势处于非初期阶段，则通知人工消防，否则持续派遣多旋翼无人机32进行灭火直至判断火势扑灭；

步骤s600、当判断火势扑灭，取消无人机灭火任务。

首先，在步骤s100中，每架固定翼无人机31按照既定路线在划定区域内进行巡检，通过温度传感器测量温度，一旦发现森林某处位置的温度较其他位置高，则飞到该处位置的垂直上空的固定高度通过摄像头进行拍照；同时，通过gps定位模块确定火灾地点的坐标。固定翼无人机31通过高度测量装置测量自身相对地平面的高度以确定自身到达固定高度的位置。固定翼无人机31通过联网模块将拍摄的第一火灾现场图像和火灾地点的坐标通过多个地面控制站20传送至控制后台10。

需要说明的是，固定翼无人机31具有飞行速度快，航程长且在失速后不会立即坠机的优点，适用于执行长时间高空巡检森林的任务。多旋翼无人机32具有灵活、场地适应性高、低空飞行、飞行稳定、可实现定点悬停、多种飞行模式且可实现路径规划自动飞行等优点并且运载能力大，适用于执行投掷灭火弹灭火的任务。

参照图2，进一步，在步骤s200和步骤s500中，利用深度学习算法对火灾图像进行处理并判断火势包括以下步骤：

对火灾图像进行预处理；其中，预处理包括图像增强、平滑滤波、边缘检测和图像分割，能减少背景噪声，提高图像识别精度；当然在其他实施例中，也能不经图像预处理即进行图像识别；

将经预处理后的火灾图像输入至经大量包括多个阶段火势的火灾样本图像训练的maskr-cnn网络模型识别出火焰类和烟雾类；

若识别得到连续x帧火灾图像均只有烟雾类，判断为初期阶段；若识别得到火灾图像存在火焰，则根据连续x帧火灾图像中火焰类的平均面积判断火势情况；

其中，火灾图像包括第一火灾现场图像或第二火灾现场图像，火势情况包括初期阶段和非初期阶段。

需要说明的是，maskr-cnn网络模型由主干网络、全卷积网络以及感兴趣区域对齐三个核心部分组成。主干网络的作用是实现对火灾图像进行目标检测和分类，得到火焰类和烟雾类；全卷积网络的作用是实现对检测到的火焰类和烟雾类添加掩膜；感兴趣区域对齐使用双线性插值的方法来取代传统的量化操作从而实现减小误差。

进一步，一帧火灾图像中，火焰类的面积的计算公式如下：s(火焰类)＝s(边界框)*(num(火焰类的掩膜)/num(边界框))；式中，s(火焰类)为火焰类的面积，s(边界框)为边界框的面积，num(火焰类的掩膜)为火焰类的掩膜的像素点数，num(边界框)为边界框的像素点数。

在该实施例中，s(边界框)是取边界框的斜对角两点的像素值坐标来进行计算。对边界框内以步长为2进行横纵像素点间隔采样，边界框区域内的横向采样点点数为a，纵向采样点点数为b，则num(边界框)＝a*b。根据火焰类的掩膜区域的像素点坐标值对所有采样点的坐标进行匹配，统计出现重叠的采样点的总点数为num(火焰类的掩膜)。

在步骤s200中，若判断火势处于初期阶段，则建立无人机灭火任务，否则通知人工消防。

需要说明的是，火灾图像是固定翼无人机31或多旋翼无人机32处于相对地平面的相同高度拍摄的。这样可以使计算得到的火焰类的面积具有统一性，在进行求平均值前无需作统一化处理并能减少误差。

进一步，在步骤s300中，根据自主决策算法分批派遣多架多旋翼无人机32进行灭火具体包括以下步骤：

控制后台10分别计算各台多旋翼无人机32抵达新任务的任务地点的距离和飞行时间；当然，处于任务状态的多旋翼无人机32不纳入计算范围，提高计算效率；

依次将符合要求的多旋翼无人机32按照与火灾地点的距离由近至远排序后加入任务队列，其中符合要求的多旋翼无人机32为装备有能完成无人机灭火任务的资源且处于无任务状态的多旋翼无人机32；装备有能完成无人机灭火任务的资源的多旋翼无人机32满足以下条件：装备有灭火弹，存有的电量所能提供的最大飞行距离大于抵达火灾地点的距离与火灾地点离最近的地面控制站20的距离之和，存有的电量所能提供的最大飞行时间大于抵达火灾地点的飞行时间与从火灾地点至最近的地面控制站20的飞行时间之和；

按照设定时间间隔地向任务队列中的多旋翼无人机32发送执行指令，直至取消无人机灭火任务。具体地，在该实施例中，任务队列中以4台多旋翼无人机32为一组，分批派遣一组多旋翼无人机32执行任务。

对于步骤s400,多旋翼无人机32执行任务期间，控制后台10接收多架多旋翼无人机32投掷灭火弹后回传的第二火灾现场图像；

对于步骤s500，利用深度学习算法对第二火灾现场图像进行处理并判断火势，若判断火势处于非初期阶段，则通知人工消防，否则持续派遣多旋翼无人机32进行灭火直至判断火势扑灭；

对于步骤s600，当判断火势扑灭，取消无人机灭火任务。

另外，投掷完灭火弹的多旋翼无人机32会向最近的地面控制站20返航。同样地，在前往火灾地点过程中的多旋翼无人机32接收到无人机灭火任务被消息的信号后，会向最近的地面控制站20返航。

在该实施例中，固定翼无人机31进行火灾巡检，一旦发现火灾就回传火灾现场图像和火灾地点的坐标；根据火灾现场图像利用深度学习算法判断火势做出决策，分批派遣多旋翼无人机32进行灭火，派出的无人机在投掷灭火弹后会立刻回传火灾现场图像，控制后台10再次判断火势，根据火势决策是否需要继续派遣多旋翼无人机32灭火还是通知人工消防。多架固定翼无人机31能持续对大范围的森林进行巡检，能及时发现火灾；多旋翼无人机32可快速跨越森林到达火灾现场进行灭火，适用于小型火灾，安全快捷；分批派遣无人机执行任务，根据实时回传的火灾现场照片即时判断火势，合理安排，减少资源的浪费。

参照图3，本发明的另一个实施例，提供了基于无人机集群的森林灭火系统，用于执行上述的基于无人机集群的森林灭火方法，包括控制后台10和无人机集群，无人机集群包括多架固定翼无人机31和多架多旋翼无人机32；

控制后台10包括：

通信模块11，用于接收固定翼无人机31回传的第一火灾现场图像、火灾地点的坐标和多旋翼无人机32投掷灭火弹后回传的第二火灾现场图像；

图像处理模块12，用于利用深度学习算法对第一火灾现场图像和第二火灾现场图像进行处理；

火势判断模块13，用于根据图像处理模块12输出的图像判断火势；

任务处理模块14，用于根据火势判断模块13的判断结果建立和取消无人机灭火任务；

自主决策模块15，用于根据自主决策算法派遣多架多旋翼无人机32进行灭火。

进一步，基于无人机集群的森林灭火系统，还包括地面控制站20，地面控制站20用于中继控制后台10与无人机集群间交互的信息和用于为无人机集群补充资源和灭火弹。

进一步，固定翼无人机31和多旋翼无人机32设有摄像头、gps定位模块、联网模块、自动避障模块和高度测量装置；多旋翼无人机32还设有灭火弹投掷装置。

固定翼无人机31和多旋翼无人机32通过自动避障模块实现飞行过程中的自动避障；具体地，自动避障模块包括双目立体视觉摄像头和雷达。

进一步，高度测量装置包括用于测量与地平面的距离的声呐装置、用于测量垂直加速度的加速度计、用于测量大气气压的气压计以及用于结合声呐装置、加速度计和气压计采集的数据计算当前高度的高度计算模块。

本发明的另一个实施例，提供了存储介质，该存储介质存储有可执行指令，可执行指令用于使计算机控制无人机集群执行如上所述的森林灭火方法。

存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。