一种基于时空融合特征的山火检测方法、模型和系统与流程

本发明涉及山火检测领域，特别是涉及一种基于时空融合特征的山火检测方法、模型和系统。

背景技术：

1、森林火灾一旦发生，不仅会对森林本身和其中的动物生态系统造成破坏，还会对当地居民的生命财产安全带来威胁。检测森林火灾，可以及早采取措施，避免火势的扩大和蔓延。同时，也可以及时组织救援，保障受灾地区人民的生命安全和财产安全。

2、传统的山火检测方法，是在森林中布置摄像头，工作人员通过观看摄像头拍摄的视频人工识别是否发生火灾。这种传统的山火检测方法需要消耗大量人力成本，不够智能化。近年来，无人机技术发展日益成熟，出现了基于无人机的山火检测方法。

3、请参阅图1，图1为现有的基于无人机的山火检测方法流程示意图。由于无人机巡航的高度较高、森林中有树木遮挡，无人机通常只能拍摄到山火所产生的烟雾。因此，现有的基于无人机的山火检测方法，包括以下步骤：s01，令无人机在森林上空巡航，并拍摄森林图像；s02，通过图像识别算法，判断所述森林图像中是否存在烟雾；s03，若所述森林图像中存在烟雾，则判断发生了山火，启动报警程序；s04，若所述森林图像中不存在烟雾，则判断没有发生山火，无人机继续巡航。

4、现有的基于无人机的山火检测方法，存在以下缺陷：在云雾天气下，云雾和烟雾看起来非常相似，步骤s02中图像识别算法经常将云雾误识别为烟雾，误报警概率非常高。针对这一缺陷，现有技术通常引入其他的传感器，综合多种传感器的数据来判断是否发生山火。然而，引入多种传感器又会使无人机的负载过大，不仅影响无人机的运动平稳性，还会增加成本。

技术实现思路

1、基于此，本发明的目的在于，提供一种显著降低误报警概率且不需要引入其他传感器的基于时空融合特征的山火检测方法、模型和系统。

2、本发明提供一种基于时空融合特征的山火检测方法，包括步骤：通过无人机采集视频数据；所述视频数据包括若干图像帧；通过一山火检测模型，根据所述视频数据识别是否发生山火以及山火等级；其中，所述山火检测模型执行以下步骤：

3、s1，对所述视频数据的图像帧进行空间特征提取，得到空间特征；

4、s2，对所述视频数据进行时间特征提取，得到时间特征；

5、s3，对所述空间特征和时间特征进行融合处理，得到融合分类特征；

6、s4，根据所述融合分类特征，得到是否发生山火的识别结果和山火等级识别结果。

7、本发明的基于时空融合特征的山火检测方法，没有引入任何额外的传感器，通过融合空间特征和时间特征，大大提高了识别云雾和烟雾的准确率，克服了现有技术的缺陷。进一步，本发明能够根据烟雾的特征进一步识别山火等级，为山火扑救工作提供了重要参考。进一步，本发明提取时间特征不需要进行任何预处理和特征预提取，将原始视频数据输入至模型即可输出识别结果，不仅最大程度地保留了原始特征，而且使用便捷。

8、进一步地，所述步骤s1具体包括：

9、s11，提取所述图像帧的浅层特征，得到浅层特征图像；

10、s12，根据所述浅层特征图像，提取中间层特征，得到中间层特征图像；

11、s13，根据所述中间层特征图像，提取深层特征，得到深层特征图像；

12、s141，对多个所述浅层特征图像进行矩阵相加，得到叠加浅层特征；

13、s142，对所述叠加浅层特征进行卷积和池化处理，得到mgp中间层特征；

14、s143，对多个所述中间层特征图像和mgp中间层特征进行矩阵相加，得到叠加中间层特征；

15、s144，对所述叠加中间层特征进行卷积和池化处理，得到mgp深层特征；

16、s145，对多个所述深层特征图像和mgp深层特征进行矩阵相加，得到空间特征。

17、进一步地，所述步骤s11具体包括：

18、s111，对所述图像帧进行第一卷积处理，卷积核大小为7*7，步长为3，得到第一卷积特征图像；

19、s112，对所述第一卷积特征图像进行第二卷积处理，卷积核大小为7*7，步长为3，得到第二卷积特征图像；

20、s113，对所述第二卷积特征图像进行池化处理，池化窗口大小为2*2，得到浅层特征图像；

21、所述步骤s12具体包括：

22、s121，对所述浅层特征图像进行第三卷积处理，卷积核大小为5*5，步长为2，得到第三卷积特征图像；

23、s122，对所述第三卷积特征图像进行第四卷积处理，卷积核大小为5*5，步长为2，得到第四卷积特征图像；

24、s123，对所述第四卷积特征图像进行第二池化处理，池化窗口大小为2*2，得到中间层特征图像；

25、所述步骤s13具体包括：

26、s131，对所述中间层特征图像进行第五卷积处理，卷积核大小为3*3，步长为1，得到第五卷积特征图像；

27、s132，对所述第五卷积特征图像进行第六卷积处理，卷积核大小为3*3，步长为1，得到深层特征图像。

28、进一步地，所述步骤s2具体包括：

29、s21，对所述视频数据进行时间特征提取，得到时间特征图像；

30、s22，对所述视频数据进行卷积处理，卷积核大小为1*1，得到第七卷积特征图像；

31、s23，对所述时间特征图像和第七卷积特征图像进行矩阵相加，得到时间特征；

32、其中，所述步骤s21具体为：通过两个相互级联的时间特征提取单元对所述视频数据进行时间特征提取；所述时间特征提取单元包括级联的膨胀因果卷积层、权重归一化层、h-swish层和丢弃层；所述膨胀因果卷积层对所述视频数据的时间序列进行3次卷积核大小为3的膨胀因果卷积处理，得到时间特征序列；3次膨胀因果卷积处理的膨胀因子分别为1、2和4；所述权重归一化层对所述时间特征序列进行权重归一化处理，得到权重归一化的时间特征序列；所述h-swish层令所述权重归一化的时间特征序列乘以h-swish激活函数，得到激活的时间特征序列；所述h-swish激活函数为：

33、

34、进一步地，所述步骤s3具体包括：

35、s31，将所述空间特征转化为设定维度的空间特征向量；将所述时间特征转化为设定维度的时间特征向量；

36、s32，将所述空间特征向量和所述时间特征向量拼接，获得融合特征向量；

37、s33，对所述融合特征向量进行卷积处理，得到融合分类特征。

38、进一步地，所述步骤s4具体包括：

39、s41，根据所述融合分类特征，输出是否发生山火的识别结果；

40、s42，根据所述融合分类特征，输出山火等级识别结果。

41、进一步地，所述山火检测模型，通过以下训练方法进行训练：

42、st1，通过无人机采集训练数据；所述训练数据包括第一烟雾视频数据和第一云雾视频数据；

43、st2，对所述第一烟雾视频数据和第一云雾视频数据进行切分，获得时间长度相同、帧数相同的第二烟雾视频数据和第二云雾视频数据；

44、st3，为所述第二烟雾视频数据和第二云雾视频数据打标签，得到第三烟雾视频数据和第三云雾视频数据；所述标签包括类别标签和山火等级标签；

45、st4，将所述第三烟雾视频数据和第三云雾视频数据输入至所述山火检测模型；所述山火检测模型对所述第三烟雾视频数据和第三云雾视频数据进行特征提取和识别，输出是否发生山火的识别结果以及山火等级识别结果；

46、st5，将所述山火检测模型输出的是否发生山火的识别结果，与所述第三烟雾视频数据和第三云雾视频数据对应的类别标签进行对比，计算第一损失函数；将所述山火检测模型输出的山火等级识别结果，与所述第三烟雾视频数据和第三云雾视频数据对应的山火等级标签进行对比，计算第二损失函数；

47、st6，根据所述第一损失函数和第二损失函数，按设定的权重计算最终损失函数；将最终损失函数回传，优化所述山火检测模型的可训练参数；

48、st7，重复进行步骤st4-st6，直到所述山火检测模型的可训练参数收敛，获得训练好的山火检测模型。

49、基于同一发明构思，本发明还提供一种基于时空融合特征的山火检测模型，用于对无人机采集的视频数据进行特征提取和识别，包括：

50、空间特征提取模块，用于对所述视频数据的图像帧进行空间特征提取，得到空间特征；

51、时间特征提取模块，用于对所述视频数据进行时间特征提取，得到时间特征；

52、时空特征融合模块，用于对所述空间特征和时间特征进行融合处理，得到融合分类特征；

53、分类鉴别模块，用于根据所述融合分类特征，得到是否发生山火的识别结果和山火等级识别结果。

54、进一步地，所述空间特征提取模块，具体包括级联的第一级网络、第二级网络、第三级网络和mgp结构；

55、所述第一级网络，用于提取所述图像帧的浅层特征，得到浅层特征图像；

56、所述第二级网络，用于根据所述浅层特征图像，提取中间层特征，得到中间层特征图像；

57、所述第三级网络，用于根据所述中间层特征图像，提取深层特征，得到深层特征图像；

58、所述mgp结构，具体包括级联的第一矩阵相加层、第四级网络、第二矩阵相加层、第五级网络和第三矩阵相加层；

59、所述第一矩阵相加层，用于对多个所述浅层特征图像进行矩阵相加，得到叠加浅层特征；

60、所述第四级网络，用于对所述叠加浅层特征进行卷积和池化处理，得到mgp中间层特征；

61、所述第二矩阵相加层，用于对多个所述中间层特征图像和mgp中间层特征进行矩阵相加，得到叠加中间层特征；

62、所述第五级网络，用于对所述叠加中间层特征进行卷积和池化处理，得到mgp深层特征；

63、所述第三矩阵相加层，用于对多个所述深层特征图像和mgp深层特征进行矩阵相加，得到空间特征。

64、基于同一发明构思，本发明还提供一种基于时空融合特征的山火检测系统，包括无人机和算法服务器；所述无人机采集视频数据，并将所述视频数据传输至所述算法服务器；所述视频数据包括若干图像帧；所述算法服务器，通过一山火检测模型，根据所述视频数据识别是否发生山火以及山火等级；

65、其中，所述山火检测模型执行以下步骤：

66、s1，对所述视频数据的图像帧进行空间特征提取，得到空间特征；

67、s2，对所述视频数据进行时间特征提取，得到时间特征；

68、s3，对所述空间特征和时间特征进行融合处理，得到融合分类特征；

69、s4，根据所述融合分类特征，得到是否发生山火的识别结果和山火等级识别结果。

70、为了更好地理解和实施，下面结合附图详细说明本发明。