一种基于烟雾增强算法的YOLOv8轻量化火灾识别方法

本发明涉及森林火灾检测技术邻域，尤其涉及森林火灾早期预防以及一种面向边缘计算设备的轻量化方法。

背景技术：

1、森林火灾是自然生态系统中发生的自然或人为现象，一旦出现森林火灾则会不受控地蔓延。森林中可燃物数量庞大，环境多变，导致森林火灾具有突发性强、破坏力大、扑灭困难的特点。随着遥感技术与深度学习技术的发展，越来越多相关的技术被应用于森林火灾防控方面。但目前的相关技术存在一定的局限，高精度的检测模型往往依赖于参数量大、计算量庞大的深度学习模型，不适宜部署到低功耗，计算资源受限的边缘计算设备。

2、目前研究领域内对于森林火灾检测技术主要有2种：

3、火灾遥感影像监测方法和基于深度学习的检测方法。由于传统方法对遥感图像分辨率限制，对于小尺度的火灾以及有烟雾与天气因素干扰的图片，分辨率可能不足以清晰地识别火源，从而降低了检测的准确性，多存在漏报、误报的情况。同时深度学习算法在近年来的发展加速，在各个行业领域都相较传统算法有了显著的提升。

4、在应用于森林火灾检测的深度学习领域，benzekri等人提出的dl模型、khan提出的ffirenet等都在森林火灾检测场景下取得了及其可观的成效,其准确率都达到了97％甚至更高。然而，dl模型的高精确结果仅在较小的数据集上进行了测试，并没有大型数据集测试模型的泛化性能。ffienet缺乏的浓烟环境下火焰的数据集，可能会使模型将浓雾分类为火灾烟雾，模型的准确率会受到极大影响。

5、2022年，tahir等人设计了一项基于yolov5的专注于无人机成像以绘制火区的物体检测工作，取得了97.14％的高准确率。自2015年提出yolov1以来，每一代在各个领域都展现出了较高的模型可靠性和鲁棒性。2023年1月，yolov5的开发公司ultralytics提出的yolov8版本，在coco数据集test-dev 2017上进行评估，yolov8x在图像大小为640像素的情况下实现了53.9％的ap，相比之下，yolov5在相同的输入大小上仅为50.7％。同年10月，我国华为诺亚提出的gold-yolo中采用的gd机制，相较于yolov8，其在l规模的模型上ap再次提高了0.4％，在s规模上提高了1.5％。然而，深度学习模型通常对硬件算力条件的要求较高，并且由于森林面积广阔、想要在深入森林的环境中进行火灾监控，对于部署硬件的挑选尤为重要。

6、在森林火灾的背景中，根据燃烧的经验来看，通常是先有烟雾，然后再产生火焰。所以烟雾是火灾的早期指示，检测烟雾可以提供更早的火灾预警，有助于及早采取灭火和疏散措施。但是在火灾早期，烟雾在图像中并不明显，并且由于光照、空气质量等因素的干扰，拍摄的图像通常会呈现灰白色，较淡的烟雾的能见度在这样图像中将大大降低。对此，何恺明在2009年提出的暗通道先验(dark channel prior)去雾算法，可以将画面中原本的色彩信息进行还原，提高烟雾的能见度。同时近些年来，针对森林火灾领域燃烧产生的烟雾特性进行分析检测的研究不在少数。利用烟雾、森林和云雾的多重分形谱的不同将图像中符合条件的特征点提取出来，有采用多尺度分形参数对火焰与烟雾进行描述的方法。早期对烟雾检测的方法也颇有研究意义，特别是疏学明对几种燃烧烟雾在不同波长激光下的散射特性，从mie散射理论得出不同粒径大小和波长下烟雾的光强分布。但为了加强在森林火灾早期的防控，应从计算机视觉方面扩大监控范围，并保证烟雾检测模型的实时性，采用了烟雾在摄像画面中的动态特性与颜色特性，对烟雾像素点进行颜色增强，提高对薄烟的检测能力。

技术实现思路

1、本发明的目的在于提供一种基于烟雾增强算法的yolov8轻量化火灾识别方法。为解决目前在森林火灾检测模型中结构复杂，精度高但计算量要求大的问题。同时解决由于森林部署环境易受天气影响，拍摄画面易受雾气遮挡等呈灰白色的问题。

2、为达到上述要求，本发明是这样实现的，基于烟雾增强算法的yolov8轻量化火灾识别方法包括：

3、步骤1：收集包含森林或荒地的火灾图像与烟雾图像；考虑到应提高模型对远火焰与薄烟的检测能力，更多的收集森林火灾早期的图像作为数据集组成；

4、步骤2：收集包含非火灾场景的负样本数据，包括晚霞，太阳，红黄色物体，雾，尘埃等，增强模型对火焰与烟雾检测时的抗干扰能力；

5、步骤3：对收集完成的数据进行标注，并按照8:2的比例进行训练集与测试集的划分；

6、步骤4：设计轻量化yolo-de-tiny模型，所述模型基于yolov8网络，在1024的最大网络特征通道数下，大大降低了网络的参数量与计算复杂度；相比于原yolov8-s网络的半通道轻量化，yolo-de-tiny模型的轻量化设计保证了网络提取特征能力，保证了网络在轻量化后仍具有较高的检测精度；

7、步骤5：设计烟雾能见度增强模块，结合暗通道先验去雾算法与基于动态判据与颜色特性的烟雾增强，在一定的场景下，能够增强模型对早期火灾中存在的薄烟的检测能力。

8、所述轻量化模型yolo-de-tiny模型的结构与改进包括：

9、1)对于输入数据集进行mosaic数据增强，主要思想是将四张图片进行随机裁剪，再拼接到一张图上作为训练数据。这样的数据增强方式，对于小目标的数据集来讲，具有丰富背景，扩充数据集的作用，提高了对小目标物体的检测能力以及抗干扰能力；

10、2)使用分组卷积替换backbone网络部分普通卷积模块。在保持特征通道宽度与特征提取能力的情况下，大幅缩小模型的参数量与计算量；

11、3)提出一种enhanced-sppf模块，并对原本backbone网络部分的sppf模块进行替换，以裁剪原sppf算子中存在的冗余连接通道，增加操作分支，提高模型backbone网络部分最后一层的特征表达能力；

12、4)采用gold-yolo网络中所使用的gd机制(gather-and-distribute mechanism)构建网络的neck网络部分，其机制主要包含了一个低阶gd分支和一个高阶gd分支以及一个全局特征。gd分支分别通过基于卷积块和基于注意力的模块提取和融合特征信息，并通过全局融合多级特征并将局部信息注入全局，实现neck网络中高效的特征信息交换。

13、5)采用目前主流的解耦头(decoupled-head)结构构成网络的head部分，在head网络输入时就将分类信息与位置信息进行分离，分别进行卷积与池化处理，最后再进行融合输出。解耦头的好处在于，相比于耦合头虽然网络结构设计更加复杂，但是降低了网络参数量，提高了网络的泛化能力与鲁棒性。

14、本发明的另一目的在于对原本yolov8网络进行改进，其特征在于，所改进的轻量化模型对算力需求更小，更适合用于面向边缘计算设备。

15、所述的基于烟雾增强算法的yolov8轻量化火灾识别方法，其特征在于，所述的烟雾增强算法，其构成具体过程如下：

16、1)暗通道先验去雾算法的构成为，先取图像中每一个像素的三通道中的灰度值的最小值，得到一幅灰度图像，再在这幅灰度图像中，以每一个像素为中心取一定大小的矩形窗口，在窗口中进行最小值滤波，从而得到输入图像的暗通道图像。随后根据雾天退化模型估计模型中的参数表达，最后整理成为去雾图像的表达式：

17、

18、其中ι是观察到的有雾图像，j是需要恢复的去雾图像，x是像素点坐标，a是全局大气光，t是一个描述物体没有被散射抵达摄像机的传输率。

19、2)基于动态判据与颜色特性的烟雾增强的构成为，首先使用帧差法前后帧差超过15阈值并获取图像中运动的二值掩码，即得到待增强区域的初步筛选。同时根据烟雾在森林环境下的颜色先验知识，即燃烧所产生的烟雾大体呈现灰白色，并在照明良好的图像中，烟雾区域的r、g、b三通道上的值应比较接近等，其应当满足

20、|cmaxcmina

21、

22、其中，cmax是像素点r、g、b三个通道中的最大值，cmin是最小值。k1、k2为某一阈值。并且在hsv色域中，通过亮度阈值与饱和度阈值对像素点进行筛选。由于森林环境下，树林在画面中占比较高，其冷色即三通道中的g分量与b分量相比于r分量会更大，进一步调整上述公式中r、g、b三通道的比例占重。

23、基于烟雾增强算法的yolov8轻量化火灾识别方法，其特征在于，所提出的enhanced-sppf改进如下：

24、裁剪了原sppf模块中所两个连续1×1卷积模块之间的低效连接。采用split分割的方式，保持不丢失从前一个c2f模块输出得到的特征通道宽度下，引入有效残差结构。同时，原sppf中引入了过多的最大池化操作，将原本全部为5的池化卷积核大小进行替换，多种大小池化卷积核并行与分组卷积结合，提高了模块的特征表达能力。

25、采用precision(p)、recall(r)、map50、map50-95等来评价模型对烟雾的检测能力，公式如下：

26、

27、

28、

29、

30、式中，tp表示模型正确预测为正样本的数量，fp表示模型错误预测为正样本的数量，fn表示模型错误预测为负样本的数量。

31、采用hires cam对enhanced-sppf模块与sppf模块进行类激活图可视化测试。该结果展示enhanced-sppf模块对于薄烟的关注区域更加聚焦与正确。

32、模型训练完成后，将轻量化后的模型通过聚合卷积与归一化层后，进一步优化的权重加载到网络中，并部署到npu等边缘计算设备上，加入烟雾增强模块，确保模型能够在npu上高效运行，实现对森林火灾早期的实时，准确检测。

33、本发明基于烟雾增强算法的yolov8轻量化火灾识别方法，与现有技术相比的优势在于；

34、(1)、本发明，在yolov8网络的基础上，融入了gd机制，增加了neck特征融合层的网络层数，网络特征表达能力得以加强，本发明对gd机制进行了相应的改进，加入了对c2输入的全局信息的利用，提高了模型在neck部分对小目标物体的检测能力；

35、(2)、本发明注重模型的参数量与计算量，将原网络模型中部分的“普通卷积+归一化+relu激活”更改为“分组卷积+归一化+silu激活”在不改变模型中特征图通道宽度的情况下，大幅降低了模型的参数量与计算量。在维持了模型检测准确率的情况下，大幅提升了检测速度；

36、(3)、本发明对原yolov8模型中国backbone网络最后sppf模块存在的问题进行了改进，更加充分的利用了上一个c2f模块输出的特征，用分组卷积代替了其中的最大池化。在1024特征通道宽度的情况下，提出的enhanced-sppf模块在特征提取表达能力与计算力需求比上更为优秀。