融合UniRepLKNet和AFNet的烟雾检测方法

本发明计算机视觉，涉及一种融合unireplknet和afnet的烟雾检测方法。

背景技术：

1、烟雾识别是利用计算机视觉技术在不同场景以及不同摄像头下的检测识别监控或图像中是否有烟雾的技术。由于烟雾往往伴随着火灾出现，所以烟雾检测对城市公共安全起到重大作用。随着城市的发展，大量摄像头被广泛应用于厂区、商城、学校等人流密集的公共场所，烟雾识别作为监控研究领域的关键组成部分，起到了非常重要的作用。

2、目前烟雾识别训练方法主要包括传统方法和基于深度学习的方法。传统图像处理方法能够从图片中提取到纹理、小波、颜色等大量的图像信息，并在此基础上进行烟雾检测。烟雾检测方法一般分为五个阶段，分别是输入、预处理、特征选择、烟雾检测与识别、输出结果。烟雾检测中包含基于烟雾运动特性的方法、基于烟雾静态特性的方法、基于烟雾频率特性的方法。随着卷积神经网络对图像分类的研究和应用的不断深入，其在烟雾检测方面也取得了大量成果。由于卷积神经网络能够自动获取烟雾图片中最适用于分类的特征，再加上使用大量样本进行训练以及模型的不断优化，使得烟雾检测效果得以提升。

3、深度学习算法在目标检测领域有很多成功应用的实例，不少学者在深度学习的基础上提出烟雾检测算法，能够在特定的真实场景中具备良好的检测性能，但存在精度不足、鲁棒性不足等问题。

技术实现思路

1、发明目的：针对背景技术中指出的问题，本发明公开一种融合unireplknet和afnet的烟雾检测方法，解决对烟雾检测准确率低的技术问题。

2、技术方案：本发明公开了一种融合unireplknet和afnet的烟雾检测方法，包括如下步骤：

3、步骤1：获取不同摄像头下的烟雾图像训练数据集，并标注烟雾图像，建立烟雾图片数据集；

4、步骤2：以yolov8网络结构为基准网络，引入大核心卷积神经网络架构unireplknet_scab替换原有backbone主干网络；所述unireplknet_scab包括5层unireplknet，并修改5层unireplknet中的lark block块中的se模块为scab模块；同时在主干网络中添加segnext_attention注意力框架结构；

5、步骤3：在yolov8网络结构的neck部分，将其替换为afnet网络结构，包括c2f_macgb模块、尺度序列特征融合ssff模块、三重特征编码器tfe模块，得到改进后的烟雾检测模型；所述c2f_macgb模块将c2f的bottleneck block替换成macgblock模块；所述macgblock模块包括1x1卷积模块、上下文引导模块contextguidedblock、混合注意力模块mixedattention；

6、步骤4：对改进后的烟雾检测模型进行训练，将待检测识别的烟雾图像输入至训练后的烟雾检测模型中进行检测。

7、进一步地，每层所述unireplknet包括四个阶段，第1阶段为samk block，第2阶段为lark block，第4阶段为lark block，第3阶段为samk block和lark block组合，每个阶段用步长为2的3*3卷积下采样来连接；

8、所述lark block由一个dilatedreparam block、一个scab模块、前馈网络ffn和批量规范化层bn组成；samkblock和lark block的区别为samk block使用3*3的深度分离卷积来替代前者的扩张重参数化块dilated reparam block；

9、scab模块由空间注意力模块sam和通道注意力模块ca组成。

10、进一步地，所述segnext_attention设计多尺度卷积注意力msca模块，对感兴趣区域的更加精确的注重，msca写成：

11、

12、其中，f表示输入要素，att和out分别是注意力地图和输出，是逐个元素的矩阵乘法运算，dw-conv表示深度卷积，scalei，i∈{0,1,2,3}表示第i个分支；scale0是标识连接，在每个分支中，使用两个深度条带卷积来近似具有大内核的标准深度卷积。

13、进一步地，所述afnet网络结构具体过程为：

14、从主干网络第一个unireplknet作为第0层，依次编号；

15、首先由第6层segnext_attention输出的特征图进入第7层conv卷积层减少计算量，第2层unireplknet输出进入第8层conv卷积层减少计算量，然后由第9层tfe模块接收第3层、第7层和第8层的输出张量执行上采样和插值的操作，然后进入第10层c2f_macgb模块进行特征提取融合；

16、第11层conv卷积层接收第10层的特征图减少计算量，接着第12层conv卷积层接收第1层unireplknet输出特征图减少计算量，然后由第13层tfe模块接收第2层、第11层和第12层的输出张量执行上采样和插值的操作，然后进入第14层c2f_macgb模块进行特征提取融合；

17、然后第15层conv卷积层接收14层c2f_macgb模块的特征图减少计算量，接着11层的输出特征和15层进入16层concat层进行拼接，然后进入第17层c2f_macgb模块进行特征提取融合；

18、第18层conv卷积层接收前一层的特征图减少计算量，再与第7层的输出特征一起进入19层sdi模块进行特征提取融合，然后第20层c2f_macgb模块接收第19层的输出特征图减少计算量；

19、第21层ssff模块接收第2层，第3层和第4层三个不同尺度的输出张量进行特征融合，然后21层与第14层两个输入张量进入第22层进行逐元素相加；最后将第17层，第20层和第22层输出到head部的detect头。

20、进一步地，所述c2f_macgb模块处理过程为：先输入一个特征图，接着进行卷积操作将特征图分为两部分，两部分分别进入macgblock模块进行处理，然后进入concat将两部分连接形成一个新的特征图，最后再进行卷积操作将特征图输出。

21、进一步地，所述macgblock模块处理过程为：

22、首先输入一个特征图，接着通过一个1x1卷积模块提取输入特征图的局部特征，进入上下文引导模块contextguidedblock，所述上下文引导模块contextguidedblock使用一个3x3的卷积层进行局部特征提取，再使用一个3x3的扩张卷积层进行周围特征提取，最后将局部特征和周围特征在通道维度上进行连接，形成联合特征；

23、将1x1卷积模块提取的局部特征通过混合注意力模块mixedattention，混合注意力模块mixedattention由cbam的空间注意力模块和通道注意力机制se块构成；

24、将经过混合注意力模块mixedattention处理的特征图与上下文引导模块contextguidedblock输出的联合特征在通道维度上进行连接，接着通过两个卷积输出最终特征图。

25、有益效果：

26、与现有技术相比，本发明针对低端设备计算能力有限，预测精度不高的情况，为了实现进一步提升网络模型的精度和性能，本发明将yolov8网络中backbone主干网替换为unireplknet主干网络实现高准确率，并在主干网后面加上segnext_attention注意力机制模块，帮助模型更好地利用全局上下文信息。neck部分修改，引入全新adaptivefusionnet(afnet)模型结构。c2f替换成c2f_macgb模块，融合了cbam的空间注意力模块和通道注意力机制se块，并且使用ssff模块提供更为丰富和细致的特征表达，从而改善模型在处理不同大小对象时的表现。使用三重特征编码器tfe模块将大、中、小尺寸的三个特征图进行一次卷积处理后在通道维度上进行拼接，实现了多尺度特征的有效融合，从而提升模型对多尺度目标的检测和识别能力。