一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法

本发明涉及深度学习中的计算机视觉领域，尤其是涉及一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法。

背景技术：

1、棉花是一种很重要的纺织纤维，占世界纤维年需求量的35％左右，同时，棉花产业对于很多国家来说是一个重要的经济支柱，为农民提供了稳定的收入来源。据中国农作物病虫害测报网监测和专家会商分析，预计2024年农作物重大病虫害呈重发态势，中国预计发生面积23.3亿亩次，比2023年和近5年实际发生面积分别增加26.2％和18.4％，对70％以上的农作物产区构成威胁。

2、目前，棉花病虫害识别更多的是农民通过经验或邀请专家进行辨别，然而，基于经验的方法往往存在识别不准确的风险，这可能导致用药错误，对作物的生长、产量造成不良影响。而邀请专家进行病虫害识别虽然专业性强，但往往存在时间滞后和成本较高的问题。误诊或发现过晚都可能导致农药的错用滥用，这不仅会污染土地，还可能使病虫害产生抗药性，对农业生产和环保都构成严重威胁。因此，对棉花病虫害进行早期、准确的识别显得尤为重要。

3、随着模式识别和人工智能技术的发展，利用计算机视觉对农作物病虫害进行自动识别的研究日益增多。早期的传统数字图像处理技术虽然取得了一定成效，但在处理背景复杂或光线变化大的图片时，背景分割效果不佳，且依赖于手动特征提取，存在“语义鸿沟”问题。近年来，深度学习技术特别是卷积神经网络的兴起，为棉花病虫害识别带来了选择。卷积神经网络不仅能够直接处理原始图像，无需背景分割，还能自动提取多层次的抽象特征，简化了识别流程，提高了操作的便捷性和自动化程度。但仍存在一些问题，首先，现有公共数据集中的病虫害图像大多是在受控的实验室环境中拍摄的，无法很好地应对真实环境中产生的病虫害；其次，现有的模型的参数量都比较大，这往往很难将病虫害识别模型部署在便携式设备上；最后，部分模型还存在特征提取尺度单一的问题。

4、综上所述，针对棉花这个特定对象进行研究，本发明提出一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，在实地收集的棉花病虫害数据集上，实现多尺度特征提取的同时，确保模型的精度并显著减少模型参数量，实现精准快速的棉花病虫害识别。

技术实现思路

1、为了克服上述现有的不足，本发明提出了一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，该方法将注意力机制、模型剪枝以及迁移学习相结合，在保证模型精度的同时降低模型参数，实现精准快速的棉花病虫害识别。

2、为了实现以上目的，本发明提出了一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法包括以下步骤，其特征在于，包括：

3、s1数据收集：发明以棉花病虫害为具体研究对象，研究主要针对健康棉花叶片、棉花黄萎病、棉花褐斑病、棉花枯萎病以及一种棉花蚜虫进行展开。由于实验室数据无法很好的应对自然环境中的棉花病虫害，因此在中国新疆维吾尔自治区塔城地区以及中国新疆维吾尔自治区昌吉国家农业中心实地收集了5770张棉花病虫害图像；

4、s2：数据集划分：将收集到数据按照8:2的比例划分为训练集和测试集，以确保模型在训练时拥有足够的数据，同时保留部分数据用于评估模型性能。

5、s3：图像预处理：由于自然环境下的干扰使得收集到的数据集样本不均衡，为了增强数据的平衡性并提升模型的鲁棒性，对训练数据进行了多种增强处理，包括图像剪切、随机网格洗牌、通道洗牌、网格失真、随机噪声、随机亮度调整和色调饱和度调整等。此外，在模型训练和测试之前，对数据集中的图像进行了自适应缩放，将每张图像调整为256×256像素，以防止信息丢失。这可以减少输入图像的尺寸差异，使模型更容易捕捉和学习图像特征；

6、s4：模型搭建：在densenet121的基础上，通过引入多尺度卷积替代基础模型首层7×7卷积，增强对不同尺度信息的捕捉能力；

7、为减少模型参数、便于在资源受限环境中部署，通过构建re-密集块和lamp剪枝方法精简网络结构和参数量，以便于模型部署到便携式设备上；

8、为了弥补剪枝可能带来的精度损失，并有效处理棉花叶片上微小且多变的病虫害特征，通过构建mfga机制，结合迁移学习策略，强化模型对关键病害特征的关注。

9、s41：首先，通过多尺度卷积对棉花病虫害图像进行不同尺度的特征提取；

10、s42：其次，将特征输入到re-密集块中，该密集块由多个r-密集层堆叠而成。标准的l层卷积网络具有l个连接，即每一层与其前一层和后一层相连，而densenet将所有前面层与所有后面层连接，因此有：连接数为

11、

12、假如网络由l层组成，每层实现一个非线性变化hl(·)，其中l是层的索引。xl为第l层的输出，r-密集层的输入和输出的公式为：

13、xl＝hl(x0,x1,x2...,xl-1)

14、其中，hl(·)是批量归一化(bn)、激活函数(rrelu6)、池化(pool)或卷积(conv)、深度可分离卷积(dsc)操作的复合函数。

15、s43：为了更好地优化神经网络在移动设备和嵌入式系统等资源受限环境中的性能。mobilenetv2等网络使用relu6来替代relu激活函数，以帮助减少量化带来的负面影响和从浮点型到整型转换时可能出现的数据失真问题。但仍存在部分神经元失活的问题，于是本发明提出rrelu6同时缓解这两种问题，在减少神经元失活的同时缓解量化带来的负面影响以及数据失真问题，

16、s44：随后，使用非结构化模型剪枝方法lamp对模型进行剪枝，其通过重新缩放权重大小来近似评估由修剪引起的模型级失真，可以在无需任何超参数调整或繁重的计算，并能够自动选择分层稀疏度，从而有效地应用于不同类型的神经网络层(如全连接层和卷积层)，同时保持模型性能。

17、s45：为弥补模型剪枝造成的精度损失这一问题，本发明提出一种新型多尺度自适应注意力(mfga)，旨在通过多尺度特征融合和精细信息流调控来增强模型对特征的提取能力。

18、随后，在re-密集块之后，加入mfga注意力机制，mfga的具体实现过程如下：

19、(1)按照通道分成三个分支模拟多头注意力的效果，使用1×1卷积对通道信息进行提取；

20、(2)引入global context transformer(gct)来控制通道间的竞争或合作关系，为后续操作提供更精细的信息流；

21、(3)融合多层感知机、多尺度模块和通道注意力提取不同尺度的特征，加强特征之间的联系和互补性。此模块可即插即用，便捷地集成于任何卷积神经网络中。

22、s46：为了最大程度的弥补并增强模型在剪枝后的精度，本发明使用迁移学习将模型在plantvillage数据集上学习到的知识迁移到本发明的数据集中，使模型能够捕捉到更广泛的数据特征分布，并提高新任务上的泛化性能。

23、s47：最后，使用过渡层连接每个re-密集块。过渡层包括批量归一化(bn)层、激活函数(rrelu6)、1×1卷积和2×2平均池化层。通过1×1卷积层减少通道数，并利用步幅为2的平均池化层将特征图的高和宽减半，从而进一步降低模型复杂度。

24、s5：模型训练：将经过图像预处理的图像输入到基于注意力机制和迁移学习的轻量级棉花病虫害识别模型中，以提取棉花病虫害的图像特征；

25、s6：棉花病虫害识别：最后，将输出的数据通过平均池化层和线性层处理后，分类器将生成分类结果。

26、s7：选择6种棉花数据输入到预测模型，输出预测结果。

27、本发明与现有技术相比，具有的有益效果如下：

28、(1)本发明通过数据增强技术减少了数据不平衡对模型性能的影响，同时增强了模型的鲁棒性；

29、(2)本发明使用多尺度卷积替代原本densenet121首层的7×7卷积，加强模型提取不同尺度特征的能力；

30、(3)本发明通过构建re-密集块并使用模型剪枝，在减少模型参数的同时提升了模型精度，使模型可以有效地部署到便携式设备上，并取得优异的识别效果；

31、(4)本发明引入了注意力机制和迁移学习，使得模型能够学习到其他数据集上的特征，加强模型对棉花病虫害关键特征的关注，并忽略不重要的特征；

32、(5)本发明使用的数据集是在自然环境中采集的，从而使训练出的模型具有较强的抗干扰能力和鲁棒性，更能够满足自然环境下棉花病虫害识别的实际需求。