一种融合计算机视觉与语言模型的农业病虫害防治方法

本发明属于作物病虫害防治，具体涉及一种融合计算机视觉与语言模型的农业病虫害防治方法。

背景技术：

1、以往，病虫害的判断主要依赖人工经验和专家知识，但这种方法存在主观性强、准确率低、成本高且效率低下的局限性。人工方式往往需要耗费大量的时间和金钱资源，同时难以及时做出有效应对，常常错过最佳治理时机，最终可能加剧病虫害的扩散和危害。随着人工智能技术的快速发展，基于图像识别的病虫害检测逐渐成为一种高效且准确的解决方案。借助计算机视觉和深度学习技术，病虫害种类能够被快速且精准地识别，大幅提升了检测效率和准确性。与此同时，大语言模型(如gpt系列)因能够即时解答问题，在通用领域展现了卓越的能力。

2、但是，一方面，现有的病虫害识别方法在实验室条件或背景相对单一的情况下检测效果较好，但在田间复杂条件下（如不同光照、复杂背景等），对病害的识别精度显著降低。同时，这类方法缺乏与识别结果相匹配的实时、针对性病害防治建议的能力。另一方面，大语言模型尽管能够即时回答问题，但由于缺乏结合国内实际需求的多领域信息交互能力（包括气候变化、作物品种、土壤条件以及病虫害特征等），其在农业病害防治领域的应用还存在不足。现有模型的回答往往不够准确和专业，给出的方案缺乏详细性和可操作性，难以满足实际应用需求。

技术实现思路

1、为解决背景技术提出的问题，本发明提供一种融合计算机视觉与语言模型的农业病虫害防治方法。

2、本发明的技术方案如下：

3、本发明提供一种融合计算机视觉与语言模型的农业病虫害防治方法，包括以下步骤：

4、s1：获取作物病虫害叶片的图像数据，经清洗、标注，得到预处理后的图像数据集；

5、s2：预处理后的图像数据经初步卷积后，进行若干次深度卷积处理，得到高级特征图；高级特征图依次经全局平均池化处理、全连接处理，得到作物的健康状态、严重程度，作物的健康状态、严重程度经分类函数处理，得到第一病虫害类别和第一视觉模型，使用图像数据集中的图像数据对第一视觉模型进行训练，直到动态权重调整机制的加权焦点损失函数达到预设条件，得到第二视觉模型；

6、所述深度卷积处理，包括对待处理特征依次进行通道空间注意力处理、反向注意力机制处理和跳跃残差门控连接；

7、s3：农业领域公开的多源文本数据作为数据集，导至语言模型，进行无监督预训练，得到预训练后的语言模型；

8、s4：获取作物病虫害防治数据，将作物品种、病虫害类别、农药种类文本数据进行划分，以作物品种和病虫害类别为问题，农药种类为答案，构建问答文本数据集；

9、s5：问答文本数据导至预训练后的语言模型，在注意力层和前馈层，将问答文本转换为主要分量和噪声分量，主要分量经lora法插入低秩矩阵后，低秩矩阵经高效参数分解和核分解进行分解，结合分布建模技术进行低秩更新，对预训练后的语言模型训练后，得到目标语言模型；

10、s6：获取待防治的作物病虫害叶片的图像，导至第二视觉模型，得到病虫害类别；

11、根据病虫害类别，利用相似度检索机制获取外源相关数据，将多源文本数据、作物病虫害防治数据与外源相关数据经注意力机制处理，得到融合数据；

12、融合数据经目标语言模型处理，生成农业病虫害防治建议。

13、所述步骤s2中，深度卷积处理，包括对待处理特征依次进行通道空间注意力处理、反向注意力机制处理和跳跃残差门控连接，操作如下：

14、待处理特征进行深度可分离卷积后，得到第一特征图；

15、基于hsv颜色空间，第一特征图经通道注意力处理后，得到通道注意力图，通道注意力图与第一特征图相乘，得到第二特征图；

16、第二特征图经轴向划分后，进行空间注意力处理，得到空间注意力图，空间注意力图与第二特征图相乘，得到第三特征图；

17、第三特征图与待处理特征相加后，经反向注意力机制处理，得到第四特征图；

18、第四特征图与待处理特征经跳跃残差门控连接，得到处理后的特征图。

19、所述步骤s2中，使用图像数据集中的图像数据对第一视觉模型进行训练，直到动态权重调整机制的加权焦点损失函数达到预设条件，得到第二视觉模型，具体为：

20、图像数据集中的图像数据经第一视觉模型处理后，得到概率分布，根据公式：，计算类别权重；

21、式中，为类别权重，为类别作物的样本数量，用于平滑小类别的过高权重；

22、在每个训练批次中，根据动态权重调整机制，计算每个样本的样本权重；

23、根据公式：，计算损失值；

24、式中，为损失值，为样本的样本权重，为类别权重，为正样本概率，为聚焦因子，用于控制对困难样本的关注程度；

25、直到损失值达到预设条件，得到第二视觉模型。

26、所述步骤s2中，高级特征图依次经全局平均池化处理、全连接处理，得到作物的健康状态、严重程度，作物的健康状态、严重程度经分类函数处理，得到病虫害类别，具体为：

27、每个通道的特征图经全局平均池化处理缩减为一个单一的平均值，特征图转换为全局特征向量表示，全局特征向量经全连接处理，得到一个与类别数量相同的向量，记为目标向量；

28、根据目标向量的长度，得到作物的健康状态、严重程度；

29、目标向量经分类函数处理，转换为概率分布，将最高概率对应的类别作为病虫害类别。

30、所述步骤s5中，训练后，得到目标语言模型，具体为：

31、计算训练后的语言模型的bleu评分和rouge评分，将bleu评分大于bleu评分阈值且rouge评分大于rouge评分阈值的语言模型，作为目标语言模型。

32、所述步骤s3中，农业领域公开的多源文本数据，包括：

33、病虫害知识库、作物生长规律、气候影响分析、土壤养分管理中的数据。

34、所述步骤s4中，作物病虫害防治数据，包括：

35、病虫害知识、作物管理和农药使用指导的专业文本数据。

36、所述步骤s6中，外源相关数据，包括：

37、气象数据、田间传感器数据、农户咨询记录和公共农业数据库的数据。

38、本发明还提供一种融合计算机视觉与语言模型的农业病虫害防治系统，包括：

39、图像数据集构建模块：用于获取作物病虫害叶片的图像数据，经清洗、标注，得到预处理后的图像数据集；

40、病虫害识别模块：用于预处理后的图像数据经初步卷积后，进行若干次深度卷积处理，得到高级特征图；高级特征图依次经全局平均池化处理、全连接处理，得到作物的健康状态、严重程度，作物的健康状态、严重程度经分类函数处理，得到第一病虫害类别和第一视觉模型，使用图像数据集中的图像数据对第一视觉模型进行训练，直到动态权重调整机制的加权焦点损失函数达到预设条件，得到第二视觉模型；

41、所述深度卷积处理，包括对待处理特征依次进行通道空间注意力处理、反向注意力机制处理和跳跃残差门控连接；

42、语言模型预训练模块：用于农业领域公开的多源文本数据作为数据集，导至语言模型，进行无监督预训练，得到预训练后的语言模型；

43、问答文本数据集构建模块：用于获取作物病虫害防治数据，将作物品种、病虫害类别、农药种类文本数据进行划分，以作物品种和病虫害类别为问题，农药种类为答案，构建问答文本数据集；

44、语言模型训练模块：用于问答文本数据导至预训练后的语言模型，在注意力层和前馈层，将问答文本转换为主要分量和噪声分量，主要分量经lora法插入低秩矩阵后，低秩矩阵经高效参数分解和核分解进行分解，结合分布建模技术进行低秩更新，对预训练后的语言模型训练后，得到目标语言模型；

45、防治建议生成模块：用于获取待防治的作物病虫害叶片的图像，导至第二视觉模型，得到病虫害类别；

46、根据病虫害类别，利用相似度检索机制获取外源相关数据，将多源文本数据、作物病虫害防治数据与外源相关数据经注意力机制处理，得到融合数据；

47、融合数据经目标语言模型处理，生成农业病虫害防治建议。

48、有益效果：本发明基于视觉模型和优化后的语言模型，将二者一体化集成后，能够结合动态场景信息，实时识别多种作物病害并在作物病害防治领域给出更专业更详细的建议，具备良好的病害识别能力和防治建议生成能力，进而显著提高农业生产中病害防治的效率，减少人工成本，并有助于提高作物的产量和质量。

49、本发明在识别和分类过程中，不仅通过多维度的注意力机制关注形态、纹理、颜色等细节特征，及反向注意力机制进行特征增强，来增强识别精度；还引入动态权重调整机制的加权焦点损失函数，不仅能对难以分类的样本赋予更高的权重，还能够根据类别分布的动态变化自动调整权重分配，从而更有效地处理数据集中少量样本的罕见病害类别。

50、本发明通过整合多源信息训练语言模型，及bleu和rouge评分评估后得到的目标语言模型，能够更好地理解并生成符合农业病害防治领域的专业术语和内容，增强了生成文本的实用性和准确性。

51、本发明通过实时集成多种农业相关信息来源，为目标语言模型生成提供丰富的上下文支持，从而优化模型在动态场景中的适应性和响应能力；将外源实时数据与目标语言模型内部知识数据进行加权结合，在生成建议时能够更全面地考虑不同因素，提高建议的科学性和操作性，以生成针对特定场景的定制化防治方案。