一种田间小麦病虫害识别方法、装置及存储介质

本发明属于图像处理，具体涉及一种田间小麦病虫害识别方法、装置及存储介质。

背景技术：

1、小麦是世界上种植范围分布最广的粮食作物，其产量和质量对人类的生活有着重要的影响。全球约17.6％的小麦产自中国，确保小麦产量安全是国家安全，社会稳定和经济发展的重要基础。然而在中国，每年因小麦病虫害导致的产量损失约为小麦年产量的16.29％。对小麦具有巨大危害和广泛影响的病害主要有四种，包括小麦条锈病、小麦白粉病、小麦赤霉病和小麦黄矮病；虫害主要有三种，包括麦长管蚜，麦二叉蚜和禾缢管蚜。而降低病虫害所造成产量损失的有效方法就是及时准确地监测小麦病虫害以采取有效的防治措施。因此，高效准确地监测小麦病虫害有助于正确有效的防治措施和提高小麦产量的基本前提。

2、目前疾病监测和识别的主要方法是在整个小麦栽培过程中人工实地调查检测。人工调查小麦病虫害不仅需要大量人力，并且容易受到研究人员主观经验的影响而导致错误判断，尤其是在病害侵染早期由不同生物和非生物胁迫引起的类似表型症状。然而利用智能化的监测方案不仅可以规避上述人工识别方法的缺陷，同时对于加速粮食种植业产业升级、提高粮食种植业资源利用率、普及粮食种植业数字化管理以及提升种植者的收入将有着不可或缺的重要作用。现在常用的智能化识别方法是基于计算机视觉技术实现，包括机器学习和图像处理算法。事实上，在复杂的田间条件下，基于机器学习的方法依然需要通过特征工程由人工设计病虫害的复杂特征，基于图像处理算法的作物病虫害检测也面临着许多挑战，如在病害早期侵染阶段存在的轻微症状差异，有限的拍摄角度以及土壤、杂草、水渍和阴影等噪音干扰都会导致检测算法的准确率大大降低。

3、现有的智能识别小麦病虫害的技术方案主要分为机器学习方法和深度学习方法两类，其存在的问题如下：

4、基于机器学习的方法存在两个主要问题，一是基于机器学习的技术使用的算法较为简单，当面对复杂的田间环境的时候基于机器学习的分类模型的识别准确率和识别速度有待提高；二是机器学习分类模型的建立时期需要依靠人工对优良的疾病特征进行设计和提取，由于小麦病变区域规模和类型差异较大且较为依赖主观经验判断，所以特征提取工作仍然存在效率低下和不够准确的情况；

5、基于深度学习的方法存在两个主要问题，一是数据集丰富度不足的问题，虽然深度学习方法不需要人工进行特征设计和提取工作，但是训练一个深度学习神经网络需要大量的数据集支撑，而在小麦病虫害方面可用于训练的的数据集多为简单背景下的病虫害图像，使用简单背景的病虫害图像数据集训练出的网络模型在田间实际条件下测试时的准确率会大幅下降；二是识别精度和速度问题，要实现智能高效的自动化小麦病虫害监测必须要保证智能识别模型的准确率和识别速率。事实上，在复杂的田间条件下作物病害检测面临着许多挑战，例如早期感染阶段的轻微症状差异、有限的拍摄角度以及土壤、杂草、水渍和阴影等噪音干扰都会对模型的识别性能产生很大的影响。另外，由于多种小麦病虫害的患病特征表形于小麦叶片，而小麦叶片细长的特点也给小麦病虫害的智能识别方法带来了困难。现有的深度学习识别小麦病虫害的技术在模型精度和速度上仍有较大提升空间。

技术实现思路

1、为了解决现有小麦病虫害识别方法存在的特征提取效率低、准确性低，以及外接因素对模型的识别性能影响大的问题，本发明提供了一种田间小麦病虫害识别方法、装置及存储介质。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种田间小麦病虫害识别方法，包括以下步骤：

4、采集小麦的病虫害图像，构建数据集；

5、将数据集中的病虫害图像输入病虫害识别模型，输出特征图；

6、将特征图送入区域候选网络rpn，生成小麦病害区域的候选框；

7、通过预测网络predict network对候选框中的特征图进行分类和识别，得到小麦病虫害预测结果图；

8、所述将数据集中的病虫害图像输入所述病虫害识别模型，输出特征图，具体包括：

9、将神经网络densenet-169作为卷积神经网络mask-rcnn的主干特征提取网络，通过神经网络densenet-169对数据集中的病虫害图像进行初步特征提取，得到病害特征；

10、将特征金字塔fpn和卷积注意力模块cbam加入主干特征提取网络densenet-169中，对病害特征进行多重优化和融合，生成特征图。

11、优选地，所述病虫害图像为对不同品种的小麦在不同时间段采集的图像。

12、优选地，所述通过神经网络densenet-169对数据集中的病虫害图像进行初步特征提取，得到病害特征，具体为：

13、将数据集中的病虫害图像输入神经网络densenet-169；

14、神经网络densenet-169从自下而上的金字塔结构denseblock(1)、denseblock(2)、denseblock(3)和denseblock(4)中分别提取得到特征图c2、特征图c3、特征图c4和特征图c5。

15、优选地，所述对病害特征进行多重优化和融合，生成特征图，包括以下步骤：

16、顶层特征图p5是由水平输入特征图c4经过1×1卷积特征维缩减和cbam自适应特征细化生成；

17、当顶层特征图p5与水平输入特征图c4融合时，顶层特征图p5通过2倍最近邻上采样方法对特征图进行上采样；

18、在生成新的特征图p4之前，将cbam应用于上一步得到的特征图，以重新分配特征图和特征权重；

19、基于相同的策略，使用特征图c3和特征图p4生成特征图p3，使用特征图c2和特征图p3生成特征图p2；

20、特征图p2-p5都需要进行3×3卷积以生成一组名为predict的特征图；perdict6是通过在predict5上进行最大池化下采样获得的；

21、将特征图predict2-特征图predict6融合成一个特征图作为后续的区域生成网络的输入，将特征图predict2-特征图predict5融合成另一个特征图作为后续感兴趣区域网络的输入。

22、优选地，所述预测网络predictionnetwork包含分类分支、预测框分支和掩膜分支；

23、分类分支中包含图像中所包含病害的类别信息，预测框分支中包含病害位置的坐标信息，掩膜分支包含病害位置的详细边缘信息，将三个分支中的信息合并即得到最终的小麦病虫害预测结果图。

24、优选地，在通过densenet-169对数据集中的病虫害图像进行初步特征提取之前，还包括采用数据增强技术扩充数据集，具体为：使用镜像转换、色彩增强、随机旋转、亮度增强四种方法对数据集中每一张原始的病虫害图像进行扩充。

25、优选地，在对数据集进行数据增强后，还包括使用开源软件labelme对数据增强后的图像数据做json格式的标注，将标注后的图像数据划分为训练集、测试集和验证集，通过训练集对所述病虫害识别模型进行训练，通过测试集对所述病虫害识别模型进行测试，通过验证集对所述病虫害识别模型进行验证。

26、优选地，所述通过训练集对所述病虫害识别模型进行训练时，使用边缘协议头对预测掩膜和标注掩膜进行sobel滤波，获取预测掩膜和标注掩膜的边缘特征，并据此计算额外的损失函数ledge加入到基础的损失函数中，ledge的计算公式为

27、

28、其中，p表示均方误差，mp表示广义幂均值的p次方，y表示标注掩膜边缘信息，表示预测掩膜边缘信息；

29、所述病虫害识别模型的损失函数lour计算公式为：

30、lour＝lcls+lbox+lmask+ledge

31、其中，lcls、lbox、lmask分别为mask-rcnn网络的分类损失、预测框损失和掩膜损失；

32、通过损失函数lour将损失值反馈给病虫害识别模型以优化权重参数；

33、对病虫害识别模型进行多轮迭代训练，直到模型性能趋于稳定且损失函数lour收敛时保存权重参数。

34、本发明的另一目的在于提供一种田间小麦病虫害识别装置，包括：

35、数据采集模块，用于采集小麦的病虫害图像，构建数据集；

36、病虫害识别模块，用于将数据集中的病虫害图像输入病虫害识别模型，输出特征图；

37、候选框生成模块，用于将特征图送入区域候选网络rpn，生成小麦病害区域的候选框；

38、结果预测模块，用于通过预测网络predict network对候选框中的特征图进行分类和识别，得到小麦病虫害预测结果图；

39、所述病虫害识别模块包括：

40、特征提取模型，用于将神经网络densenet-169作为卷积神经网络mask-rcnn的主干特征提取网络，通过densenet-169对数据集中的病虫害图像进行初步特征提取，得到病害特征；

41、特征生成模型，用于将特征金字塔fpn和卷积注意力模块cbam加入主干特征提取网络densenet-169中，对病害特征进行多重优化和融合，生成特征图。

42、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

43、本发明提供的田间小麦病虫害识别方法具有以下有益效果：

44、(1)本发明采用mask-rcnn实例分割模型的思想，具备掩膜生成分支，生成的病害掩膜可以更精确的确定图像中的病害位置。

45、(2)该方法使用密集连接的神经网络densenet-169提取更丰富的小麦病虫害特征；借助特征金字塔融合优化由densenet各组卷积输出的病害特征信息；加入卷积注意力模块对多个卷积层的输出特征进行优化以抑制复杂背景特征对田间小麦病虫害识别性能的影响；采用sobel滤波算法边缘协议头检测病斑区域的边缘特征，借助此边缘特征引导模型预测掩膜生成方向从而提高本发明的识别速度。本发明设计的densenet-fpn-cbam结构特征提取能力更强，参数量更少，且通过特征提取过程中的特征融合和特征抑制对小麦病虫害特征进行了多重特征优化，抑制了由复杂背景引入的无用特征，突出了小麦病虫害目标的有效特征，从而提高了病虫害的识别精度。