一种果树病虫害图像识别方法

1.本发明涉及农业种植技术领域，更具体地说，它涉及一种果树病虫害图像 识别方法。


背景技术：

2.柑橘的病虫害可分为侵染性和非侵染性病害，以及虫害三种类型，尤以黄 龙病、潜叶蛾、线虫病等对柑橘种植的影响最为巨大，严重时，其可导致整个 柑橘片区的绝收。因此，对柑橘病虫害的快速、准确的识别诊断，为后期的治 疗提供依据，成为了当前柑橘种植产业需要迫切解决的课题。目前，柑橘病虫 害的识别诊断方法主要有目测诊断法和病理特性检测法两种。目测诊断法依靠 种植户或者农业技术人员的现场目测并做出诊断，这极大地依赖于他们的专业 技术水平与经验，主观的差异性，导致了柑橘病虫害目测诊断的准确率波动较 大，稳定性不高。病理特性检测法是植物病虫害定量分析的一种方法，它通过 使用生物、物理、化学等检测手段对病虫害样本的进行检测分析，并以此给出 结论。此类方法对柑橘病虫害识别的准确率较高，但由于检测需要相关的检测 设备和专业技术人员才能完成，因此检测时间长，难以大范围推广。


技术实现要素：

3.本发明要解决的技术问题是针对现有技术的上述不足，本发明的目的是提 供一种可以提高准确率、缩短检测时间的果树病虫害图像识别方法。
4.本发明的技术方案是：一种果树病虫害图像识别方法，包括：
5.获取病虫害图像样本，并做好标记；
6.使用图像增强方法对所述病虫害图像样本进行增强处理得到增强数据集；
7.使用imagenet数据集对vgg19模型预训练得到预训练权重参数；
8.通过保留vgg19模型的前4个卷积层和池化层，并使用1个的批标准化卷 积层和2个inception模块替换vgg19的第5卷积层，使用1个全局池化层替 换vgg19模型的全连接层，最后使用一个1
×
4的softmax层构建得到vgg19-inc 模型；
9.使用所述增强数据集训练所述vgg19-inc模型；
10.将训练好的vgg19-inc模型应用于未知病虫害图像的分类预测，最终得到 病虫害图像识别的结果。
11.作为进一步地改进，所述病虫害图像样本包括病虫害样本以及健康样本； 在进行增强处理之前，通过滤波方法或均衡化方法对所述病虫害图像样本进行 预处理。
12.进一步地，增强处理包括水平翻转、垂直翻转、随机水平平移、随机垂直 平移中的任意一种；各所述病虫害图像样本进行增强处理后得到的数量不少于 1000。
13.进一步地，所述vgg19-inc模型包括：
14.预训练模块，用于根据vgg19的预训练权重参数提取图像的轮廓特征、纹 理特征；
15.高维特征提取模块，用于通过inception模块的多特征融合特性，实现对 病虫害
的高维特征融合；
16.特征矩阵降维和分类模块，用于实现减少计算参数和分类的作用。
17.进一步地，所述vgg19-inc模型在所述vgg19的骨干网络和inception模 块之间加入所述批标准化卷积层，并在所述批标准化卷积层中使用swish激活 函数代替relu激活函数。
18.进一步地，在所述vgg19-inc模型中，图像高维特征的提取由inception 模块实现，inception模块采用了1
×
1、3
×
3两种不同的卷积核进行堆叠，通 过并行执行多个卷积运算，最后将各个卷积运算输出结果连接为一个高维的特 征图。
19.进一步地，所述vgg19-inc模型使用全局池化层替换vgg19模型的全连接 层，对整张特征图的所有值求平均，将卷积层的每个特征图的所有值融合为一 个特征值，并使特征值的维度和最后分类数相同，形成与分类数相同数量的列 向量，实现了对特征矩阵的降维。
20.进一步地，设特征图大小为m
×
n，第k张特征图的值用表示，经过 全局平均池化操作后，该特征图对应的输出特征值为y
(k)
：
[0021][0022]
进一步地，对所述vgg19-inc模型进行不少于100轮次的训练，在训练过 程中，使用随机梯度下降优化算法，随机梯度下降优化算法中的动量因子设置 为0.8，学习率为0.0001，学习速率的衰减系数为1e-6，batch size设置为24。
[0023]
进一步地，所述vgg19-inc模型使用准确率accuracy、精确率prencision、 召回率recall、f1得分f1 score来评价模型指标，如公式(2)、(3)、(4)、(5) 所示：
[0024]
accuracy＝(tp+tn)/(tp+tn+fp+fn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0025]
prencision＝tp/(tp+fp)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0026]
recall＝tp/(tp+fn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0027]
f1＝2*precision*recall/(precision+recall)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0028]
式中，tp：真实值为正且预测也为正的样本数量；fp：真实值为负但预测 为正的样本数量；fn：真实值为正但预测为负的样本数量；tn：真实值为负且 预测也为负的样本数量。
[0029]
有益效果
[0030]
本发明与现有技术相比，具有的优点为：
[0031]
本发明的vgg19-inc模型以vgg19网络模型为骨干网络并利用迁移学习实 现预训练权重参数的共享；模型结构使用1个的批标准化卷积层和2个 inception模块替换vgg19的第5卷积层；使用1个全局池化层替换vgg19模型 的全连接层，最后使用一个1
×
4的softmax层作为分类输出层。所提模型，不 仅保留了vgg19对图像特征的有效提取，还利用inception模块增加了网络的 深度与宽度，使模型获得了不同大小的感受野，实现了多尺度特征的融合；此 外，全局池化层对全连接层的替换，使得参数减少率达到了70.56％，有效地提 高了模型的训练速度与平均测试速度，降低参数负载。本方法能根据靠近神经 网络顶层的专业化特征调整卷积模块，更具有灵活性，和针对性，分类效果更 好，使得新模型
具有较高的识别精度，具备较强的泛化能力。
附图说明
[0032]
图1为本发明的流程图；
[0033]
图2为vgg19模型测试分类混淆矩阵；
[0034]
图3为resnet50模型测试分类混淆矩阵；
[0035]
图4为inceptionv3模型测试分类混淆矩阵；
[0036]
图5为densenet201模型测试分类混淆矩阵；
[0037]
图6为vgg19-inc模型测试分类混淆矩阵。
具体实施方式
[0038]
下面结合附图中的具体实施例对本发明做进一步的说明。
[0039]
vgg19是由牛津大学和谷歌公司的研究人员开发的一种经典卷积神经网络。 它采用级联网络结构，由16个卷积层和3全连接层组成；每个卷积层使用3
×
3 卷积核，在卷积层之间有共5个最大池化层；网络的最后一层是softmax分类 器。由于vgg19模型使用固定的3
×
3卷积核，使得其感受野固定，容易忽略某 些细微特征，继而造成对细粒度特征提取的不足。因此，在利用该模型对相似 度较高的柑橘黄龙病早期、线虫病害图像、健康叶片进行识别分类时，识别率 较低。此外，vgg19模型使用了3个全连接层，参数量达到了143mb，使得其对 计算资源的需求较大，模型训练慢，不利于部署在移动端。
[0040]
参阅图1-6，一种果树病虫害图像识别方法，其特征在于，包括：
[0041]
获取病虫害图像样本，并做好标记；
[0042]
使用图像增强方法对病虫害图像样本进行增强处理得到增强数据集；
[0043]
使用imagenet数据集对vgg19模型预训练得到预训练权重参数；
[0044]
通过保留vgg19模型的前4个卷积层和池化层，并使用1个的批标准化卷 积层和2个inception模块替换vgg19的第5卷积层，使用1个全局池化层替 换vgg19模型的全连接层，最后使用一个1
×
4的softmax层构建得到vgg19-inc 模型，vgg19-inc模型为泛化能力更强和识别精度高的病虫害图像识别模型；
[0045]
使用增强数据集训练vgg19-inc模型；
[0046]
将训练好的vgg19-inc模型应用于未知病虫害图像的分类预测，最终得到 病虫害图像识别的结果。
[0047]
在本实施例中，病虫害图像样本包括病虫害样本以及健康样本，如桃子斑 点病、柑橘黄龙病、番茄黄曲叶病、南瓜白粉病、苹果健康叶片图像；在进行 增强处理之前，通过滤波方法或均衡化方法对病虫害图像样本进行预处理。
[0048]
增强处理包括水平翻转、垂直翻转、随机水平平移、随机垂直平移中的任 意一种；各病虫害图像样本进行增强处理后得到的数量不少于1000。
[0049]
vgg19-inc模型包括：
[0050]
预训练模块，用于根据vgg19的预训练权重参数提取图像的轮廓特征、纹 理特征；
[0051]
高维特征提取模块，用于通过inception模块的多特征融合特性，实现对 病虫害的高维特征融合；
[0052]
特征矩阵降维和分类模块，用于实现减少计算参数和分类的作用。
[0053]
vgg19-inc模型在vgg19的骨干网络和inception模块之间加入批标准化卷 积层，并在批标准化卷积层中使用swish激活函数代替relu激活函数，可以加 快模型的收敛速度，提高模型识别精度，减小过拟合。
[0054]
在vgg19-inc模型中，图像高维特征的提取由inception模块实现， inception模块采用了1
×
1、3
×
3两种不同的卷积核进行堆叠，通过并行执行 多个卷积运算，最后将各个卷积运算输出结果连接为一个高维的特征图。可以 获得更好的图像表征，与vgg19采用的3
×
3相卷积层比，inception模块增加 了网络的深度与宽度，提高了网络对尺度的适应性，因此获得了不同大小的感 受野。
[0055]
vgg19-inc模型使用全局池化层替换vgg19模型的全连接层，对整张特征图 的所有值求平均，将卷积层的每个特征图(大小为m
×
n)的所有值融合为一个特 征值，并使特征值的维度和最后分类数相同，形成与分类数相同数量的列向量， 如本次分类数为4，则形成4个列向量，实现了对特征矩阵的降维，在保证分类 效果的同时，减少了计算参数量。
[0056]
设特征图大小为m
×
n，第k张特征图的值用表示，经过全局平均 池化操作后，该特征图对应的输出特征值为y
(k)
：
[0057][0058]
对vgg19-inc模型进行不少于100轮次的训练，在训练过程中，增强数据 集按8:2的比例划分训练集和测试集，使用随机梯度下降优化算法，随机梯度 下降优化算法中的动量因子设置为0.8，学习率为0.0001，学习速率的衰减系 数为1e-6，batch size设置为24。
[0059]
vgg19-inc模型使用准确率accuracy、精确率prencision、召回率recall、 f1得分f1 score来评价模型指标，如公式(2)、(3)、(4)、(5)所示：
[0060]
accuracy＝(tp+tn)/(tp+tn+fp+fn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0061]
prencision＝tp/(tp+fp)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0062]
recall＝tp/(tp+fn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0063]
f1＝2*precision*recall/(precision+recall)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0064]
式中，tp：真实值为正且预测也为正的样本数量；fp：真实值为负但预测 为正的样本数量；fn：真实值为正但预测为负的样本数量；tn：真实值为负且 预测也为负的样本数量。
[0065]
在本实施例中，在plantvillage公共数据集提供了16种类植物共27类病 害叶片和11类健康叶片的图像。由于该数据集分布不平衡，本研究通过使用数 据增强的方法，使得每种类型图片数量均为1000张，总共34200张图片，并按 8:2的比例划分训练集和测试集。实验验证时，选取其中的桃子斑点病、柑橘黄 龙病、番茄黄曲叶病、南瓜白粉病、苹果健康叶片图像等5种类型各1000张的 图像作为训练与测试数据。
[0066]
在plantvillage数据集数据充足条件下，经过70轮次训练后，各模型的 训练和验证准确率曲线震荡变小并趋于平缓，说明迁移学习的方法可加速各模 型训练的过程。在经过100轮次的训练后，vgg19-inc模型的在训练集和验证集 上，准确率分别为97.97％和94.03％，损失值分别为0.0179和0.188。
[0067]
使用vgg19-inc模型对桃子斑点病、柑橘黄龙病、番茄黄曲叶病、南 瓜白粉病、苹果健康叶片图像5种类型图片各100张测试的评价结果如表 1所示。
[0068]
表1 vgg19-inc模型检测结果评价指标
[0069][0070]
由表1可知vgg19-inc模型对5种类型植物病虫害的图像识别的准确 率的平均值为98.00％、精确率的平均值95.10％、召回率的平均值为 95.00％、f1得分平均值为95.00％。5种类型图像的评价指标都比较均匀， 模型表现良好。
[0071]
本实施例中的柑橘(沙田柚)病虫害数据集来源于广西壮族自治区 玉林市农业科学研究所，病虫害图像采集自广西玉林市容县千秋村沙田 柚种植基地，包含了黄龙病、潜叶蛾、线虫、健康等3种柑橘常见病虫 害和健康叶片样本。在光线充足条件下，使用尼康3100数码相机拍摄， 像素大小为2992
×
2000。随机选取其中的500张作为实验数据集；按8:2 的比例划分为训练集与测试集，然后分别用1、2、3、4对应健康、黄龙 病、潜叶蛾、线虫4种类别进行了标注。
[0072]
在柑橘病虫害数据集规模较小、病害图像较为相似的条件下，经过 100轮次训练，vgg19-inc模型取得较高的准确率和较低的损失值；在训 练集和验证集上，准确率分别为99.05％和98.47％。在训练集上比vgg19、resnet50、inceptionv3、densenet201模型分别高22.26％、14.47％、5.18％ 和0.24％。在验集上分别高22.36％、7.92％、10.84％、0.55％。，同时 vgg19-inc模型损失函数值为0.0415，比其他模型分别低1.1085、0.2172、 0.3987、0.0654。
[0073]
表2 100轮次后各个模型性能及检测结果
[0074][0075]
此外，通过表2可以看出，在这5种模型中，vgg19模型的参数数量和权重 占用空间最大，平均测试时间最长，平均准确率为77.91％。densenet201模型 参数和权重占用空间最小，平均准确率为81.38％，平均测试时间为0.32/s，可 以取得空间和平均准确率的平衡。vgg19-inc模型平均准确率最高，为95.25％， 分类性能最好。这是由于vgg19-inc使用全局平均池化层代替了vgg19的全连 接层，比vgg19模型中的1.42
×
108个权重参数减少到了4.18
×
107个，参数减 少率达到了70.56％，有效地提高了模型的训练速度与平均测试速度，同时把模 型的权重减小为163mb，有利于模型在移动端的部署。
[0076]
图2-图6为各模型的分类试验的混洗矩阵，为了测试模型的泛化能力，本 研究把vgg19-inc模型与在训练集和验证集表现较好的densenet201模型作了 对比，这两种模型的准确率、精确率、召回率、f1得分如表3所示。
[0077]
表3 vgg19-inc、densenet201模型检测结果评价指标
[0078][0079]
由图2-图6和表3可以看出densenet201模型精确率在45.10％～100％之间， 平均值为75.18％；f1得分在56.64％～67.54％之间，平均值为63.21％；准确率 在69.75～86.75％之间，平均值为81.38％；召回率在49.00％～97.00％之间，平 均值为62.75％。各项评价指标分布不均匀，差值较大，平均值偏低。
[0080]
vgg19-inc模型的精确率在83.62％～95.34％之间，平均值为90.98％；f1得 分在88.17％～93.65％之间，平均值为90.45％；准确率在94.50％～96.75％之间， 平均值为95.25％；召回率在82.00％～97.00％之间，平均值为90.5％。各项评价 指标分布均匀，平
均值均在90％以上，说明经过结构改进的模型优于densenet201 模型，并具备良好的分类性能。
[0081]
本文使用带有swish激活函数的bn层来提高模型的训练精度，经过100轮 训练后使用swish激活函数的模型比使用relu激活函数的训练精度提高0.85％， 验证精度提高0.55％，训练损失降低0.0196，如表4所示。
[0082]
表4以swish和relu为激活函数的模型精度和损失率
[0083][0084]
本发明利用改进型的vgg19-inc模型和多种深度卷积神经网络模型 对柑橘病虫害图像进行分类识别试验，通过对比分析，得到如下结论：
[0085]
(1)深度卷积神经网络可以较好的自动提取柑橘病虫害特征，无需 人工对柑橘病虫害图像特征进行分割，分类性能总体上良好。
[0086]
(2)迁移学习可以充分利用在大型数据集上学习的知识，加快模型 的训练速度，节省训练时间，提高训练精度，解决由于数据集规模过小 导致模型分类效果差的问题。
[0087]
(3)对于柑橘病害图像细粒度分类任务，通过对传统模型的调整和 组合，设计的vgg19-inc模型平均准确率达95.25％，优于incept ion v3、 vgg19、resnet50、densenet201等模型。同时新模型减少了权重参数数 量，使的权重空间占用变小，提高模型训练速度和减少了单幅图像平均 检测时间，说明通过组合不同卷积神经网络模型可以进一步优化特征提 取方法，提高特征提取能力和模型泛化能力，以应对不同场景的图像识 别要求。
[0088]
以上仅是本发明的优选实施方式，应当指出对于本领域的技术人员来说， 在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些都不会影响 本发明实施的效果和专利的实用性。