基于改进DenseNet模型的番茄叶片病害识别方法

本发明涉及番茄叶片病害识别方法，尤其是涉及一种基于改进densenet模型的番茄叶片病害识别方法。

背景技术：

1、番茄含有丰富的营养物质，在世界各地广泛种植。然而，番茄在生长发育过程中容易受到在生长和发育过程中容易受到各种疾病的影响，这些疾病会降低其质量以及产量，影响食用口感，甚至导致绝收，造成严重的经济损失，且这些疾病大都会体现在番茄叶片上。因此，快速、准确地检测番茄叶片病害有助于农业的可持续发展，防止不必要的财政和其他资源的浪费。

2、传统的番茄叶片病害鉴定方法需要对病害区进行人工检查或化学分析，通常需要经过培训的专家来鉴定和诊断。然而，专家在诊断过程中容易受到疲劳和情绪变化等个人因素的影响，会造成对疾病的误判或诊断不及时，给农民带来巨大的经济损失。随着机器学习以及深度学习在近几年快速发展使得番茄叶片病害识别取得了一定的突破性进展。基于机器学习的番茄叶片病害识别方法通过手工提取病害图像的纹理和形状等特征，然后输入基于机器学习的分类器进行识别，准确性较低且需要人工标注番茄病害特征，而这些特征因病害而异，从而导致其费时费力。此外，即使是同一种疾病，在不同的发病阶段表现出来的症状也有很大的不同，而且容易受到光照和复杂背景等噪声的干扰，这使得疾病症状特征的提取非常困难。卷积神经网络凭借其能够自动提取病叶特征进行识别，在作物病害识别方面取得了显著的发展，但是传统的卷积神经网络尽管会使用具有不同感受野的多个列或来自网络不同阶段的多个分支来捕捉番茄叶片病害类内和类间多尺度的变化，但是它们捕获的尺度多样性会受到列或分支数量的限制，因此当尺度变化过于剧烈时就会导致网络的识别精度低。并且传统卷积神经网络的特征提取不够全面，没有重点学习图像中的重要特征，因此在复杂背景下，网络模型会学到更多的背景特征信息，从而导致识别精度低。此外，此类方法模型结构复杂，导致模型的参数量以及计算量大，难以在实际生活中推广使用。

技术实现思路

1、本发明所要解决的技术问题是提供一种识别精度高，且模型结构简单，模型的参数量以及计算量较小，能够在实际生活中推广使用的基于改进densenet模型的番茄叶片病害识别方法。

2、本发明解决上述技术问题所采用的技术方案为：一种基于改进的densenet模型的番茄叶片病害识别方法，包括以下步骤：

3、s1、对densenet模型进行如下四点改进，得到lgdnet(lightweight ghost densenetwork)模型：

4、一、先将densennet模型的每个dense block中的多个依次连接的bottlenecklayer均采用三个依次连接的ghost bottleneck模块进行替换，将这三个依次连接的ghostbottleneck按照先后顺序分别命名为第一ghost bottleneck，第二ghost bottleneck和第三ghost bottleneck，此时，densennet模型中除最后一个dense block的第三ghostbottleneck与其全局平均池化层连接，其中每个dense block中的第三ghost bottleneck均与一个transition layer连接；

5、二、每三个依次连接的ghost bottleneck模块中，将第二ghost bottleneck中的第二个ghost模块中的卷积核大小为3×3的普通卷积替换成卷积核大小为3、填充为2、步长为1、膨胀率为1的空洞卷积，以及第三ghost bottleneck中的第二个ghost模块中的卷积核大小为3×3的普通卷积替换成卷积核大小为3、填充为3、步长为1、膨胀率为2的空洞卷积，进一步扩大模型的感受野；

6、三、每三个依次连接的ghost bottleneck模块中，在所述的第一ghostbottleneck和所述的第二ghost bottleneck之间、所述的第二ghost bottleneck和所述的第三ghost bottleneck之间以及所述的第三ghost bottleneck和transition layer或全局平均池化层之间均增加一个cmifa注意力机制模块，此时所述的第一ghost bottleneck和所述的第二ghost bottleneck不再直接连接，而是通过一个cmifa注意力机制模块连接，所述的第二ghost bottleneck和所述的第三ghost bottleneck不再直接连接，而是通过一个cmifa注意力机制模块连接，所述的第三ghost bottleneck和transition layer或全局平均池化层不再直接连接，而是通过一个cmifa注意力机制模块连接；

7、四、用最大池化层替换了dense block中的每个transition layer的平均池化层；

8、对所述的densenet模型进行以上四点改进后得到的lgdnet模型包括1个featureblock、4个dense block、3个transition layer、1个全局平均池化层和1个全连接层；4个dense block按照先后顺序，feature block位于第一个dense block之前，第一个denseblock和第二个dense block之间存在一个所述的transition layer，第二个dense block和第三个dense block之间存在一个所述的transition layer，第三个dense block和第四个dense block之间存在一个所述的transition layer，全局平均池化层位于第四个denseblock之后，全连接层位于全局平均池化层之后；所述的feature block由一个卷积核大小为7×7，填充为3，步长为2的卷积层和一个卷积核大小为3×3，步长为2的最大池化层组成，所述的feature block用于对输入其内的特征图进行降采样；每个所述的transitionlayer均由一个卷积核大小为1×1，填充为0，步长为1的卷积层和一个卷积核大小为3×3，填充为1，步长为2的最大池化层组成，将与其连接的dense block输出的特征图的尺寸缩小1/2后进行输出，提高计算效率；所述的全局平均池化层用于将与其连接的dense block输出的特征图进行降维后得到降维特征图输出，极大地减少了lgdnet模型的参数，并对lgdnet模型在结构上做正则化防止过拟合；所述的全连接层用于将所述的全局平均池化层输出的降维特征图非线性地映射成包含所有特征信息的一维特征向量，进而通过softmax函数将其转化为分类成各个类别的概率，用以获得最终的类别输出。

9、s2、准备数据集，具体过程为：

10、s2.1、在番茄种植农场拍摄患有病害的n张番茄叶片图像，其中，n为大于2000的整数，然后通过番茄叶片病害专家人工对n张番茄叶片图像对应的病害类型进行确定，得到每张番茄叶片图像的病害类型，即每张番茄叶片图像的标签；将每张番茄叶片图像按照其病害类型进行贴标签，采用此时得到n张具有标签的番茄叶片病害图像构成番茄叶片病害原始图像数据集；

11、s2.2、对番茄叶片病害原始图像数据集进行预处理，具体处理过程如下：

12、s2.2.1、采用翻转、随机旋转、亮度变换、高斯模糊、添加搅动、随机裁剪和随机平移这几种方法对番茄叶片病害原始图像数据集中的每张方法番茄叶片图像进行处理，得到番茄叶片病害扩充图像数据集；

13、s2.2.2、将番茄叶片病害扩充图像数据集中每张番茄叶片图像的图像分辨率均先缩放为224×224，再进行归一化处理，得到番茄叶片病害归一化图像数据集；

14、s2.2.3、先将番茄叶片病害归一化图像数据集中每个病害类型的番茄叶片图像按照6:2:2的比例划分为训练集、测试集和验证集，如果某个病害类型的番茄叶片图像的总数量不能被10整除，则将多余的番茄叶片图像放到该病害类型的训练集中；然后将所有病害类型的训练集组合在一起得到整体训练集，将所有病害类型的测试集组合在一起得到整体测试集，将所有病害类型的验证集组合在一起得到整体验证集；

15、s3、利用步骤s2得到的整体训练集输入到所述的lgdnet模型，对所述的lgdnet模型进行训练，其中所述的lgdnet模型的初始学习率设置为0.1，优化器动量设置为0.9，权重衰减设置为0.0001，batch_size设置为16，在训练过程中，使用sgdm优化算法优化所述的lgdnet模型的网络权重，使用余弦退火法将学习率动态调整为0.00001，当训练完60个epoch后就结束训练，每个epoch训练完成后就得到一个训练后的lgdnet模型，此时得到60个训练后的lgdnet模型；

16、s4、利用s3在每个epoch后训练所得到的lgdnet模型，对步骤s2得到的整体测试集中每个番茄叶片图像分别进行预测识别，并计算其识别准确率，按照识别准确率的大小，保存识别准确率最高的三个训练后的lgdnet模型，如果出现识别准确率最高的训练后的lgdnet模型数量超过三个的情况，则都保存；

17、s5、采用s4保存的所有lgdnet模型，对步骤s2得到的整体验证集中每个番茄叶片图像进行预测识别，并计算识别准确率，将其中识别准确率最高的一个的lgdnet模型作为最佳lgdnet模型，如果此时出现多个识别准确率最高的lgdnet模型，则选择在同epoch下整体测试集识别准确率最高的lgdnet模型作为最佳lgdnet模型，若此时存在多个在同epoch下整体测试集的识别准确率最高的lgdnet模型，则选择在同epoch下整体训练数据集识别准确率最高的lgdnet模型作为最佳lgdnet模型，若仍存在多个同epoch下整体训练数据集识别准确率最高的lgdnet模型，则随机选择一个lgdnet模型作为最佳lgdnet模型，保存最佳lgdnet模型的网络权重；

18、s6、拍摄待识别的番茄叶片病害图像，并将该番茄叶片病害图片按照步骤s2.2.2相同的方法进行处理后输入到最佳lgdnet模型进行病害识别，最佳lgdnet模型输出其识别结果以及准确度。

19、2.根据权利要求1所述的基于改进的densenet模型的番茄叶片病害识别方法，其特征在于所述的cmifa注意力机制模块包括第一平均池化层、第二平均池化层、第一最大池化层、第二最大池化层、第一特征融合层、第一卷积层、第二卷积层和第二特征融合层；所述的cmifa注意力机制模块分别通过所述的第一平均池化层、所述的第二平均池化层、所述的第一最大池化层、所述的第二最大池化层和所述的第二特征融合层连接位于其之前的ghost bottleneck模块；所述的第一平均池化层的卷积核大小为1×w，用于接入与其连接的ghost bottleneck模块输出的特征图，在宽度维度上进行平均池化的操作，得到通道为c，高为h，宽为1的特征图1输出到第一特征融合层；其中，w为与其连接的ghost bottleneck模块输出的特征图宽度，c为与其连接的ghost bottleneck模块输出的特征图的通道数，h为与其连接的ghost bottleneck模块输出的特征图的高度；所述的第二平均池化层的卷积核大小为h×1，用于接入与其连接的ghost bottleneck模块输出的特征图，在高度维度进行平均池化的操作，得到通道为c，高为1，宽为w的特征图2输出到第一特征融合层；所述的第一最大池化层的卷积核大小为1×w，用于接入与其连接的ghost bottleneck模块输出的特征图，在宽度维度进行最大池化的操作，得到通道为c，高为h，宽为1的特征图3输出到第一特征融合层；所述的第二最大池化层的卷积核大小为h×1，用于接入与其连接的ghostbottleneck模块输出的特征图，在高度维度进行平均池化的操作，得到通道为c，高为1，宽为w的特征图4输出到第一特征融合层；所述的第一特征融合层包含第一重塑单元和第一特征拼接单元；所述的第一重塑单元用于接入所述的第一平均池化层输出的特征图1、所述的第二平均池化层输出的特征图2、所述的第一最大池化层输出的特征图3和所述的第二最大池化层输出的特征图4，并对特征图1进行重塑操作，得到通道为1，高为c，宽为h的特征图5输出到第一特征拼接单元、对特征图2进行重塑操作，得到通道为1，高为c，宽为w的特征图6输出到第一特征拼接单元、对特征图3进行重塑操作，得到通道为1，高为c，宽为h的特征图7输出到第一特征拼接单元、对特征图4进行重塑操作，得到通道为1，高为c，宽为w的特征图8输出到第一特征拼接单元；所述的第一特征拼接单元用于接入特征图5、特征图6、特征图7和特征图8，并将特征图5、特征图6、特征图7和特征图8这4张特征图在宽度维度进行拼接得到通道为1，高为c，宽为2×h+2×w的拼接特征图9分别输出到第一卷积层和第二卷积层；所述的第一卷积层的卷积核大小为1×k1，填充为k1/2，步长为1，用于接入所述的第一特征融合层输出的特征图9，进行卷积处理得到通道为1，高为c，宽为2×h+2×w的特征图10输出到第二特征融合层，其中k1采用式(1)计算：

20、k1＝odd(︱log2h ︳ )                      (1)

21、式(1)中k1为第一卷积层的卷积核宽度大小，odd()为向下舍入到最接近的奇数操作，||为绝对值符号；

22、所述的第二卷积层的卷积核大小为k2×1，填充为k2/2，步长为1，用于接入所述的第一特征融合层输出的特征图9，进行卷积处理得到通道为1，高为c，宽为2×h+2×w的特征图11输出到第二特征融合层；其中k2采用式(2)计算：

23、k2＝odd(︱log2c ︳ )                       (2)

24、式(2)中k2为第二卷积层的卷积核高度大小；

25、所述的第二特征融合层包含第一逐元素相加函数、第一特征分离单元、第二重塑单元、第一hard-sigmoid激活函数、第二hard-sigmoid激活函数、第三hard-sigmoid激活函数、第四hard-sigmoid激活函数、第一逐元素相乘函数、第二逐元素相乘函数、注意力融合单元和第三逐元素相乘函数；所述的第二特征融合层通过其第三逐元素相乘函数连接相应的ghost bottleneck模块；所述的第一逐元素相加函数用于接入所述的第一卷积层输出的特征图10和所述的第二卷积层输出的特征图11，并对这两个特征图进行逐元素相加，得到通道为1，高为c，宽为2×h+2×w的特征图12输出到所述的第一特征分离单元；所述的第一特征分离单元用于接入所述的第一逐元素相加函数输出的特征图12，并先对特征图12在宽度维度上按照h,w,h,w的大小进行分割，得到通道为1，高为c，宽为h的特征图13、通道为1，高为c，宽为w的特征图14、通道为1，高为c，宽为h的特征图15以及通道为1，高为c，宽为w的特征图16，然后将特征图13、特征图14、特征图15和特征图16均输出到所述的第二重塑单元；所述的第二重塑单元用于接入特征图13、特征图14、特征图15和特征图16，并将特征图13进行重塑操作得到通道为c，高为h，宽为1的特征图17输出到所述的第一hard-sigmoid激活函数，将特征图14进行重塑操作得到通道为c，高为1，宽为w的特征图18输出到所述的第二hard-sigmoid激活函数，将特征图15进行重塑操作得到通道为c，高为h，宽为1的特征图19输出到所述的第三hard-sigmoid激活函数，将特征图16进行重塑操作得到通道为c，高为1，宽为w的特征图20输出到所述的第四hard-sigmoid激活函数；所述的第一hard-sigmoid激活函数用于接入所述的第二重塑单元输出的特征图17，并对其通过hard-sigmoid函数进行处理，得到通道为c，高为h，宽为1的特征图注意力1输出到所述的第一逐元素相乘函数；所述的第二hard-sigmoid激活函数用于接入所述的第二重塑单元输出的特征图18，并对其通过hard-sigmoid函数进行处理，得到通道为c，高为1，宽为w的特征图注意力2输出到所述的第一逐元素相乘函数；所述的第三hard-sigmoid激活函数用于接入所述的第二重塑单元输出的特征图19，并对其通过hard-sigmoid函数进行处理，得到通道为c，高为h，宽为1的特征图注意力3输出到所述的第二逐元素相乘函数；所述的第四hard-sigmoid激活函数用于接入所述的第二重塑单元输出的特征图20，并对其通过hard-sigmoid函数进行处理，得到通道为c，高为1，宽为w的特征图注意力4输出到所述的第二逐元素相乘函数；所述的第一逐元素相乘函数用于接入所述的第一hard-sigmoid激活函数输出的特征图注意力1与所述的第二hard-sigmoid激活函数输出的特征图注意力2，并对这两个特征图注意力进行逐元素相乘，得到通道为c，高为h，宽为w的特征图注意力5输出到所述的注意力融合单元；所述的第二逐元素相乘函数用于接入所述的第三hard-sigmoid激活函数输出的特征图注意力3与所述的第四hard-sigmoid激活函数输出的特征图注意力4，并对这两个特征图注意力进行逐元素相乘，得到通道为c，高为h，宽为w的特征图注意力6输出到所述的注意力融合单元；所述的注意力融合单元用于接入所述的第一逐元素相乘函数输出的特征图注意力5与所述的第二逐元素相乘函数输出的特征图注意力6，并将特征图注意力5逐元素与可适应性参数ɑ相乘得到第一个结果、以及将特征图注意力6逐元素与1-ɑ相乘得到第二个结果，然后将这两个结果逐元素相加得到通道为c，高为h，宽为w的特征图注意力7输出到所述的第三逐元素相乘函数；其中可适应性参数ɑ初始值设置为0.5，可适应性参数ɑ随着模型的不断训练会不断的进行更新，直到训练结束，每次计算时可适应性参数ɑ的取值为其当前最新值；所述的第三逐元素相乘函数用于接入特征图注意力7和与其连接的ghost bottleneck模块输出的特征图，并对特征图注意力7和ghost bottleneck模块输出的特征图进行逐元素相乘，得到通道为c，高为h，宽为w的特征图21输出，所述的第三逐元素相乘函数输出的特征图21即为所述的cmifa注意力机制模块的输出，特征图21输出至位于所述的cmifa注意力机制模块之后且与该cmifa注意力机制模块连接的ghost bottleneck模块、transition layer或全局平均池化层。

26、与现有技术相比，本发明的优点在于用ghost bottleneck模块替换了原densenet模型的bottleneck layer并减少了网络的层数，在保证识别性能的同时大大减少了模型的计算量以及参数量，简化了模型结构，加快了推理速度，并且本发明通过将三个依次连接的ghost bottleneck中的第二ghost bottleneck中的第二个ghost模块中的卷积核大小为3×3的普通卷积替换成卷积核大小为3、填充为2、步长为1、膨胀率为1的空洞卷积，以及第三ghost bottleneck中的第二个ghost模块中的卷积核大小为3×3的普通卷积替换成卷积核大小为3、填充为3、步长为1、膨胀率为2的空洞卷积，使得模型在扩大感受野的同时，也避免了因为膨胀系数的增加导致原始特征图的局部信息完全丢失的问题，提高了对于多尺度变化的番茄病害的识别精度，此外本发明引入了cmifa注意力机制模块，在仅增加少量参数以及计算量的同时，通过将特征图通道信息，空间信息以及双池化信息的融合提高了在复杂背景下的番茄病害的识别精度，由此本发明识别精度高，且模型结构简单，模型的参数量以及计算量较小，能够在实际生活中推广使用。