一种柑橘斑点状病虫害细粒度图像识别方法

1.本发明涉及病虫害图像识别技术领域，具体为一种柑橘斑点状病虫害细粒度图像识别方法。


背景技术：

2.柑橘病虫害防治是柑橘种植中的一个非常重要的环节，病虫害发病初期尤为关键，若发现不及时，可能会对果树长势、果实质量等造成重大影响。很多病虫害在发病初期表现出的症状不明显，容易造成误判，如一些斑点状病虫害：溃疡病、脂点黄斑病、黑斑病、芽枝霉斑病、棒孢霉褐斑病、树脂病等，特征分散，症状相近，均呈斑点状随机分布在叶片或果实上，这些相似病害通常只在斑点边缘处有细微差异。
3.传统的柑橘斑点状病虫害识别大多采取人工的方式，主要由农民自己在田间对农作物病害进行诊断、识别，这很依赖于农民自身对农作物病害的经验，而且还存在个人主观因素强、识别效率低、识别错误率高等问题。近几年，机器学习和深度学习逐步应用在了农作物病害识别中，并且取得了不错的效果。机器学习方法中，数据的特征需要由相关领域专家识别并处理之后，再送入到模型中去学习；而深度学习模型会自己从数据集中提取分类所需的特征信息。传统的机器学习提取到的特征信息相比于深度学习非常有限，所以采用深度学习技术对农作物病害进行识别已经成为当下研究的热点问题之一。
4.但是，通过对现有的农作物病害识别方法的分析，发现现有的方法在农作物种类和神经网络上还存在一定的局限性，难以在实际的农业生产生活中起到指导作用，其具体表现为：1.传统的人工识别方式过于依赖人对农作物病害的经验，且极易受到个人主观因素的影响，存在识别效率低、识别错误率高等一系列问题。2.在机器学习上，数据中的特征需要由相关领域专家识别并处理之后，再送入到模型中去学习；而深度学习模型会自己从数据集中提取分类所需的特征信息。所以传统的机器学习提取到的特征信息相比于深度学习非常有限。


技术实现要素：

5.本发明的目的在于提供一种柑橘斑点状病虫害细粒度图像识别方法，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：一种柑橘斑点状病虫害细粒度图像识别方法，包括以下步骤：
7.步骤一：收集柑橘斑点状病虫害图片并进行预处理，以适于模型训练，将通过进行预处理柑橘斑点状病虫害图片按照一定比例划分为训练集、验证集和测试集；
8.步骤二：将训练集通过定位－识别的方法将细粒度图像识别为两个部分：区别性区域定位和区域中的细粒度特征，细粒度特征通过端到端的细粒度识别；
9.步骤三：以数据预处理后获得的数据集中的训练集作为模型的输入、数据集中柑橘斑点状病虫害图片对应的病害识别结果作为输出作为模型的输出对ra-cnn神经网络进
行训练，从而得到最终训练好的ra-cnn神经网络，即获得用于多种柑橘斑点状病虫害进行细粒度识别的模型；
10.步骤四：将步骤一中的验证集输入到步骤三训练得到的细粒度识别的模型进行模型验证，当验证集的均方差损失函数不再下降时将该中间图像分类模型作为最佳的图像分类模型，得到图像分类模型的编码器及嵌入层参数；
11.步骤五：将步骤一中的测试集输入至图像分类模型进行推理，得到病虫害分类结果。
12.更进一步的，所述步骤一中，训练集、验证集和测试集的比例8:1:1。
13.更进一步的，步骤二中所述区别性区域定位，以弱监督的方式利用深度神经网络的卷积特征响应，弱监督通过fcn注意力模型进行目标定位。
14.更进一步的，步骤二中所述区域中的细粒度特征，从定位到的各个区域中分别抽取特征，并将各特征组合到一起最后进行分类。
15.更进一步的，步骤三中，所述ra-cnn神经网络是用互相强化的方式对判别区域注意力和基于区域的特征表征进行递归学习，网络结构设计上主要包括：三个scale子网络、分类网络和apn网络。
16.更进一步的，所述网络结构设计的数据流程为：输入图像通过分类网络提取特征并进行分类，然后apn网络基于提取到的特征进行训练得到注意区域信息，再将注意区域标注出来并放大，再作为第二个scale网络的输入，这样重复进行3次就能得到3个scale网络的输出结果。
17.更进一步的，所述步骤二中，端到端的细粒度识别包括定位－分类子网络和端到端特征编码。
18.与现有技术相比，本发明的有益效果是：
19.柑橘斑点状病虫害细粒度图像识别方法，针对斑点状病虫害特征过于分散的特点，利用ra-cnn神经网络对细粒度识别的模型进行模型验证，得到图像分类模型，然后对图像进行识别，该种方法避免了因受个人主观因素的影响而存在识别效率低、识别错误率高等一系列问题，提升不同斑点状病虫害类别特征之间的可区分性，相对于传统的机器学习提高了自身的深度学习能力。
附图说明
20.图1为本发明柑橘斑点状病虫害细粒度图像识别流程图。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.需要说明的是，在本发明的描述中，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件所必
须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
23.此外，应当理解，为了便于描述，附图中所示出的各个部件的尺寸并不按照实际的比例关系绘制，例如某些层的厚度或宽度可以相对于其他层有所夸大。
24.应注意的是，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义或说明，则在随后的附图的说明中将不需要再对其进行进一步的具体讨论和描述。
25.传统的柑橘斑点状病虫害识别大多采取人工的方式，主要由农民自己在田间对农作物病害进行诊断、识别，这很依赖于农民自身对农作物病害的经验，而且还存在个人主观因素强、识别效率低、识别错误率高等问题。近几年，机器学习和深度学习逐步应用在了农作物病害识别中，并且取得了不错的效果。机器学习方法中，数据的特征需要由相关领域专家识别并处理之后，再送入到模型中去学习；而深度学习模型会自己从数据集中提取分类所需的特征信息。传统的机器学习提取到的特征信息相比于深度学习非常有限。
26.如图1所示，本发明提供一种技术方案：一种柑橘斑点状病虫害细粒度图像识别方法，包括以下步骤：
27.步骤一：收集柑橘斑点状病虫害图片并进行预处理，以适于模型训练，将通过进行预处理柑橘斑点状病虫害图片按照一定比例划分为训练集、验证集和测试集，训练集、验证集和测试集的比例8:1:1，训练集、验证集和测试集三者独立存在，互相之间没有交集；
28.步骤二：将训练集通过定位－识别的方法将细粒度图像识别为两个部分：区别性区域定位和区域中的细粒度特征，细粒度特征通过端到端的细粒度识别，端到端的细粒度识别包括定位－分类子网络方法和端到端特征编码方法，定位－分类子网络方法，包含了由定位网络辅助的分类网络，分类网络的中级学习是由定位网络中定位信息(部位定位和分割掩码)加强的，早期工作是依赖于数据集的额外部位标注信息，最近的只需要分类标签，不管标注信息，这些方法的共同点就是先寻找到匹配的部位在比较它们的外观，第一步要求对象类间的语义部分可以共享，鼓励不同部位之间的表示相似，端到端的特征编码方法，利用了卷积特征的高阶统计编码增强了cnn中层学习能力。
29.区别性区域定位，由于强监督的方法不仅需要类别标签，而且需要部件标注和关键部位框，该种方法取得了不错的效果，但缺点在于需要昂贵的人工标注，而且人工标注的位置不一定是最佳的区别性区域，这完全依赖于标注者的认知水平，故本实施例中是以弱监督的方式利用深度神经网络的卷积特征响应，弱监督通过fcn注意力模型进行目标定位，从定位到的各个区域中分别抽取特征，并将各特征组合到一起最后进行分类。
30.fcn注意力模型是基于强化学习的全卷积注意力定位网络，其能够自适应地选择多任务驱动的注意力区域。由于其基于fcn架构，因而更加高效，并且能够对多个物体部件进行定位，同时提取多个注意力区域的特征，其中，不同部件可以有不同的预定义大小，网络共包括局部定位模块和分类模块，其中，局部定位模块使用全卷积网络进行部件定位，其基于vgg16模型，输出单通道的自信度映射图。置信度最高的区域被选择作为部件位置，每个时间步都生成一个特定的部件位置，分类模块对所有部件及整张图像进行分类，对局部图像裁剪到模型输入大小，最后取所有部件及全局预测的均值。
31.步骤三：以数据预处理后获得的数据集中的训练集作为模型的输入、数据集中柑橘斑点状病虫害图片对应的病害识别结果作为输出作为模型的输出对ra-cnn(多层网络)
神经网络进行训练，从而得到最终训练好的ra-cnn(多层网络)神经网络，即获得用于多种柑橘斑点状病虫害进行细粒度识别的模型；
32.ra-cnn(多层网络)神经网络的具体细粒度识别过程为，在第一维度即物种识别维度中，对农作物叶片进行物种识别，得出其物种维度识别的矩阵分布结果，在第二维度即粗粒度病害识别维度中，对农作物叶片进行粗粒度病害识别，得出其粗粒度病害识别的矩阵分布结果，在第三维度即细粒度病害识别维度，对农作物叶片进行细粒度病害识别，得出其细粒度病害识别的矩阵分布结果，在三个维度之后，设立补偿层，补偿层接收来自三个维度的识别概率分布矩阵，将所属物种的概率分布矩阵、所得粗粒度病害的概率分布矩阵作为反馈数据补偿进所得细粒度病害的概率分布矩阵，从而提高细粒度病害的识别结果。
33.三个维度与补偿层之间关系具体为：
34.三个维度与补偿层之间关系具体为在第一维度(物种识别维度)，对农作物叶片进行物种识别，得出其物种维度识别的矩阵分布结果；在第二维度(粗粒度病害识别维度)，对农作物叶片进行粗粒度病害识别，得出其粗粒度病害识别的矩阵分布结果；在第三维度(细粒度病害识别维度)，对农作物叶片进行细粒度病害识别，得出其细粒度病害识别的矩阵分布结果。在三个维度之后，设立了补偿层，补偿层接收来自三个维度的识别概率分布矩阵，将所属物种的概率分布矩阵、所得粗粒度病害的概率分布矩阵作为反馈数据补偿进所得细粒度病害的概率分布矩阵，从而提高细粒度病害的识别结果。
35.步骤四：将步骤一中的验证集输入到步骤三训练得到的细粒度识别的模型进行模型验证，当验证集的均方差损失函数不再下降时将该中间图像分类模型作为最佳的图像分类模型，得到图像分类模型的编码器及嵌入层参数；
36.步骤五：将步骤一中的测试集输入至图像分类模型进行推理，得到病虫害分类结果。
37.步骤三中，ra-cnn(多层网络)神经网络是用互相强化的方式对判别区域注意力和基于区域的特征表征进行递归学习，网络结构设计上主要包括：三个scale子网络、分类网络和apn网络，网络结构设计的数据流程为：输入图像通过分类网络提取特征并进行分类，然后apn网络基于提取到的特征进行训练得到注意区域信息，再将注意区域标注出来并放大，再作为第二个scale网络的输入，这样重复进行3次就能得到3个scale网络的输出结果，其中，ra-cnn(多层网络)神经网络通过尺度内分类损失和尺度间排序损失进行优化，以相互学习精准的区域注意力和细粒度表征，ra-cnn(多层网络)神经网络并不需要边界框或边界部分的标注，而且可以进行端到端的训练。
38.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。