水稻害虫图像分类方法、装置、电子设备及存储介质

本申请涉及计算机，尤其涉及一种水稻害虫图像分类方法、装置、电子设备及存储介质。

背景技术：

1、水稻是我国最重要的粮食作物之一，水稻害虫是影响水稻生长和产量的主要因素之一。水稻害虫的种类繁多，如稻飞虱、稻纵卷叶螟、稻纵卷叶螟、二化螟等。不同种类的水稻害虫对水稻造成的危害程度和防治方法也不相同。因此，及时准确地识别水稻害虫的种类对于指导农业生产和保障粮食安全具有重要意义。

2、目前，水稻害虫分类主要依靠人工观察和判断，这种方法存在以下缺点：一是效率低下，需要耗费大量人力和时间；二是准确性不高，容易受到人为因素和环境因素的影响；三是专业性强，需要具备一定的农业知识和经验。

3、然而，目前的基于计算机视觉技术的水稻害虫分类方法存在以下不足：一是特征提取方法依赖于人为设计和选择，难以覆盖水稻害虫的所有特征；二是分类器需要大量的标注数据进行训练和测试，标注数据的获取和质量直接影响分类效果；三是分类器的泛化能力有限，难以适应不同场景和条件下的图像变化。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种水稻害虫图像分类方法、装置、电子设备及存储介质。

2、第一方面，本申请提供了一种水稻害虫图像分类方法，包括：

3、采集多种水稻害虫对应的图像数据集，每个所述图像数据集中包含该种水稻害虫对应的多个害虫图像；

4、对多个图像数据集中的害虫图像进行预处理；

5、将预处理后的多个图像数据集分别输入到一个改进的全卷积网络模型中，以使所述改进的全卷积网络模型对图像中的每个像素进行分类，输出与输入图像相同尺寸的特征图，所述改进的全卷积网络模型引入长短跳跃机制；

6、将改进的全卷积网络模型的输出结果输入到一个改进的密集连接网络模型中，以使所述改进的密集连接网络模型对输入的特征图进行全局分类，输出各特征图对应的类别标签或概率值，所述改进的密集连接网络模型引入注意力机制；

7、将所述改进的密集连接网络模型的输出结果作为水稻害虫的分类结果。

8、可选地，所述改进的全卷积网络模型中包括：多个跳跃连接，所述跳跃连接用于使不同尺度的特征图相互传递信息，并通过加权求和或拼接操作进行融合。

9、可选地，改进的全卷积网络模型包括：编码器和解码器，所述编码器包括多个卷积层和池化层，用于从图像中提取不同尺度和抽象程度的特征，并降低特征图的尺寸；所述解码器包括多个反卷积层和上采样层，用于将编码器输出的特征图恢复到原始图像的尺寸，并生成最终的分割结果；

10、在所述编码器中每个池化层后面设置一个跳跃连接，将该层输出的特征图传递到对应的解码器层；在所述解码器中每个反卷积层后面设置一个跳跃连接，将该层输出的特征图与来自所述编码器的特征图进行融合。

11、可选地，所述改进的密集连接网络模型包括多个注意力模块，所述注意力模块用于使每个密集块生成一个注意力权重矩阵，并通过逐元素相乘操作进行特征选择。

12、可选地，所述改进的密集连接网络模型包括多个密集块和过渡层，所述密集块包括多个卷积层，每个所述卷积层均与所述改进的全卷积网络模型中相应的卷积层进行密集连接，使得所述密集块中的每个所述卷积层接收所述改进的全卷积网络模型中相应的卷积层输出的特征信息；所述过渡层包括多个池化层和卷积层，所述过渡层用于连接不同的所述密集块，并逐渐降低特征图的尺寸和通道数；每个所述密集块后面设置一个所述注意力模块。

13、可选地，所述注意力模块包括：一个全局平均池化层、一个全连接层、一个激活层和一个放缩层，所述全局平均池化层用于将密集块输出的特征图在空间维度上进行平均，得到一个一维的特征向量；所述全连接层用于将所述特征向量映射到一个与特征图通道数相同的向量；所述激活层能够对所述向量进行非线性变换；所述放缩层用于对非线性变换后的向量进行放缩操作。

14、可选地，对多个图像数据集中的害虫图像进行预处理，包括：

15、针对每个所述害虫图像，将所述害虫图像中包含害虫的区域裁剪出来，去除无关背景信息；

16、将裁剪后的害虫图像缩放到统一的尺寸；

17、将缩放后的害虫图像的多个像素值进行归一化处理，得到预处理后的害虫图像。

18、第二方面，本申请提供了一种水稻害虫图像分类装置，包括：

19、采集模块，用于采集多种水稻害虫对应的图像数据集，每个所述图像数据集中包含该种水稻害虫对应的多个害虫图像；

20、预处理模块，用于对多个图像数据集中的害虫图像进行预处理；

21、第一分类模块，用于将预处理后的多个图像数据集分别输入到一个改进的全卷积网络模型中，以使所述改进的全卷积网络模型对图像中的每个像素进行分类，输出与输入图像相同尺寸的特征图，所述改进的全卷积网络模型引入长短跳跃机制；

22、第二分类模块，用于将改进的全卷积网络模型的输出结果输入到一个改进的密集连接网络模型中，以使所述改进的密集连接网络模型对输入的特征图进行全局分类，输出各特征图对应的类别标签或概率值，所述改进的密集连接网络模型引入注意力机制；

23、确定模块，用于将所述改进的密集连接网络模型的输出结果作为水稻害虫的分类结果。

24、第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

25、存储器，用于存放计算机程序；

26、处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的水稻害虫图像分类方法。

27、第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有水稻害虫图像分类方法的程序，所述水稻害虫图像分类方法的程序被处理器执行时实现第一方面任一所述的水稻害虫图像分类方法的步骤。

28、本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

29、本申请实施例提供的该方法，通过采用改进的全卷积网络(fcn)模型和改进的密集连接网络(densenet)模型，能够自动地从图像中学习和提取有效的特征，无需人为设计和选择特征提取方法，降低了人为干预和误差的可能性；引入了长短跳跃机制，使得不同层次的特征能够相互融合，提高了分类精度，同时也增加了模型的鲁棒性，能够抵抗图像的噪声、模糊、遮挡等干扰；引入了注意力机制，使得模型能够自动关注重要的特征区域，降低了冗余信息的干扰，同时也提高了模型的解释性，能够可视化地展示模型的判断依据；能够实现高精度的水稻害虫分类，为指导农业生产和保障粮食安全提供了有效的技术支持。

技术特征：

1.一种水稻害虫图像分类方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述改进的全卷积网络模型中包括：多个跳跃连接，所述跳跃连接用于使不同尺度的特征图相互传递信息，并通过加权求和或拼接操作进行融合。

3.根据权利要求2所述的方法，其特征在于，改进的全卷积网络模型包括：编码器和解码器，所述编码器包括多个卷积层和池化层，用于从图像中提取不同尺度和抽象程度的特征，并降低特征图的尺寸；所述解码器包括多个反卷积层和上采样层，用于将编码器输出的特征图恢复到原始图像的尺寸，并生成最终的分割结果；

4.根据权利要求1所述的方法，其特征在于，所述改进的密集连接网络模型包括多个注意力模块，所述注意力模块用于使每个密集块生成一个注意力权重矩阵，并通过逐元素相乘操作进行特征选择。

5.根据权利要求4所述的方法，其特征在于，所述改进的密集连接网络模型包括多个密集块和过渡层，所述密集块包括多个卷积层，每个所述卷积层均与所述改进的全卷积网络模型中相应的卷积层进行密集连接，使得所述密集块中的每个所述卷积层接收所述改进的全卷积网络模型中相应的卷积层输出的特征信息；所述过渡层包括多个池化层和卷积层，所述过渡层用于连接不同的所述密集块，并逐渐降低特征图的尺寸和通道数；每个所述密集块后面设置一个所述注意力模块。

6.根据权利要求4或5所述的方法，其特征在于，所述注意力模块包括：一个全局平均池化层、一个全连接层、一个激活层和一个放缩层，所述全局平均池化层用于将密集块输出的特征图在空间维度上进行平均，得到一个一维的特征向量；所述全连接层用于将所述特征向量映射到一个与特征图通道数相同的向量；所述激活层用于对所述向量进行非线性变换；所述放缩层用于对非线性变换后的向量进行放缩操作。

7.根据权利要求1所述的方法，其特征在于，对多个图像数据集中的害虫图像进行预处理，包括：

8.一种水稻害虫图像分类装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有水稻害虫图像分类方法的程序，所述水稻害虫图像分类方法的程序被处理器执行时实现权利要求1-7任一所述的水稻害虫图像分类方法的步骤。

技术总结
本发明涉及一种水稻害虫图像分类方法、装置、电子设备及存储介质，其中，方法包括：采集多种水稻害虫对应的图像数据集；将预处理后的多个图像数据集分别输入到一个改进的全卷积网络模型中，所述改进的全卷积网络模型引入长短跳跃机制；将改进的全卷积网络模型的输出结果输入到一个改进的密集连接网络模型中，所述改进的密集连接网络模型引入注意力机制；将所述改进的密集连接网络模型的输出结果作为水稻害虫的分类结果。本申请实施例能够降低人为干预和误差的可能性；提高分类精度，同时也增加了模型的鲁棒性，能够抵抗图像的噪声、模糊、遮挡等干扰；能够降低冗余信息的干扰，同时也提高了模型的解释性，能够可视化地展示模型的判断依据。

技术研发人员：宫鹤,郭婕,胡天立,穆叶,郭颖,孙宇,尤明慧,李士军,刘占军
受保护的技术使用者：吉林农业大学
技术研发日：
技术公布日：2024/2/1