细粒度害虫分类方法、装置、设备及存储介质

本发明涉及农业害虫分类，尤其涉及一种细粒度害虫分类方法、装置、设备及存储介质。

背景技术：

1、针对现有害虫识别准确率较低的问题，现有的害虫智能识别模型，例如，基于改进efficientnet模型的作物害虫智能识别模型中，输入图像首先经过一个标准的3x3卷积层(conv 3x3)，用于捕捉基础的图像特征，随即就通过了坐标注意力(coordinateattention，ca)模块。接着，通过一个3x3轻量翻转瓶颈卷积核(mconv1 3x3)进行处理，以进一步提炼特征。随后，模型包括多个3x3和5x5的轻量翻转瓶颈卷积核(mconv6)，这些层能够捕捉更为复杂的空间依赖关系。经过这一系列的卷积操作后，模型使用一个1x1卷积层(conv 1x1)进行通道数的缩减和特征混合。紧接着，采用池化层(pool)对特征图进行下采样，降低其空间维度。最后，通过全连接层(fc)输出分类标签。

2、上述模型通过引入坐标注意力(coordinate attention，ca)机制来使神经网络注重图像中害虫所在区域的关键信息提取。但是由于农作物害虫在不同生长时期形态可能有着巨大的变化，该模型并不能灵活地适应这类识别需求，对于同类害虫不同生长时期的识别效果并不理想。

技术实现思路

1、本发明的主要目的在于提供一种细粒度害虫分类方法、装置、设备及存储介质，旨在解决现有技术中不能有效的对不同生长时期的害虫进行分类和分类精度不够的技术问题。

2、为实现上述目的，本发明提供一种细粒度害虫分类方法，所述方法包括以下步骤：

3、对获取到的害虫图像进行预处理，获得处理后的害虫图像；

4、基于预设细粒度害虫分类模型对所述处理后的害虫图像进行细粒度害虫特征识别，获得特征识别结果，所述预设细粒度害虫分类模型包括stem层、stage层和空间注意力模块，所述stem层用于对所述处理后的害虫图像进行初步特征提取，将获得的初步特征图像输入至所述stage层，所述stage层用于对所述初步特征图像进行多层次特征提取，将获得的多层次特征图像输入至所述空间注意力模块，所述空间注意力模块用于通过空间注意力机制确定所述多层次特征图像中的害虫位置信息；

5、根据所述特征识别结果确定害虫种类以及害虫所处的生长时期。

6、可选地，所述预设细粒度害虫分类模型还包括全局平均池化层和全连接层，所述全局平均池化层与所述空间注意力模块连接，所述全连接层与所述全局平均池化层连接；

7、所述基于预设细粒度害虫分类模型对所述处理后的害虫图像进行细粒度害虫特征识别，获得特征识别结果，包括：

8、将所述处理后的害虫图像发送至所述stem层进行初步特征提取，获得初步特征图像；

9、通过所述stage层对所述初步特征图进行多层次特征提取，获得的多层次特征图像；

10、通过所述空间注意力模块标注所述多层次特征图像中的害虫位置信息，获得标注后的特征图像；

11、通过所述全局平均池化层对所述标注后的特征图像进行平均池化和归一化处理，获得归一后的特征图像；

12、通过所述全连接层对所述归一后的特征图像进行害虫种类的概率预测，获得特征识别结果。

13、可选地，所述stage层包括初级stage层、中级stage层、高级stage层和终极stage层；

14、所述通过所述stage层对所述初步特征图进行多层次特征提取，获得的多层次特征图像，包括：

15、通过所述初级stage层对所述初步特征图进行基本特征提取，获得初级特征图像，所述初级特征图像包括所述初步特征图的边缘和纹理；

16、通过所述中级stage层对所述初级特征图像进行中级特征提取，获得中级特征图像，所述中级特征图像包括所述初级特征图像的形状和轮廓；

17、通过所述高级stage层对所述中级特征图像进行高级特征提取，获得高级特征图像，所述高级特征图像包括所述中级特征图像中的物体形状和物体结构；

18、通过所述终极stage层对所述高级特征图像进行终极特征提取，获得终极特征图像，所述终极特征图像包括所述高级特征图像中的物体类别和物体属性。

19、可选地，所述初级stage层、所述中级stage层、所述高级stage层和所述终极stage层分别由预设个数的block模块构成；

20、所述block模块包括深度可分离的卷积层、层归一化层、第一预设卷积层、高斯误差线性单元激活函数、全局响应归一化层、第二预设卷积层和路径丢弃层，所述深度可分离的卷积层用于提取输入特征图的局部信息，所述层归一化层用于对所述深度可分离的卷积层的输出进行归一化，所述第一预设卷积层用于对层归一化层的输出进行通道混合，所述高斯误差线性单元激活函数用于对所述第一预设卷积层的输出进行非线性变换，所述全局响应归一化层用于对所述高斯误差线性单元激活函数的输出进行归一化，所述第二预设卷积层用于对所述全局响应归一化层的输出进行通道混合和特征转换，所述路径丢弃层用于随机丢弃路径。

21、可选地，所述通过所述空间注意力模块标注所述多层次特征图像中的害虫位置信息，获得标注后的特征图像，包括：

22、通过所述空间注意力模块的卷积层确定所述多层次特征图像中的每个空间位置的注意力分数；

23、通过softmax函数对所述注意力分数进行归一化处理，获得每个空间位置的对应的权重；

24、根据所述每个空间位置的对应的权重对所述多层次特征图像进行加权求和，获得每个空间位置的对应的加权特征；

25、根据所述每个空间位置的对应的加权特征标注害虫位置信息，获得标注后的特征图像。

26、此外，为实现上述目的，本发明提供一种细粒度害虫分类模型训练方法，所述方法包括以下步骤：

27、获取害虫图像数据集，对所述害虫图像数据集进行预处理，获得预处理后的图像数据集；

28、根据所述预处理后的图像数据集对待训练的初始细粒度害虫分类模型进行迭代训练，获得预设细粒度害虫分类模型。

29、可选地，所述获取害虫图像数据集，对所述害虫图像数据集进行预处理，获得预处理后的图像数据集，包括：

30、获取害虫图像数据集，标注所述害虫图像数据集的害虫种类以及害虫所处的生长时期，获得标注后的图像数据集；

31、将所述标注后的图像数据集按照预设图像尺寸进行调整，获得调整后的图像数据集；

32、将所述调整后的图像数据集进行正则化操作，获得正则化的图像数据集；

33、将所述正则化的图像数据集转化为张量，获得预处理后的图像数据集。

34、此外，为实现上述目的，本发明还提出一种细粒度害虫分类装置，所述细粒度害虫分类装置包括：

35、图像处理模块，用于对获取到的害虫图像进行预处理，获得处理后的害虫图像；

36、害虫识别模块，用于基于预设细粒度害虫分类模型对所述处理后的害虫图像进行细粒度害虫特征识别，获得特征识别结果，所述预设细粒度害虫分类模型包括stem层、stage层和空间注意力模块，所述stem层用于对所述处理后的害虫图像进行初步特征提取，将获得的初步特征图像输入至所述stage层，所述stage层用于对所述初步特征图像进行多层次特征提取，将获得的多层次特征图像输入至所述空间注意力模块，所述空间注意力模块用于通过空间注意力机制确定所述多层次特征图像中的害虫位置信息；

37、害虫分类模块，用于根据所述特征识别结果确定害虫种类以及害虫所处的生长时期。

38、此外，为实现上述目的，本发明还提出一种细粒度害虫分类模型训练装置，所述细粒度害虫分类模型训练装置包括：

39、数据集预处理模块，用于获取害虫图像数据集，对所述害虫图像数据集进行预处理，获得预处理后的图像数据集；

40、模型训练模块，用于根据所述预处理后的图像数据集对待训练的初始细粒度害虫分类模型进行迭代训练，获得预设细粒度害虫分类模型。

41、此外，为实现上述目的，本发明还提出一种细粒度害虫分类设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的细粒度害虫分类程序，所述细粒度害虫分类程序配置为实现如上文所述的细粒度害虫分类方法的步骤。

42、此外，为实现上述目的，本发明还提出一种细粒度害虫分类模型训练设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的细粒度害虫分类模型训练程序，所述细粒度害虫分类模型训练程序配置为实现如上文所述的细粒度害虫分类模型训练方法的步骤。

43、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有细粒度害虫分类程序，所述细粒度害虫分类程序被处理器执行时实现如上文所述的细粒度害虫分类方法的步骤。

44、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有细粒度害虫分类模型训练程序，所述细粒度害虫分类模型训练程序被处理器执行时实现如上文所述的细粒度害虫分类模型训练方法的步骤。

45、在本发明中，公开了基于预设细粒度害虫分类模型对处理后的害虫图像进行细粒度害虫特征识别，确定害虫种类以及害虫所处的生长时期，预设细粒度害虫分类模型包括stem层、stage层和空间注意力模块，通过stem层对处理后的害虫图像进行初步特征提取，可以适应同种害虫不同生长时期的巨大变化，对特征的表达能力更强；通过stage层对初步特征图像进行多层次特征逐层提取，可以使得模型学习到更加丰富和复杂的特征，提高模型的分类准确率；通过空间注意力模块确定多层次特征图像中的害虫位置信息，以增强模型对图片中害虫位置信息的感知能力，帮助模型聚焦于图像中的害虫所在区域，从而提高了模型的表现，确定害虫种类的同时确定害虫所处的生长时期，对于害虫分类工作更加精细，可以有效指导针对害虫不同时期的防治工作。