一种基于通道注意力机制的虫害图像检测方法

1.本发明涉及虫害图像识别技术领域，具体来说是一种基于通道注意力机制的虫害图像检测方法。


背景技术：

2.目前，我国主要通过单位面积的害虫数量判断害虫发生严重程度，如果仅通过农业专家现场研判，费时费力且效率低下。基于害虫图像检测对图像中的害虫进行计数和分类，给农业专家提供信息辅助虫情判断具有重大的实际意义，同时也是农业图像研究领域的重要课题。
3.传统基于机器学习的方法需要手动设计方法提取虫害特征，它们不会根据反馈自适应调整优化。近几年来，基于深度学习的检测算法有了深入应用。以ssd算法为代表的基于密集框采样的方法，将检测问题视作回归问题来处理，容易混淆前景区域和背景区域。以faster r
‑
cnn算法为代表的基于感兴趣区域推荐框的方法，在感兴趣区域将有可能存在物体的区域确定，大大提升后续分类的准确性。用基于通用场景的深度学习目标检测方法进行虫害图像检测，通常难以适应害虫尺度较小且相似度较高，往往存在检测准确性低且检测速度较慢的问题。


技术实现要素：

4.本发明的目的是为了解决现有技术中虫害检测准确率低、检测速度慢的缺陷，提供一种基于通道注意力机制的虫害图像检测方法来解决上述问题。
5.为了实现上述目的，本发明的技术方案如下：
6.一种基于通道注意力机制的虫害图像检测方法，包括以下步骤：
7.11)采集虫害图像并建立虫害数据集：获取虫害图像进行预处理和标记，建立虫害数据集；
8.12)构建基于通道注意力机制的虫害图像检测模型：对虫害图像检测模型进行构建，其包括多尺度特征金字塔预测结构和用于特征层融合后的通道积空间注意力机制结构；
9.13)对虫害图像检测模型进行训练：利用虫害数据集通过随机梯度下降算法对虫害图像检测模型进行训练；
10.14)待检测虫害图像的获取：获取待检测的虫害图像，并进行预处理；
11.15)虫害图像检测结果的获得：将预处理后的待检测虫害图像输入训练后的虫害图像检测模型，虫害图像检测模型输出检测结果(c),x,y,w,h，即图像中每个虫害的类别和边框位置。
12.所述构建基于通道注意力机制的虫害图像检测模型包括以下步骤：
13.21)将多尺度特征金字塔预测结构作为虫害图像检测模型的第一层，构建多尺度特征金字塔预测结构：
14.211)设定将虫害图像输入深度卷积神经网络，得到下采样尺寸为原图1/4、1/8、1/16、1/32倍的特征图，分别为c
i
,i∈(2,3,4,5)；
15.212)将上述4个特征图c
i
按照如下方式进行特征加权融合，得到多尺度特征金字塔预测结构：
16.c5通过卷积核和步长都为1的卷积后得到p5，经过下采样得到尺寸为原图1/64倍的特征图为p6；
17.p5进行双线性插值上采样以得到输出特征图分辨率为1/16倍的特征图c4，将p5与c4进行特征加权融合得到p4；
18.p4进行双线性插值上采样以得到输出特征图分辨率为1/8倍的特征图特征图c3，将p4与c3进行特征加权融合得到p3；
19.p3进行双线性插值上采样以得到输出特征图分辨率为1/4倍的特征图c2，将p3与c2进行特征加权融合得到p2；
20.获得的p
i
,i∈(2,3,4,5,6)构成多尺度特征金字塔；
21.22)将通道积空间注意力机制结构作为虫害图像检测模型的第二层，针对多尺度特征金字塔p
i
,i∈(2,3,4,5,6)构建特征层融合后的通道积空间注意力机制结构：
22.221)对特征金字塔上每层特征图p2、p3、p4、p5、p6上进行全局自适应最大池化和全局自适应平均池化产生两个不同空间的上下文描述，以获得全局特征信息和平均特征信息，分别输出
23.特征图包含信息数学表达式如下：
[0024][0025]
其中，是由大小高度为h宽度为w以及通道数为c的特征图f
c
(i,j)生成，i,j代表特征图上像素点的坐标；
[0026]
222)分别对两个特征图用基于通道压缩的注意力模块将通道数降至1/8倍，得到的结果分别记为道数降至1/8倍，得到的结果分别记为
[0027]
223)对两个特征图使用relu非线性激活函数和基于通道放大的注意力模块将通道数放大8倍后，得到的结果分别记为
[0028][0028][0029]
224)将224)将合并得到两种通道的特征，使用sigmoid激活函数来自适应对特征图上信息进行建模；
[0030]
225)最后再将原特征图与自适应学习建模后的特征图进行哈达玛积，实现通道特征重校准的效果。
[0031]
所述对虫害图像检测模型进行训练包括以下步骤：
[0032]
31)将虫害数据集输入虫害图像检测模型；
[0033]
32)设定在随机梯度下降优化算法中，动量设置为0.9，权重衰减设置为0.00004，神经元失活率设置为0.5，基础学习率设置为0.001，训练12个轮次epoch，
[0034]
其中分类函数是交叉熵损失函数，数学表达式如下：
[0035][0036]
其中c表示类别数，y
i
表示若该类别与标注类别相同则取1，否则取0，p
i
表示预测样本属于i的概率；
[0037]
边框回归函数是l1范数损失函数，表达式如下：
[0038][0039]
其中的g表示真实标注框，r表示回归框，其中的x,y,w,h定义如下：
[0040]
x＝(x
*
‑
x
r
)/w
r
[0041]
y＝(y
*
‑
y
r
)/h
r
[0042]
w＝log(w
*
/w
r
)
[0043]
h＝log(h
*
/h
r
)
[0044]
x
*
和y
*
是标注框的中心点坐标，w
*
,h
*
标注框的宽和高,x
r
,y
r
,w
r
和h
r
是对应预测框的值。
[0045]
有益效果
[0046]
本发明的一种基于通道注意力机制的虫害图像检测方法，其包括多尺度特征金字塔预测结构和用于特征融合的通道积空间注意力机制结构，与传统的单尺度预测结构相比，通过多尺度预测结构能够提取到更丰富特征的基础神经网络、融合了多个尺度的特征来进行检测，可以在不加深网络深度的前提下提升检测精度；本发明通过通道积空间注意力机制、通过对于通道特征的筛选，使得特征融合时保留的信息更加有利于训练损失的降低，有利于定位及分类的准确，同时通过一定比例的降维可以权衡性能和检测速度的取舍。
附图说明
[0047]
图1为本发明的方法顺序图；
[0048]
图2为本发明的多尺度特征金字塔预测结构示意图；
[0049]
图3为本发明的用于特征层融合后的通道积空间注意力机制结构示意图；
[0050]
图4为采用本发明对虫害图像进行检测的检测结果效果图。
具体实施方式
[0051]
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
[0052]
如图1所示，本发明所述的一种基于通道注意力机制的虫害图像检测方法，包括以下步骤：
[0053]
第一步，采集虫害图像并建立虫害数据集：获取虫害图像进行预处理和标记，建立虫害数据集。获取虫害图像进行预处理和标记，预处理包括图像尺寸统一化，数据清洗包括筛选掉低质量图片，比如无害虫，曝光过度的图像；接着用图像标注软件labelme进行标注
对害虫图像上的单只害虫进行标注，每个图像会对应生成一个xml格式的标注文件，将虫害图像和对应的标注文件一起建立虫害数据集。
[0054]
第二步，如图2所示，构建基于通道注意力机制的虫害图像检测模型：对虫害图像检测模型进行构建，其包括多尺度特征金字塔预测结构和用于特征层融合后的通道积空间注意力机制结构。多尺度特征金字塔预测结构融合了多个尺度的特征来进行检测，可以在在不加深网络深度的前提下提升检测精度。通道积空间注意力机制模块的作用是通过对特征图的各个通道之间的依赖性进行建模以提高对于重要特征的表征能力，网络可以有选择性地加强包含重要信息的特征并抑制作用无关或较弱关联的特征。
[0055]
其具体步骤如下：
[0056]
(1)将多尺度特征金字塔预测结构作为虫害图像检测模型的第一层，多尺度特征金字塔预测结构使用能够提取到更丰富特征的深度基础神经网络、融合多个尺度的特征来进行检测的方法。构建多尺度特征金字塔预测结构：
[0057]
a1)设定将虫害图像输入深度卷积神经网络，得到下采样尺寸为原图1/4、1/8、1/16、1/32倍的特征图，分别为c
i
,i∈(2,3,4,5)；
[0058]
a2)将上述4个特征图c
i
按照如下方式进行特征加权融合，得到多尺度特征金字塔预测结构：
[0059]
c5通过卷积核和步长都为1的卷积后得到p5，经过下采样得到尺寸为原图1/64倍的特征图为p6；
[0060]
p5进行双线性插值上采样以得到输出特征图分辨率为1/16倍的特征图c4，将p5与c4进行特征加权融合得到p4；
[0061]
p4进行双线性插值上采样以得到输出特征图分辨率为1/8倍的特征图特征图c3，将p4与c3进行特征加权融合得到p3；
[0062]
p3进行双线性插值上采样以得到输出特征图分辨率为1/4倍的特征图c2，将p3与c2进行特征加权融合得到p2；
[0063]
获得的p
i
,i∈(2,3,4,5,6)构成多尺度特征金字塔。
[0064]
(2)在获取图像高级语义信息的上采样过程中难免会丢失图像的细节信息，尤其是一些小目标，其在图像中所占有的像素量少，在多次下采样过程中很容易丢失。然而，这些细节信息和小目标会存在于低层次特征图的通道中。本发明在构建完多尺度特征金字塔p
i
,i∈(2,3,4,5,6)上分别使用特征层融合后的通道积空间注意力机制结构，如图3所示。
[0065]
将通道积空间注意力机制结构作为虫害图像检测模型的第二层，针对多尺度特征金字塔p
i
,i∈(2,3,4,5,6)构建特征层融合后的通道积空间注意力机制结构：
[0066]
b1)对特征金字塔上每层特征图p2、、p3、p4、p5、p6上进行全局自适应最大池化和全局自适应平均池化产生两个不同空间的上下文描述，以获得全局特征信息和平均特征信息，分别输出
[0067]
特征图包含信息数学表达式如下：
[0068]
[0069]
其中，是由大小高度为h宽度为w以及通道数为c的特征图f
c
(i,j)生成，i,j代表特征图上像素点的坐标；
[0070]
b2)分别对两个特征图用基于通道压缩的注意力模块将通道数降至1/8倍，得到的结果分别记为数降至1/8倍，得到的结果分别记为
[0071]
b3)对两个特征图使用relu非线性激活函数和基于通道放大的注意力模块将通道数放大8倍后，得到的结果分别记为
[0072][0072][0073]
b4)将b4)将合并得到两种通道的特征，使用sigmoid激活函数来自适应对特征图上信息进行建模；
[0074]
b5)最后再将原特征图与自适应学习建模后的特征图进行哈达玛积，实现通道特征重校准的效果。
[0075]
通道空间注意力模块的作用是通过对特征图的各个通道之间的依赖性进行自适应建模以提高对于重要特征的表征能力，网络可以有选择性地加强包含重要信息的特征并抑制作用无关或较弱关联的特征。
[0076]
第三步，对虫害图像检测模型进行训练：利用虫害数据集通过随机梯度下降算法对虫害图像检测模型进行训练。在实际应用中，可以使用的操作系统是ubuntu18.04版本，pytorch 1.6.0深度学习框架，cuda11.0版本，24gb内存、显卡为nvidia rtx 2080ti、nvidiageforce驱动程序450.102版本的设备环境训练模型。其具体步骤如下：
[0077]
(1)将虫害数据集输入虫害图像检测模型；
[0078]
(2)设定在随机梯度下降优化算法中，动量设置为0.9，权重衰减设置为0.00004，神经元失活率设置为0.5，基础学习率设置为0.001，训练12个轮次(epoch)，
[0079]
其中分类函数是交叉熵损失函数，数学表达式如下：
[0080][0081]
其中c表示类别数，y
i
表示若该类别与标注类别相同则取1，否则取0，p
i
表示预测样本属于i的概率；
[0082]
边框回归函数是l1范数损失函数，表达式如下：
[0083][0084]
其中的g表示真实标注框，r表示回归框，其中的x,y,w,h定义如下：
[0085]
x＝(x
*
‑
x
r
)/w
r
[0086]
y＝(y
*
‑
y
r
)/h
r
[0087]
w＝log(w
*
/w
r
)
[0088]
h＝log(h
*
/h
r
)
[0089]
x
*
和y
*
是标注框的中心点坐标，w
*
,h
*
标注框的宽和高,x
r
,y
r
,w
r
和h
r
是对应预测框
的值。
[0090]
第四步，待检测虫害图像的获取：获取待检测的虫害图像，并进行预处理。
[0091]
第五步，虫害图像检测结果的获得：将预处理后的待检测虫害图像输入训练后的虫害图像检测模型，虫害图像检测模型输出检测结果(c),x,y,w,h，即图像中每个虫害的类别和边框位置。
[0092]
如图4所示，图4为采用本发明对虫害图像进行检测的检测结果效果图。由图4可以看出，尽管虫害图像中的害虫数量多且密集，但是本发明所提出的检测方法仍然可以表现很好。本发明所提出的方法集成为一个模块crfpn，可以用于一阶段检测方法，如retinanet；也可以用于二阶段检测方法，如faster r
‑
cnn。表1是对比不同检测方法的检测结果(单位:％)，如表1所示，本发明的平均精度均优于其他对比方法。本发明的方法是在faster r
‑
cnn的基础上，使用crfpn模块，以及一些数据增强策略，如随机裁剪，镜像等。表2是不同检测方法对每个类别的害虫检测精度(单位:％)，如表2所示，本发明除了第26类害虫，平均精度均优于其他对比方法。特别地，对于1,12,15这几类检测精度比较差的害虫，本发明仍然能获得了24.6％，32.4％，48.0％的检测精度，均比对比方法提高了不少。说明本发明对于比较难检测的害虫也有较好的提升效果，也进一步说明本发明相比其他方法具有更强的检测效果。
[0093]
表1本发明与不同检测方法的检测结果对比表(单位:％)
[0094][0095]
表2本发明与不同检测方法对每个类别的害虫检测精度对比表(单位:％)
[0096]
[0097][0098]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。