基于改进CascadeRCNN网络的自然背景柑橘黄龙病检测方法

基于改进cascade rcnn网络的自然背景柑橘黄龙病检测方法
技术领域
1.本发明涉及图像处理技术领域，具体涉及基于改进cascade rcnn网络的自然背景柑橘黄龙病检测方法。


背景技术：

2.柑橘黄龙病的病害特征大多都是通过它的叶片表现出来的，传统的柑橘黄龙病防治是有经验的果农们通过观察柑橘的叶片从而做出相应的病害判断，但这项工作不仅特别耗费时间，而且人工判断容易出现误判。近年来，随着计算机视觉和深度学习的飞速发展，卷积神经网络在农作物病害图像分类和检测中取得了巨大的进步，使用卷积神经网络对柑橘黄龙病进行检测是一种可行性解决方案。
3.现有技术中有大量算法已被广泛地应用于农业领域，包括对柑橘黄龙病的检测，但是现有技术的柑橘黄龙病检测仍然存在问题，主要有：
4.(1)由于图像是在自然场景中拍摄的，图像背景中存在大量的健康叶片、其他病害叶片、杂草等干扰因素，导致现有算法的检测精度不高；
5.(2)叶片之间的相互遮挡以及距离远近导致黄龙病叶片形态、尺寸变化大，极易出现小尺寸目标漏检的情况；
6.(3)黄龙病叶片的颜色、纹理特征与柑橘其他病害十分相似，容易存在误检问题。


技术实现要素：

7.针对上述现有技术存在的问题，本发明提供了一种基于改进cascade rcnn网络的自然背景柑橘黄龙病检测方法、系统、设备及计算机可读存储介质，有效提高了柑橘黄龙病检测准确性，该技术方案包括：
8.第一方面，提供了一种基于改进cascade rcnn网络的自然背景柑橘黄龙病检测方法，包括如下步骤：
9.获取待检测柑橘图像；
10.利用cascade rcnn网络改进后的骨干网络对所述待检测柑橘图像进行特征提取，所述改进后的骨干网络中至少一层采用可变形卷积；
11.利用cascade rcnn网络改进后的区域特征提取网络对所述骨干网络输出的特征进行高层次语义特征提取，所述改进后的区域特征提取网络包括在fpn网络自上而下融合过程的右侧增加的一个自下而上卷积融合过程；
12.利用cascade rcnn网络的级联检测器对区域特征提取网络输出的高层次语义特征进行多阶段级联的目标识别检测过程，获取待检测柑橘图像的黄龙病检测结果。
13.在一种可能的实现方式中，所述骨干网络基于resnetxt101实现。
14.在一种可能的实现方式中，所述骨干网络基于dcnv2模型的构思，对骨干网络的最后3层采用可变形卷积。
15.在一种可能的实现方式中，所述区域特征提取网络基于fpn网络改进形成，包括：
16.自下而上过程的图像金字塔：基于骨干网络后4层输出的多尺度特征图形成；
17.自上而下融合过程：融合后的特征金字塔自上而下分别记为c4、c5、c6、c7；
18.自下而上卷积融合过程：c7作为起始特征图p1，自下而上卷积过程中每一层进行卷积后与左侧自上而下过程中对应层融合形成上一层特征图。
19.在一种可能的实现方式中，所述自下而上卷积过程中，卷积参数采用3
×
3卷积后进行2倍的下采样。
20.在一种可能的实现方式中，所述cascade rcnn网络的级联检测器中，三个检测iou值依次为0.5、0.6、0.7或者依次为0.6、0.7、0.8。
21.在一种可能的实现方式中，所述对待检测柑橘图像进行检测前，还包括：
22.基于黄龙病柑橘样本图像集对改进cascade rcnn网络进行训练的过程，所述样本图像集中包括多个样本图像并划分为训练集和验证集；
23.所述基于黄龙病柑橘样本图像集对改进cascade rcnn网络进行训练的过程，还包括：
24.使用剪切混合拼接和clahe的方法对样本图像集进行数据增广。
25.第二方面，提供了一种基于改进cascade rcnn网络的自然背景柑橘黄龙病检测系统，包括：
26.待检测图像获取模块，用于获取待检测柑橘图像；
27.特征提取模块，利用cascade rcnn网络改进后的骨干网络对所述待检测柑橘图像进行特征提取，所述改进后的骨干网络中后面至少一层采用可变形卷积；
28.特征双向融合模块，利用cascade rcnn网络改进后的区域特征提取网络对所述骨干网络输出的特征进行高层次语义特征提取，所述改进后的区域特征提取网络包括在fpn网络自上而下融合过程的右侧增加的一个自下而上卷积融合过程；
29.黄龙病检测模块，利用cascade rcnn网络的级联检测器对区域特征提取网络输出的高层次语义特征进行多阶段级联的目标识别检测过程，获取待检测柑橘图像的黄龙病检测结果。
30.第三方面，提供了一种柑橘黄龙病检测设备，所述设备包括：
31.处理器；
32.用于存储处理器可执行指令的存储器；
33.其中，所述处理器通过运行所述可执行指令以实现如上述第一方面所述的方法。
34.第四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现如上述第一方面所述方法的步骤。
35.本发明的一种基于改进cascade rcnn网络的自然背景柑橘黄龙病检测方法，具备如下有益效果：针对叶片之间的相互遮挡以及距离远近导致黄龙病叶片形态、尺寸变化大，极易出现小尺寸目标漏检的情况以及黄龙病叶片的颜色、纹理特征与柑橘其他病害十分相似，容易存在误检的问题，本技术中，通过对骨干网络中至少一层采用可变形卷积，同时对区域特征提取网络新增一个基于卷积的自下而上融合过程，通过在骨干网络中添加可变形卷积，适应柑橘黄龙病叶片的几何形变，根据黄龙病叶片的形状自适应的改变局部采样点，增强网络对目标几何形变的建模能力，有效提取目标特征并提高柑橘黄龙病的检测效果，同时，在区域特征提取网络中基于fpn网络进行高层次语义特征提取，在fpn网络的基础上，
增加一个基于自下而上卷积融合过程，利用双向融合过程，不仅能够丰富每层特征图的位置信息，还能够保留每层特征图的语义信息，增强了模型的多尺度信息融合能力，有利于小尺寸和遮挡目标的检测。
附图说明
36.图1是本技术实施例中基于改进cascade rcnn网络的自然背景柑橘黄龙病检测方法流程图；
37.图2是本技术实施例中改进cascade rcnn网络的结构图；
38.图3本技术实施例中基于改进cascade rcnn网络的自然背景柑橘黄龙病检测系统结构图。
具体实施方式
39.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
40.如图1和2所示，本技术实施例提供了一种基于改进cascade rcnn网络的自然背景柑橘黄龙病检测方法，包括如下步骤：
41.获取待检测柑橘图像；
42.利用cascade rcnn网络改进后的骨干网络对所述待检测柑橘图像进行特征提取，所述改进后的骨干网络中至少一层采用可变形卷积；
43.利用cascade rcnn网络改进后的区域特征提取网络对所述骨干网络输出的特征进行高层次语义特征提取，所述改进后的区域特征提取网络包括在fpn网络自上而下融合过程的右侧增加的一个自下而上卷积融合过程；
44.利用cascade rcnn网络的级联检测器对区域特征提取网络输出的高层次语义特征进行多阶段级联的目标识别检测过程，获取待检测柑橘图像的黄龙病检测结果。
45.本技术实施例中，待检测图像先输入改进后的骨干网络进行特征提取，再将提取到的特征图输入到双向融合的特征金字塔中进行特征的多尺度融合，最后将融合后的特征图输入到级联检测器中，得到分类分数和检测框。
46.针对叶片之间的相互遮挡以及距离远近导致黄龙病叶片形态、尺寸变化大，极易出现小尺寸目标漏检的情况以及黄龙病叶片的颜色、纹理特征与柑橘其他病害十分相似，容易存在误检的问题，本技术中，通过对骨干网络中至少一层采用可变形卷积，同时对区域特征提取网络新增一个基于卷积的自下而上融合过程，通过在骨干网络中添加可变形卷积，适应柑橘黄龙病叶片的几何形变，根据黄龙病叶片的形状自适应的改变局部采样点，增强网络对目标几何形变的建模能力，有效提取目标特征并提高柑橘黄龙病的检测效果，同时，在区域特征提取网络中基于fpn网络进行高层次语义特征提取，在fpn网络的基础上，增加一个基于自下而上卷积融合过程，利用双向融合过程，不仅能够丰富每层特征图的位置信息，还能够保留每层特征图的语义信息，增强了模型的多尺度信息融合能力，有利于小尺寸和遮挡目标的检测。
47.另外，利用cascade rcnn网络所具有的级联检测器，通过级联几个不同iou阈值的
检测网络达到不断优化预测结果的目的。
48.进一步的，上述骨干网络基于resnetxt101实现。
49.骨干网络可以是mobilenet v1，mobilenet v2，vgg16，densenet等，在本技术实施例中，采用resnet系列模型，优选采用resnet101，进一步优选采用resnetxt101，resnetxt101与resnet101的本质区别就是采用了通道分组，以conv2为例，resnet101是64个1
×
1的卷积核，而resnetxt101是32组，每组是四个1
×
1的卷积核。与resnet101相比，resnetxt101的网络结构简明，更加模块化；需要手动调节的超参数少；具有更好的特征提取能力。
50.进一步的，上述骨干网络基于dcnv2模型的构思，对骨干网络的最后3层采用可变形卷积。
51.本技术实施例中，骨干网络中不仅仅具有至少一层可变形卷积，可变形卷积的基本思想是用带有偏移的采样来代替固定位置采样，并根据学习到的偏移量，来调整可变形卷积核的大小和位置，不同位置卷积核的采样点会根据检测目标的位置和大小自适应的调整，从而适应柑橘黄龙病叶片的几何形变。本技术中，对于可变形卷积层数分布的设置，可以在骨干网络中任意层中选择至少一层采用可变形卷积，将可变形卷积加在不同位置后的结果进行对比，获取最优设置，在本技术中，借鉴dcnv2模型的构思，在骨干网络的最后3层采用可变形卷积，且在可变形卷积过程中不仅学习采样点偏移参数，同时每个采样点添加权重系数，自适应的改变柑橘黄龙病检测中的局部采样点，从而获得更好地检测结果。进一步的，可以直接利用dcnv2模型的设置，骨干网络采用resnetxt101网络，并且在conv3、conv4、conv5卷积层采用dcnv2中骨干网络conv3-conv5的可变形卷积计算。
52.上述区域特征提取网络基于fpn网络改进形成，包括：
53.自下而上过程的图像金字塔：基于骨干网络后4层输出的多尺度特征图形成；
54.自上而下融合过程：融合后的特征金字塔自上而下分别记为c4、c5、c6、c7；
55.自下而上可卷积融合过程：c7作为起始特征图p1，自下而上卷积过程中每一层进行卷积后与左侧自上而下过程中对应层融合形成上一层特征图。
56.具体的，本技术实施例中的区域特征提取网络，是在fpn网络的基础上增加了一个自下而上的特征融合过程，具体的，该融合过程中包括：
57.原有fpn网络的输出特征图c7作为起始特征图p1，p1图3
×
3卷积后进行2倍的下采样与c6直接相加融合生成特征图p2，p2图3
×
3卷积后进行2倍的下采样与c5直接相加融合生成特征图p3，p3图3
×
3卷积后进行2倍的下采样与c4直接相加融合生成特征图p4。
58.下面对本技术实施例中区域特征提取网络和cascade rcnn网络的级联检测器模块的连接关系进行说明。
59.首先，cascade rcnn网络的级联检测器模块包括：1个rpn网络，rpn网络的输出分别连接了3个不同iou阈值的感兴趣区域提取网络，每个感兴趣区域提取网络的输出分别连接一个全连接层，每个全连接层分别输出对应的分类分数和候选框区域参数，记3个感兴趣区域提取网络分别为roi align1、roi align2和roi align3，记3个感兴趣区域连接的全连接层分别为第一全连接层、第二全连接层、第三全连接层，第一全连接层输出的候选框区域参数同时输入到roi align2，第二全连接层输出的候选框区域参数同时输入到roi align3；
60.区域特征提取网络输出的p1、p2、p3、p4特征图输入到rpn网络，同时，p4特征图输入roi align1。
61.如图2所示，级联检测器模块的检测流程包括：
62.特征图p1、p2、p3、p4一同输入到rpn中，得到一些候选框，然后将特征图p4和这些候选框一同输入到一阶段的roi align1中，再将roi align1输出的结果输入到一阶段的全连接层fc1中，得到一阶段的分类分数s1和候选框b1。将rpn得到的候选框和b1一同输入到二阶段的roi align2中，再将roi align2输出的结果输入到二阶段的fc2中，得到二阶段的分类分数s2和候选框b2。最后将rpn得到的候选框和b2一同输入到roi align3中，再将roi align输出的结果输入到三阶段的fc3中，得到最终的分类分数s3和边界框b3。
63.进一步的，上述自下而上卷积过程中，卷积参数采用3
×
3卷积后进行2倍的下采样。
64.本技术实施例中，骨干网络最后4层conv2，conv3，conv4，conv5依次输出特征图c0、c1、c2、c3，c0、c1、c2、c3自下而上形成fpn网络的图像金字塔，在自上而下融合过程中，c3作为起始特征图c4，特征图c4进行2倍上采样的结果与c2进行1*1卷积后的结果相加融合生成特征图c5，特征图c5进行2倍上采样的结果与c1进行1*1卷积后的结果相加融合生成特征图c6，特征图c5进行2倍上采样的结果与c0进行1*1卷积后的结果相加融合生成特征图c7；
65.本技术中，在自上而下融合过程中，采用了2倍上采样增大特征图的分辨率，以使得与图像金字塔中的c0、c1、c2、c3的分辨率一致，同时，对c0、c1、c2、c3进行了1*1卷积，以使得c0、c1、c2、c3的通道数与c4、c5、c6、c7一致，实现深层特征图和浅层特征图的加法融合，与自上而下融合过程相匹配的，在自下而上卷积过程中，采用了2倍下采样来缩小特征图的分辨率，以使得与c4、c5、c6、c7的分辨率一致，同时采用了3
×
3卷积消除与c4、c5、c6、c7的特征分布差异，从而保证特征的稳定性。
66.上述cascade rcnn网络的级联检测器中的三个检测iou值依次为0.5、0.6、0.7或者依次为0.6、0.7、0.8。
67.一般的，cascade rcnn网络的三个检测iou值采用依次为0.5、0.6、0.7的设置，在本技术实施例中，对于改进后的cascade rcnn网络，三个检测iou值也可以采用0.6、0.7、0.8的参数设置，可以实现较好的检测效果，不会降低cascade rcnn网络的检测性能。
68.在对待检测柑橘图像进行检测前，还包括对改进的cascade rcnn网络进行构建和基于黄龙病柑橘样本图像集对改进cascade rcnn网络进行训练的过程，所述样本图像集中包括多个样本图像并划分为训练集和验证集；
69.本技术实施例中，针对自然场景中拍摄的柑橘图像中，图像背景存在大量的健康叶片、其他病害叶片、杂草等干扰因素，导致检测精度不高的问题，在模型训练过程中，还包括：通过剪切混合拼接和clahe的方法对样本图像集进行数据增广和数据增强处理，以减小背景的干扰。
70.具体的，其中的剪切混合拼接方法，包括：
71.获取黄龙病柑橘样本图像集中的柑橘黄龙病叶片、其他病害叶片和健康叶片；
72.将黄龙病叶片中的黄龙病区域叶片剪切下来，拼接到其他病害叶片和/或健康叶片上。
73.通过上述剪切混合拼接，增加训练集图像中检测目标的数量和多样性，因为实际环境下，混合多种病害的图像是随处可见，则剪切混合拼接之后的图片为训练过程提供了多病害共存的图像样本。
74.其中，通过clahe对样本图像集进行数据增强处理，包括：
75.对样本图像数据进行分量提取，通过对数计算分离出第一分量图像和第二分量图像；
76.基于离散余弦变换对图像进行频域转换；
77.基于预设滤波器对频域转换后的数据进行滤波处理，该滤波器为：其中d(x,y)为像素点(x,y)到滤波中心的距离，a为可调节参数；
78.基于滤波处理后的第一分量图像利用clahe方法进行像素点像素值修正，同时对第二分量图像进行线性变换；
79.基于修正后的第一分量图像和变换后的第二分量图像进行离散余弦逆变换，得到增强后的样本图像数据。
80.本技术实施例还提供了一种基于改进cascade rcnn网络的自然背景柑橘黄龙病检测系统，该柑橘黄龙病检测系统可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，具体的，该系统包括：
81.待检测图像获取模块，用于获取待检测柑橘图像；
82.特征提取模块，利用cascade rcnn网络改进后的骨干网络对所述待检测柑橘图像进行特征提取，所述改进后的骨干网络中后面至少一层采用可变形卷积；
83.特征双向融合模块，利用cascade rcnn网络改进后的区域特征提取网络对所述骨干网络输出的特征进行高层次语义特征提取，所述改进后的区域特征提取网络包括在fpn网络自上而下融合过程的右侧增加的一个自下而上卷积融合过程；
84.黄龙病检测模块，利用cascade rcnn网络的级联检测器对区域特征提取网络输出的高层次语义特征进行多阶段级联的目标识别检测过程，获取待检测柑橘图像的黄龙病检测结果。
85.关于柑橘黄龙病检测系统的具体限定可以参见上文中对于柑橘黄龙病检测方法的限定，在此不再赘述。上述柑橘黄龙病检测系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
86.本技术实施例还提供了一种柑橘黄龙病检测设备，该设备包括：
87.处理器；
88.用于存储处理器可执行指令的存储器；
89.其中，所述处理器通过运行所述可执行指令以实现上述自然背景柑橘黄龙病检测方法。
90.本技术实施例提供的柑橘黄龙病检测设备可以是服务器，该设备包括通过系统总线连接的处理器、存储器和网络接口，存储器可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者，存储器能够存储数据以支持设备终端的操作，例如，可
以存储操作系统、应用程序和数据库等。处理器可以是cpu，通用处理器，dsp，asic，fpga或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
91.本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现上述自然背景柑橘黄龙病检测方法的步骤。
92.本技术实施例中，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。
93.本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。