一种基于MaskR-CNN、小波变换和F-RNet检测和鉴别茶树病虫害的方法

本发明属于计算机视觉领域，具体涉及一种基于mask r-cnn、小波变换和f-rnet检测和鉴别茶树病虫害的方法。

背景技术：

1、茶树（ camellia sinensis (l.) o. kuntze.）是一种重要的经济作物，在热带和亚热带地区广泛种植。在茶树栽培过程中，经常会受到各种病虫危害，对茶叶生产造成重大损失。其中云纹叶枯病、轮斑病、茶煤病在各地茶园中经常发生，成为引起茶叶减产的三大重要病害。而绿盲蝽是一种重要的茶园害虫，其对茶树危害后会产生大量的叶部孔洞，严重降低茶叶品质和产量。对上述病虫危害症状的判断和分析，是茶园病虫害防控的重要依据。

2、近年来，随着计算机视觉的兴起，高通量表型技术在作物病虫害识别中应用的越来越多。随着深度学习的发展，在特征提取、识别和分类方面取得了较好的进展，尤其是卷积神经网络（cnn）在特征提取、识别和分类中得到了广泛的应用。但对于茶树的云纹叶枯病和轮斑病，cnn却难以进行直接区分，需要从图像中提取更加详细的特征。为了解决上述问题，我们需要对受到病虫害胁迫的茶树叶片图像进行分割提取、特征增强和识别分类，以达到精准识别。

技术实现思路

1、本发明提供了一种基于mask r-cnn、小波变换和f-rnet检测和鉴别茶树病虫害的方法。本发明首先利用mask r-cnn模型，将病斑和虫斑从叶片中分割出来。然后，利用二维离散小波变换，对病斑和虫斑图像的特征进行增强处理，从而得到四个频率的图像。最后，四个频率的图像被同时输入四通道残差网络（f-rnet）对病虫害进行识别。

2、为实现上述发明目的，本发明采用以下技术方案予以实现：

3、本发明提供了一种基于mask r-cnn、小波变换和f-rnet检测和鉴别茶树病虫害的方法，包括以下步骤：

4、s1：采集病虫害胁迫下的茶树叶部图像；

5、s2：将步骤s1的茶树叶片病虫害胁迫下的图像进行预处理；

6、s3：结合预处理后的病虫害图像利用mask r-cnn网络从茶树叶片中提取病斑和虫斑对其进行分割和第一次分类；

7、s4：将分割后的病斑图像通过小波变换进行增强处理，提取茶树叶部病斑的特征信息；

8、s5：将经过小波变换处理后得到的低频和高频图像利用f-rnet网络对病虫斑图像进行分类。

9、进一步的，所述步骤s1采集病虫害胁迫下的茶树叶部图像的步骤为：

10、采用佳能eos 6d数码相机在自然光条件下拍摄，且拍摄角度和拍摄距离随机。采集的病虫害胁迫下的茶树叶部图像以jpg格式保存，分辨率为6000*4000。

11、进一步的，所述步骤s2中预处理茶树叶片病虫害胁迫下的图像的步骤为：

12、s21：利用labelme软件对病虫害胁迫下的茶树叶部图像进行手动标记；

13、s22：用不同的颜色对病虫害危害的症状区域进行标记，并用不同颜色的标签对每种症状区域进行分类；

14、s23：标签数据保存在与原始照片对应的json文件中；

15、s24：将标签数据的json格式转换为coco数据集格式，并将其输入神经网络进行训练。

16、进一步的，所述步骤s3的步骤为：

17、s31：采用resnet50与特征金字塔（fpn）相结合作为主干架构对茶树叶片病斑和虫斑图像进行特征提取；

18、s32：使用区域候选网络接收主干结构提取到的特征图，将图像分为两类：病虫斑和背景；然后，通过尽可能适合病虫斑大小的框来选择病虫斑；

19、s33：通过roialign接收来自区域候选网络中的感兴趣区域；

20、s34：通过感兴趣区域（roi）分类器和边框回归器对目标病斑和虫斑进行识别；

21、s35：对目标病斑图像进行分割，最终将分割掩膜（mask）生成网络产生的掩膜图像与识别结果相结合，得到1张包含目标病斑类别和分割掩膜的图像。

22、进一步的，所述步骤s4的步骤为：

23、s41：将病斑图像通过小波变换转换为信号；

24、s42：将转换完成后的图像按低频率和高频率进行分离，从而得到四个分量：ll、hl、lh、hh；

25、s43：将分离后的四张图像同时输入到四通道残差网络（f-rnet）来分类病斑和虫斑，同时重载imagefolder函数，以十折交叉验证的方式选取图片作为训练集和测试集来训练网络并调整参数。

26、进一步的，所述步骤s5的步骤为：

27、s51：将经过小波变换处理后得到的低频和高频图像，输入到四通道卷积神经网络来提取图像特征；

28、s52：重载imagefolder函数，以十折交叉验证的方式选取图片作为训练集和测试集来训练网络并调整参数。

29、与现有技术相比，本发明具有的优点和有益效果是：

30、1、本发明利用mask r-cnn、小波变换和f-rnet对茶树病虫害胁迫进行检测和鉴别，解决了卷积神经网络（cnn）对于茶树的云纹叶枯病和轮斑病难以进行直接区分的问题，实现了利用计算机视觉和深度学习的方法准确快速识别危害叶片的病虫害症状，并能从图像中提取更加详细的特征，对采取有效的防控措施具有重要意义。

31、2、本实验框架可以准确的将特征相似的茶树叶部病斑进行分割识别，这不仅对于茶树病虫害的精准鉴定具有重要意义，而且对进一步利用人工智能开展茶树病虫害的综合防治具有重要价值。

技术特征：

1.一种基于mask r-cnn、小波变换和f-rnet检测和鉴别茶树病虫害的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于mask r-cnn、小波变换和f-rnet检测和鉴别茶树病虫害的方法，其特征在于，所述步骤s1采集病虫害胁迫下的茶树叶部图像的步骤为：

3.根据权利要求1所述的一种基于mask r-cnn、小波变换和f-rnet检测和鉴别茶树病虫害的方法，其特征在于，所述步骤s2中预处理茶树叶片病虫害胁迫下的图像的步骤为：

4.根据权利要求1所述的一种基于mask r-cnn、小波变换和f-rnet检测和鉴别茶树病虫害的方法，其特征在于，所述步骤s3的步骤为：

5.根据权利要求1所述的一种基于mask r-cnn、小波变换和f-rnet检测和鉴别茶树病虫害的方法，其特征在于，所述步骤s4的步骤为：

6.根据权利要求1所述的一种基于mask r-cnn、小波变换和f-rnet检测和鉴别茶树病虫害的方法，其特征在于，所述步骤s5的步骤为：

技术总结
本发明公开了一种基于Mask R‑CNN、小波变换和F‑RNet检测和鉴别茶树病虫害的方法。所述检测和鉴别方法包括：首先，我们利用Mask R‑CNN模型，将病斑和虫斑从叶片中分割出来。然后，利用二维离散小波变换，对病斑和虫斑图像的特征进行增强处理，从而得到四个频率的图像。最后，四个频率的图像被同时输入四通道残差网络（F‑RNet）对病虫害进行识别。本方法可以准确的将茶树叶片的病斑和虫斑进行分割识别，这不仅对于茶树病虫害的精准鉴定具有重要意义，而且对进一步利用人工智能开展茶树病虫害的综合防治具有重要价值。

技术研发人员：丁兆堂,尹鑫悦,李赫,范凯,王玉,毛艺霖
受保护的技术使用者：青岛农业大学
技术研发日：
技术公布日：2024/1/15