一种作物叶部病害图像增强及快速探测方法与流程

本发明涉及农作物防护技术领域，具体涉及一种作物叶部病害图像增强及快速探测方法。

背景技术：

植物病害是农业面临的一大挑战，严重影响作物生成，给农民造成较大的损失，对作物病虫害进行准确、快速的识别定位，有助于病虫害早期防治，减少经济损失。传统上依靠专家经验判断作物病害的发病程度，依靠肉眼进行病害特征识别，常常导致误诊。农作物病害种类繁多，且病害分级不易，很难将叶片染病情况量化，但在防治方面需要根据病情进行不同处理。在农业实际生产过程中，传统的病害检测方法已不能满足大规模种植的需要，而且由于诊断效率低、病害传播快，植物往往会错过最佳防治期。基于计算机视觉技术对作物叶部病斑特征进行提取并自动识别，排除诊断主观性和对专家的依赖性，及时且准确对病害进行识别诊断，精准施药，不但可以控制病虫害，还能大幅较少农药的使用，进而较少农药对环境造成的污染。对作物病害的早期识别，早期防治具有重要意义。

植物病害的无损检测是近年来研究的重要课题，如今在作物病害类型辨别方面，分类识别技术的研究已经取得了不错的成果。

专利[cn106991666a]提出一种多尺寸图片信息的病害图像识别方法，解决了分辨率与尺寸大小不一导致识别率低、鲁棒性差的缺陷。

专利[cn105844285a]提出一种基于图像信息的黄瓜病害识别方法及装置，通过获取待识别黄瓜的叶片病害图像，通过小波、中值、均值降噪，图像增强等预处理，基于k均值的模糊聚类图像分割算法分割出叶片斑块，对分割的病斑块提取颜色一阶矩、二阶矩、灰度共生特征、形状特征(面积、周长、纵横轴比、矩形度、圆形度等)颜色、纹理、形状特征，输入支持向量机(svm)、bp神经网络和模糊识别算法识别霜霉病、褐斑病、白粉病。

专利[cn110148120a]提出一种基于cnn与迁移学习的病害智能识别方法及系统，通过图像预处理、图像归一化、利用faster-rcnn快速定位病斑区域，排除背景干扰，采用triplet相似度量模型提取图像特征，采用sift特征作为补偿特征做加权融合，采用深度卷积神经网络学习正常植物图像的第一图像特征，迁移学习进行病害植物图像的第二图像特征，结合第一图像特征和第二图像特征进行分类识别。

专利[cn110969080a]提出了一种作物病害识别方法、作物病害识别装置、电子设备及计算机可读存储介质。通过获取作物图像信息以及环境信息，根据图像信息确定关于待识别作物的第一特征数据，根据环境信息确定关于待识别作物的第二特征数据，通过预先训练的作物病害识别模型对第一特征数据以及第二特征数据进行处理，得到待识别作物的病害识别结果。

发明[cn110188824a]提出一种小样本植物病害识别方法及系统，通过随机选取多个包含病害的原始图片作为第一样本集；通过改进的基于深度卷积生成对抗网络对第一样本集进行扩充获得第二样本集，对第二样本集进行验证并将验证通过的全部或部分第二样本集与不包含病害的原始图片一起构建训练集；基于训练集对卷积神经网络进行训练获得分类模型；将待识别的病害图像输入分类模型获得病害识别结果。

上述研究大都取得了较好识别结果，但大多实验都是在理想的条件下进行的，而在真实的种植环境下，植物所处的背景极其复杂，往往包含地面、地膜、拉的绳子、杆子、大量与病害相似的背景和大量重叠的绿色元素等，使得当前病害叶片或病斑切割较为困难。而且开源环境下采集的rgb图像还受天气、光照强度及角度、拍摄角度、像素等因素的影响。在现有的研究中为了解决这个问题普遍采用的方法都是在单一背景且拍摄角度良好的条件下获得单一叶片的图像信息，虽然在很大程度上提高了识别率，但是和真实环境下的测量差异较大，导致很多模型无法真正应用到实际生产中。

技术实现要素：

为此，本发明提供一种作物叶部病害图像增强及快速探测方法，以解决现有作物叶部病变识别准确率低、易受外部环境影响的问题。

为了实现上述目的，本发明提供如下技术方案：

本发明公开了一种作物叶部病害图像增强及快速探测方法，所述方法为：

基于滑动窗口的复杂背景下采取小样本作物叶部病害图像数据，进行图像增强，将训练样本数据分为地面类、健康叶片类和病斑类，训练完成后输出训练模型，采用滑动窗口切割遍历图像，对每一滑动窗口中的图像进行识别，输出识别标签，病斑类则将滑动窗口颜色重新设置成红色边框进行标记，滑动窗口遍历完成，输出所有用红色框标注的探测结果。

进一步地，所述滑动窗口进行数据增强，滑动窗口大小及步长根据实际病斑情况进行设置，对滑动窗口内的图像进行切割。

进一步地，所述滑动窗口内图像切割成多张小尺寸图像，多张小尺寸图像组成训练样本，通过对切割图像样本分析，将复杂背景分为地面类、健康叶片类和病斑类。

进一步地，所述多张小尺寸图像进行颜色纹理特征提取，按照训练集：验证集：测试机＝8:1:1的比例设置，通过对svm径向基核函数分类器进行训练，选取最优参数并保存训练模型。

进一步地，所述训练模型输出后，对采集的或者存储的植物病变图像进行滑动窗口遍历，提取滑动窗口中切割图像的颜色纹理特征，对每一滑动窗口中的图像进行识别，输出识别标签。

进一步地，所述识别标签输出的具体过程为：

步骤1：系统初始化：启动诊断系统，初始化滑动窗口s大小为[w，h]、步长[sx，sy]；

步骤2：采集病害图像i，大小为[m，n]，采用滑动窗口s遍历采集的图像i，[x，y]为滑动窗口s在图像i上左上角坐标，滑动窗口s当前切割的图像块记为：ixy，大小为[sx，sy]；

步骤3：提取ixy的颜色纹理特征，输入训练好的svm模型进行识别，输出标注类别l；

步骤4：若l＝＝1，则ixy为含有叶病病斑的图像块，以[x，y]为左上角坐标，画大小为[25，25]的红色边框，边框中心标注c1即病斑类；

步骤5：如果需要计算作物叶部病害识别正确率、误识别率和漏检率，需要对识别系统与人工在相同位置标注早疫病的个数nls、系统误识别为早疫病的次数nwr和在人工标注为早疫病的位置系统没有探测出早疫病的个数nmd进行计算；

步骤6：判断是否遍历完整张图片，没有遍历完则继续遍历；遍历完，则询问是否继续检测下一张图片，是则跳转至步骤2，否则结束。

进一步地，所述识别正确率ati即每一张测试图片中对作物叶部病斑的识别正确率，即系统和人工都标注都为早疫病的概率，ati计算方法为:一张测试图片的识别正确率ati＝nls/nlp，即如果系统与人工都在同一位置标注为早疫病，则nls＝nls+1，

nls为识别系统与人工在相同位置标注早疫病的个数，nlp为人工标注的早疫病的个数。

进一步地，所述误识别率即测试图片的早疫病误识别率err，即系统识别为早疫病，但人工标注为其他类，err计算方法为：一张测试图片的早疫病误识别率err＝nwr/trt，即对同一滑动窗口，如果系统识别为早疫病，但人工标注为健康叶或地面；其中总识别次数也是总的滑动窗口个数，所以trt＝255，

nwr为系统误识别为早疫病的次数，trt为总识别次数。

进一步地，所述漏检率即测试图像早疫病漏识别率mrr，即人工标注为早疫病，但系统识别为其他类，mrr计算方法为：一张测试图片的早疫病漏识别率mrr＝nmd/nlp，

nmd为在人工标注为早疫病的位置系统没有探测出早疫病的个数，nlp为人工标注的早疫病的个数。

本发明具有如下优点：

本发明公开了一种作物叶部病害图像增强及快速探测方法，提出的基于滑动窗口的小样本作物叶部病害图像数据增强方法，大幅度增加了样本数据量，多样性，并大幅度降低了样本背景复杂度，为大数据样本获取困难这一难题提供了一种解决方案；

提出的简单的基于滑动窗口的复杂背景下的作物叶部病斑快速识别探测方法，无需复杂的病斑及背景的切割，通过滑动窗口遍历识别，实现对开源环境下作物叶部病斑的快速识别定位；

适用于小样本、多种作物和多种叶部病害病斑实时探测定位：过程简单，识别率较高、占内存较少、计算时间较快，为智能终端病害智能检测应用提供一种新的思路。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明实施例提供的一种作物叶部病害图像增强及快速探测方法流程图；

图2为本发明实施例提供的一种作物叶部病害图像增强及快速探测方法的图像增强分割示意图；

图3为本发明实施例提供的一种作物叶部病害图像增强及快速探测方法的图片分类示意；

图4为本发明实施例提供的一种作物叶部病害图像增强及快速探测方法的叶部病斑快速识别探测流程图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

参考图1，本实施例公开了一种作物叶部病害图像增强及快速探测方法，所述方法为：

基于滑动窗口的复杂背景下采取小样本作物叶部病害图像数据，进行图像增强，将训练样本数据分为地面类、健康叶片类和病斑类，训练完成后输出训练模型，采用滑动窗口切割遍历图像，对每一滑动窗口中的图像进行识别，输出识别标签，病斑类则将滑动窗口颜色重新设置成红色边框进行标记，滑动窗口遍历完成，输出所有用红色框标注的探测结果。

在计算机视觉领域，典型的数据增强方法有翻转、平移、缩放、色彩抖动、加噪声等，每一种数据增强方法均可将样本数量增加一倍。本实施例根据作物叶部病害探测的特点，只需找到作物叶片是否含有病斑，无需找出完整的病害病斑，通过滑动窗口对原始采集图像遍历切割，选择含有病斑的小切割图像和不含病斑的健康叶部图像、地面背景图像，从而使得训练样本数量大幅度增加，并且含有病斑的样本背景复杂度大幅度降低。

参考图2，滑动窗口设置及图像切割：目前手机拍摄图像的精度较高，尺寸较大，如果滑动窗口大小和步长设置较小，每张病害图片能切割出几千张，即使少量的病害图像也能切割出几十万张小尺寸图像，会造成人工选取训练样本集时工作量仍旧较大、病斑信息不明显、数据冗余较大等问题。所以滑动窗口大小及步长应根据实际病斑情况设置。

训练样本数据处理：在实际种植环境中，植物所处的背景环境较为复杂，通常包括土壤、地面、地膜及其他相同的植物，并且整个环境背景中包含大量与病害部位相同颜色的大量重叠的绿色背景，如果按一般思路只分出两大类：病斑类和对照组类的话，对照组类内容较为复杂，不仅包括健康叶片类，还包括地面复杂背景，其中地面复杂背景与健康叶片无论时颜色还是纹理、形状都差异较大，无法提取主要特征，所以综合考虑，本专利将对照组分为图3(c)地面类、图3(b)健康叶片类、图3(a)病斑类共形成三个识别类的训练样本集。

多张小尺寸图像进行颜色纹理特征提取，按照训练集：验证集：测试机＝8:1:1的比例设置，通过对svm径向基核函数分类器进行训练，选取最优参数并保存训练模型。

针对开源环境下采集的数据背景复杂、背景切割算法处理过程复杂，且目前没有鲁棒性较强的背景切割算法实用与所有的自然环境下采集的情况，导致技术落地困难问题，本实施例提出一种无需背景切割、简单的基于滑动窗口的复杂背景下的叶部病斑快速识别探测方法，本专利图像获取可以是现场采集，也可以是系统中已经采集存储的图像，采用滑动窗口切割遍历图像，对每一滑动窗口中的图像进行识别，输出识别标签，病斑类则将滑动窗口颜色重新设置成红色边框进行标记。图2中虚线部分表示测试时需要的计算，包括：人工标注，系统识别结果与人工标注的标签进行对比，计算作物叶病病斑识别正确率、误识别率和漏检率。

参考图4，基于滑动窗口的作物叶病病斑快速识别定位方法具体实施过程如下：

步骤1：系统初始化：启动诊断系统，初始化滑动窗口s大小为[w，h]、步长[sx，sy]；

步骤2：采集病害图像i，大小为[m，n]，采用滑动窗口s遍历采集的图像i，[x，y]为滑动窗口s在图像i上左上角坐标，滑动窗口s当前切割的图像块记为：ixy，大小为[sx，sy]；

步骤3：提取ixy的颜色纹理特征，输入训练好的svm模型进行识别，输出标注类别l；

步骤4：若l＝＝1，则ixy为含有叶病病斑的图像块，以[x，y]为左上角坐标，画大小为[25，25]的红色边框，边框中心标注c1即病斑类；

步骤5：如果需要计算作物叶部病害识别正确率、误识别率和漏检率，需要对识别系统与人工在相同位置标注早疫病的个数nls、系统误识别为早疫病的次数nwr和在人工标注为早疫病的位置系统没有探测出早疫病的个数nmd进行计算；

步骤6：判断是否遍历完整张图片，没有遍历完则继续遍历；遍历完，则询问是否继续检测下一张图片，是则跳转至步骤2，否则结束。

每一张测试图片中对作物叶部病斑的识别正确率(accuracyofearlyblightineachtestingimage,ati)，即系统和人工都标注都为早疫病的概率。ati计算方法为:一张测试图片的识别正确率(ati)＝识别系统与人工在相同位置标注早疫病的个数(numberoflabelbysystemandpeopleinsamelocation，nls)/人工标注的早疫病的个数(numberoflabelbypeople，nlp)，即如果系统与人工都在同一位置标注为早疫病，则nls＝nls+1

测试图片的早疫病误识别率(errorrecognitionrateineachtestingimage，err)，即系统识别为早疫病，但人工标注为其他类。err计算方法为：一张测试图片的早疫病误识别率(err)＝系统误识别为早疫病的次数(numberofwrongrecognition，nwr)/总识别次数(totalrecognizetimes，trt)。即对同一滑动窗口，如果系统识别为早疫病，但人工标注为健康叶或地面，则nmr＝nmr+1；其中总识别次数也是总的滑动窗口个数，所以trt＝255。

测试图像早疫病漏识别率(missedrecognitionrateineachtestingimage，mrr)，即人工标注为早疫病，但系统识别为其他类。mrr计算方法为：一张测试图片的早疫病漏识别率(mrr)＝在人工标注为早疫病的位置系统没有探测出早疫病(的个数(numberofmisdetection，nmd)/人工标注的早疫病的个数(numberoflabelbypeople，nlp)。

本实施例以设施番茄早疫病探测为例，对本专利提出方法进行验证，模型测试识别正确率达96.9697％，模拟在线早疫病探测平均正确率86.92％，平均误识别为2.06％，模型测试和模拟在线识别结果较好，表明本专利的可行性。

本实施例公开的一种作物叶部病害图像增强及快速探测方法，提出的基于滑动窗口的小样本作物叶部病害图像数据增强方法，大幅度增加了样本数据量，多样性，并大幅度降低了样本背景复杂度，为大数据样本获取困难这一难题提供了一种解决方案；

提出的简单的基于滑动窗口的复杂背景下的作物叶部病斑快速识别探测方法，无需复杂的病斑及背景的切割，通过滑动窗口遍历识别，实现对开源环境下作物叶部病斑的快速识别定位；

适用于小样本、多种作物和多种叶部病害病斑实时探测定位：过程简单，识别率较高、占内存较少、计算时间较快，为智能终端病害智能检测应用提供一种新的思路。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。