一种智能识别和预警害虫的方法及系统与流程

本发明涉及生物信息领域，具体涉及一种智能识别和预警害虫的方法及系统。

背景技术：

在生物信息领域中，对害虫判别和预警，现阶段主要是依靠：

1、人工识别：传统人工识别主要是直接用肉眼或需借助显微镜等工具判别害虫种类，并对其数量进行统计。该方法工作量极大，识别效率低，且长时间工作不可避免地会出现人为误差，对检测人员要求高，需要有丰富的害虫相关先验知识。

2、依靠声音识别：搭建害虫声音采集相关环境，通过害虫鸣叫、运动、采食等行为发出的声音来识别害虫。该方法搭建声音采集环境较难，识别精度容易受到各种噪声的影响，而且识别的害虫种类较少，故在实际场景中较难应用。

3、传统图像算法：采用诱捕害虫+人工分析的方法/模式识别方法，时间长并且耗费人力。传统图像算法主要是通过分析害虫各种形态、体积大小、害虫颜色来做到对害虫检测。其识别过程简单，算法适应能力较差，容易受环境改变各种因素的影响。

技术实现要素：

针对以上计算量大，特征提取难度大，并易损失其他特征等问题的缺陷，本发明提供一种智能识别和预警害虫的方法及系统，使对智能识别和预警害虫省时省力，而且准确率高。

本发明具体通过以下技术方案实现：

一种智能识别和预警害虫的方法，所述方法具体包括如下步骤：

步骤s10，收集害虫图像数据，并对害虫图像数据增强处理；

步骤s20，对害虫图像数据进行除噪处理和标注；

步骤s30，通过神经网络对害虫图像数据进行训练和迁移学习；

步骤s40，将目标害虫图像导入训练好的神经网络中对害虫类别进行预测；

步骤s50，统计生成害虫图像现有数据信息和害虫预警数据信息。

进一步地，于步骤s10之前，还包括步骤：

步骤s100，对害虫图像进行数据变换。

进一步地，所述对害虫图像数据进行标注为标注出图片中每一只害虫具体位置以及所属类别；

进一步地，步骤s30中，所述的神经网络为卷积神经网络,

所述卷积神经网络具体为：端到端深度神经网络；

所述端到端深度神经网络包括特征提取网络和目标预测网络；

所述特征提取网络为43层且带有残差结构的深层卷积神经网络；

所述目标预测网络为多尺度预测结构卷积神经网络。

为达到上述目的，本发明还提供一种智能识别和预警害虫的系统，所述系统包括：

数据获取单元，用于收集害虫图像数据，并对害虫图像数据增强处理；

数据标注单元，用于对害虫图像数据进行除噪处理和标注；

训练和迁移单元，用于通过神经网络对害虫图像数据进行训练和迁移学习；

预测单元，用于将目标害虫图像导入训练好的神经网络中对害虫类别进行预测；

统计和预警单元，用于统计生成害虫图像现有数据信息和害虫预警数据信息。

进一步地，所述系统还包括：

图像变换模块，用于对害虫图像进行数据变换。

为实现上述目的，本发明还提供一种智能识别和预警害虫的平台，包括处理器、存储器以及智能识别和预警害虫的平台控制程序；

其中在所述处理器执行所述平台控制程序，所述智能识别和预警害虫的平台控制程序被存储在所述存储器中，所述智能识别和预警害虫的平台控制程序，实现所述的智能识别和预警害虫的方法步骤。

为实现上述目的，本发明还提供一种计算机可读取存储介质，所述计算机可读取存储介质存储有智能识别和预警害虫的平台控制程序，所述智能识别和预警害虫的平台控制程序，实现所述的智能识别和预警害虫的方法步骤。

与现有技术相比，本发明具有以下有益效果：

本发明通过智能识别和预警害虫的方法，

步骤s10，收集害虫图像数据，并对害虫图像数据增强处理；

步骤s20，对害虫图像数据进行除噪处理和标注；

步骤s30，通过神经网络对害虫图像数据进行训练和迁移学习；

步骤s40，将目标害虫图像导入训练好的神经网络中对害虫类别进行预测；

步骤s50，统计生成害虫图像现有数据信息和害虫预警数据信息。

及相应地系统单元：

数据获取单元，用于收集害虫图像数据，并对害虫图像数据增强处理；

数据标注单元，用于对害虫图像数据进行除噪处理和标注；

训练和迁移单元，用于通过神经网络对害虫图像数据进行训练和迁移学习；

预测单元，用于将目标害虫图像导入训练好的神经网络中对害虫类别进行预测；

统计和预警单元，用于统计生成害虫图像现有数据信息和害虫预警数据信息。

可将该方法拓展至用于检测田间植物，检测昆虫，检测害虫视频，并且不受外界多方面影响，实现实时分类；可以自动识别害虫种类与统计害虫数量，提供更高的识别准确度与解放更多人力，节省时间和人力，并且可以对害虫进行预警。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种智能识别和预警害虫的方法架构流程示意图；

图2为本发明一种智能识别和预警害虫的方法之网络整体结构示意图；

图3为一种用于田间病变叶子检测的方法架构流程示意图；图4为本发明一种智能识别和预警害虫的系统架构示意图；

图5为本发明一种智能识别和预警害虫的系统模块架构示意图；

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为便于更好的理解本发明的目的、技术方案和优点更加清楚，下面结合附图和具体的实施方式对本发明作进一步说明，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。

本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。其次，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

优选地，本发明的智能识别和预警害虫的方法应用在一个或者多个终端或者服务器中。所述终端是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(applicationspecificintegratedcircuit，asic)、可编程门阵列(field－programmablegatearray，fpga)、数字处理器(digitalsignalprocessor，dsp)、嵌入式设备等。

所述终端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可以与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

本发明为实现智能识别和预警害虫数据，提供的一种智能识别和预警害虫的方法及系统。

如图1所示，是本发明实施例提供的智能识别和预警害虫的方法的流程图。

在本实施例中，所述智能识别和预警害虫的方法，可以应用于具备显示功能的终端或者固定终端中，所述终端并不限定于个人电脑、智能手机、平板电脑、安装有摄像头的台式机或一体机等。

所述智能识别和预警害虫的方法也可以应用于由终端和通过网络与所述终端进行连接的服务器所构成的硬件环境中。网络包括但不限于：广域网、城域网或局域网。本发明实施例的智能识别和预警害虫的方法可以由服务器来执行，也可以由终端来执行，还可以是由服务器和终端共同执行。

例如，对于需要进行智能识别和预警害虫的终端，可以直接在终端上集成本发明的方法所提供的智能识别和预警害虫的功能，或者安装用于实现本发明的方法的客户端。再如，本发明所提供的方法还可以软件开发工具包(softwaredevelopmentkit，sdk)的形式运行在服务器等设备上，以sdk的形式提供智能识别和预警害虫功能的接口，终端或其他设备通过所提供的接口即可实现智能识别和预警害虫的功能。

如图1所示，本发明提供了一种智能识别和预警害虫的方法，所述方法具体包括如下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

步骤s10，收集害虫图像数据，并对害虫图像数据增强处理；

在本发明实施例中，于步骤s10之前，还包括步骤：

步骤s100，对害虫图像进行数据变换。

具体地，所述图像数据为各种类型的图片，通过害虫诱捕平台与图像自动采集平台对训练的图像数据进行收集，并通过图像变换算法(比如翻转、镜像、旋转、适当增噪、适当模糊、仿射变换、透射变换)对原始图像数据样本进行数据预处理增强，实现将原始数据扩充十倍以上，数据增强的目的是扩充图像数据量，使得用于训练的图像数据数量更多，场景更多样化。

步骤s20，对害虫图像数据进行除噪处理和标注；

所述对害虫图像数据进行标注为标注出图片中每一只害虫具体位置以及所属类别；

具体地，所述标注为标注出图像中每一只害虫的类型与在图像中的具体位置，也就是说，对害虫图像数据进行人工标注，人工标注出图片中每一只害虫具体位置，以及所属类别。标注完毕后生成格式为xml标注文件，文件记录了图片中每只害虫的类别、位置坐标、害虫宽高。一张图片对应一标注文件，最终原始图片与标注文件将用于神经网络的训练。

所述除噪处理，具体为：通过中值滤波去除颗粒与椒盐噪声。

对送入训练和迁移学习前的害虫图像数据需要进行除噪处理；

具体地，所述对训练和迁移学习前的害虫图像数据进行除噪处理具体为通过中值滤波去除颗粒与椒盐噪声。

也就是说，首先对待预测图片进行滤波除噪，使用中值滤波去除颗粒与椒盐噪声，使用高斯滤波减噪使图像更加平滑。将滤波除噪后的害虫图片送入训练好的深度卷积神经网络，网络会自动对害虫类型与位置进行预测，最终给出每只害虫所属类型与在图片中的具体位置

步骤s30，通过卷积神经网络对害虫图像数据进行训练和迁移学习；

步骤s30中，所述的神经网络为卷积神经网络：

所述卷积神经网络具体为：端到端深度神经网络；

所述端到端深度神经网络包括特征提取网络和目标预测网络；所述特征提取网络为43层且带有残差结构的深层卷积神经网络；所述特征提取网络为根据图片中害虫的密集程度，设置提取特征图的大小(特征图大小阈值)，而传统特征提取网络根据训练集图片包含的的目标数量设置相应的最后提取的特征图的大小。所述目标预测网络为多尺度预测结构卷积神经网络。

较佳地，所述卷积神经网络的最后一层设置神经节点为50个，如此对输入的一张图片，神经网络将输出对应50类分类的概率。传统卷积神经网络输出层的神经节点数由不同分类总数决定。

具体地，如图2所示，搭建一种端到端的目标检测深度神经网络，该模型只需输入待测图片，即可一次性预测出图片中所有害虫类别并标出具体位置。并且由于是端到端的网络模型，模型预测计算中无需进行多余的前景与背景的分离后再预测类别，而是直接分类并回归出害虫的具体位置，这将大大提升算法速度，从而可达到实时的目标检测。模型分为两个部分：特征提取网络，目标预测网络。特征提取网络是一个43层的且带有残差结构的深层卷积神经网络，神经网络层数越深，其特征提取分类识别的能力越强，但训练网络的难度也越大，所以在网络中加入残差结构，加快了网络训练的收敛速度，并提高了识别正确率。

此43层卷积神经网络通过每一层的卷积结构提取各项特征，并使用残差连接加快训练收敛速度，最终采用softmax函数输出特征提取的分类结果。

目标预测网络是一个采用多尺度预测结构的卷积神经网络，它的输入数据为之前特征提取网络的输出。目标预测网络对特征提取网络最后一层输出使用一个7层卷积神经网络，第一、三、五层卷积核大小为1x1，卷积通道数为512；第二、四、六层卷积核大小为3x3，卷积通道数为1024；第七层卷积核大小为3x3，卷积通道数为3x(classes+5)，其中classes为要预测的害虫类别数目，从而输出第一个目标预测特征图，输出大小为19x19x3x(classes+5)。接着使用双线新插值对第一个目标预测特征图上采样，重复以上7层卷积操作，得到第二个目标预测特征图，输出大小为38x38x3x(classes+5)。继续对第二个目标预测特征图进行上采样，得到第三个目标预测特征图，输出大小为76x76x3x(classes+5)。通过计算loss＝coorderr+iouerr+clserr损失函数，最终可一次性预测出图片中所有的害虫的种类与位置。其中coorderr是害虫预测坐标与真实坐标的误差；iouerr害虫预测框与真实框的重叠比例，最大为1；clserr为害虫预测类别与真实类别的误差。

在本实施例中，迁移学习预训练，使用imagenet中的1000类数据训练步骤中的特征提取43层网络，图像输入大小224x224。用预训练好的特征提取网络与目标预测网络组合起来，使用标注好的害虫数据对整个网络模型进行训练，将图像的输入大小调整为608x608。

步骤s40，将目标害虫图像导入训练好的神经网络中对害虫类别进行预测。

步骤s50，统计生成害虫图像现有数据信息和害虫预警数据信息。

具体地，最终人工智能深度神经网络可实现自动对害虫种类的预测，并给出图像中害虫的具体位置。根据神经网络的输出，我们统计检测到害虫的类别和对应的数量，以及每只害虫对应的位置和大小。在可视化界面中，可清晰的给出检测到害虫总数量，每只害虫所属的种类、位置和体积大小，而且可以通过可视化界面进行呈现，便于实时监控数据信息的动态情况。

所述害虫预警数据信息为对该分析片区的害虫情况进行预测，即根据系统分析得出来的数据，估算出该区域内以后害虫预测情况，根据预测数据便于做好防御工作。

如图3所示，本发明的另一实施例，用于田间病变叶子检测的方法，具体步骤如下：

步骤s1001，收集叶子图片，标注出图片中的病变叶子；

步骤s1002，将图片和标注数据，输入网络，进行训练；

步骤s1003，将新采集的叶子图片，输入训练好的网络，进行检测识别；

步骤s1004，统计病变叶子比例，达到设置的阈值时，发出警报。

较佳地，本发明的智能识别和预警害虫的方法还适用于田间多种害虫的识别，比如：椿象、白蛾、小地老虎、棉铃虫、云斑白条天牛、斑衣蜡蝉等等。

如图4所示，本发明提供了一种智能识别和预警害虫的系统，所述系统具体包括：

数据获取单元，用于收集害虫图像数据，并对害虫图像数据增强处理；

数据标注单元，用于对害虫图像数据进行除噪处理和标注；

所述对害虫图像数据进行标注为标注出图片中每一只害虫具体位置以及所属类别；

具体地，对害虫图像数据进行人工标注，人工标注出图片中每一只害虫具体位置，以及所属类别。标注完毕后生成格式为xml标注文件，文件记录了图片中每只害虫的类别、位置坐标、害虫宽高。一张图片对应一标注文件，最终原始图片与标注文件将用于神经网络的训练。

所述除噪处理，具体为：通过中值滤波去除颗粒与椒盐噪声。

对送入训练和迁移学习前的害虫图像数据需要进行除噪处理；

具体地，所述对训练和迁移学习前的害虫图像数据进行除噪处理具体为通过中值滤波去除颗粒与椒盐噪声。

也就是说，首先对待预测图片进行滤波除噪，使用中值滤波去除颗粒与椒盐噪声，使用高斯滤波减噪使图像更加平滑。将滤波除噪后的害虫图片送入训练好的深度卷积神经网络，网络会自动对害虫类型与位置进行预测，最终给出每只害虫所属类型与在图片中的具体位置

训练和迁移单元，用于通过神经网络对害虫图像数据进行训练和迁移学习；

预测单元，用于将目标害虫图像导入训练好的神经网络中对害虫类别进行预测；

统计和预警单元，用于统计生成害虫图像现有数据信息和害虫预警数据信息。

具体地，最终人工智能深度神经网络可实现自动对害虫种类的预测，并给出图像中害虫的具体位置。根据神经网络的输出，我们统计检测到害虫的类别和对应的数量，以及每只害虫对应的位置和大小。在可视化界面中，可清晰的给出检测到害虫总数量，每只害虫所属的种类、位置和体积大小。

如图5所示，所述系统还包括：

图像变换模块，用于对害虫图像进行数据变换；

具体地，通过害虫诱捕平台与图像自动采集平台对训练的图像数据进行收集，并通过图像变换算法(比如翻转、镜像、旋转、适当增噪、适当模糊、仿射变换、透射变换)对原始图像数据样本进行数据预处理增强，实现将原始数据扩充十倍以上。

具体地，所述端到端深度神经网络包括特征提取网络和目标预测网络；所述特征提取网络为43层且带有残差结构的深层卷积神经网络；所述目标预测网络为多尺度预测结构卷积神经网络。

通过本发明通过一种智能识别和预警害虫的方法各个步骤，及系统的各功能单元与功能模块，相对传统操作方法而言，识别效果好，对图中小目标也有非常好的预测能力，达到不同的害虫检测效果，可在少样本的情况下训练出预测能力非常好的网络模型，并且有效的加快了训练速度，可细化害虫类型，从而提升识别害虫的种类(5000种以上)。

较佳地，通过连续镜头采集图片，自动识别害虫种类与统计害虫数量，节省时间和人力。通过不同的数据集训练，可将该方法拓展至用于检测田间植物，检测昆虫，检测害虫视频，实时分类；根据实际应用需求，修改模型最后输出classes数，即可修改最后输出的网络模型，实现预测类别的扩增，以便于后期增加识别类别。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。