病虫害识别方法及装置与流程

本申请涉及图像识别领域，具体而言，涉及一种病虫害识别方法及装置。

背景技术：

植物病虫害指植物受到其他生物的侵染，如病菌侵染、真菌侵染或者害虫的侵染；或者由于不适宜的环境条件而引起的正常生理机能的破坏，如干旱、冰冻或者打气污染。我国作为农业大国，农作物病虫害疾病常常给国民经济造成重大的损失。

现有病虫害检测技术中，大多数方法针对单类植物或病虫害进行识别，由于识别手段依赖于人工提取特征，因此，在某类农作物上能够进行较准确的识别方法通常难以复用到另一类植物上。因此，存在通用性差，不同植物之间识别率不稳定的问题。

技术实现要素：

为了克服现有技术中的至少一个不足，本申请的目的之一在于提供一种病虫害识别方法，应用于数据处理设备，所述数据处理设备配置有训练好的神经网络模型，所述训练好的神经网络模型通过多张患病植物的叶片图像以及植株图像进行训练获得，所述方法包括：

获取待识别植物的图像，所述待识别植物的图像包括叶片图像以及植株图像；

将所述待识别植物的图像输入所述神经网络模型，使得所述神经网络模型对所述待识别植物的特征进行识别，获得所述待识别植物的种类以及该待识别植物的病虫害类型。

可选地，所述神经网络模型包括植物种类识别网络和多个病虫害种类识别网络，所述将所述待识别植物的图像输入所述神经网络模型，使得所述神经网络模型对所述待识别植物的特征进行识别，获得所述待识别植物的种类以及该待识别植物的病虫害类型的步骤包括：

通过所述植物种类识别网络对所述待识别植物的叶片图像以及植株图像进行识别，获得所述待识别植物种类；

根据所述待识别植物种类确定对应的目标病虫害种类识别网络；

通过所述目标病虫害种类识别网络对所述待识别植物的叶片图像以及植株图像进行识别，获得该待识别植物的病虫害种类。

可选地，所述方法还包括对所述神经网络模型的训练的步骤：

获取标记有植物种类标签以及病虫害种类标签的植物样本图像，所述植物样本图像包括叶片图像和植株图像；

将所述植物样本图像输入待训练的所述神经网络模型；

基于预设损失函数，通过反向传播算法对待训练的所述神经网络模型权值进行迭代调整，直到所述损失函数的输出值小于预设阈值，得到所述训练好的神经网络模型。

可选地，所述神经网络模型包括植物种类识别网络和多个病虫害种类识别网络，所述基于预设损失函数，通过反向传播算法对待训练的所述神经网络模型权值进行迭代调整，直到所述损失函数的输出值小于预设阈值，得到所述训练好的神经网络模型的步骤包括：

将所述植物样本图像输入所述植物种类识别网络，使得所述植物种类识别网络根据所述物样本图像的植物种类标签进行训练；

根据所述植物样本图像的种类标签，分别将不同种类的植物样本图像输入不同的病虫害种类识别网络，使得所述病虫害种类识别网络根据所述病虫害种类标签进行训练；

通过训练好的所述植物种类识别网络以及多个病虫害种类识别网络构成所述训练好的神经网络模型。

可选地，所述植物样本图像被划分成预设比例的训练样本和测试样本，所述测试样本用于检测通过所述训练样本训练好的神经网络模型的准确率。

可选地，所述植株图像为从多个拍摄角度获得的植株全景图。

本申请实施例的另一目的在于提供一种病虫害识别装置，应用于数据处理设备，所述数据处理设备配置有训练好的神经网络模型，所述训练好的神经网络模型通过多张患病植物的叶片图像以及植株图像进行训练获得，所述病虫害识别装置包括获取模块和识别模块；

所述获取模块用于获取待识别植物的图像，所述待识别植物的图像包括叶片图像以及植株图像；

所述识别模块用于将所述叶片图像以及植株图像输入所述神经网络模型，使得所述神经网络模型对所述待识别植物的特征进行识别，获得所述待识别植物的种类以及该待识别植物的病虫害类型。

可选地，所述神经网络模型包括植物种类识别网络和多个病虫害种类识别网络，所述识别模块通过以下方式对所述待识别植物进行识别：

通过所述植物种类识别网络对所述待识别植物的叶片图像以及植株图像进行识别，获得所述待识别植物种类；

根据所述待识别植物种类确定对应的目标病虫害种类识别网络；

通过所述目标病虫害种类识别网络对所述待识别植物的叶片图像以及植株图像进行识别，获得该待识别植物的病虫害种类。

可选地，所述病虫害识别装置还包括调整模块；

所述获取模块还用于获取标记有植物种类标签以及病虫害种类标签的植物样本图像，所述植物样本图像包括叶片图像和植株图像，将所述植物样本图像输入待训练的所述神经网络模型；

所述调整模块用于基于预设损失函数，通过反向传播算法对待训练的所述神经网络模型权值进行迭代调整，直到所述损失函数的输出值小于预设阈值，得到所述训练好的神经网络模型。

可选地，所述植物样本图像被划分成预设比例的训练样本和测试样本，所述测试样本用于检测通过所述训练样本训练好的神经网络模型的准确率。

相对于现有技术而言，本申请具有以下有益效果：

本申请实施例提供的病虫害识别方法及装置，应用于数据处理设备。该数据处理设备预配置有训练好的神经网络模型，其中，该神经网络模型通过多张患病植物的叶片图像以及植株图像进行训练获得。该数据处理设备获取待识别植物的叶片图像以及植株图像，通过该神经网络模型对待识别植物的特征进行识别，进而获得该待识别植物的种类以及病虫害类型。如此，通过将植物的叶片图像以及该植物的植株图像相结合，提高了植物种类的识别率以及不同植物患病类型的识别率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的数据处理设备的硬件结构图；

图2为本申请实施例提供的病虫害识别方法的步骤流程图；

图3为本申请实施例提供的神经网络模型的结构图示意图；

图4为本申请实施例提供的病虫害识别装置的结构示意图之一；

图5为本申请实施例提供的病虫害识别装置的结构示意图之二。

图标：100-数据处理设备；120-存储器；110-病虫害识别装置；130-处理器；1101-获取模块；1102-识别模块；1103-调整模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参照图1，图1所示的数据处理设备100的方框示意图，该数据处理设备100包括存储器120、处理器130和病虫害识别装置110。其中，所述存储器120、处理器130以及相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述病虫害识别装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述数据处理设备100的操作系统(operatingsystem，os)中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块，例如所述病虫害识别装置110所包括的软件功能模块及计算机程序等。

本实施例中，所述数据处理设备100可以是，但不限于，智能手机、个人电脑(personalcomputer，pc)、平板电脑、个人数字助理(personaldigitalassistant，pda)、移动上网设备(mobileinternetdevice，mid)等。

其中，所述存储器120可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序。

所述处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

请参照图2，图2为应用于图1所示的数据处理设备100的病虫害识别方法的流程图，所述数据处理设备100配置有训练好的神经网络模型，所述训练好的神经网络模型通过多张患病植物的叶片图像以及植株图像进行训练获得。以下将对所述方法包括各个步骤进行详细阐述。

步骤s100，获取待识别植物的图像，所述待识别植物的图像包括叶片图像以及植株图像。

步骤s200，将所述叶片图像以及植株图像输入所述神经网络模型，使得所述神经网络模型对所述待识别植物的特征进行识别，获得所述待识别植物的种类以及该待识别植物的病虫害类型。

可选地，由于植物种类繁多，存在不同类型的植物其叶片形状、表面纹理极其相似的情况。然而不同种类的植物，其容易患病的类型也各不相同，对病虫害识别带来极大的干扰。基于上述原因，该数据处理设备100获取待识别植物的图像，所述待识别植物的图像包括叶片图像以及植株图像。如此，通过植物的植株形态增加不同植物之间的区别特征。

可选地，该神经网络模型的结构如图3所示，该神经网络模型包括植物种类识别网络和多个病虫害种类识别网络。该数据处理设备100获取到待识别植物的图像之后，先输入到植物种类识别网络中；通过该植物种类识别网络对该待识别植物特征进行处理，进而识别出该待识别植物的植物种类。该数据处理设备100根据该待识别植物的植物种类从多个病虫害种类识别网络中选取出目标病虫害种类识别网络，用以对该待识别植物的患病类型进行识别。

例如，请再次参照图3，在一种可能的示例中，该数据处理设备100通过植物种类识别网络获取到待识别植物的叶片图像以及植株图像，并对该待识别植物的特征做进一步地处理，进而识别出该待识别植物的种类为植物b。该数据处理设备100根据该植物b确定出病虫害种类识别网络b。进一步地，该数据处理设备100通过该病虫害种类识别网络对该待识别植物的图像进行识别，确定出该待识别植物是否患病。

可选地，本申请实施例还提供给对该神经网络模型的训练步骤。该数据处理设备100获取多张标记有植物种类以及病虫害种类标签的植物样本图像。为了提高对植物种类的识别效果，该植物样本图像包括叶片图像和植株图像。该数据处理设备100将该植物样本图片输入该神经网络模型中，基于预设的损失函数，通过反向传播算法对该神经网络的权值进行迭代调整，直到该预设损失函数的输出小于预设阈值。

可选地，由于该神经网络模型包括植物种类识别网络和多个病虫害种类识别网络。该数据处理设备100分别对该植物种类识别网络和多个病虫害种类识别网络进行训练。其中，针对该植物种类识别网络，该数据处理设备100将植物样本图像输入其中，使得该植物种类识别网络根据该植物样本的种类标签进行训练；针对该病虫害种类识别网络，该数据处理设备100分别为每一种植物分配一病虫害种类识别网络，使得该病虫害种类识别网络只用于识别一种植物的病虫害种类。该数据处理设备100在对病虫害种类识别网络进行训练时，以该植物样本的病虫害种类标签作为判断依据。如此，请再次参照图3，通过训练好的所述植物种类识别网络以及多个病虫害种类识别网络构成所述训练好的神经网络模型。

通过将该神经网络模型分为植物种类识别模型和病虫害种类识别网络，简化了单个网络的参数。当新增植物或者病虫害类别时，重复训练的网络较少。例如，为了使得该神经网络模型能够对新的植物进行识别，只需要对植物种类识别网络以及新增的病虫害识别网络进行训练。如此，减少了重复训练的网络；由于该神经网络模型是采用两个识别网络级联的方式，每个网络只做单独的事情，减少了单个网络的参数。

可选地，在一种可能的示例中，该神经网络模型为resnet，resnet是一种深度卷积神经网络的神经网络框架，对图像识别有着很高的识别准确率。

可选地，该植物样本图像被划分成预设比例的训练样本和测试样本。例如，在一种可能的示例中，将该植物样本图像按照4：1的比例随机的分成训练样本集和测试样本集。其中，该测试样本集用于对通过该训练样本集训练好的神经网络模型进行测试，以获得该训练好的神经网络模型的识别精度。

可选地，拍摄植物样本图像中的叶片图像时，将叶片平铺，拍摄叶片中的位置。同一株上已患病的叶片可以采集多张以进行拍摄，避免未患病的叶片对样本造成影响。

可选地，拍摄植物样本图片中的植株图像时，从多个角度进行拍摄，获得植物的全景图像。

可选地，针对部分图像数量不足的植物样本，使用旋转、平移或者裁剪的方式，对该类别植物样本数据进行增广操作，以增大训练样本的数量以及模型的鲁棒性。

请参照图4，本申请实施例还提供一种病虫害识别装置110，应用于数据处理设备100，所述数据处理设备100配置有训练好的神经网络模型，所述训练好的神经网络模型通过多张患病植物的叶片图像以及植株图像进行训练获得，从功能上进行划分，所述病虫害识别装置110包括获取模块1101和识别模块1102。

所述获取模块1101用于获取待识别植物的图像，所述待识别植物的图像包括叶片图像以及植株图像。

在本实施例中，该获取模块1101用于执行图2中的步骤s100，关于该获取模块1101的详细描述，可以参考步骤s100的详细描述。

所述识别模块1102用于将所述叶片图像以及植株图像输入所述神经网络模型，使得所述神经网络模型对所述待识别植物的特征进行识别，获得所述待识别植物的种类以及该待识别植物的病虫害类型。

在本申请实施例中，该识别模块1102用于执行图2中的步骤s200，关于该识别模块1102的详细描述可以参考步骤s200的详细描述。

可选地，所述神经网络模型包括植物种类识别网络和多个病虫害种类识别网络，所述识别模块1102通过以下方式对所述待识别植物进行识别：

通过所述植物种类识别网络对所述待识别植物的叶片图像以及植株图像进行识别，获得所述待识别植物种类；

根据所述待识别植物种类确定对应的目标病虫害种类识别网络；

通过所述目标病虫害种类识别网络对所述待识别植物的叶片图像以及植株图像进行识别，获得该待识别植物的病虫害种类。

可选地，请参照图5，所述病虫害识别装置110还包括调整模块1103；

所述获取模块1101还用于获取标记有植物种类标签以及病虫害种类标签的植物样本图像，所述植物样本图像包括叶片图像和植株图像，将所述植物样本图像输入待训练的所述神经网络模型进行训练；

所述调整模块1103用于基于预设损失函数，通过反向传播算法对待训练的所述神经网络模型权值进行迭代调整，直到所述损失函数的输出值小于预设阈值，得到所述训练好的神经网络模型。

所述植物样本图像被划分成预设比例的训练样本和测试样本，所述测试样本用于检测通过所述训练样本训练好的神经网络模型的准确率。

综上所述，本申请实施例提供的病虫害识别方法及装置，应用于数据处理设备。该数据处理设备预配置有训练好的神经网络模型，其中，该神经网络模型通过多张患病植物的叶片图像以及植株图像进行训练获得。该数据处理设备获取待识别植物的叶片图像以及植株图像，通过该神经网络模型对待识别植物的特征进行识别，进而获得该待识别植物的种类以及病虫害类型。如此，通过将植物的叶片图像以及该植物的植株图像相结合，提高了植物种类的识别率以及不同植物患病类型的识别率。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。