一种农作物病害识别方法、装置、电子设备及存储介质与流程

1.本发明涉及图像处理领域，特别涉及一种农作物病害识别方法、装置、电子设备及存储介质。


背景技术：

2.农作物病害是农业主要灾害之一，其具有种类多、影响范围广的特点。农作物病害的爆发会对农业经济生产造成重大损失。尽早尽快识别农作物病害是预防农作物病害扩散，爆发的重要手段。因此，如何精准识别农作物病害是亟需解决的技术问题。


技术实现要素：

3.本发明的目的是提供一种农作物病害识别方法、装置、电子设备及存储介质，通过识别目标农作物区域图像，排除了待检测图像中非农作物区域图像，使得后续提取的特征信息仅包含目标农作物区域图像对应的特征，排除了无关区域对提取到的特征信息的可靠性的影响，进而提高了农作物病害识别结果的精准性。
4.为解决上述技术问题，一方面，本发明提供一种农作物病害识别方法，包括：
5.获取待检测图像；
6.识别所述待检测图像中的目标农作物区域图像；
7.提取所述目标农作物区域图像的特征信息；
8.利用所述特征信息，确定所述待检测图像对应的农作物病害识别结果。
9.在一种可能的实现方式中，所述识别所述待检测图像中的目标农作物区域图像，包括：
10.对所述待检测图像进行农作物检测，得到多个检测框区域及对应的标签；
11.当任一标签对应的置信度超过预设检测阈值时，从置信度最高的标签对应的检测框区域中分割出仅包含农作物区域的目标农作物区域图像。
12.在又一种可能的实现方式中，还包括：
13.根据置信度最高的标签的种类数据，确定所述目标农作物区域图像的种类；
14.相应的，所述利用所述特征信息，确定所述待检测图像对应的农作物病害识别结果，包括：
15.确定所述特征信息与所述种类对应的各个病害特征信息的相似度；
16.根据所述相似度，确定所述待检测图像对应的农作物病害识别结果。
17.在又一种可能的实现方式中，还包括：
18.根据置信度最高的标签的种类数据和生长阶段数据，确定所述目标农作物区域图像的种类以及生长阶段；
19.相应的，所述利用所述特征信息，确定所述待检测图像对应的农作物病害识别结果，包括：
20.确定所述特征信息与所述种类对应的生长阶段的各个病害特征信息的相似度；
21.根据所述相似度，确定所述待检测图像对应的农作物病害识别结果。
22.在又一种可能的实现方式中，所述根据所述相似度，确定所述待检测图像对应的农作物病害识别结果，包括：
23.判断最大的相似度是否超过预设相似度阈值；
24.若超过，则将所述最大的相似度对应的病害特征信息索引得到的农作物病害名称作为农作物病害识别结果。
25.在又一种可能的实现方式中，所述提取所述目标农作物区域图像的特征信息，包括：
26.对所述目标农作物区域图像进行数据增强；其中，所述数据增强包括光照随机增强、对比度随机增强、左右翻转增强、上下翻转增强，随机旋转增强中至少一种；
27.分别提取数据增强前以及数据增强后的各个目标农作物区域图像的特征信息。
28.在又一种可能的实现方式中，所述分别提取数据增强前以及数据增强后的各个目标农作物区域图像的特征信息之后，还包括：
29.聚合每个所述目标农作物区域图像的数据增强前以及数据增强后的特征信息，得到聚合特征信息；
30.相对应的，所述利用所述特征信息，确定所述待检测图像对应的农作物病害识别结果，包括：
31.利用所述聚合特征信息，确定所述待检测图像对应的农作物病害识别结果。
32.另一方面，本发明还提供一种农作物病害识别装置，包括：
33.图像获取模块，用于获取待检测图像；
34.农作物识别模块，用于识别所述待检测图像中的目标农作物区域图像；
35.特征提取模块，用于提取所述目标农作物区域图像的特征信息；
36.病害识别模块，用于利用所述特征信息，确定所述待检测图像对应的农作物病害识别结果。
37.又一方面，本发明还提供一种电子设备，包括：
38.存储器，用于存储计算机程序；
39.处理器，用于执行所述计算机程序时实现如上述所述的农作物病害识别方法。
40.又一方面，本发明还提供一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上述所述的农作物病害识别方法。
41.可见，该方法在获取待检测图像后，并未直接提取整个待检测图像的特征信息，而是先识别出待检测图像中包含的目标农作物区域图像，然后仅提取该目标农作物区域图像对应的特征信息；即，该方法通过识别目标农作物区域图像，排除了待检测图像中非农作物区域图像，使得后续提取的特征信息中仅包含目标农作物区域图像对应的特征，排除了地面、背景等无关区域对提取到的特征信息的可靠性的影响，进而提高了农作物病害识别结果的精准性。
42.相应的，本发明还提供了一种农作物病害识别装置、电子设备及存储介质，具有上述有益效果，在此不再赘述。
附图说明
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
44.图1为本发明实施例提供的一种农作物病害识别方法适用的一种硬件框架的示意图；
45.图2为本发明实施例所提供的一种农作物病害识别方法的流程图；
46.图3为本发明实施例所提供的一种目标农作物区域图像的获取流程图；
47.图4为本发明实施例所提供的一种提取特征信息的流程图；
48.图5为本发明实施例所提供的一种农作物病害识别装置的结构框图；
49.图6为本发明实施例所提供的一种电子设备的结构框图；
50.图7为本发明实施例所提供的一种电子设备的具体结构示意图。
具体实施方式
51.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.农作物病害是农业主要灾害之一。农作物病害的爆发会对农业经济生产造成重大损失。尽早尽快识别农作物病害是预防农作物病害扩散，爆发的重要手段。一般利用计算机视觉技术，通过判断农作物病害图像的病害类别来识别农作物病害，以达到自动高效的识别目的。例如，相关技术中通过卷积神经网络直接提取采集到的待识别图像的特征信息，根据提取到的特征信息来确定待识别图像对应的农作物病害结果。但是，由于农作物形状大都不规则，照相机采集到的待识别图像中必然包含了非农作物的区域，例如，地面。这样在利用卷积神经网络提取待识别图像的特征信息时，必然存在非农作物的区域图像对其的干扰，使得提取到的特征信息可靠性降低。而特征信息的精准性直接影响到后续农作物病害识别结果的准确性。有鉴于此，本发明采用先识别出待检测图像中包含的目标农作物区域图像，然后仅提取该目标农作物区域图像对应的特征信息，提高了提取的特征信息的可靠性，进而解决了上述问题。
53.为了便于理解，先对本发明提供的农作物病害识别方法对应方案所适用的硬件框架进行介绍。本发明实施例的农作物病害识别方法应用于电子设备。请参考图1，图1为本发明实施例提供的一种农作物病害识别方法适用的一种硬件框架的示意图。其中，图像采集设备102用于采集待检测图像，并将采集的待检测图像通过网络发送给与之相连的电子设备101。电子设备101用于执行本发明实施例提供的农作物病害识别方法，即，接收待检测图像；识别待检测图像中的目标农作物区域图像；提取目标农作物区域图像的特征信息；利用特征信息，确定待检测图像对应的农作物病害识别结果。
54.此时，电子设备101和图像采集设备102可以通过网络建立远程连接，图像采集设备102可以直接设置于农作物种植区，以便根据监测需求，及时获取待检测图像。电子设备
101则可以任意设置，并不对其所在地理位置进行限定。本发明实施例也不限定电子设备101连接的图像采集设备102的数量，可以是一个图像采集设备102对应一个电子设备101。也可以是多个图像采集设备102对应一个电子设备101，实现待检测图像的集中处理。当然，此时电子设备101连接的多个图像采集设备102也可以是分别设置在不同农作物种植区的多个图像采集设备。
55.本发明实施例并不限定图像采集设备102以及电子设备101的具体结构，只要可以实现上述功能即可。例如，该图像采集设备102可以是照相机，摄像机等。电子设备101可以是计算机(如pc机)，也可以是服务器等具有数据处理能力的设备。当然，本发明实施例提供的农作物病害识别方法对应方案所适用的硬件框架并非仅图1提供的这一种，其还可以适用于其他硬件框架。例如，适用于具有图像采集功能的电子设备这一硬件框架，此时，电子设备可以直接采集待检测图像，并直接对获取到的待检测图像进行后续农作物病害识别处理。本发明实施例并不对此进行限定。
56.下面对本发明实施例提供的一种农作物病害识别方法进行介绍。请参考图2，图2为本发明实施例所提供的一种农作物病害识别方法的流程图。该方法可以包括：
57.步骤s110、获取待检测图像。
58.待检测图像是指需要进行农作物病害识别的图像。本发明实施例并不对待检测图像的内容进行限定，只要是获取到的图像均可以作为待检测图像。一般情况下，待检测图像中可以包含需要检测的农作物对象。
59.本发明实施例中并不限定待检测图像的获取方式。例如，可以接收设置在农作物种植区的图像采集设备采集的待检测图像；也可以接收其他电子设备发送的待检测图像；也可以通过电子设备自身采集待检测图像。
60.本发明实施例也不限定待检测图像的数量。待检测图像可以是一幅图像，也可以是多幅图像，也可以是一段视频中对应的各帧图像。其中，当待检测图像存在多个时，可以依次或者并行执行后续提供的农作物病害识别步骤。
61.需要说明的是，本发明实施例并不限定获取待检测图像的频率，其可以按照预设监控周期自动获取待检测图像，也可以随时被动接收待检测图像。
62.步骤s120、识别待检测图像中的目标农作物区域图像。
63.该步骤的主要目的是为了从待检测图像中确定出用于进行特征提取的目标农作物区域图像。即，本发明实施例中仅选择了目标农作物区域图像参与后续处理过程，而非农作物区域图像并未参与后续处理过程，排除非农作物区域对后续特征提取过程的干扰，以便提高提取到的特征信息的精准性，进而提升农作物病害识别结果的可靠性。
64.可以理解的是，本发明实施例并不限定识别目标农作物区域图像的具体方式，只要可以从获取的原始的待检测图像中识别出包含农作物区域的目标农作物区域图像即可。例如，可以通过训练后的ssd(single
‑
shot multibox detector，一种基于单网络的目标检测框架)识别待检测图像中的目标农作物区域图像；也可以通过训练后的faster r
‑
cnn(faster region
‑
cnn，一种基于卷积神经网络，线性回归，和支持向量机等算法，实现快速目标检测的技术)识别待检测图像中的目标农作物区域图像；也可以通过训练后的yolov3(一种基于深度学习算法的目标识别技术)识别待检测图像中的目标农作物区域图像。当然，也可以选用其他目标检测算法在训练后来识别待检测图像中的目标农作物区域图像。
65.进一步，由于本发明实施例中并未限定获取的待检测图像中可以包含的农作物对象的数量，因此，本发明实施例也不限定目标农作物区域图像的数量，用户可以根据实际应用场景以及电子设备的数据处理能力进行设置。例如，若待检测图像中仅包含一个农作物，那么目标农作物区域图像可以只有一个；若待检测图像中包含三个农作物，那么目标农作物区域图像可以有三个；当然，在识别出的农作物区域图像为多个时，可以将识别出的全部农作物区域图像均作为目标农作物区域图像，也可以仅将识别出的部分农作物区域图像作为目标农作物区域图像。例如，无论识别出的农作物区域图像有几个，都只选择其中置信度最高的一个农作物区域图像作为目标农作物区域图像，即，可以通过置信度提高目标农作物区域图像的可靠性。
66.需要说明的是，由于农作物的形状基本都是不规则的形状，而进行农作物识别的目标检测算法在识别到农作物时，基本都是通过矩形框等规则形状的边框作为识别出的农作物区域的边框。因此，识别到的农作物区域中也可能会包含少量非农作物信息，若该部分非农作物信息参与到后续特征提取，也会影响到提取到的特征信息的可靠性。例如，当识别到的农作物区域为农作物叶片区域时，由于农作物叶片形状不规则，那么得到的农作物叶片区域中会包含一些非农作物叶片的信息，例如，地面信息等，该部分地面信息也会影响到提取到的特征信息的可靠性。进而，为了进一步提高识别到的目标农作物区域图像的精准性。本发明实施例还可以从识别到的目标农作物区域中分割出仅包含农作物的区域作为最终的目标农作物区域图像。例如，对识别到的农作物叶片区域进行分割，区分出仅包含农作物叶片的区域和非叶片区域，将仅包含农作物叶片的区域作为最终的目标农作物区域图像。
67.可以理解的是，若步骤s120并未识别到目标农作物区域图像，则说明该待检测图像中并不包含需要进行农作物病害识别的目标。此时，可以直接终止本次农作物病害识别流程，避免执行后续不必要的操作，提高农作物病害识别效率；也可以在终止本次农作物病害识别流程的基础上，输出提示信息，当然，本发明实施例中并不限定该提示信息的具体内容，只要可以使用户及时了解当前待检测图像的检测结果即可。本发明实施例并不对未识别到目标农作物区域图像后的具体操作进行限定。
68.步骤s130、提取目标农作物区域图像的特征信息。
69.该步骤仅需要提取目标农作物区域图像的特征信息，而待检测图像中除了目标农作物区域之外的其他区域图像并未参与后续处理过程，排除了目标农作物区域之外的其他区域对特征提取过程的干扰，以便提高提取到的特征信息的精准性，进而提升农作物病害识别结果的可靠性。
70.可以理解的是，本发明实施例并不限定提取目标农作物区域图像的特征信息的具体方式，只要可以从目标农作物区域图像中提取出用于后续农作物病害识别的特征信息即可。例如，可以通过训练后的用于识别农作物的图像识别模型来提取目标农作物区域图像的特征信息。本发明实施例并不对图像识别模型进行限定，例如，可以采用bp(back propagation，一种神经网络模型)提取目标农作物区域图像的特征信息；也可以采用resnet网络(残差网络)提取目标农作物区域图像的特征信息；也可以采用图像识别模型vgg16(visual geometry group network，一种卷积神经网络模型)提取目标农作物区域图像的特征信息。
71.进一步，由于大多数图像识别模型都包含了特征提取器和图像分类器。而该步骤中仅需要提取目标农作物区域图像的特征信息，并不需要对目标农作物区域图像中的识别对象进行分类。因此，为了进一步提高电子设备的资源利用率，减少执行该步骤的模型占用电子设备的硬件资源。本发明实施例可以仅保留图像识别模型中的特征提取器来执行提取目标农作物区域图像的特征信息的过程。该过程可以包括：在图像识别模型的训练阶段，使用用户所需的所有农作物类别，以及不同条件下(如不同环境场景，不同光照等)的图像数据，训练对应的图像识别模型；并在训练完成后，去掉训练完成的图像识别模型中的分类器，只保留特征提取器，后续电子设备可以仅利用特征提取器提取目标农作物区域图像的特征信息。下面以图像识别模型vgg16为样例，将13层卷积层作为特征提取器，将3层全连接层作为分类器。下表对应的卷积层的卷积核大小均为3
×
3，步长为1，填充为1，池化层的滤波器大小为2
×
2，步长为2，卷积层激活函数可以使用relu(rectified linear unit,线性整流函数)作为激活函数，全连接层最后一层可以使用softmax(归一化指数函数)作为激活函数，输出各个类别的概率值。在训练完成后，可以仅保留特征提取器用于提取目标农作物区域图像的特征信息。
72.表1为vgg16图像识别模型样例结构组成表
[0073][0074]
步骤s140、利用特征信息，确定待检测图像对应的农作物病害识别结果。
[0075]
该步骤用于进行农作物病害识别的特征信息是，排除了目标农作物区域之外的其他区域对特征提取过程的干扰，提高了提取到的特征信息的精准性，进而提升农作物病害识别结果的可靠性。
[0076]
可以理解的是，本发明实施例并不限定利用特征信息确定待检测图像对应的农作物病害识别结果的具体方式，只要可以根据特征信息确定对应的农作物病害识别结果即可。例如，可以将特征信息与各个类别的农作物对应的各种病害图像的病害特征信息进行匹配，根据匹配结果确定匹配度最高的病害特征信息对应的农作物病害信息，并将该农作物病害信息作为待检测图像对应的农作物病害识别结果。其中，本发明实施例中并不限定农作物病害信息的内容。例如可以包含农作物种类，病害名称，病害严重程度，或其任意组合等。也不限定与特征信息进行匹配的农作物类别的数量，以及每种农作物类别包含的病害图像的病害特征信息的种类和数量。其可以根据用户实际需求进行设置。例如，若当前采集的农作物仅仅只是玉米，那么农作物类别可以只包含玉米这一种农作物；若当前采集的
农作物种类不限，那么为了保证农作物病害识别结果的可靠性，农作物类别可以尽量包含各种农作物种类，其包含的农作物类别的数量与农作物病害识别结果的可靠性成正比。当然，针对每种农作物类别，为了能够准确识别出其病害信息，可以包含该种类农作物对应的全部病害图像的病害特征信息。本发明实施例也不限定病害特征信息存储方式，例如，可以通过数据库存储各个类别的农作物对应的各种病害图像的病害特征信息。
[0077]
进一步，本发明实施例也不限定特征信息与各个类别的农作物对应的各种病害图像的特征信息进行匹配的过程。例如，可以通过计算特征信息与各个类别的农作物对应的各种病害图像的病害特征信息的相似度来实现匹配过程，进而，根据相似度确定待检测图像对应的农作物病害识别结果。
[0078]
需要说明的是，本发明实施例中并不限定相似度的计算方式。例如，可以先计算特征信息与各个类别的农作物对应的各种病害图像的病害特征信息的欧式距离，再根据欧式距离计算得到相似度。该过程可以是：逐一或者并行计算各个类别的农作物对应的各种病害图像的病害特征向量，与当前待检测图像中的目标农作物区域图像的特征向量的欧式距离。其中，欧式距离(euclidean distance)可以指n维空间中两个点之间的实际距离。如，若两个点分别为a＝(a1,a2,...an)，b＝(b1,b2,...,bn)，则ab两点之间的距离可以为：根据计算得到的欧氏距离可以得到两个特征向量之间的相似度。一般来说欧式距离越大，相似度越小。相似度s的计算公式可以是：s＝1/d(a,b)。
[0079]
进一步，本发明实施例中并不限定根据相似度确定待检测图像对应的农作物病害识别结果的方式。例如，可以直接将最大的相似度对应的病害特征信息对应的农作物病害信息作为农作物病害识别结果；也可以先设置一个预设相似度阈值，只有在最大的相似度超过该预设相似度阈值时，才可以将最大的相似度对应的病害特征信息对应的农作物病害信息作为农作物病害识别结果。进一步，为了提高得到的农作物病害识别结果的可靠性，避免出现误判情况，本发明实施例可以判断最大的相似度是否超过预设相似度阈值；若超过，则将最大的相似度对应的病害特征信息索引得到的农作物病害信息作为农作物病害识别结果。即，通过设置预设相似度阈值，避免出现误判情况。因为，当最大的相似度的数值也比较小时，说明提取到的特征信息并没有成功匹配到病害特征信息，自然，也就不能认为其属于任一种病害特征信息所属的农作物病害种类，也就证明当前待检测图像并未检测出农作物病害。当然，本发明实施例并不限定预设相似度阈值的数值，其可以根据用户对农作物病害识别结果准确性的需求进行设置。例如，可以设置预设相似度阈值为0.8。本发明实施例也不限定若最大的相似度未超过预设相似度阈值后，所需要执行的操作。例如，当最大的相似度未超过预设相似度阈值，可以直接输出未识别到农作物病害的提示信息；也可以直接结束本次流程。
[0080]
基于上述实施例，该方法在获取待检测图像后，并未直接提取整个待检测图像的特征信息，而是先识别出该待检测图像中包含的农作物区域图像，然后分割出仅包含农作物区域的目标农作物区域图像，再然后仅提取该目标农作物区域图像对应的特征信息；即，该方法通过识别目标农作物区域图像，排除了该待检测图像中非农作物区域图像，使得后续提取的特征信息中仅包含目标农作物区域图像对应的特征，排除了地面、背景等无关区域对提取到的特征信息的可靠性的影响，进而提高了农作物病害识别结果的精准性。
[0081]
基于上述实施例，为了进一步提高识别到的目标农作物区域图像的可靠性，本实施例中提供了一种识别待检测图像中的目标农作物区域图像的方式，具体请参考图3，可以包括：
[0082]
步骤s310、对待检测图像进行农作物检测，得到多个检测框区域及对应的标签。
[0083]
本发明实施例并不限定农作物检测的具体方式，可以参考上述实施例中提供的利用训练后的ssd，yolov3实现对待检测图像执行农作物检测的过程。在进行农作物检测后会得到多个检测框区域及对应的标签。其中，每个检测框区域包含了待检测图像的一部分，该检测框区域中可能包含有农作物对象。每个检测框区域对应一个标签，该标签可以说明该检测框区域的情况。本发明实施例并不限定该标签包含的内容。例如，一般标签都会包含有置信度，根据该置信度就可以确定对应检测框区域中包含农作物的可能性。该标签还可以包含种类数据，表明对应检测框区域中包含农作物的种类。该标签还可以包含生长阶段数据，表明对应检测框区域中包含农作物的生长阶段，如，属于幼苗期，还是成熟期等。该标签还可以同时包含上述几种数据的任意组合。当然，该标签还可以包含其他内容。用户可以将标签中需要的内容在训练阶段准备好相关数据，然后对目标识别算法对应的识别模型进行相应的训练即可。
[0084]
步骤s320、当任一标签对应的置信度超过预设检测阈值时，从置信度最高的标签对应的检测框区域中分割出仅包含农作物区域的目标农作物区域图像。
[0085]
本发明实施例为了提高得到的农作物病害识别结果的可靠性，避免出现误判情况，只有在存在标签对应的置信度超过预设检测阈值时，才会从置信度最高的标签对应的检测框区域中分割出仅包含农作物区域的目标农作物区域图像。这是因为，当全部标签对应的置信度均未超过预设检测阈值时，则证明本次并未识别出农作物对象，进而也就没有必要执行后续的农作物病害识别操作，可以直接终止当前识别流程。当然，本发明实施例并不限定预设检测阈值的数值，其可以根据用户对农作物病害识别结果准确性的需求进行设置。例如，可以设置预设检测阈值为0.7。本发明实施例也不限定当全部标签对应的置信度均未超过预设检测阈值后，所需要执行的操作。例如，当全部标签对应的置信度均未超过预设检测阈值时，可以直接输出未识别到农作物的提示信息；也可以直接结束本次识别流程。
[0086]
需要说明的是，本发明实施例为了进一步提高目标农作物区域图像的可靠性，进而提高得到的农作物病害识别结果的可靠性，避免出现误判情况。本发明实施例在出现多个检测框区域对应的标签的置信度均超过预设检测阈值时，也仅仅只选择置信度最高的标签对应的检测框区域。这是因为，置信度越高证明该检测框区域中包含农作物的可能性越高，识别结果越准确。最后从置信度最高的标签对应的检测框区域中分割出仅包含农作物区域的目标农作物区域图像。
[0087]
进一步，本发明实施例并不限定从置信度最高的标签对应的检测框区域中分割出仅包含农作物区域的目标农作物区域图像的分割方式。例如，可以使用基于边缘的图像分割算法，如，hed网络，拉普拉斯；也可以使用基于区域分割的算法，如unet网络，resnet网络。本发明实施例通过分割得到仅包含农作物区域的目标农作物区域图像，不仅可以提高目标农作物区域图像的可靠性，由于该目标农作物区域图像不包含非农作物区域，进一步减少了后续进行特征提取的图像的数据量，也可以在一定程度上提高特征提取效率，进而提升了农作物病害识别效率。
[0088]
在一种可能的情况下，当标签包含置信度和种类数据时，当任一标签对应的置信度超过预设检测阈值时，根据置信度最高的标签的种类数据，确定目标农作物区域图像的种类；从置信度最高的标签对应的检测框区域中分割出仅包含农作物区域的目标农作物区域图像。即，可以获取目标农作物区域图像，以及其包含的农作物的种类。相应的，在后续进行相似度计算时，可以仅仅计算目标农作物区域图像的特征信息与该种类对应的各个病害特征信息的相似度。即，通过种类这一数据可以将计算相似度的病害特征信息限定在一个小的范围(仅计算该种类对应的全部的病害特征信息即可)，通过缩小计算范围，加速了农作物病害识别速度。且，由于仅比较相同种类的农作物的特征信息，进而避免了其他种类的病害特征信息的干扰，也在一定程度上提高了农作物病害识别的准确性。
[0089]
在又一种可能的情况下，当标签包含置信度和生长阶段数据时，当任一标签对应的置信度超过预设检测阈值时，根据置信度最高的标签的生长阶段数据，确定目标农作物区域图像的生长阶段；从置信度最高的标签对应的检测框区域中分割出仅包含农作物区域的目标农作物区域图像。即，可以获取目标农作物区域图像，以及其包含的农作物的生长阶段。相应的，在后续进行相似度计算时，可以仅仅计算目标农作物区域图像的特征信息与该生长阶段对应的各个病害特征信息的相似度。即，通过生长阶段这一数据可以将计算相似度的病害特征信息限定在一个小的范围(仅计算该生长阶段对应的全部的病害特征信息即可)，通过缩小计算范围，加速了农作物病害识别速度。且，由于仅比较相同生长阶段的农作物的特征信息，进而避免了其他生长阶段的病害特征信息的干扰，也在一定程度上提高了农作物病害识别的准确性。
[0090]
在又一种可能的情况下，当标签包含置信度、种类数据和生长阶段数据时，当任一标签对应的置信度超过预设检测阈值时，根据置信度最高的标签的种类数据和生长阶段数据，确定目标农作物区域图像的种类以及生长阶段；从置信度最高的标签对应的检测框区域中分割出仅包含农作物区域的目标农作物区域图像。即，可以获取目标农作物区域图像，以及其包含的农作物的种类和生长阶段。相应的，在后续进行相似度计算时，可以仅仅计算目标农作物区域图像的特征信息与种类对应的生长阶段的各个病害特征信息的相似度。即，通过生长阶段和种类这两个数据可以将计算相似度的病害特征信息限定在一个更小的范围(仅计算该种类对应的生长阶段的全部的病害特征信息即可)，通过多维数据缩小计算范围，进一步加速了农作物病害识别速度。且，由于仅比较相同种类，相同生长阶段的农作物的特征信息，进而避免了其他种类，以及同种类其他生长阶段的病害特征信息的干扰，也在一定程度上提高了农作物病害识别的准确性。
[0091]
基于上述实施例，该方法从置信度最高的标签对应的检测框区域中分割出仅包含农作物区域的目标农作物区域图像，进一步提高目标农作物区域图像的可靠性，进而提高得到的农作物病害识别结果的可靠性，避免出现误判情况。且通过增加标签的内容，进一步缩小特征对比范围，加速农作物病害识别速度，并通过避免了其他范围的病害特征信息的干扰，也在一定程度上提高了农作物病害识别的准确性。
[0092]
由于本发明实施例处理的待检测图像可以由设置在农作物种植区的图像采集设备采集而来，后续电子设备需要从该待检测图像中识别出农作物病害。但是，农作物种植区场景复杂，农作物的相似度高，生长周期状态变化大，这在一定程度上增加了识别难度。为了解决这一问题，基于上述任意实施例，本实施例中提供了一种提取目标农作物区域图像
的特征信息的方式，具体请参考图4，可以包括：
[0093]
步骤s410、对目标农作物区域图像进行数据增强；其中，数据增强可以包括光照随机增强、对比度随机增强、左右翻转增强、上下翻转增强，随机旋转增强中至少一种。
[0094]
由于图像采集设备在拍摄农作物时，容易受到光照，拍摄角度的影响，导致拍摄的同一个农作物在不同的时间、角度采集的差异较大。本发明实施例为了提高农作物病害识别精准性，在已经获取目标农作物区域图像的基础上，还需要对获取的目标农作物区域图像进行数据增强处理，生成不同条件下的目标农作物区域图像数据。通过数据增强处理来降低场景，环境等对后续特征提取的影响，提高后续提取到的特征信息的可靠性，进而提升了对于不同条件的适应能力。本发明实施例并不限定执行的数据增强的种类。数据增强可以包括光照随机增强、对比度随机增强、左右翻转增强、上下翻转增强，随机旋转增强中至少一种。当然，还可以包含其他数据增强方式。本发明实施例并不限定各种数据增强方式的实现方式，只要可以实现相应的数据增强效果即可。
[0095]
当用户选择多种数据增强方式时，可以叠加对同一原始的目标农作物区域图像(即未进行数据增强前的目标农作物区域图像)进行数据增强，最后只得到一幅数据增强后的目标农作物区域图像。也可以是每次对原始的目标农作物区域图像执行一种数据增强过程得到一幅数据增强后的目标农作物区域图像，多次执行不同的数据增强过程。例如，当用户执行上述五种数据增强方式后，可以得到包括数据增强前的目标农作物区域图像在内的六幅目标农作物区域图像。进一步，为了保证数据增强效果，一般情况下每次只对原始的目标农作物区域图像执行一种数据增强过程，多次执行不同的数据增强过程，得到多幅数据增强后的目标农作物区域图像。
[0096]
步骤s420、分别提取数据增强前以及数据增强后的各个目标农作物区域图像的特征信息。
[0097]
由于在执行完数据增强之后，至少存在两幅目标农作物区域图像，因此，就需要分别提取数据增强前以及数据增强后的各个目标农作物区域图像的特征信息。例如，当用户执行上述五种数据增强方式后，可以得到包括数据增强前的目标农作物区域图像在内的六幅目标农作物区域图像。这时就需要利用卷积神经网络模型的特征提取器分别提取六幅目标农作物区域图像的特征信息。
[0098]
在一种可能的情况下，由于分别提取数据增强前以及数据增强后的各个目标农作物区域图像的特征信息，最终获取的特征信息数据会比较多，为了进一步提高本发明实施例提供的农作物病害识别方法的泛化能力，还可以聚合目标农作物区域图像的数据增强前以及数据增强后的特征信息，得到聚合特征信息。此时，若在识别目标农作物区域图像的步骤得到多个不同的目标农作物区域图像时，就需要分别针对每一个原始的目标农作物区域图像执行上述聚合过程，分别得到各个不同的目标农作物区域图像对应的聚合特征信息。相应的，后续就可以利用聚合特征信息，确定待检测图像对应的农作物病害识别结果。具体识别过程可以参考上述各实施例中提供的具体过程。
[0099]
基于上述实施例，该方法对目标农作物区域图像进行数据增强，并聚合每个目标农作物区域图像的数据增强前以及数据增强后的特征信息得到聚合特征信息，提高提取到的特征信息的可靠性，进而提高得到的农作物病害识别结果的可靠性，避免出现误判情况。即，通过在计算相似度之前执行图像增强操作，并对特征聚合得到聚合特征信息，可以提高
本发明实施例提供的农作物病害识别方法的鲁棒性和泛化能力，降低不同光照、拍摄角度的影响。
[0100]
下面提供一种具体应用场景实施例，来说明上述农作物病害识别方法的执行过程。电子设备接收图像采集设备采集到的待检测图像。通过训练得到的目标检测算法(如yolov3)识别待检测图像中的农作物对象，得到多个检测框区域和对应的标签。根据标签中的置信度数值确定待检测图像中是否存在农作物，若不存在，则输出未检测到农作物病害的提示信息，并结束本次农作物识别流程；若存在，则选择置信度最高的标签对应的检测框区域，并从置信度最高的标签对应的检测框区域中分割出仅包含农作物区域的目标农作物区域图像。对该目标农作物区域图像进行数据增强；其中，数据增强同时包括光照随机增强、对比度随机增强、左右翻转增强、上下翻转增强，随机旋转增强，得到包括数据增强前的目标农作物区域图像在内的六幅目标农作物区域图像。使用卷积神经网络分别提取六幅目标农作物区域图像的特征信息，聚合该目标农作物区域图像的数据增强前以及数据增强后的特征信息，得到聚合特征信息；根据标签中的种类数据和生长阶段数据，确定数据库中需要计算欧式距离病害特征信息(即，该种类对应的生长阶段的全部的病害特征信息)。逐一计算聚合特征信息与数据库中该种类对应的生长阶段的各个病害特征信息的欧式距离，并根据各个欧式距离计算对应的相似度。判断最大的相似度是否超过预设相似度阈值；若未超过，则输出未检测到农作物病害的提示信息，并结束本次农作物识别流程；若超过，则将最大的相似度对应的病害特征信息索引得到的农作物病害名称作为农作物病害识别结果。
[0101]
下面对本发明实施例提供的农作物病害识别装置、电子设备及存储介质进行介绍，下文描述的农作物病害识别装置、电子设备及存储介质与上文描述的农作物病害识别方法可相互对应参照。
[0102]
请参考图5，图5为本发明实施例所提供的一种农作物病害识别装置，该农作物病害识别装置可以包括：
[0103]
图像获取模块100，用于获取待检测图像；
[0104]
农作物识别模块200，用于识别待检测图像中的目标农作物区域图像；
[0105]
特征提取模块300，用于提取目标农作物区域图像的特征信息；
[0106]
病害识别模块400，用于利用特征信息，确定待检测图像对应的农作物病害识别结果。
[0107]
基于上述实施例，该农作物识别模块200可以包括：
[0108]
农作物识别单元，用于对待检测图像进行农作物检测，得到多个检测框区域及对应的标签；
[0109]
农作物分割单元，用于当任一标签对应的置信度超过预设检测阈值时，从置信度最高的标签对应的检测框区域中分割出仅包含农作物区域的目标农作物区域图像。
[0110]
基于上述实施例，该农作物识别模块200还可以包括：
[0111]
农作物种类确定单元，用于根据置信度最高的标签的种类数据，确定目标农作物区域图像的种类；
[0112]
相应的，该病害识别模块400可以包括：
[0113]
第一相似度计算单元，用于确定特征信息与种类对应的各个病害特征信息的相似度；
[0114]
病害识别单元，用于根据相似度，确定待检测图像对应的农作物病害识别结果。
[0115]
基于上述实施例，该农作物识别模块200还可以包括：
[0116]
农作物种类及生长阶段确定单元，用于根据置信度最高的标签的种类数据和生长阶段数据，确定目标农作物区域图像的种类以及生长阶段；
[0117]
相应的，该病害识别模块400可以包括：
[0118]
第二相似度计算单元，用于确定特征信息与种类对应的生长阶段的各个病害特征信息的相似度；
[0119]
该病害识别单元，用于根据相似度，确定待检测图像对应的农作物病害识别结果。
[0120]
基于上述实施例，该病害识别单元可以包括：
[0121]
判断子单元，用于判断最大的相似度是否超过预设相似度阈值；
[0122]
病害识别子单元，用于若最大的相似度超过预设相似度阈值，则将最大的相似度对应的病害特征信息索引得到的农作物病害名称作为农作物病害识别结果。
[0123]
基于上述任意实施例，该特征提取模块300可以包括：
[0124]
图像增强单元，用于对目标农作物区域图像进行数据增强；其中，数据增强包括光照随机增强、对比度随机增强、左右翻转增强、上下翻转增强，随机旋转增强中至少一种；
[0125]
特征提取单元，用于分别提取数据增强前以及数据增强后的各个目标农作物区域图像的特征信息。
[0126]
基于上述实施例，该特征提取模块300还可以包括：
[0127]
特征聚合单元，用于聚合每个目标农作物区域图像的数据增强前以及数据增强后的特征信息，得到聚合特征信息；
[0128]
相应的，该病害识别模块400具体用于利用聚合特征信息，确定待检测图像对应的农作物病害识别结果。
[0129]
需要说明的是，基于上述任意实施例，该装置可以是电子设备实现的，该电子设备可以是计算机，pc机，服务器，本发明实施例对此并不进行限定。
[0130]
本发明实施例还提供了一种电子设备。可以参见图6所示，该电子设备可以包括：
[0131]
存储器332，用于存储计算机程序；
[0132]
处理器322，用于执行计算机程序时实现上述方法实施例的农作物病害识别方法。
[0133]
具体的，请参考图7，图7为本发明实施例提供的一种电子设备的具体结构示意图，该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，处理器322可以设置为与存储介质330通信，在电子设备301上执行存储介质330中的一系列指令操作。
[0134]
电子设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。例如，windows servertm，mac os xtm，unixtm，linuxtm，freebsdtm等。电子设备301还可以包括图像采集设备，例如，摄像头。
[0135]
上文所描述的农作物病害识别方法中的步骤可以由电子设备的结构实现。该电子设备可以是计算机，pc机，服务器，本发明实施例对此并不进行限定。
[0136]
下面对本发明实施例提供的存储介质进行介绍，下文描述的存储介质与上文描述的农作物病害识别方法可相互对应参照。
[0137]
本发明还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的农作物病害识别方法的步骤。
[0138]
该存储介质可以包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0139]
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0140]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0141]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
[0142]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语包括、包含或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0143]
以上对本发明所提供的一种农作物病害识别方法、装置、电子设备及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。