基于属性特征知识图谱的葡萄园病虫害细粒度识别方法

1.本发明涉及智慧农业技术领域，更确切地说，它涉及基于属性特征知识图谱的葡萄园病虫害细粒度识别方法。


背景技术：

2.病虫害侵扰是使得葡萄园作物产量下降、品质降低的主要原因之一，利用计算机技术自动识别虫害种类，帮助领域专家制定科学防治策略，是提高葡萄园生产水平的重要途径。深度学习作为其中一项关键技术，弥补了传统图像分类方法特征提取能力差、效率低等缺陷，被广泛应用于农作物病虫害的识别与诊断中。然而，由于作物病虫害种类繁多、形态属性复杂、实体间深层次关联关系差等原因，往往无法达到理想的应用效果。本发明由领域专家指导构建虫害属性特征知识图谱，并在此基础上提出了一种基于属性特征知识图谱的细粒度葡萄园病虫害识方法，通过在深度学习网络中引入知识图谱，实现葡萄园虫害的精确识别。该方法可作为葡萄园病虫害信息检索、智能问答、智能推荐等下游应用的知识库基础，可以有效应用于作物品种选择、病虫害防控等农业生产方面。


技术实现要素：

3.本发明的目的是克服现有技术的不足，提供了基于属性特征知识图谱的葡萄园病虫害细粒度识别方法。
4.第一方面，提供了基于属性特征知识图谱的葡萄园病虫害细粒度识别方法，包括：
5.步骤1、制作葡萄园病虫害数据集；
6.步骤2、构建葡萄园病害虫属性特征知识图谱gpkg；
7.步骤3、提取输入虫害图像的颜色特征fc、全局纹理特征f
t
和轮廓特征fo，通过拼接操作得到传统特征向量f
mf
；
8.步骤4、通过gpkg-vit网络提取输入训练虫害图像特征f
train
和测试虫害图像特征f
test
；
9.步骤5、将训练虫害图像特征f
train
和测试虫害图像特征f
test
输入分类层，得到预测虫害类别。
10.作为优选，步骤1包括：
11.步骤1.1、获取ip102数据集，并根据所述ip102数据集，构成gp21数据集；
12.步骤1.2、按照ip102数据集原始比例划分将所述gp21数据集划分为gp21测试集和gp21训练集。
13.作为优选，步骤2包括：
14.步骤2.1、利用scrapy框架，爬取葡萄园虫害数据；
15.步骤2.2、通过正则表达式将所述葡萄园虫害数据转化为规范化的葡萄园病虫害知识语料；对于半结构化数据，直接进行实体抽取；对于非结构化数据，采用深度学习模型bi-lstm-crf进行实体抽取；
16.步骤2.3、根据所述葡萄园病虫害知识语料，构建葡萄园病害虫属性特征知识图谱gpkg；实例集合定义为《虫害类别，关系，属性特征》三元组，选用图数据库neo4j作为知识存储方式。
17.作为优选，步骤3包括：
18.步骤3.1、计算输入虫害图像的颜色矩，作为输入虫害图像的的颜色特征fc；
19.步骤3.2、使用局部二值模式和灰度共生矩阵分别提取图像纹理特征并进行拼接，所得向量作为全局纹理特征f
t
；
20.步骤3.3、基于坎尼边缘检测算法提取轮廓特征fo；
21.步骤3.4、通过拼接操作得到传统特征向量f
mf
：
22.f
mf
＝concat(fc,f
t
,fo)
23.其中，concat表示拼接操作。
24.作为优选，步骤4包括：
25.步骤4.1、训练时：基于输入虫害图像的标签在知识图谱中进行索引，得到该类虫害在知识图谱中对应节点的属性特征向量f
cf
；然后，与传统特征向量f
mf
进行余弦相似度计算，得到相似度损失
[0026][0027]
其中，n代表特征向量的维度，与虫害类别总数相等；
[0028]
测试时：利用每张图像的传统特征向量f
mf
，与gpkg中所有表示虫害类别的节点所对应的特征向量进行余弦相似度计算，组合得到属性相似性特征向量用lk表示虫害类别节点索引，则表示为：
[0029][0030]
步骤4.2、利用vit提取图像高层语义特征，并将vit头部输出作为最终表征特征向量f
sf
；
[0031]
步骤4.3、结合基于知识图谱提取的图像属性特征和基于vit提取的图像高层语义表征特征用于分类训练，输出训练虫害图像特征f
train
和测试虫害图像特征f
test
：
[0032]ftrain
＝f
cf
+f
sf
[0033][0034]
作为优选，步骤5中，将训练虫害图像特征f
train
或测试虫害图像特征f
test
输入分类层，得到预测虫害类别；模型损失用交叉熵损失函数和余弦损失函数表示：
[0035][0036][0037]
上式中，yi和分别表示输入虫害图像的真实标签和预测标签，表示的预测概率。
[0038]
第二方面，提供了一种计算机存储介质，其特征在于，所述计算机存储介质内存储
有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行第一方面任一所述葡萄园病虫害细粒度识别方法。
[0039]
第三方面，提供了一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得计算机执行第一方面任一所述葡萄园病虫害细粒度识别方法。
[0040]
本发明的有益效果是：
[0041]
(1)本发明在深度学习网络中引入了知识图谱，通过细粒度属性特征和虫害实体关联特征信息的引入，实现了葡萄园虫害的细粒度识别。
[0042]
(2)本发明面向对象级别进行样本分析，将虫害属性特征知识图谱作为分支与另一深度学习模块分支进行结合，是一种高有效性、高普适性的方法。
[0043]
(3)本发明可作为葡萄园病虫害信息检索、智能问答、智能推荐等下游应用的知识库基础，可以有效应用于作物品种选择、病虫害防控等农业生产方面。
附图说明
[0044]
图1为基于属性特征知识图谱的葡萄园病虫害细粒度识别方法的流程图；
[0045]
图2为葡萄园虫害属性特征知识图谱gpkg示意图；
[0046]
图3为gpkg-vit网络模型图；
[0047]
图4为gpkg-vit与vit虫害识别效果可视化对比图。
具体实施方式
[0048]
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
[0049]
实施例1
[0050]
知识图谱是一种利用图结构相关数据模型或拓扑结构集成数据的知识库，能够精确描述领域内复杂知识，被广泛应用于智能搜索、个性化推荐等领域。知识图谱应用于农作物病虫害识别问题，弥补了传统深度学习技术多品类害虫分类效果不佳、虫害形态属性复杂难以辨别、虫害实体间深层次关联关系差等缺陷，达到理想了应用效果的问题。
[0051]
本发明针对葡萄园虫害种类繁多、形态复杂、关联性差等问题，充分利用知识图谱在描述虫害实体属性特征以及虫害实体间关联方面的优势，提出了基于属性特征知识图谱的细粒度葡萄园病虫害识别模型gpkg-vit，以vit(visual transformer)作为提取图像高层表征的骨干网络，结合知识图谱所提供的细粒度属性特征和虫害实体关联特征信息用于葡萄园病虫害分类研究。
[0052]
具体地，如图1所示，本发明提供的基于属性特征知识图谱的葡萄园病虫害细粒度识别方法，包括：
[0053]
步骤1、制作葡萄园病虫害数据集。
[0054]
步骤1所处阶段可以称为葡萄园虫害像数据集获取与预处理阶段，该阶段步骤包括：
[0055]
步骤1.1、获取ip102数据集，并根据ip102数据集，构成gp21数据集。示例地，ip102数据集包括从专业农业网站和昆虫科学网站上收集的共75,222个样本。在农业领域专家指
导下，从中挑选了21种葡萄园常见害虫类型，构成gp21数据集。
[0056]
步骤1.2、按照ip102数据集原始比例划分将gp21数据集划分为gp21测试集和gp21训练集。比如，划分后，训练样本和测试样本总数分别为10303和1714。
[0057]
步骤2、构建葡萄园病害虫属性特征知识图谱gpkg。
[0058]
步骤2所处阶段包括虫害属性特征知识图谱构建阶段与知识图谱转换阶段，步骤2包括：
[0059]
步骤2.1、利用scrapy框架，爬取葡萄园虫害数据。示例地，利用scrapy框架，并通过专业农业网站、昆虫科学网站、维基百科、百度百科等知识库共爬取包括绿盲蝽、大青叶蝉、葡萄二星叶蝉等21种葡萄园常见病虫害在内的数据1264条。
[0060]
步骤2.2、通过正则表达式将葡萄园虫害数据转化为规范化的葡萄园病虫害知识语料；对于半结构化数据，直接进行实体抽取；对于非结构化数据，采用深度学习模型bi-lstm-crf进行实体抽取。
[0061]
步骤2.3、根据葡萄园病虫害知识语料，构建葡萄园病害虫属性特征知识图谱gpkg；实例集合定义为《虫害类别，关系，属性特征》三元组，选用图数据库neo4j作为知识存储方式。
[0062]
如图2所示，利用gat网络将知识图谱gpkg映射为可以训练的深度学习网络；知识图谱的结点包括虫害类别n
l
和虫害特征nf两种类型：
[0063][0064][0065]
公式中，n和m分别代表虫害类别总数和图谱中所有属性节点的数量。
[0066]
步骤3、提取输入虫害图像的颜色特征fc、全局纹理特征f
t
和轮廓特征fo，通过拼接操作得到传统特征向量f
mf
。
[0067]
步骤3所处阶段为手工特征提取阶段，该阶段步骤包括：
[0068]
步骤3.1、计算输入虫害图像的颜色矩，作为输入虫害图像的的颜色特征fc。
[0069]
步骤3.2、使用局部二值模式(local binary patterns)和灰度共生矩阵(gray-level co-occurrence matrix)分别提取图像纹理特征并进行拼接，所得向量作为全局纹理特征f
t
。
[0070]
步骤3.3、基于坎尼边缘检测算法提取轮廓特征fo。
[0071]
步骤3.4、通过拼接操作得到传统特征向量f
mf
：
[0072]fmf
＝concat(fc,f
t
,fo)
[0073]
其中，concat表示拼接操作，上述传统特征向量也可以称为手工特征向量。
[0074]
步骤4、通过gpkg-vit网络提取输入训练虫害图像特征f
train
和测试虫害图像特征f
test
。
[0075]
如图3所示，步骤4所处阶段为特征获取阶段，该阶段步骤包括：
[0076]
步骤4.1、训练时：基于输入虫害图像的标签在知识图谱中进行索引，得到该类虫害在知识图谱中对应节点的属性特征向量f
cf
；然后，与传统特征向量f
mf
进行余弦相似度计算，得到相似度损失
[0077][0078]
其中，n代表特征向量的维度，与虫害类别总数相等；
[0079]
测试时：利用每张图像的传统特征向量f
mf
，与gpkg中所有表示虫害类别的节点所对应的特征向量进行余弦相似度计算，组合得到属性相似性特征向量用lk表示虫害类别节点索引，则表示为：
[0080][0081]
步骤4.2、利用vit提取图像高层语义特征，并将vit头部输出作为最终表征特征向量f
sf
；
[0082]
步骤4.3、结合基于知识图谱提取的图像属性特征和基于vit提取的图像高层语义表征特征用于分类训练，输出训练虫害图像特征f
train
和测试虫害图像特征f
test
：
[0083]ftrain
＝f
cf
+f
sf
[0084][0085]
步骤5、将训练虫害图像特征f
train
和测试虫害图像特征f
test
输入分类层，得到预测虫害类别。
[0086]
步骤5为预测分类阶段，在该阶段中，将训练虫害图像特征f
train
或测试虫害图像特征f
test
输入分类层，得到预测虫害类别；模型损失用交叉熵损失函数和余弦损失函数表示：
[0087][0088][0089]
上式中，yi和分别表示输入虫害图像的真实标签和预测标签，表示的预测概率。
[0090]
实施例2
[0091]
为了验证效果，本实施例收集了葡萄园虫害gp21数据集，该数据集包括21种葡萄园常见虫害类型，如表1所示。gp21中训练样本和测试样本总数分别为10303和1714。
[0092]
表1 gp21数据集虫害类别
[0093]
绿盲蝽大青叶蝉葡萄二星叶蝉葡萄根瘤蚜麦二叉蚜康式粉蚧粉虱斑衣蜡蝉斜纹夜蛾葡萄透翅蛾葡萄缺角天蛾刺蛾葡萄瘿螨葡萄短须螨侧多食跗线螨跳甲十星瓢萤叶甲葡萄虎天牛金针虫蓟马红蜘蛛
[0094]
实验共设计了两种对比方案：
[0095]
方案一是基于gp21数据集，和不同的方法进行比较，以验证总体模型基本的分类
准确性程度；因为本实施例的虫害细粒度识别方法依赖于vit模型，因此总体模型应比vit表现出更加理想的效果，结果如下表2所示：
[0096]
表2不同模型的性能对比
[0097]
预训练模型accuracyf1precisionrecallvgg-1685.1377.0879.3475.45resnet-15287.4979.5981.0779.03inception-v387.1879.1180.7178.48xception84.4975.7877.9574.58mobilenet85.1976.8478.7075.59squeezenet76.7967.2870.8965.23vit89.5783.0584.9881.70gpkg-vit91.2185.9587.5284.99
[0098]
表2分别列出了预训练网络vgg-16、resnet-152、inception-v3、xception、mobilenet、squeezenet和vit在gp21测试集上的性能。从表2中可以看出，vit模型在accuracy和f1指标上都明显优于其它模型。相比于目前视觉任务中最高频使用的模型之一resnet-152，vit的accuracy和f1值分别提高了2.08％和3.46％，表明利用vit提取的高层表征能够更精细地整合虫害图像全局和局部信息，因此，本研究将vit作为骨干网络构建gpkg-vit模型具备合理性。
[0099]
gpkg-vit的性能在表2最后一行展示，相比于vit，gpkg-vit的accuracy和f1值分别提高了1.64％和2.90％，这是因为vit在识别形状相似的物体时能力不足，而知识图谱能够提供不同类别虫害之间的细节信息，从而辅助vit区分虫害类型。其中，gpkg-vit与vit虫害识别效果可视化对比请参考图4.
[0100]
方案二是消融实验，为了进一步分析知识图谱对于葡萄园病虫害分类性能的提升作用，我们进行了3组消融测试，结果如表3所示：
[0101]
表3消融测试结果
[0102][0103]
注：表中“w/o”表示移除操作。mf表示手工特征，kg表示知识图谱。
[0104]
从表中可以看出，移除知识图谱所在分支(w/o mf∪kg)使得模型性能accuracy和f1分别下降1.64和2.90％。移除手工特征(w/o mf)和移除知识图谱(w/o kg)使得模型性能f1分别下降1.35％和1.55％，accuracy分别下降2.32％和2.36％。上述结果表明：1)通过引入知识图谱的方式辅助vit获取更加精确的虫害信息是有效的；2)仅使用传统特征和知识图谱在提升模型性能上作用不大，主要原因是：传统特征提取方法在表达图像高层语义信息方面存在缺陷，而仅使用知识图谱无法有效训练图卷积网络，从而使得结点特征向量表征不足。
[0105]
由实验结果可以看出本发明在葡萄园虫害识别方面取得了比较理想的效果。