基于知识图谱和深度学习的耕地提取方法与流程

1.本发明涉及遥感影像分类的研究领域，具体发明了一种基于知识图谱和深度学习的耕地提取方法。
技术背景
2.耕地是指可以用来种植农作物、经常进行耕锄的田地，是人类社会经济发展的基础资源和条件。耕地信息的提取，对于规划农业生产布局和经济发展、保障粮食与耕地安全、辅助制定科学合理的农业政策具有重要意义。
3.随着遥感技术、人工智能技术的飞速发展，采用深度学习技术在卫星遥感影像上进行耕地信息的提取已经成为一种常用的方法，通常采用全卷积神经网络(fully convolutional neural network，fcn)进行耕地提取。然而，耕地的概念属于行业属性，是不同的自然地物的复杂组合，如一块耕地，是由小麦、玉米、花生等作物，以及裸地、草地(即轮歇地、轮作地的自然地物表达)等非作物的共同组合，这种地物组合的抽象特征超过了地物本身的特征局限，因此直接采用深度学习技术进行耕地提取的效果不能满足行业要求，因为采用深度学习模型提取的地物信息是土地覆盖地物对象(如小麦、裸地)，而土地覆盖地物不等于行业要求的耕地对象。
4.同时，目前进行深度学习的地物提取通常具有盲目性，导致通常会在错误的时间，使用错误的影像，选取了不太恰当的正负类型样本进行深度学习模型训练，这样的方法方式，即使使用最好的深度学习模型，也得不到的好的地物提取结果。


技术实现要素：

5.针对当前采用深度学习模型提取耕地过程中存在的盲目性，以及提取对象不能直接等于行业要求的耕地对象的问题，本发明公开了一种基于知识图谱和深度学习的耕地提取方法，将耕地提取的专业知识进行充分理解进而形成知识图谱，将知识图谱和深度学习结合来指导耕地提取工作，有效提高耕地提取精度。
6.本发明技术方案提供了一种基于知识图谱和深度学习的耕地提取方法，包括以下步骤：
7.s1构建耕地提取知识图谱；
8.s2利用所述耕地提取知识图谱对耕地提取工作进行内容推荐，得到推荐结果，所述推荐结果包括推荐影像结果和推荐样本类型结果，所述推荐影像结果包括一个或多个；
9.s3基于所述推荐影像结果和所述推荐样本类型结果进行深度学习训练，得到深度学习模型，根据所述深度学习模型提取与耕地相关的地表覆盖地物，所述地表覆盖地物是指地表上的自然地物和人工建筑物；
10.s4根据所述知识图谱，对所述地表覆盖地物进行类型转义，得到耕地提取结果。
11.进一步的，所述耕地提取知识图谱的构建流程为：
12.(1)资料收集。所述资料包括基础资料、作物资料、影像资料、地表覆盖地物样本资
料、耕地业务规则资料，其中，所述基础资料包括行政区划资料、地形地貌资料、气候气象资料，所述作物资料包括作物种植统计资料、作物种植类型资料、作物物候资料，所述影像资料包括影像实体、影像时间、影像空间范围、影像分辨率、影像传感器，影像云量，所述地表覆盖地物样本资料包括样本实体、样本格式、样本分辨率，所述耕地业务规则资料包括耕地分类、耕地最小面积、耕地同地表覆盖地物的关系、耕地提取规则；
13.(2)地表覆盖地物特征提取。利用所述地表覆盖地物样本资料，设计特征提取算法，获取地表覆盖地物的光谱特征、纹理特征、形状特征、数学统计特征；
14.(3)知识图谱实体和关系建立。根据收集的资料和提取的地表覆盖地物特征，构建涵盖耕地、行政区划、作物、影像、样本、地形地貌、气候气象的实体集，建立实体集中各实体的属性和属性值，建立实体集各实体的关系。
15.进一步的，耕地提取工作进行内容推荐的流程为：
16.(1)输入耕地提取的行政区域、时间；
17.(2)基于路径约束建立图检索模板，按照<行政区域，作物种植统计>、<作物、作物物候>、<作物、地表覆盖地物>、<地表覆盖地物、耕地>，从耕地提取知识图谱中获取与所述行政区域、所述时间相关的作物和地表覆盖地物；
18.(3)从耕地提取知识图谱中，依据获取作物的物候期，选择作物最多生长的时间作为耕地提取优选的时间t
recommend
，并以t
recommend
为参考，并结合遥感影像类型、遥感影像分辨率、遥感影像云量进行遥感影像推荐。
19.(4)从耕地提取知识图谱中，依据地表覆盖地物和耕地的关系，将获取的地表覆盖地物划分为耕地提取正样本地物和负样本地物，得到推荐样本类型结果。
20.进一步的，基于所述推荐影像结果和所述推荐样本类型结果进行深度学习训练，其流程包括推荐影像预处理、深度学习模型选择、样本生产和制作、深度学习模型训练、地表覆盖地物解译，其中，所述深度学习模型包括目标分类、语义分割和目标检测模型中的任一类型。
21.进一步的，地表覆盖地物的类型转义通过知识推理方法来实现，所述知识推理方法包括基于本体和描述逻辑推理方法、基于逻辑编程推理方法、基于产生式规则方法。
22.本发明的有益效果为：本发明提供一种基于知识图谱和深度学习的耕地提取方法，通过将耕地识别的专业领域知识进行充分理解进而形成知识图谱，基于所述知识图谱，实现在耕地识别的最优影像、最优样本等进行智能推荐，避免耕地提取时的盲目性。同时，基于所述知识图谱中的耕地提取规则，通过类型转义和适配，实现将深度学习提取的地物类型向行业要求的耕地类型的装配，提高耕地提取的精度。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1是本发明的实现流程图。
25.图2是根据本发明实施例所述的知识图谱示例。
26.图3是根据本发明实施例所述的自然地物解译流程。
27.图4是根据本发明实施例所述的正样本示例。
28.图5是根据本发明实施例所述的与耕地相关的自然地物解译结果。
29.图6是基于产生式规则方法的耕地地类转义。
30.具体实施方法
31.下面将结合本发明附图，对本发明实施例中的技术方案进行清楚，完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
32.图1所示为本发明提供的基于知识图谱和深度学习的耕地提取的流程图，包括步骤s1
‑
步骤s4。
33.s1构建耕地提取知识图谱
34.(1)资料收集。所述资料包括基础资料、作物资料、影像资料、地表覆盖地物样本资料以及耕地业务规则资料，其中：
35.1)基础资料包括行政区划资料、地形地貌资料以及气候气象资料；
36.2)作物资料包括作物种植统计资料、作物种植类型资料以及作物物候资料；
37.3)影像资料包括影像实体、影像时间、影像空间范围、影像分辨率、影像传感器以及影像云量，
38.4)地表覆盖地物样本资料包括样本实体、样本格式以及样本分辨率；
39.5)耕地业务规则资料包括耕地分类、耕地最小面积、耕地同地表覆盖地物的关系以及耕地提取规则。
40.(2)地表覆盖地物特征提取
41.为了更好的对地表覆盖地物进行特征分析，从而获知各地表覆盖地物的最优区分度，设计特征提取算法，获取地表覆盖地物的光谱特征、纹理特征、形状特征、数学统计特征；
42.光谱特征为与影像对象的像元灰度值相关的特征，主要用于对遥感影像对象的光谱信息进行描述，是衡量影像对象光谱信息的重要测度。因此，本实例以光谱特征为例，介绍地表覆盖地物的主要光谱特征：
43.1)均值特征
44.均值即地表覆盖地物所对应影像对象中所有像元值的平均值：
[0045][0046]
其中，n为像元总数，v
i
为各像元值。
[0047]
2)标准差
[0048]
由地表覆盖地物所对应影像对象的所有n个像素的像素值计算得到标准差：
[0049][0050]
其中，v
i
为各像元值，μ
k
为第k波段的光谱均值。
[0051]
3)最大值
[0052]
由地表覆盖地物所对应影像对象的最大像素值：
[0053]
v
max
＝max{v
i
}
[0054]
其中，v
i
为各像元值。
[0055]
4)亮度
[0056]
由地表覆盖地物所对应影像对象的平均强度：
[0057][0058]
其中，μ
k
为第k波段的光谱均值，n
k
为波段总数。
[0059]
(3)知识图谱实体和关系建立。
[0060]
根据收集的资料和提取的地表覆盖地物特征，构建涵盖耕地、行政区划、作物、影像、样本、地形地貌、气候气象的实体集，建立实体集中各实体的属性和属性值，建立实体集各实体的关系。
[0061]
如图2所示为本发明以咸宁市耕地提取为实施例，构建的一个具体的耕地领域知识图谱。
[0062]
s2利用所述耕地提取知识图谱对耕地提取工作进行内容推荐，得到推荐结果，所述推荐结果包括推荐影像结果和推荐样本类型结果；
[0063]
(1)输入耕地提取的行政区域district和时间time；
[0064]
(2)基于路径约束建立图检索模板，按照<行政区域，作物种植统计>、<作物、作物物候>、<作物、地表覆盖地物>、<地表覆盖地物、耕地>，从耕地提取知识图谱中获取与所述行政区域、所述时间相关的作物和地表覆盖地物；
[0065]
以图2所述的知识图谱为例，输入行政区域district＝咸宁市、时间time＝7月，通过下述查询，得到与行政区域和时间相关的作物和地表覆盖地物：
[0066]
match(n:district{name:"咸宁市"})
‑
[r:主要经济作物]
‑
>(m)with m
[0067]
match(m)where m.合适物候期时间＝"7月"with m as zuowu
[0068]
match(zuowu)
‑
[:关联关系]
‑
(fzw:非作物)return zuowu,fzw
[0069]
查询后，将得水稻、玉米、大豆、虾塘裸地为7月时间段的与耕地相关的作物和地表覆盖地物。
[0070]
(3)从耕地提取知识图谱中，依据获取作物的物候期，选择作物最多生长的时间作为耕地提取优选的时间t
recommend
，并以t
rec
ommend为参考，并结合遥感影像类型、遥感影像分辨率、遥感影像云量进行遥感影像推荐，得到推荐影像结果。
[0071]
以图2为例，根据(2)得到水稻、玉米、大豆，按照物候期，按照最大作物生长的原则，进一步获取细化时间优选的时间t
recommend
为7月14号
‑
7月26号。根据该时间段进行影像查询，结合遥感影像类型、遥感影像分辨率、遥感影像云量进行遥感影像推荐。
[0072]
(4)从耕地提取知识图谱中，依据地表覆盖地物和耕地的关系，将获取的地表覆盖地物划分为耕地提取正样本地物和负样本地物，得到推荐样本类型结果。
[0073]
以图2为例，正样本选择水稻、玉米、大豆、虾塘裸地，负样本选择道路、建筑物、水库、树林等。
[0074]
s3基于所述推荐影像结果和所述推荐样本类型结果进行深度学习训练，得到深度学习模型，根据所述深度学习模型提取与耕地相关的地表覆盖地物；
[0075]
根据上述所述的推荐结果，基于深度学习开展地物解译工作，其流程见图3所示。
[0076]
(1)影像预处理
[0077]
对推荐的影像，进行影像的正射校正、几何校正、辐射校正、大气校正、重投影以及影像融合等处理工作。
[0078]
(2)深度学习模型选择
[0079]
深度学习模型类型包括目标分类、语义分割以及目标检测模型中的任一类型。在本实例中，采用dlinknet语义分割模型。
[0080]
(3)样本生产和制作
[0081]
面向dlinknet语义分割模型要求对样本制作范围内的所有的样本都要进行精细勾画，样本边界要尽量精准。图4为按照dlinknet语义分割模型制作的正样本示例。基于图4要求进行样本勾画，然后按照512*512大小将样本输出。输出的样本通过平移、旋转、灰度变换、翻转等方法进行样本扩增，形成样本集，并按照8：1：1的比例拆分成训练集、验证集和测试集。
[0082]
(4)深度学习模型训练
[0083]
将样本集输入到dlinknet语义分割模型。模型训练环境具体设置如下：
[0084]
软件环境：操作系统为内存为64g的centos7.2；深度学习框架为pytorch1.2；编程环境为python3.6。
[0085]
硬件环境：cpu型号为intel(r)xeon(r)e5
‑
2650 v4@2.20ghz、gpu为tesla p100 16g。
[0086]
模型训练的参数设置包括：batchsize：16；初始学习率：0.001，通过自动化调参框架进行学习率调整。
[0087]
(5)地表覆盖地物提取
[0088]
根据训练好的dlinknet语义分割模型，进行地表覆盖地物提取。图5为解译得到的耕地相关的地表覆盖地物结果。
[0089]
s4根据所述知识图谱，对所述地表覆盖地物进行类型转义，得到耕地提取结果。
[0090]
本实例中，对所述地表覆盖地物进行类型转义的方法为知识推理方法，所述知识推理方法包括基于本体和描述逻辑推理方法、基于逻辑编程推理方法、基于产生式规则方法、基于规则学习的推理以及基于表示学习的推理。其中在采用基于产生式规则方法实现时，产生式规则使用前向推理方法，包括事实集合、产生式集合和推理引擎组成，其组成和流程见图6。
[0091]
(1)根据知识图谱建立事实集合
[0092]
按照(事实名称属性_1:值_1属性_2:值_2属性_3:值_3)，将知识图谱中(实体，关系，属性)进行梳理，形成事实集合。以图2知识图谱为例，建立裸土为耕地的事实(裸土为耕地光谱特征_1:40形状特征1：50.....周围对象类型1：作物面积：200....)
[0093]
(2)建立产生式集合
[0094]
产生式描述为：if条件then动作。其中动作包括添加、移除、修改三个动作，用于对事实集合进行操作。依据耕地提取的业务规则，构建条件。
[0095]
以图2知识图谱为例，构建裸土为耕地的产生式：
[0096]
1)if(地物1类型：裸土周围对象类型：水稻近期相交地物类型：作物)then add(裸土为耕地地物1类型：裸土)
[0097]
2)if(地物2类型：林周围对象类型：水稻面积：180)then add(裸土为耕地地物2类型：林)
[0098]
(3)推理引擎
[0099]
推理引擎由3部分组成，模板匹配、选择规则以及执行规则。
[0100]
1)模板匹配：用规则的条件部分匹配事实集中的事实，当整个产生式集合都被满足的规则触发，则将规则加入议程。
[0101]
2)选择规则：按随机选择或新近程度等策略从被触发的多条规则中选择一条。
[0102]
3)执行规则：执行被选择出来的规则，操作事实集合。
[0103]
最后，通过事实集合，将地表覆盖地物转义为耕地。
[0104]
综上所述，借助本发明的上述技术方案，实现了基于知识图谱和深度学习的耕地提取。本发明可有效解决目前耕地提取工作在提取时间、数据等方面的盲目性，并实现将深度学习提取的自然地物向行业要求的耕地地物的智能适配，可有效的提高耕地提取的效率和准确度。
[0105]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。