融合稀疏照片的卫星遥感影像土地覆被制图方法及系统

1.本发明涉及地球空间信息技术领域，具体涉及一种融合稀疏照片的卫星遥感影像土地覆被制图方法及系统。


背景技术：

2.土地覆被描述了地球表面的自然和人造覆盖，包括生物区、土壤、地形、地表和地下水以及人类结构(giri and chandrap,2012)。随着经济发展和城市化进程加快，人们对土地覆被信息需求增加，收集土地覆被信息变得非常重要。现有的土地覆被制图方法主要采用卫星遥感影像的光谱特征等进行制图，然而对于精细分类来说，来自卫星遥感影像的俯视图特征难以对某些地物进行进一步区分，比如各种房屋顶部均表现为建筑物特征。因此，引入侧面特征对于土地覆被制图是非常必要的。
3.遥感手段土地覆被制图主要考虑的是地球表面可见的各种材料的特性，早期的解决方案仅基于光谱特征对每个像素进行分类(riggan jr and weih jr,2009)，因为这些信息与底层物质相关。在光谱信息不足以区分土地覆被类别的情况下，常将上下文和纹理信息(myint,2001)整合在一起，通过分析每个像素周围的固定大小窗口进行分类。随后，无监督分类方法被广泛应用于图像分割以及基于对象的分类。采用类似的方法，仅基于俯视影像生成精确的大比例尺地图并非易事，因为仅依赖地物的光谱特征不足以识别不同的土地覆被类型。近期的一些研究还探索使用其他来源的数据作为卫星遥感影像的补充，如道路网络或openstreetmap(osm)矢量数据(yokoyaet，2018)，通过实验证明了其有效性。与此同时，研究人员还从地面角度探讨了土地利用制图问题，通常使用其他数据源，如来自在线存储库(如flickr、instagram、geographic)的基于地面的照片(leung and newsam,2012；zhu and newsam,2015；tracewski et al.,2017；zhu et al.,2018)。这些照片从地面视角提供了通常被隐藏俯视视图中的关于地表覆被功能的关键信息，如学校入口等。
4.联合使用带地理标记的照片和卫星遥感影像进行土地覆被制图是一个新兴领域，目前大部分研究需要借助城市规划部门提供的足迹或标签数据，但是分类结果比较粗糙。因此，如何提高地物(如建筑物等)的分类精细化程度成为一个亟待解决的问题。


技术实现要素：

5.为了解决上述技术问题，本发明提供一种融合稀疏照片的卫星遥感影像土地覆被制图方法及系统。
6.本发明技术解决方案为：一种融合稀疏照片的卫星遥感影像土地覆被制图方法，包括：
7.步骤s1：获取卫星遥感影像，利用预训练的地面场景识别卷积神经网络places-cnn模型对所述卫星遥感影像对应区域的稀疏照片进行场景识别，得到所述稀疏照片的语义特征；
8.步骤s2：将所述卫星遥感影像所覆盖区域作为研究区，以带地理标记的所述稀疏
照片的定位信息为中心设置预定范围，在所述研究区内对所述语义特征在所述范围内进行空间插值，得到稀疏照片插值特征图；
9.步骤s3：将所述稀疏照片插值特征图和所述卫星遥感影像输入编码器-解码器结构的模型，利用编码器分别对所述稀疏照片插值特征图和所述卫星遥感影像进行分层编码，将所述稀疏照片插值特征图的各层对应的编码特征融合到对应的各层所述卫星遥感影像编码特征中，得到融合特征；利用解码器对所述融合特征进行解码，得到带有分类结果的土地覆被图；
10.步骤s4：根据所述稀疏照片，对其中地物按其材质进行分类；利用所述稀疏照片插值特征图的插值范围内对应的卫星遥感影像像元以及对应的材质作为监督信息，对所述插值范围外的所述带有分类结果的土地覆被图进行进一步分类，从而实现对地物类型依据其材质进行精细化分类。
11.本发明与现有技术相比，具有以下优点：
12.1、本发明公开了一种融合稀疏照片的卫星遥感影像土地覆被制图方法，提出了融合稀疏照片信息的遥感影像土地覆被制图的理论模型和方法，能够得到精度更优的土地覆被产品。
13.2、针对以往难以自动从稀疏照片中快速精确地提取语义特征的问题，本发明综合利用卷积神经网络模型和大型场景识别数据集，实现了自动从稀疏照片中提取精细地物的属性信息。
14.3、由于本发明能够根据稀疏照片信息对地物材质进行区分。稀疏照片插值区域内的像元作为监督信息应用于遥感影像，相对于以往的土地覆被制图方法，本发明能够获取得到更加精细化的地物类别属性分类结果。
15.4、目前现有技术大多聚焦于城市街景与地学信息的融合，本发明采用稀疏照片信息与遥感影像进行融合，为缺乏街景影像的农村地区土地覆被分类带来新思路。
附图说明
16.图1为本发明实施例中一种融合稀疏照片的卫星遥感影像土地覆被制图方法的流程图；
17.图2为本发明实施例中带地理标签的稀疏照片插值过程示意图；
18.图3为本发明实施例中编码器-解码器结构模型架构示意图；
19.图4为本发明实施例中以建筑物为例对卫星遥感影像进行精细化分类的流程示意图；
20.图5为本发明实施例中对卫星遥感影像中建筑物精细划分的流程示意图；
21.图6为本发明实施例中一种融合稀疏照片的卫星遥感影像土地覆被制图系统的结构框图。
具体实施方式
22.本发明提供了一种融合稀疏照片的卫星遥感影像土地覆被制图方法，将稀疏照片融合至卫星遥感影，实现更精细化的土地覆被分类。
23.为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附
图，对本发明进一步详细说明。
24.实施例一
25.如图1所示，本发明实施例提供的一种融合稀疏照片的卫星遥感影像土地覆被制图方法，包括下述步骤：
26.步骤s1：获取卫星遥感影像，利用预训练的地面场景识别卷积神经网络places-cnn模型对卫星遥感影像对应区域的稀疏照片进行场景识别，得到稀疏照片的语义特征；
27.步骤s2：将卫星遥感影像所覆盖区域作为研究区，以带地理标记的稀疏照片的定位信息为中心设置预定范围，在研究区内对语义特征在范围内进行空间插值，得到稀疏照片插值特征图；
28.步骤s3：将稀疏照片插值特征图和卫星遥感影像输入编码器-解码器结构的模型，利用编码器分别对稀疏照片插值特征图和卫星遥感影像进行分层编码，将稀疏照片插值特征图的各层对应的编码特征融合到对应的各层卫星遥感影像编码特征图，得到融合特征图；利用解码器对融合特征图进行解码，得到带有分类结果的土地覆被图；
29.步骤s4：根据稀疏照片，对其中地物按其材质进行分类；利用稀疏照片插值特征图的插值范围内对应的卫星遥感影像像元以及对应的材质作为监督信息，对插值范围外的带有分类结果的土地覆被图进行进一步分类，从而实现对地物类型依据其材质进行精细化分类。
30.在一个实施例中，上述步骤s1：获取卫星遥感影像，利用预训练的地面场景识别卷积神经网络places-cnn模型对卫星遥感影像对应区域的稀疏照片进行场景识别，得到稀疏照片的语义特征，具体包括：
31.步骤s11：获取卫星遥感影像以及所对应的稀疏照片，利用大型地面场景照片数据库预训练places-cnn模型，将稀疏照片输入places-cnn模型，去掉places-cnn模型中最后一个全连接层后，输出为每个稀疏照片所对应的2048维语义特征向量；
32.本发明实施例首先使用大型地面场景照片数据库place365预训练的地面场景识别深度卷积神经网络places-cnn对稀疏照片中的场景进行识别，然后将稀疏照片输入训练好的places-cnn模型，对其图像语义特征进行提取，并将places-cnn模型的最后一个全连接层去掉，最后输出每个稀疏照片的2048维语义特征向量。
33.步骤s12：利用主成分分析pca对每个2048维语义特征向量进行压缩，降低特征维数至32维，得到稀疏照片的语义特征。
34.在一个实施例中，上述步骤s2：将卫星遥感影像所覆盖区域作为研究区，以带地理标记的稀疏照片的定位信息为中心设置预定范围，在研究区内对语义特征在范围内进行空间插值，得到稀疏照片插值特征图，具体包括：
35.步骤s21：由于所述稀疏照片可以反映一定空间范围内的地物信息，但所述稀疏照片的定位信息为点位信息，因此对所述卫星遥感影像所覆盖区域内的所述稀疏照片的语义特征进行空间插值；空间插值方法基于以下两个假设：1)对于给定位置，距离较近的稀疏照片比较远的稀疏照片作用更大；2)稀疏照片只能覆盖所处位置周围有限区域；
36.步骤s22：基于稀疏照片的视觉覆盖范围有限的假设，设置距离阈值以排除较远距离照片的影响，同时依据距离设置权重：
[0037][0038]
其中，x是中心点，xi是其附近点，wh(x,xi)是xi对x的影响权重，d(x,xi)是它们之间的距离，h用作截止距离阈值；
[0039]
步骤s23：基于稀疏照片的位置信息，将步骤s1得到的语义特征以位置信息为中心利用nadaraya-watson核回归方法进行插值：
[0040][0041]
其中，f(x)是以x为中心的像素的值，f(xi)是附近点的值，k是附近点的数量；
[0042]
步骤s24：在卫星遥感影像覆盖范围内，将步骤s23执行后未获得任何值的像元自动赋值0，从而得到稀疏照片插值特征图。
[0043]
如图2展示了带地理标签的稀疏照片插值过程示意图。
[0044]
在一个实施例中，上述步骤s3：将稀疏照片插值特征图和卫星遥感影像输入编码器-解码器结构的模型，利用编码器分别对稀疏照片插值特征图和卫星遥感影像进行分层编码，将稀疏照片插值特征图的各层对应的编码特征融合到对应的各层卫星遥感影像编码特征中，得到融合特征；利用解码器对融合特征进行解码，得到带有分类结果的土地覆被图，具体包括：
[0045]
步骤s31：将稀疏照片插值特征图和卫星遥感影像输入编码器-解码器结构的模型，其中，编码器由卫星遥感影像分支和稀疏照片分支组成，每个分支均有五层结构，每层结构包含预定个数的cbr块和池化层，其中cbr块由卷积、批归一化和relu组成；
[0046]
如图3所示编码器-解码器模型架构示意图，其中卫星遥感影像分支的编码器第一层包括2个cbr块和1个池化层，稀疏照片分支的编码器第一层结构与其一致。稀疏照片分支的编码器的第一层第二个cbr块提取的特征与遥感影像分支的编码器第一层中的第二个cbr块提取的特征进行融合，融合值为两个特征层的逐像素求和，添加到遥感影像分支的编码器结构2个cbr之后。随后两个分支的编码器分别经池化后输入第二层结构，采用类似的方式将稀疏照片的特征融合进遥感影像特征层中，并在3、4、5层中添加dropout来防止过拟合。在遥感影像分支的编码器中，第1、2层分别有2个cbr块，第3、4、5层各有3个cbr块，在每一层中cbr块之后都紧跟池化层。除了稀疏照片分支的编码器第五层不含池化和dropout操作之外，其余结构与遥感影像分支的编码器相似。输入的稀疏照片插值特征图和卫星遥感影像经过五层编码结构，每层经过处理后维度都会减低，最终输出低维特征；
[0047]
定义编码器的参数为ω＝[ω(1)，ω(2)，
…
，ω(l)]，卷积操作为g＝[g(1)，g(2)，
…
，g(l)]，其中表示第l层中的第k个特征映射，编码器的编码过程为：
[0048][0049]
其中，σ为编码的函数表示，为该层的偏置项；
[0050]
卫星遥感影像和稀疏照片插值特征图分别经过编码器的遥感影像分支和稀疏照片分支进行编码，将每层编码后的稀疏照片插值特征图的特征融合到对应的遥感影像的编
码层，得到融合特征
[0051][0052]
其中，u和v分别代表卫星遥感影像和稀疏照片插值特征图的模型参数，a和b代表卫星遥感影像和稀疏照片插值特征图的值，c和d为两者的偏置项，且卫星遥感影像和稀疏照片插值特征图的值，c和d为两者的偏置项，且
[0053]
步骤s32：定义解码器的参数为δ＝[δ(1)，δ(2)，
…
，δ(l)]，反卷积操作为s＝[s(1)，s(2)，
…
，s(l)]，解码器的解码过程为：
[0054][0055]
因此，对于一个给定的输入影像x，其编码-解码过程由函数ψ(x；ω)得到：
[0056]
ψ(x；ω)＝s(g(x；ω)；δ)
[0057]
其中，对于给定一个训练集x代表具有相同的大小h
×
w的输入影像，包括卫星遥感影像和稀疏照片插值特征图，n为输入影像的特征数；y代表真实标签，其中每个像素代表一个真实的土地覆被类别；
[0058]
如图3所示，本发明实施例中的解码器部分和编码器部分结构是相互对应的，编码器结构中的每一层都在解码器中反向应用。在编码器中记录的池化参数应用于解码器进行特征映射的上池化。在解码器中也使用了cbr块，并同时应用dropout来防止过拟合，进一步提高模型性能；
[0059]
步骤s33：使用softmax函数得到输入影像中各像元隶属于各个类别c的概率分布：
[0060][0061]
使用交叉熵损失值j，以最小化预测类和真实类分布之间的差异；
[0062][0063]
其中，c为类别的总个数；yc为类别c的真实标签，yc∈y；是预测类别为c的概率。
[0064]
在一个实施例中，上述步骤s4：根据稀疏照片，对其中地物按其材质进行分类；利用稀疏照片插值特征图的插值范围内对应的卫星遥感影像像元以及对应的材质作为监督信息，对插值范围外的带有分类结果的土地覆被图进行进一步分类，从而实现对地物类型依据其材质进行精细化分类，具体包括：
[0065]
步骤s41：根据带有分类结果的土地覆被图的n种类别地物，按照类别对其进行矢量分割，得到不同类别地物的矢量图，根据矢量图对应的稀疏照片，对该类地物划分其子类别；
[0066]
卫星遥感影像俯视图中某些地物类型具有很高的相似性，难以进行区分，而稀疏照片可以提供一些侧面信息，这对于精细化分类十分重要。如图4所示，展示了以建筑物为例对卫星遥感影像进行精细化分类的流程示意图。本发明以建筑物材质区分为例，首先找到土地覆被图中类别为建筑物的地物，根据对应的稀疏照片目视判读为钢筋混凝土结构(建筑类1)、老式青红瓦片结构(建筑类2)、铁皮结构(建筑类3)、树脂瓦片结构(建筑类4)、
砖土结构像元(建筑类5)。
[0067]
步骤s42：依据稀疏照片的各地物的子类别，找到其插值区域对应的遥感影像像元，赋予相应的子类别，将子类别作为监督信息对插值范围外的带有分类结果的土地覆被图进行子类别的划分，从而实现对地物类型依据其材质进行精细化分类。
[0068]
图5展示了对卫星遥感影像中建筑物精细划分的流程示意图。
[0069]
本发明公开了一种融合稀疏照片的卫星遥感影像土地覆被制图方法，提出了融合稀疏照片信息的遥感影像土地覆被制图的理论模型和方法，能够得到精度更优的土地覆被产品。针对以往难以自动从稀疏照片中快速精确地提取语义特征的问题，本发明综合利用卷积神经网络模型和大型场景识别数据集，实现了自动从稀疏照片中提取精细地物的属性信息。由于本发明能够根据照片信息对建筑物材质进行区分作为监督信息应用于遥感影像，相对于以往的土地覆被制图方法，本发明能够获取得到更加精细化的建筑物类别属性分类结果。目前现有技术大多聚焦于城市街景与地学信息的融合，本发明采用稀疏照片信息与遥感影像进行融合，为缺乏街景影像的农村地区土地覆被分类带来新思路。
[0070]
实施例二
[0071]
如图6所示，本发明实施例提供了一种融合稀疏照片的卫星遥感影像土地覆被制图系统，包括下述模块：
[0072]
生成稀疏照片的语义特征模块51，利用预训练的地面场景识别卷积神经网络places-cnn模型对卫星遥感影像对应区域的稀疏照片进行场景识别，生成稀疏照片的语义特征；
[0073]
生成稀疏照片插值特征图模块52，用于将卫星遥感影像所覆盖区域作为研究区，以带地理标记的稀疏照片的定位信息为中心设置预定距离的范围，在研究区内对语义特征在范围内进行空间插值，得到稀疏照片插值特征图；
[0074]
生成具有分类结果的土地覆被图模块53，用于将稀疏照片插值特征图和卫星遥感影像输入编码器-解码器结构的模型，利用编码器分别对稀疏照片插值特征图和卫星遥感影像进行分层编码，将稀疏照片插值特征图的各层对应的编码特征融合到对应的各层卫星遥感影像编码特征中，得到融合特征图；利用解码器对融合特征图进行解码，得到带有分类结果的土地覆被图；
[0075]
生成精细化分类的土地覆被图模块54，用于根据稀疏照片，对其中地物按其材质进行分类；利用稀疏照片插值特征图的插值范围内对应的卫星遥感影像像元以及对应的材质作为监督信息，对插值范围外的带有分类结果的土地覆被图进行进一步分类，从而实现对地物类型依据其材质进行精细化分类。
[0076]
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。