一种基于深度学习的遥感影像河湖岸线智能监测方法与流程

1.本发明涉及遥感图像处理技术领域，更具体地说它是一种基于深度学习的遥感影像河湖岸线智能监测方法。


背景技术：

2.随着经济社会的快速发展，河湖岸线开发利用程度不断提高，同时河湖岸线的保护也同样面临严峻的挑战，河流岸线的有效保护和合理利用对区域生态文明建设和经济社会发展具有重要影响。因此，做好河湖岸线的监测工作具有重要的意义。
3.传统河湖岸线监测主要靠河湖管理人员定期现场巡河，但该方式巡查效率较低，工作量大，需耗费大量人力、物力和财力，且部分区域难以巡查到位，导致监测范围不全面等问题。随着遥感技术水平的不断提升，遥感影像数据资源日益丰富，通过对目标区域影像数据加以解译从而实现河湖岸线监测的方式，逐步成为主要趋势。河湖岸线遥感解译工作通常由具备专业知识的解译人员结合遥感影像特点和实际状况进行人工解译，但这种方式耗时、费力，不利于大规模大场景影像的高效解译。近年来，人工智能技术得到飞速发展，采用机器学习方法实现遥感影像自动、快速、精确的解译已经成为主流的研究方向。
4.因此，如何充分利用遥感影像大数据的优势，结合深度学习理论，实现遥感影像河湖岸线智能监测是亟待解决的重要问题。


技术实现要素：

5.本发明的目的是为了提供一种基于深度学习的遥感影像河湖岸线智能监测方法，充分利用遥感影像大数据的优势，结合深度学习技术，实现遥感影像河湖岸线智能监测，泛化能力强；本发明通过构建大规模遥感解译样本集、发展多尺度深度学习方法、采用迁移学习优化策略等实现较准确地识别出河湖岸线典型地物，识别精度优于85％，并具有较高的计算效率(本发明通过分块处理、并行计算等方式实现高效计算)，一景高分二号影像(约500平方公里)智能解译效率优于10分钟，易于投入实用。
6.为了实现上述目的，本发明的技术方案为：一种基于深度学习的遥感影像河湖岸线智能监测方法，其特征在于：包括如下步骤：
7.步骤1：针对河湖岸线监测涉及的典型地物制作多源异构遥感解译样本集；
8.构建多源异构遥感影像河湖岸线监测样本集，结合已开展工程项目涉及到的历史影像与解译成果，对遥感影像河湖岸线监测典型地物类别进行数据采集和样本制作，构建得到包含十万量级的大规模不同传感器、不同分辨率、不同地物要素的多源异构遥感解译样本集产品，并划分为训练数据和测试数据；
9.步骤2：将深度学习模型应用于河湖岸线监测；
10.构建多尺度深度卷积神经网络模型，并根据具体任务需求设计多尺度深度卷积神经网络模型损失函数，主要包括多尺度编码-解码结构、编码-解码堆叠结构、二值交叉熵损失函数；
11.步骤3：深度学习模型训练；
12.对步骤1构建的训练数据进行数据增强，并输入到步骤2构建的深度学习模型中进行训练，采用随机梯度下降算法和反向传播算法进行多尺度深度卷积神经网络模型参数的更新优化；
13.步骤4：深度学习模型测试；
14.将步骤1构建的大场景遥感影像测试数据输入步骤3训练得到的多尺度深度卷积神经网络模型中，采用分块处理策略进行大场景影像数据处理，并输入已训练优化的多尺度深度卷积神经网络模型中得到初步解译的概率图(即采用分块处理策略得到输出的大场景概率图)，并采用阈值分割方式得到初步提取的二值化结果(即初步解译结果)；
15.步骤5：进行解译结果后处理；
16.采用形态学后处理对步骤4提取的二值化解译结果加以优化，并对优化结果添加地理坐标信息和进行栅格-矢量转换得到最终的河湖岸线监测解译成果；
17.步骤6：发展基于迁移学习的模型泛化；
18.通过发展联合迁移学习的多源遥感影像智能解译处理策略，通过补充特定场景下的少量样本数据对上述已优化的多尺度深度卷积神经网络模型进行精调，实现多尺度深度卷积神经网络模型从源域(原始场景数据)到目标域(特定场景数据)的有效迁移，提升多尺度深度卷积神经网络模型的泛化能力。
19.本发明中的解译即实现地物的识别、监测，全流程都是为了实现准确解译。本发明中的步骤1-4可以实现遥感影像上目标的初步解译，步骤5对步骤4的初步解译结果进行优化的后处理，步骤6则是进行迁移泛化，实现其他场景下目标的解译，本发明中的各步骤相互联系，前一步骤是后一步骤的基础，后一步骤是前一步骤的深化。
20.在上述技术方案中，在步骤1中，多源异构遥感解译样本集产品包含高分二号卫星、资源三号卫星、北京二号卫星、worldview卫星、无人机等不同传感器，0.2米、0.8米、2米等不同空间分辨率，水体、疑似开挖、建筑物、道路等不同地物要素。
21.在上述技术方案中，在步骤2中，多尺度深度卷积神经网络为对称式u型网络结构，先通过编码方式进行下采样，提取高维抽象特征，再通过解码方式进行上采样，恢复影像尺寸，得到精细解译结果；
22.此外，本发明引入了编码-解码堆叠结构来同时集成低维空间信息和高维语义信息，对于每个对称的卷积-反卷积对，卷积层的特征均堆叠到反卷积层上，从而提供了更详细的地物信息；其中，网络结构中的池化处理采用最大池化(max pooling)，根据经验选择池化核大小为2
×
2，步长为2，公式为：
[0023][0024]
其中，表示与第k个特征图有关的在矩形区域r
ij
的最大池化输出值，表示矩形区域r
ij
中位于(p,q)处的元素。
[0025]
激活函数为非线性激活单元relu(rectified linear unit)，在0和像元值x之间取最大值，公式为：
[0026]
f(x)＝max(0,x)
[0027]
该深度学习模型的损失函数为二值交叉熵，公式为：
[0028][0029]
其中，是网络预测的置信度，用于衡量该像素属于该地物的概率；yi是真实值，其中识别对象和非识别对象分别赋值为1和0；i表示每个像素的索引；n表示总像素数；
[0030]
该损失函数用来评价深度学习模型的预测值和真实值差异的程度，从而指导下一步的训练向正确的方向进行。
[0031]
在上述技术方案中，在步骤3中，训练数据增强方式为影像裁切，顾及算力资源和多尺度深度卷积神经网络模型输入尺寸要求，将所有训练影像数据均统一裁切为128
×
128的尺寸大小，这个尺寸是一个经验值，可以根据实际情况选用其他尺寸，从而有效扩充训练数据量；通过将影像裁切为固定尺寸的小块数据，可以避免计算机硬件计算资源不足的问题，并增加训练的数据量。
[0032]
在上述技术方案中，在步骤4中，大场景遥感影像数据处理方式为分块处理策略，影像分块大小可根据具体硬件配置进行调整，本发明采用1500
×
1500作为分块的尺寸；为改善块与块之间的伪痕效应，采用增加各分块之间重叠度的方式加以解决，此处采用30％的重叠度，重叠区域的特征值则根据各分块对应重叠区域计算取平均值的方式；同时，在分块处理过程中采用分块读取-分块测试-分块存储的策略，有效提升大场景遥感影像数据处理效率，并解决算力资源不足问题，可处理任意影像尺寸大小的数据；另外，阈值分割计算公式如下：
[0033][0034]
其中，表示多尺度深度卷积神经网络模型输出概率值，y表示阈值分割以后的二值化结果，t表示阈值，此处采用0.5为最佳分割阈值。
[0035]
在上述技术方案中，步骤5中所述形态学后处理包括小面积对象剔除和空洞填充，本发明中小面积对象剔除的阈值选取为400个像元，空洞填充的阈值选取为200个像元。
[0036]
在上述技术方案中，步骤5中所述栅格-矢量转换采用分块处理和并行运算的方式进行，对于影像尺寸大于40000
×
40000加以分块，分块大小按照40000
×
40000进行裁切，从而有效提升其转换效率。
[0037]
在上述技术方案中，步骤6中所述联合迁移学习的多源遥感影像智能解译处理策略为多尺度深度卷积神经网络模型精调策略，即首先采用源域的大量标注样本对多尺度深度卷积神经网络模型进行充分训练，得到预训练模型，然后采用目标域的少量标注样本对预训练多尺度深度卷积神经网络模型进行参数精调，实现模型的迁移泛化。
[0038]
本发明的优点在于：
[0039]
(1)针对河湖岸线监测涉及的典型地物，构建得到大规模不同传感器、不同分辨率、不同地物要素的多源异构遥感解译样本集产品，为深度学习技术在该领域的进一步发展提供数据保障；
[0040]
(2)发展了多尺度深度卷积神经网络，通过深度学习模型的优化训练和测试，实现河湖岸线典型地物的高精度识别；
[0041]
(3)在得到遥感解译结果后，采用小面积对象剔除、空洞填充、地理坐标添加、栅格-矢量转换、分块并行处理、迁移学习等一系列优化策略，提升解译精度和效率，改善监测效果。
[0042]
本发明提出的方法可有效地识别遥感影像河湖岸线监测涉及的典型地物类别，能准确地识别出河湖岸线典型地物、计算效率高、泛化能力强，实现高效高精度自动监测。
附图说明
[0043]
图1为本发明的工艺流程图。
[0044]
图2为本发明实施例对区域a水面解译结果图。
[0045]
图3为图2的e1处放大图。
[0046]
图4为图2的e2处放大图。
[0047]
图5为本发明实施例对区域b水面解译结果图。
[0048]
图6为图5的f1处放大图。
[0049]
图7为图5的f2处放大图。
[0050]
在图1中，高分辨率遥感影像指从0.2米的无人机影像到2米的卫星影像，主要包括0.2米、0.8米和2米三种分辨率的影像数据。本发明中的卫星数据和无人机数据即高分辨率遥感影像数据。
[0051]
在图2、图3、图4、图5、图6和图7中，加粗的黑色边缘线即为本方法得到的水体提取结果，从图2-图7可以看出，本发明的解译结果准确、监测精度高。
具体实施方式
[0052]
下面结合附图详细说明本发明的实施情况，但它们并不构成对本发明的限定，仅作举例而已。同时通过说明使本发明的优点更加清楚和容易理解。
[0053]
本发明通过构建河湖岸线监测典型地物样本集，发展多尺度深度卷积神经网络，并进一步采用小面积对象剔除、空洞填充、地理坐标添加、栅格-矢量转换、分块并行处理、迁移学习等一系列优化策略，实现河湖岸线典型地物的精确识别。同时，本发明通过步骤2实现智能模型的构建，通过步骤3实现智能模型的训练优化，通过步骤4实现影像的智能处理，通过步骤6实现智能迁移处理，从而实现遥感影像河湖岸线的智能监测。本发明方法可以使用于大规模大场景数据，具备全自动实现大规模数据批处理、大场景数据分块处理的能力(如本方法可以全自动批量处理几十景影像数据，也可以处理面向整个市域范围的大场景影像数据)。
[0054]
现以本发明试用于某遥感影像河流岸线监测为实施例对本发明进行详细说明，对本发明应用于其他遥感影像河湖岸线监测同样具有指导作用。
[0055]
本实施例中，某遥感影像河流岸线涉及的解译场景为由区域a迁移至区域b场景。
[0056]
某遥感影像河流岸线涉及的典型地物类别包括水体、疑似开挖和建筑物等；本实施例中的两景影像数据都属于大规模大场景数据，区域a的覆盖面积约为1300多平方公里，区域b的覆盖面积约为500多平方公里。
[0057]
现有技术采用是获取某河流岸线的遥感影像数据，通过对目标区域影像数据加以解译从而实现河湖岸线监测的方式，河湖岸线遥感解译工作通常由具备专业知识的解译人
员结合遥感影像特点和实际状况进行人工解译；但这种方式耗时、费力，通常一景高分二号影像(约500多平方公里)的水体解译时间就需要2-3天时间，不利于本实施例大规模大场景影像的高效解译，本发明提出的方法通常可在10分钟内实现一景高分二号影像的水体自动解译，本实施例采用本发明方法，区域a(多景影像拼接得到的大场景影像数据，覆盖面积约为1300多平方公里)的水体解译时间约为16分钟，区域b(一景高分二号影像数据，覆盖面积约为500多平方公里)的水体解译时间约为8分钟，整个处理过程均为全自动实现，无需人工参与，识别精度约为90％。
[0058]
如图1所示，本实施例采用本发明提供的一种基于深度学习的遥感影像河湖岸线智能监测方法对某遥感影像河流岸线进行智能监测，此处以水体智能解译为例加以具体说明，包括以下步骤：
[0059]
步骤1：结合已开展工程项目涉及到的历史影像与解译成果，对遥感影像河湖岸线监测中的水体进行数据采集和样本制作，构建得到大规模不同传感器、不同分辨率的多源异构遥感解译样本集产品，本实施例中的多源异构遥感解译样本集产品，本实施例中主要是针对0.8米分辨率的水体样本产品，选用的传感器为高分二号、分辨率为0.8米，并划分为训练数据和测试数据；
[0060]
步骤2：构建多尺度深度卷积神经网络，该网络为对称式u型网络结构，先通过编码方式进行下采样，提取高维抽象特征，再通过解码方式进行上采样，恢复影像尺寸，得到精细解译结果。
[0061]
此外，本发明引入了编码-解码堆叠结构来同时集成低维空间信息和高维语义信息，对于每个对称的卷积-反卷积对，卷积层的特征均堆叠到反卷积层上，从而提供了更详细的地物信息；其中，网络结构中的池化处理采用最大池化(max pooling)，根据经验选择池化核大小为2
×
2，步长为2，公式为：
[0062][0063]
其中，表示与第k个特征图有关的在矩形区域r
ij
的最大池化输出值，表示矩形区域r
ij
中位于(p,q)处的元素。
[0064]
激活函数为非线性激活单元relu(rectified linear unit)，在0和像元值x之间取最大值，公式为：
[0065]
f(x)＝max(0,x)
[0066]
该深度学习模型的损失函数为二值交叉熵，公式为：
[0067][0068]
其中，是网络预测的置信度，用于衡量该像素属于该地物的概率；yi是真实值，其中识别对象和非识别对象分别赋值为1和0；i表示每个像素的索引；n表示总像素数。
[0069]
本实施例采用本发明方法中的上述步骤来构建深度学习模型。
[0070]
步骤3：对步骤1构建的训练数据进行数据增强，该数据增强方式为影像裁切，即将所有训练影像数据均统一裁切为128
×
128的尺寸大小，从而有效扩充训练数据量。将扩充
后的训练数据输入到步骤2构建的深度学习模型中进行训练，采用随机梯度下降算法和反向传播算法进行模型参数的更新优化；
[0071]
步骤4：将步骤1构建的大场景遥感影像测试数据输入步骤3训练得到的网络模型中，采用分块处理策略得到输出的大场景概率图，本实施例采用1500
×
1500作为分块的尺寸；为改善块与块之间的伪痕效应，采用增加各分块之间重叠度的方式加以解决，此处采用30％的重叠度，重叠区域的特征值则根据各分块对应重叠区域计算取平均值的方式；同时，在分块处理过程中采用分块读取-分块测试-分块存储的策略，有效提升大场景遥感影像数据处理效率，并解决算力资源不足问题，可处理任意影像尺寸大小的数据；另外，采用阈值分割方式得到初步提取的二值化结果，阈值分割计算公式如下：
[0072][0073]
其中，表示模型输出概率值，y表示阈值分割以后的二值化结果，t表示阈值，本实施例采用0.5为最佳分割阈值。
[0074]
本实施例通过上述步骤获取二值化的水面栅格解译结果。即数值为0的像素为背景，数值为1的像素是解译出来的对象。
[0075]
步骤5：采用小面积对象剔除和空洞填充等形态学后处理对步骤4提取结果加以优化，本实施例中小面积对象剔除的阈值选取为400个像元，空洞填充的阈值选取为200个像元，并对优化结果添加地理坐标信息和栅格-矢量转换，其中栅格-矢量转换采用分块处理和并行运算的方式进行，对于影像尺寸大于40000
×
40000加以分块，分块大小按照40000
×
40000进行裁切，从而有效提升其转换效率，得到最终的水体解译结果，如图2所示。
[0076]
步骤6：发展联合迁移学习的多源遥感影像智能解译处理策略，即模型精调策略，首先采用源域的大量标注样本对模型进行充分训练，得到预训练模型，然后采用目标域的少量标注样本对预训练模型进行参数精调，实现模型的迁移泛化。此处将解译场景由区域a迁移至区域b场景，水面解译结果如图3所示。
[0077]
结论：本实施例采用本发明中的深度学习技术实现遥感影像河湖岸线智能监测；本实施例采用本发明方法能较准确地识别出河湖岸线典型地物，识别精度优于85％，并具有较高的计算效率，一景高分二号影像(约500平方公里)智能解译效率优于10分钟，易于投入实用。
[0078]
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
[0079]
其它未说明的部分均属于现有技术。