基于光谱引导与深度注意力的光学遥感图像云雾分割方法与流程

1.本发明涉及图像分割技术领域，特别是涉及一种基于光谱引导与深度注意力的光学遥感图像云雾分割方法。


背景技术：

2.光学图像由于具有良好的可视性，是最常用的遥感数据，然而光学图像受大气的影响也最大。根据辐射传输模型，大气对光学图像的影响主要表现为吸收、反射和散射。其中，悬浮在大气中的水蒸气、冰晶、尘雾、沙子、灰尘、烟或者其他小颗粒散射形成云雾，影响着图像的质量和可用性。当云雾较薄时，遥感成像受天气变化等因素的影响，只有部分反映地表的信息透过云雾被传感器接收，大量的云雾信息被一起记录下来，遮挡了地面物体；当云雾很厚时，由于受到云雾遮挡的影响，传感器无法接收到来自地表的信息，卫星就无法获得有效的云雾覆盖地区信息，这些地区将成为图像上的“盲区”，造成地面物体信息丢失。同时，高云雾覆盖导致遥感影像中存在大量无效区域，消耗存储及运算资源。因此，从复杂云况环境中准确、快速分离出云区像素是缩减在轨资源占用和存储的关键环节，同时可大幅度提升后续遥感目标解译的精度和效率。
3.目前多种光学图像云雾分割方法被相继提出，主要分为以下几类：阈值分割法、聚类分割法、深度学习法。(1)阈值分割法通过设置一个或多个阈值，在灰度级上完成对光学图像的分割，该方法由于操作简单、计算效率高，通常被视为最常用的方法之一，其缺点在于难以选择最优阈值以及易受光学图像噪声的影响；(2)聚类分割法基于欧式距离，计算像素与聚类中心之间相似度完成对光学图像中相似地物的分类。该方法可无监督的实现光学图像地物分类，其缺点在于大尺度图像运算效率低，且易受图像噪声的干扰；(3)基于深度学习的分割方法通过人工制作大量训练样本以及手动标定标签图，训练网络模型，对输入图像中的云雾进行识别。该方法的优点在于鲁棒性强、不易受噪声影响，缺点是需要事先制作大量样本集，人力成本高。
4.综上所述，传统的云雾分割方法一般利用图像灰度信息对云区像素进行有效鉴别，从而实现云雾在像素级精度的分割，对于地物类型简单、云雾区域面积较大等情况下光学图像云雾有较好的分割效果，但遥感影像中存在多种与云雾在形态、灰度、尺寸上高度相似的地物，如高亮山脉、雪地等，导致对云雾区域的鉴别能力下降，分割精度有限，同时，高精度的云雾分割方法往往需要结构复杂的算法作为支撑，处理时效性差，常用的算法难以有效保障云雾分割准确率和处理效率的双重优化，无法在终端处理平台进行有效装备和部署。


技术实现要素：

5.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于光谱引导与深度注意力的光学遥感图像云雾分割方法，解决现有技术中的当遥感影像中存在多种与云雾在形态、灰度、尺寸上高度相似的地物，如高亮山脉、雪地等，导致对云雾区域的鉴别能力下
降，分割精度有限，同时，高精度的云雾分割方法往往需要结构复杂的算法作为支撑，处理时效性差，常用的算法难以有效保障云雾分割准确率和处理效率的双重优化，无法在终端处理平台进行有效装备和部署的问题。
6.为实现上述目的及其他相关目的，本发明提供一种基于光谱引导与深度注意力的光学遥感图像云雾分割方法，包括：
7.s1、采集包括云雾的光学遥感图像数据，并将所述光学遥感图像数据划分为验证数据集和训练数据集；
8.s2、利用标注工具对所述训练数据集中的光学遥感图像数据进行标注，逐点标注出光学遥感图像数据中的云雾位置信息，得到标签集；
9.s3、利用所述标签集对所述训练数据集中的光学遥感图像数据进行数量扩增，得到增广数据集；
10.s4、在所述增广数据集中增加地物图像作为难分负样本，得到最终训练数据集；
11.s5、从所述光学遥感图像数据中分离出短波红外波段图像，并对所述短波红外波段图像进行高斯滤波处理，得到光谱特征图；
12.s6、建立双分支注意力编码网络；
13.s7、建立双分支注意力解码网络；
14.s8、建立所述双分支注意力编码网络、双分支注意力解码网络的损失函数；
15.s9、将所述标签集中的训练数据集输入至所述双分支注意力编码网络、双分支注意力解码网络中进行训练，得到最优化模型；
16.s10、加载所述所述最优化模型，得到图像分割结果。
17.在本发明的一实施例中，还包括：
18.s11、保存并输出所述图像分割结果。
19.在本发明的一实施例中，步骤s1中的光学遥感图像数据的数量为n，每个光学遥感图像数据的像素分辨率大于等于4k
×
4k，且所述光学遥感图像数据按照2:8划分为验证数据集和训练数据集。
20.在本发明的一实施例中，步骤s3中的对所述训练数据集中的光学遥感图像数据进行数量扩增包括对所述光学遥感图像数据依次进行旋转、平移、缩放、灰度变换、数据增强。
21.在本发明的一实施例中，步骤s4中的所述地物图像包括雪地、山脉，所述雪地、山脉的形状、纹理、灰度与所述光学遥感图像数据相似。
22.在本发明的一实施例中，步骤s5中的对所述短波红外波段图像进行高斯滤波处理，得到光谱特征图包括：
23.对所述短波红外波段图像进行高斯滤波处理的公式包括：
24.其中，x为短波红外波段图像上其中一个像素的灰度值，σ为短波红外波段图像局部区域的标准差，μ为短波红外波段图像局部区域的均值，f(x)为滤波后短波红外波段图像上其中一个像素的灰度值。
25.在本发明的一实施例中，步骤s6中的建立双分支注意力编码网络包括：
26.s61、建立双分支注意力编码网络，所述双分支注意力编码网络包括特征提取网络、通道注意力模块、空间光谱注意力模块；
27.所述特征提取网络包括带有空洞卷积的轻量化残差网络，对包括云雾的光学遥感图像数据进行特征提取，得到特征提取后的特征图；
28.所述通道注意力模块包括senet网络；
29.所述空间光谱注意力模块将所述光谱特征图与所述特征提取后的特征图进行通道组合，然后采用空间注意力模块进行聚合特征提取；
30.s62、所述特征提取网络包括五个残差网络模块和一个空洞卷积组模块，每个所述残差网络模块的主干支路包括两个深度可分离卷积层，每个所述残差网络模块的跨层连接支路包括一个第一卷积层；
31.s63、所述通道注意力模块包括一个全局均值池化层，所述全局均值池化层依次连接第一全连接层、softmax层、第二全连接层，所述通道注意力模块用于输出c
×
1维矩阵，其中，c为正整数；所述空间光谱注意力模块包括第一拼接层，所述第一拼接层的输出端分别与均值池化层、最大池化层连接，所述均值池化层、最大池化层的输出端均与第二拼接层连接，所述第二拼接层的输出端与第二卷积层相连接，所述第二卷积层输出聚合后的特征图。
32.在本发明的一实施例中，步骤s7中的建立双分支注意力解码网络包括：
33.s71、所述双分支注意力解码网络包括上采样模块和sigmoid函数；
34.s72、所述上采样模块用于将所述聚合后的特征图进行上采样，得到上采样后的图像；
35.s73、所述sigmoid函数用于对所述上采样后的图像中的每个像素点进行类别判定，以得到云区像素，公式为：其中，x为图像中每个像素点的灰度值，s(x)为经过sigmoid函数映射后的像素点值。
36.在本发明的一实施例中，步骤s8中的建立所述双分支注意力编码网络、双分支注意力解码网络的损失函数包括：
37.采用交叉熵损失函数最小化作为目标函数进行模型训练，所述目标函数公式为：
[0038][0039]
其中，m为类别数量，n为样本数量，l为交叉熵损失目标函数，y
ic
为符号函数，p
ic
为观测样本i属于类别c的预测概率。
[0040]
本发明还提供一种电子设备，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的基于光谱引导与深度注意力的光学遥感图像云雾分割方法。
[0041]
如上所述，本发明的一种基于光谱引导与深度注意力的光学遥感图像云雾分割方法，具有以下有益效果：
[0042]
本发明的基于光谱引导与深度注意力的光学遥感图像云雾分割方法有效地解决了复杂地物下云雾区域的高精度提取，在提升分割精度的同时，通过引入短波红外光谱特征对雪地、高亮山脉等与云雾高相似的地物进行有效鉴别，可以最大限度的提升分割精度。
[0043]
本发明的基于光谱引导与深度注意力的光学遥感图像云雾分割方法搭建了具有强大的感知能力和特征学习能力的深度编解码融合网络模型，通过引入上采样机制，极大提升了轻量化网络的特征提取能力。
[0044]
本发明的基于光谱引导与深度注意力的光学遥感图像云雾分割方法的上采样模块可以有效保证像素级分割的精度，搭建模型构造简单、层级间冗余低、处理时效性好，可充分保障分割精度和处理效率之间的平衡。
附图说明
[0045]
图1为本技术实施例提供的基于光谱引导与深度注意力的光学遥感图像云雾分割方法的工作流程图。
[0046]
图2为本技术实施例提供的基于光谱引导与深度注意力的光学遥感图像云雾分割方法的通道注意力模块示意图。
[0047]
图3为本技术实施例提供的基于光谱引导与深度注意力的光学遥感图像云雾分割方法的双分支注意力编码网络、双分支注意力解码网络的示意图。
[0048]
图4为本技术实施例提供的基于光谱引导与深度注意力的光学遥感图像云雾分割方法的原始高分五号卫星输入图像；
[0049]
图5为本技术实施例提供的基于光谱引导与深度注意力的光学遥感图像云雾分割方法的原始高分五号卫星输入图像的处理结果图像。
[0050]
图6为本技术实施例提供的一种电子设备的结构原理框图。
[0051]
图7为本技术实施例提供的一种计算机可读存储介质的结构原理框图。
[0052]
元件标号说明
[0053]
10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
[0054]
20
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
[0055]
30
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
计算机可读存储介质
[0056]
40
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
计算机指令
具体实施方式
[0057]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0058]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0059]
请参阅图1，图1为本技术实施例提供的基于光谱引导与深度注意力的光学遥感图像云雾分割方法的工作流程图。基于光谱引导与深度注意力的光学遥感图像云雾分割方法，首先收集多种云况条件下的高分五号卫星输入图像数据，并将数据划分为训练数据集和验证数据集，构建之后对训练数据集进行标注，获得标签集；并对训练数据集进行扩增处理，获得增广数据集。利用短波红外波段提取遥感图像的光谱特征，实现对雪地与云区的有效鉴别，最后通过带有双分支注意力机制的卷积神经网络实现云区的像素级分割。利用训
练的最优化分割模型对验证数据集进行分割以获得最终分割结果，证明了所提方法的有效性以及工程可实现性。
[0060]
具体的，基于光谱引导与深度注意力的光学遥感图像云雾分割方法包括：
[0061]
步骤s1、采集包括云雾的光学遥感图像数据，并将所述光学遥感图像数据划分为验证数据集和训练数据集。
[0062]
具体的，步骤s1中的光学遥感图像数据的数量为n，每个光学遥感图像数据的像素分辨率大于等于4k
×
4k，且所述光学遥感图像数据按照2:8划分为验证数据集和训练数据集。
[0063]
步骤s2、利用标注工具对所述训练数据集中的光学遥感图像数据进行标注，逐点标注出光学遥感图像数据中的云雾位置信息，得到标签集。
[0064]
具体的，在步骤s2中，利用labelme开源标注工具，对训练数据集中的光学遥感图像数据进行标注，逐点标注出光学遥感图像数据中的云雾位置信息，得到xml格式的标签集。
[0065]
步骤s3、利用所述标签集对所述训练数据集中的光学遥感图像数据进行数量扩增，得到增广数据集。
[0066]
具体的，步骤s3中的对所述训练数据集中的光学遥感图像数据进行数量扩增包括对所述光学遥感图像数据依次进行旋转、平移、缩放、灰度变换、数据增强。利用python数据增强库对所述训练数据集中的光学遥感图像数据进行数量扩增，得到增广数据集。
[0067]
步骤s4、在所述增广数据集中增加地物图像作为难分负样本，得到最终训练数据集。
[0068]
具体的，步骤s4中的所述地物图像包括雪地、山脉，所述雪地、山脉的形状、纹理、灰度与所述光学遥感图像数据相似。
[0069]
步骤s5、从所述光学遥感图像数据中分离出短波红外波段图像，并对所述短波红外波段图像进行高斯滤波处理，得到光谱特征图。
[0070]
步骤s6、建立双分支注意力编码网络。
[0071]
步骤s7、建立双分支注意力解码网络。
[0072]
步骤s8、建立所述双分支注意力编码网络、双分支注意力解码网络的损失函数。
[0073]
步骤s9、将所述标签集中的训练数据集输入至所述双分支注意力编码网络、双分支注意力解码网络中进行训练，得到最优化模型。
[0074]
具体的，将所述标签集中的训练数据集输入至所述双分支注意力编码网络、双分支注意力解码网络中进行训练，得到训练k代的网络模型架构，再将训练得到的网络模型架构进行加载，并基于验证数据集进行测试，计算云区像素的分割精度，保存准确率最优的模型参数作为最优化模型。
[0075]
步骤s10、加载所述所述最优化模型，得到图像分割结果。
[0076]
具体的，加载所述所述最优化模型，将待处理的包括云雾的光学遥感图像数据输入至双分支注意力编码网络、双分支注意力解码网络，得到图像分割结果。
[0077]
步骤s11、保存并输出所述图像分割结果。
[0078]
本发明通过双分支注意力编码网络提取云雾图像的有效特征，提高对云雾像素的分类精度，通过双分支注意力解码网络实现图像分辨率的有效还原和像素级分类处理。同
时，充分利用光谱信息实现对难分样本的有效处理。
[0079]
具体的，步骤s5中的对所述短波红外波段图像进行高斯滤波处理，得到光谱特征图包括：
[0080]
从光学遥感图像数据中分离出短波红外波段图像，因选用高光谱卫星数据，具有多个独立的谱段，读取高光谱卫星数据各谱段信息，将对应波长的谱段从数据中取出即可分离获得短波红外波段图像，该图像经高斯滤波处理后，获得光谱特征图，对所述短波红外波段图像进行高斯滤波处理的公式包括：
[0081]
其中，x为短波红外波段图像上其中一个像素的灰度值，σ为短波红外波段图像局部区域的标准差，μ为短波红外波段图像局部区域的均值，f(x)为滤波后短波红外波段图像上其中一个像素的灰度值。其中，σ为3像素
×
3像素，μ为3像素
×
3像素。
[0082]
请参阅图2、图3，图2为本技术实施例提供的基于光谱引导与深度注意力的光学遥感图像云雾分割方法的通道注意力模块示意图。图3为本技术实施例提供的基于光谱引导与深度注意力的光学遥感图像云雾分割方法的双分支注意力编码网络、双分支注意力解码网络的示意图。具体的，步骤s6中的建立双分支注意力编码网络包括：
[0083]
步骤s61、建立双分支注意力编码网络，所述双分支注意力编码网络包括特征提取网络、通道注意力模块、空间光谱注意力模块；
[0084]
所述特征提取网络包括带有空洞卷积的轻量化残差网络，对包括云雾的光学遥感图像数据进行特征提取，得到特征提取后的特征图；
[0085]
所述通道注意力模块包括senet网络；
[0086]
所述空间光谱注意力模块将所述光谱特征图与所述特征提取后的特征图进行通道组合，然后采用空间注意力模块进行聚合特征提取。
[0087]
步骤s62、所述特征提取网络包括五个残差网络模块和一个空洞卷积组模块，每个所述残差网络模块的主干支路包括两个深度可分离卷积层，每个所述残差网络模块的跨层连接支路包括一个第一卷积层。
[0088]
具体的，所述第一卷积层为常规卷积层，对输入特征图进行尺寸降维、通道升维处理，为提升对不同尺度云区的感受能力，空洞卷积组模块由4个不同空洞率的空洞卷积构成，空洞分别为5、7、9、11。
[0089]
步骤s63、所述通道注意力模块包括一个全局均值池化层global pooling，所述全局均值池化层global pooling依次连接第一全连接层fc、softmax层即为relu、第二全连接层fc，所述通道注意力模块用于输出c
×
1维矩阵，其中，c为正整数；所述空间光谱注意力模块包括第一拼接层，所述第一拼接层的输出端分别与均值池化层、最大池化层连接，所述均值池化层、最大池化层的输出端均与第二拼接层连接，所述第二拼接层的输出端与第二卷积层相连接，所述第二卷积层输出聚合后的特征图。
[0090]
具体的，c为给定输入正整数参数，选取c为16，所述空间光谱注意力模块将光谱特征图与特征提取后的特征图进行通道拼接，然后对各特征图在通道维度分别进行均值池化和最大池化操作，将池化后两个特征图进行拼接，最后通过一个3
×
3卷积层进行特征聚合与学习，得到最终聚合后特征图。
[0091]
步骤s7中的建立双分支注意力解码网络包括：
[0092]
步骤s71、所述双分支注意力解码网络包括上采样模块和sigmoid函数。
[0093]
步骤s72、所述上采样模块用于将所述聚合后的特征图进行上采样，得到上采样后的图像。
[0094]
步骤s73、所述sigmoid函数用于对所述上采样后的图像中的每个像素点进行类别判定，以得到云区像素，公式为：其中，x为图像中每个像素点的灰度值，s(x)为经过sigmoid函数映射后的像素点值。所述sigmoid函数用于对图像中每个像素点进行类别判定，以便于对每个像素点进行属性赋值，获得云区像素。
[0095]
步骤s8中的建立所述双分支注意力编码网络、双分支注意力解码网络的损失函数包括：
[0096]
采用交叉熵损失函数最小化作为目标函数进行模型训练，所述目标函数公式为：
[0097][0098]
其中，m为类别数量，n为样本数量，l为交叉熵损失目标函数，y
ic
为符号函数，p
ic
为观测样本i属于类别c的预测概率。
[0099]
采用交叉熵损失函数最小化作为目标函数进行模型训练，该损失函数输入为获取的上采样图像与获得的xml标注文件，依据云区分割实际任务需求，将损失函数输出节点设置为两类。
[0100]
本发明的基于光谱引导与深度注意力的光学遥感图像云雾分割方法的仿真实验条件：
[0101]
本发明的仿真实验的硬件平台为：处理器为cpu，主频为2.6ghz，内存为64gb，显卡为gpu，显存24gb。
[0102]
本发明的仿真实验的软件平台为：ubuntu 16.04。
[0103]
请参阅图4、图5，图4为本技术实施例提供的基于光谱引导与深度注意力的光学遥感图像云雾分割方法的原始高分五号卫星输入图像；图5为本技术实施例提供的基于光谱引导与深度注意力的光学遥感图像云雾分割方法的原始高分五号卫星输入图像的处理结果图像。对本发明的基于光谱引导与深度注意力的光学遥感图像云雾分割方法的仿真内容及其结果分析：本次仿真实验所有数据为实际遥感数据，以高分五号卫星多光谱数据为处理对象，分辨率最高为1米，本发明方法处理1景4192
×
4192像素的图像平均用时400毫秒，具有较高的时效性，图4为1景高分五号卫星实际拍摄图像。从图5可以看出，本发明的基于光谱引导与深度注意力的光学遥感图像云雾分割方法对于多种复杂地物均具有较好的处理效果，提取精度高、处理效率高，具有较好的实用价值，本发明相比于传统的基于图论的分割方法和基于unet深度学习网络的分割方法，准确率分别可提高30％和12％。
[0104]
请参阅图6，图6为本技术实施例提供的一种电子设备的结构原理框图。本发明还提出一种电子设备，所述电子设备包括处理器10和存储器20，所述存储器20存储有程序指令，所述处理器10运行程序指令实现上述的基于光谱引导与深度注意力的光学遥感图像云雾分割方法。所述处理器10可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器
(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件；所述存储器20可能包含随机存取存储器(randomaccess memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器20也可以为随机存取存储器(randomaccess memory，ram)类型的内部存储器，所述处理器10、存储器20可以集成为一个或多个独立的电路或硬件，如：专用集成电路(application specificintegrated circuit，asic)。需要说明的是，上述的存储器20中的计算机程序可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
[0105]
请参阅图7，图7为本技术实施例提供的一种计算机可读存储介质的结构原理框图。本发明还提出一种计算机可读存储介质30，所述计算机可读存储介质30存储有计算机指令40，所述计算机指令40用于使所述计算机执行上述的基于光谱引导与深度注意力的光学遥感图像云雾分割方法。计算机可读存储介质30可以是，电子介质、磁介质、光介质、电磁介质、红外介质或半导体系统或传播介质。计算机可读存储介质30还可以包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(ram)、只读存储器(rom)、硬磁盘和光盘。光盘可以包括光盘-只读存储器(cd-rom)、光盘-读/写(cd-rw)和dvd。
[0106]
综上所述，本发明的基于光谱引导与深度注意力的光学遥感图像云雾分割方法有效地解决了复杂地物下云雾区域的高精度提取，在提升分割精度的同时，通过引入短波红外光谱特征对雪地、高亮山脉等与云雾高相似的地物进行有效鉴别，可以最大限度的提升分割精度。
[0107]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。