基于多尺度自编码的异质遥感图像变化检测方法

1.本发明属于异质遥感图像变化检测领域，涉及基于多尺度自编码的异质遥感图像变化检测方法。


背景技术：

2.变化检测是一种日益重要的技术，它通过分析在不同时间在同一地理位置上获取的一组图像来识别变化和不变的区域。在检测之前，需要对图像进行去噪和共配准等预处理。去噪即减轻噪声的干扰，并对图像进行共配准，使相同索引的像素对应于相同的地理位置。利用这些预处理后的图像，通过对比和假设检验的过程获得变化信息，这是分析的重点。
3.目前，不同的卫星平台可以提供各种类型的遥感图像，包括合成孔径雷达(sar)图像、极化sar图像、多光谱图像等。根据图像源，变化检测可分为同质和异质两类。同质变化检测是基于相同或相似传感器捕捉到的图像，其中不变区域的像素可视为线性相关。然后，通过对比原始图像得到差异图像(difference image,di)，在差异图像上应用分类算法得到相应的变化图(change map,cm)。相比之下,异质变化检测是基于不同传感器、分辨率、光照条件(光学)、极化和频率(sar)捕捉的异质性图像，直接比较原始的异质图像是不可行的，这也是异质变化检测的主要难点。基于异质图像的变化检测是一项很有前景但也很有挑战性的研究。
4.如今，由于光学图像比合成孔径雷达图像更容易得到，大量的光学图像变得可用。然而，由于光学传感器的被动特性，获取高质量的光学图像需要在晴朗的天气和良好的阳光条件下进行。相反，sar传感器是主动的，因此对天气和阳光条件不敏感。由于这两种传感器的互补特性，准确检测光学和sar图像的变化对许多实际应用具有重要意义，特别是对紧急灾害的即时评估。在这种情况下，通常无法获得灾害前的sar图像，也无法立即获得灾害后质量高的光学图像。然而，由于异质图像之间像素差的计算困难，目前基于异质图像的研究较少。处理异质图像的一个主要挑战是不同类型图像中地物的不同特征表示，这增加了获取差异图的难度。光学传感器测量可见光和近红外光谱波段的反射光强度。相应地，光学图像中地物的外观由地物的表面反射特性、场景照明条件和传感器视角决定。sar传感器是有源的，测量发射信号的后向散射。该信号通常具有狭窄的微波频段，并在距离方向上进行采样。因此，sar图像中地面物体的外观是由这些物体的几何形状和介电特性以及sar传感器的发射/接收配置决定的。因此，在光学和合成孔径雷达图像中的地物将表现出明显不同的外观。
5.异质图像变化检测的基本流程范式为：1)预处理2)生成差异图3)分析差异图。预处理是对两幅图像进行归一化处理。生成差异图是将得到的归一化图像放入模型中进行训练，利用训练好的模型进行差异图的生成。分析差异图，将生成的差异图通过阈值分析、聚类分析、图切分析和水平集分析等方法得到最终的变化图。


技术实现要素：

6.本发明的目的是提供一种基于多尺度自编码的异质遥感图像变化检测方法，采用该方法能够对异质遥感图像中的变化区域进行精确检测。
7.本发明所采用的技术方案是，基于多尺度自编码的异质遥感图像变化检测方法，具体包括如下步骤：
8.步骤1，对图像进行预处理；
9.步骤2，将经步骤1预处理后的图像放入多尺度神经网络中进行训练，并利用训练好的神经网络生成差异图；
10.步骤3，利用阈值分析算法对步骤2生成的差异图进行分析，得到变化的图像。
11.本发明的特点还在于：
12.步骤1的具体过程为：对配准的一副sar图像和一副光学遥感图像进行归一化操作，确保每个图像像素点的值在[-1,1]之间。
[0013]
步骤2的具体过程为：
[0014]
步骤2.1，假设初始的两幅图像，将变化前的sar图像记为x、变化后光学遥感图像记为y，
[0015]
对于sar图像x，满足如下条件：
[0016][0017][0018]
其中，d(
·
)代表下采样操作，g(
·
)代表高斯滤波，通过公式(2)得到三个尺度的图像
[0019]
对于光学遥感图像y，满足如下条件：
[0020][0021][0022]
其中，d(
·
)代表下采样操作，g(
·
)代表高斯滤波，通过公式(4)得到三个尺度的图像
[0023]
步骤2.2，分别获取图像x和图y的三个尺度的高频分量；
[0024]
步骤2.3，对步骤2.2所得结果进行自编码重构，得到重构后的图像x～和y～；
[0025]
步骤2.4，根据步骤2.3所得结果确定多尺度神经网络的损失函数；
[0026]
步骤2.5，根据步骤2.4所得的损失函数进行训练，得到训练后的差异图。
[0027]
步骤2.2的具体过程为：
[0028]
通过如下公式(3)求取图像x三个尺度的高频分量
[0029]
[0030]
通过如下公式(4)求取图像y三个尺度的高频分量
[0031][0032]
步骤2.3的具体过程为：
[0033]
对步骤2.2得到的图像x三个高频分量进行自编码重构得到公式如下：
[0034][0035]
其中，和分别是x的编码器和解码器；
[0036]
图像x的重构的图像采用如下公式(6)表示，记为
[0037][0038]
其中，u(
·
)是上采样操作；
[0039]
对步骤2.2得到的图像y三个高频分量进行自编码重构得到公式如下：
[0040][0041]
其中，和分别是y的编码器和解码器；
[0042]
图像y的重构的图像采用如下公式(8)表示，记为
[0043][0044]
步骤2.4的具体过程为：
[0045]
采用如下公式(9)获取图像x的损失函数：
[0046][0047]
其中：
[0048][0049]
采用如下公式(11)获取图像y的损失函数：
[0050][0051]
其中：
[0052][0053]
根据如下公式(13)求总的重构函数：
[0054]
l
recon
＝l
x
+lyꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)；
[0055]
将图像x经过x的编码器和y的解码器得到转换后的图像，记为公式如下：
[0056][0057]
将图像y经过y的编码器和x的解码器得到转换后的图像，记为公式如下：
[0058][0059]
循环一致性损失函数由如下公式(16)得到：
[0060]
l
consis
＝c
x
+cyꢀꢀꢀꢀ
(16)；
[0061]
其中，c
x
、cy分别是x和y的循环一致性损失函数；
[0062]cx
的计算公式如下：
[0063][0064]cy
的计算公式如下：
[0065][0066]
因此，多尺度神经网络的总体损失函数如下公式(19)所示：
[0067]
l
total
＝l
recon
+l
consis
ꢀꢀꢀꢀ
(19)。
[0068]
本发明的有益效果是：本发明采用一种基于多尺度自编码的异质遥感图像变化检测方法，首先对配准的一对sar图像和光学遥感图像进行归一化操作，确保每个像素点的值在[-1，1]之间。其次是将得到的归一化图像放入多尺度神经网络中进行训练，利用训练好的神经网络进行差异图的生成。最后通过阈值法得到最终的变化图。
附图说明
[0069]
图1是本发明基于多尺度自编码的异质遥感图像变化检测方法的流程图；
[0070]
图2是yellow river数据集的变化检测参考图；
[0071]
图3是yellow river数据集采用本发明基于多尺度自编码的异质遥感图像变化检测方法得到的变化检测图；
[0072]
图4是yellow river数据集采用编码对齐自编码方法得到的变化检测图；
[0073]
图5是tianhe airport数据集的变化检测参考图；
[0074]
图6是tianhe airport数据集采用本发明基于多尺度自编码的异质遥感图像变化
检测方法得到的变化检测图；
[0075]
图7是tianhe airport数据集采用编码对齐自编码方法得到的变化检测图。
具体实施方式
[0076]
下面结合附图和具体实施方式对本发明进行详细说明。
[0077]
本发明基于多尺度自编码的异质遥感图像变化检测方法，如图1所示，具体包括如下步骤：
[0078]
步骤1，对图像进行预处理；
[0079]
步骤1的具体过程为：对配准的一副sar图像和一副光学遥感图像进行归一化操作，确保每个图像像素点的值在[-1,1]之间。
[0080]
步骤2，将经步骤1预处理后的图像放入多尺度神经网络中进行训练，并利用训练好的神经网络生成差异图；
[0081]
步骤2的具体过程为：
[0082]
步骤2.1，假设初始的两幅图像，将变化前的sar图像记为x、变化后光学遥感图像记为y，
[0083]
对于sar图像x，满足如下条件：
[0084][0085][0086]
其中，d(
·
)代表下采样操作，g(
·
)代表高斯滤波，通过公式(2)得到三个尺度的图像
[0087]
对于光学遥感图像y，满足如下条件：
[0088][0089][0090]
其中，d(
·
)代表下采样操作，g(
·
)代表高斯滤波，通过公式(4)得到三个尺度的图像
[0091]
步骤2.2，分别获取图像x和图y的三个尺度的高频分量；
[0092]
步骤2.2的具体过程为：
[0093]
通过如下公式(3)求取图像x三个尺度的高频分量
[0094][0095]
通过如下公式(4)求取图像y三个尺度的高频分量
[0096][0097]
步骤2.3，对步骤2.2所得结果进行自编码重构，得到重构后的图像和
[0098]
步骤2.3的具体过程为：
[0099]
对步骤2.2得到的图像x三个高频分量进行自编码重构得到公式如下：
[0100][0101]
其中，和分别是x的编码器和解码器；
[0102]
图像x的重构的图像采用如下公式(6)表示，记为
[0103][0104]
其中，u(
·
)是上采样操作；
[0105]
对步骤2.2得到的图像y三个高频分量进行自编码重构得到公式如下：
[0106][0107]
其中，和分别是y的编码器和解码器；
[0108]
图像y的重构的图像采用如下公式(8)表示，记为
[0109][0110]
步骤2.4，根据步骤2.3所得结果确定多尺度神经网络的损失函数；
[0111]
步骤2.4的具体过程为：
[0112]
采用如下公式(9)获取图像x的损失函数：
[0113][0114]
其中：
[0115][0116]
采用如下公式(11)获取图像y的损失函数：
[0117][0118]
其中：
[0119][0120]
根据如下公式(13)求总的重构函数：
[0121]
l
recon
＝l
x
+lyꢀꢀꢀꢀꢀꢀ
(13)；
[0122]
将图像x经过x的编码器和y的解码器得到转换后的图像，记为公式如下：
[0123][0124]
将图像y经过y的编码器和x的解码器得到转换后的图像，记为公式如下：
[0125][0126]
循环一致性损失函数由如下公式(16)得到：
[0127]
l
consis
＝c
x
+cyꢀꢀꢀꢀꢀꢀꢀ
(16)；
[0128]
其中，c
x
、cy分别是x和y的循环一致性损失函数；
[0129]cx
的计算公式如下：
[0130][0131]cy
的计算公式如下：
[0132][0133]
因此，多尺度神经网络的总体损失函数如下公式(19)所示：
[0134]
l
total
＝l
recon
+l
consis
ꢀꢀꢀꢀꢀꢀ
(19)。
[0135]
步骤2.5，根据步骤2.4所得的损失函数进行训练，得到训练后的差异图。
[0136]
步骤2.5的具体过程为：采用如下公式(20)生成差异图：
[0137][0138]
其中，α、β分别是图像的通道数。
[0139]
步骤3，利用阈值分析算法对步骤2生成的差异图进行分析，得到变化的图像。
[0140]
本发明基于多尺度自编码的异质遥感图像变化检测方法的特点为：
[0141]
(a)将拉普拉斯金字塔引入多尺度自编码器中，可以在高保真地压缩和重建sar图像和光学遥感图像的同时抑制异常。
[0142]
(b)构建的多尺度自编码器，可以提取多尺度特征并整合它们，以产生可靠的差异图。
[0143]
实施例
[0144]
本发明的效果可以通过仿真实验具体说明：
[0145]
1.实验条件
[0146]
实验所用微机cpu为intelpentium43.0ghz内存16gb，编程平台是python。用于实验的sar图像和光学图像是tianhe airport数据集、yellow river数据集。
[0147]
2.实验内容
[0148]
首先是预处理阶段，先对配准的一对sar图像和光学遥感图像进行归一化操作，确保每个像素点的值在[-1,1]之间。其次是生成差异图阶段，将得到的归一化图像放入多尺度神经网络中进行训练，利用训练好的神经网络进行差异图的生成。最后是分析差异图生成变化图阶段，通过阈值法得到最终的变化图。
[0149]
3.实验结果
[0150]
表1是本发明提出的方法和编码对齐自编码(code-aligned autoencoders)方法在yellow river数据集上的变化检测评价指标；表2是本发明提出的方法和编码对齐自编码(code-aligned autoencoders)方法在tianhe airport数据集上的变化检测评价指标；
[0151]
表1
[0152]
methodfamaoepcckcbaseline148869163240490.90830.4422obrs49517436123870.95270.6579
[0153]
表2
[0154]
methodfamaoepcckcbaseline2620994263030.89970.2358ours10123718108410.95860.4079
[0155]
图2是yellow river数据集的变化检测参考图；
[0156]
图3是yellow river数据集采用本发明方法得到的变化检测图；
[0157]
图4是yellow river数据集采用编码对齐自编码方法得到的变化检测图；图5是tianhe airport数据集的变化检测参考图；图6是tianheairport数据集采用本发明方法得到的变化检测图；图7是tianheairport数据集采用编码对齐自编码方法得到的变化检测图；实验结果表明本发明提出的方法能得到较好的变化检测结果。