一种轻量级多特征聚合的神经网络遥感变化检测方法

1.本发明涉及计算机视觉与图像处理技术领域，具体为一种轻量级多特征聚合的神经网络遥感变化检测方法。


背景技术：

2.随着空间科学技术的迅速发展，如何有效地将地物的变化信息从遥感图像中检测出来已成为一个重要的研究方向。现有主流的解决方案分为无监督和有监督两种。
3.传统的无监督方法主要有mad、ir-mad和pca等。mad分析方法的本质是多变量统计分析中的典型相关分析，但是由于该算法不能较好处理多元素遥感图像问题。因此研究并提出了ir-mad算法。该算法的核心思想是把每个像素的初始权值都设为1，通过迭代给两幅图像中的像素一个新的权值。未发生变化的像素具有较大的权重，最终的权重值是决定各个像素是否发生改变的唯一依据。经过多次迭代，当每个像素的权重会逐渐趋于稳定直到不变，此时迭代停止。每个像素最终权值与阈值t比较，从而判断其属于变化像素还是未变化像素，最后提取未变化的像素作为特征像素。pca是最著名的子空间学习算法之一，pca通过线性变换将图像变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量。但是因为pca依赖于图像的统计特征，因此变化区域和不变区域的数据是否平衡，将对模型的性能产生很大影响。
4.在有监督的方法中，大多数基于深度学习的遥感图像变化方法都与语义分割有关。随机森林(rfs)和卷积神经网络(cnns)等都是传统的监督学习方法。但是它们没有针对变化检测任务特性，明确区别变化区域和不变区域。这使得在检测过程中边缘细节信息丢失严重。而且使用的主干网络大都由于结构冗余，不能对双时像遥感图像的特征信息进行高效提取。
5.由于遥感变化检测技术的应用范围更加广泛。因此所对应的遥感图像数据集，无论从图像的分辨率大小、数量以及图像的细节复杂程度的角度来说，相比之前都有很大提升。特别是因为双时相遥感图像中两幅图像拍摄时间不同，所以会存在拍摄角度不同、季节植被覆盖变化、光照阴影变化等问题。如果有一种网络既能够关注到变化区域的信息又能够在不损失精度的前提下尽可能地降低参数量，那么它就能满足大部分的场景需求。因此我们对此做出改进，提出一种轻量级多特征聚合的神经网络遥感变化检测方法。


技术实现要素：

6.为了解决上述技术问题，本发明针对遥感图像变化检测的任务特性，提出了一种轻量级多特征融合网络。由于不同时间段获取的图像可能在不同的传感器视角下存在一定偏差，产生光的阴影折射，建筑角度偏差等因素，从而导致两幅图像的所有像素点不能够较好一一对应；现如今的遥感图像数据集大多较为复杂，提高模型的预测效率是一个十分重要的问题。对此我们设计了一个新的结构来对多尺度特征信息进行提取来解决因传感器拍摄角度不同产生的图像偏差问题，以获得具有更少参数的可变可伸缩接收字段，极大地提
高了网络在遥感变化检测任务中的性能。现如今的遥感图像太多较为复杂，边缘细节较多。如果不对边缘的特征信息进行提取学习，这将导致边缘细节学习严重丢失，从而预测结果较差。因此为了解决边缘细节信息丢失的问题，发明了一个全新的模块来引导网络从而在不增加时间成本的情况下学习细节信息，将边缘特征信息最大程度还原。适用于变化检测任务的模型应该更加关注变化区域的特征信息，并给予这些区域更大的权重，这样可以增加模型的预测效果。对此发明了一个新的时空自主意模块，使网络自适应地关注变化区域，从而提升预测精度。在模型的最后，如果直接解码输出，则会导致提取的特征信息不能够较好的融合输出，将损失很多关键的特征信息。对此，发明了一个新的特征融合模块用于将多尺度的特征信息进行融合输出来最大程度还原预测图。本设计通提出的模型解决了变化检测任务中特征提取不完善，边缘细节效果不佳的问题，在提高了检测精度的同时，也降低了模型的参数量，增强了算法的普适性。
7.本发明为达上述目的提供了如下的技术方案：
8.本发明一种轻量级多特征聚合的神经网络遥感变化检测方法，包括搭建并训练一个分割网络，输入双时像遥感图像，输出预测变化区域的预测模型，所述预测模型包括至少三个基础语义分割子模块：特征提取模块、细节特征引导模块、自注意力以及特征融合模块，所述预测模型的训练过程包括如下步骤：
9.s1、将预先标注语义分割信息的训练图像输入到所述预测模型中，在编码过程中，利用轻量级征提取模块对多尺度特征信息进行提取处理；
10.s2、通过细节特征引导模块，引导网络学习底层的特征信息；
11.s3、将经过多尺度特征信息进一步输入至自注意模块中，提取出变化区域的关键信息，通过调节像素点与像素点以及通道与通道之间的权重来减少冗余信息的占比，使网络更加关注于变化区域的特征信息；
12.s4、在解码过程中，将提取的多尺度特征信息输入特征融合模块进行输出产生预测；
13.s5、利用若干训练图像不断迭代执行上述步骤s1至s4，直至所述模型的训练结果满足预设的收敛条件。
14.作为本发明的一种优选技术方案，所述分割网络的训练包括数据集的制作及训练调参过程，其整体流程主要由数据集制作，网络模型搭建和利用数据集进行网络训练三部分组成。
15.作为本发明的一种优选技术方案，所述数据集制作过程包括如下步骤：
16.s01、从谷歌地球软件上截取同一地区不同时间点的一对高分辨率遥感图像，图像主要分布在以下四种背景中，分别是建筑物，植被，河流以及荒地；
17.s02、对截取的图像进行准确地人工掩膜标注，标注类别总共分为两类：变化区域以及未变化区域；
18.s03、对标注完的高分辨率图像进行裁剪与筛选，最终获得n对512
×
512像素的双时像遥感图像对；
19.s04、对数据集进行随机切分，其中80％作为训练样本，20％作为验证样本。
20.作为本发明的一种优选技术方案，所述网络模型搭建是基于编码器解码器结构，并利用密集联接网络作为新的主干网络来对遥感图像的特征信息进行提取。
21.作为本发明的一种优选技术方案，所述密集联接网络的结构共有四个部分组成，其第一部分对输入图像的空间分辨率通过三个卷积分别进行步长为2的下采样处理；在第二和第三部分，每个部分对图像空间分辨率进行步长为2的下采样处理；第四部分通过全局平均池化进行输出，具体为：定义convxi表示第i部分的操作，即第i部分的输出计算如下：
22.xi＝convxi(x
i-1
,ki)
23.在上式中x
i-1
和xi分别是第i部分的输入和输出，ki为卷积层的内核大小，其中第一部分的卷积层内核大小为设为1，其他部分的卷积层内核大小都设置为3。
24.作为本发明的一种优选技术方案，所述网络模型搭建还包括建立细节特征引导模块，引导底层以单流方式学习细节特征信息，并将细节特征预测当作一个类不平衡问题来进行处理，具体如下：
25.定义一个新的损失函数ld来处理这类不平衡的问题，若预测细节图的高位h，宽为w，则ld表示如下：
26.ld(x
pd
,x
dg
)＝l
bce
(x
pd
,x
dg
)+l
dice
(x
pd
,x
dg
)
27.其中x
pd
∈rh×w表示预测细节，x
dg
∈rh×w表示相应的特征图，l
bce
表示二元交叉熵损失。
28.作为本发明的一种优选技术方案，所述网络模型搭建还包括建立用于遥感图像变化检测的时空自注意模块，该模块用于捕获整个时空中各个像素之间丰富的全局时空关系，使网络对重要区域的像素赋予更大的权重，并对需要注意的目标区域给予更多的注意。
29.作为本发明的一种优选技术方案，所述网络模型搭建还包括建立融合网络，具体为：定义w和h分别表示特征图的宽度和高度，首先对不同深度的堆叠特征层进行卷积操作，将不同通道实现信息交互叠加得到特征图u
′
，其方程为下所示：
30.u
′
＝relu(b(f3×3(u)))
31.上式中b为批量标准化运算，relu是激活函数修正线性单元，其功能在于使得每一层网络的输入都能保持相同的数据分布，并将其规范至均值与方差分别为0和1的正态分布中；然后利用向量来指导特征学习，增加一种注意机制，对特征映射中的数据u
′
进行重组得到t，激活函数sigmoid和t的计算公式如下：
[0032][0033]
t＝sigmoid(f1×1(relu(f1×1(f
gp
(u')))))
[0034]
上式中cn表示类别数，f
gp
表示全局平均池化，f1×1表示卷积核为1的卷积操作，sigmoid是线性激活函数，relu是激活函数修正线性单元，将cn设置为2；最后将t与u
′
中对应通道数相乘实现对参数赋予权重的功能，并将获得的特征层与u
′
相加得到最终输出v：v＝tu
′
+u
′
。
[0035]
作为本发明的一种优选技术方案，所述利用数据集进行网络训练的过程如下：
[0036]
在获得数据集之后，将一部分数据集做数据增强，分别以0.2的概率对原图像及标签做水平翻转，镜像翻转以及-180
°
～+180
°
的旋转变换；
[0037]
在迭代过程中采用学习率衰减策略来优化学习过程，此处使用的学习率衰减策略每3次迭代对当前学习率乘以值0.95，当迭代200次后学习率衰减为3.27
×
1e-5，满足收敛要求；
[0038]
网络在初始收敛过程中，设置学习率预热阶段，即在最先的几次迭代中采用较小的学习率，然后逐步增大到标准水平。
[0039]
作为本发明的一种优选技术方案，在利用数据集进行网络训练前，对网络权重做随机初始化，调整初始学习率为0.001，并采用利用训练数据集对变换检测网络进行训练时，每次输入一对原始遥感图片到当前网络中，并通过正向传播计算得到当前网络的预测图像，利用交叉熵损失函数，计算输出图片与其对应的人工标注的掩模图片之间的损失函数，利用链式法则将这个损失函数反向传播到网络中。
[0040]
本发明的有益效果是：
[0041]
该种轻量级多特征聚合的神经网络遥感变化检测方法，通过轻量级多特征融合网络在采用前述训练方法进行训练后即可用于遥感图像变化检测，对待处理图像先采用裁剪的方式输入至神经网络模型中，设置参数并进行多次迭代，得到变化检测遥感图像的预测结果，该预测的结果相对于采用传统的基础语义分割模型(例如unet、fcn等)得到的结果，其预测准确率有明显的提升。
附图说明
[0042]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0043]
图1为本发明实施例的云检测流程图；
[0044]
图2为一种轻量级多特征聚合的神经网络遥感变化检测方法网络结构图；
[0045]
图3为同一地点不同时间段拍摄的遥感图像；
[0046]
图4为本发明实施的轻量级主干网络示意图；
[0047]
图5为本发明实施例的自注意模块示意图；
[0048]
图6为本发明实施例的自注意模块分割结果示意图；
[0049]
图7为本发明实施例的特征融合模块示意图。
具体实施方式
[0050]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0051]
实施例：
[0052]
本发明旨在提供一种轻量级多特征聚合的神经网络遥感变化检测方法，最主要的工作是搭建并训练一个分割网络，输入双时像遥感图像，输出预测变化区域的预测模型。利用深度学习平台实现所述网络的搭建，网络的训练包括数据集的制作及训练调参过程。其整体流程如图1所示，主要由数据集制作，网络模型搭建，利用数据集进行网络训练三部分组成。
[0053]
一、数据集的制作过程：
[0054]
步骤1、从谷歌地球软件上截取同一地区不同时间点的一对高分辨率遥感图像。从谷歌地球软件中导出的高分辨率遥感图像主要分布在以下四种背景中，分别是建筑物，植被，河流以及荒地。
[0055]
步骤2、对截取的图像进行准确地人工掩膜标注，标注类别总共分为两类：变化区
域以及未变化区域，该过程经过多人重复验证以保证数据集的准确性。
[0056]
步骤3、为了满足实验网络的输入大小，对标注完的高分辨率图像进行裁剪与筛选，最终获得3400对512
×
512像素的双时像遥感图像对。
[0057]
步骤4、对数据集进行随机切分其中80％作为训练样本，20％作为验证样本，最终训练集样本数为2720，验证集样本数为680。
[0058]
二、建立网络模型：
[0059]
如图2所示，本发明针对遥感变化检测任务特性提出了一种轻量级多特征聚合网络，该模型基于编码器解码器结构。提出了一个新的主干网络对双时序遥感图像进行多尺度特征提取来最大程度还原特征信息。在保证精度的前提下，降低计算成本。并发明了两个辅助模块分别来加强模型对变化区域和边缘细节的学习。并在模型的最后设计了一个多尺度融合模块来将多特征进行融合从而完成任务。
[0060]
本发明在模型中设计了密集联接网络作为新的主干网络来对遥感图像的特征信息进行提取。由于双时态遥感图像拍摄于同一地点的不同时间段，会受到季节和光照等因素等影响。如图3所示，其中(a)，(b)和(c)，(d)分别为同一地点不同时间拍摄的遥感图像，可以明显发现同一地点不同时间段所拍摄的一对遥感图像像素点没有一一对应。这是由于卫星拍摄角度所引起的，为了解决这个问题：提出的主干网络采用跨级别的特征聚合方式来对多尺度特征信息进行提取，全局和局部信息相互辅助，从而解决像素点不一一对应的问题。
[0061]
密集联接网络的结构共有4个部分组成。一般情况下，第一个部分对输入图像的空间分辨率通过三个卷积分别进行步长为2的下采样处理，在第二和第三部分，每个部分对图像空间分辨率进行步长为2的下采样处理。第四部分通过全局平均池化进行输出。通过实验仔细调整了每个部分的通道数以达到准确性和效率之间的最佳平衡。图4说明了该模块的布局。具体来说，被分成4个部分。我们用convxi表示第i部分的操作，即第i部分的输出计算如下：
[0062]
xi＝convxi(x
i-1
,ki)
[0063]
在上式中x
i-1
和xi分别是第i部分的输入和输出，ki为卷积层的内核大小，其中第一部分的卷积层内核大小为设为1，其他部分的卷积层内核大小都设置为3。由于在遥感变化检测任务中，通常更关注的是多尺度信息和可扩展的接受域。需要通过较多的通道数来编码低层信息中更细粒度的信息，通常低层的接受域较小。而接收域大的高层更注重高层信息的归纳总结。如果与低层设置相同的通道可能会造成信息冗余。因此下采样只发生在第二部分中。为了丰富特征信息，我们通过跳过路径的方式将第一到第四部分的输出映射作为密集连接模块的输出进行拼接。在那之后，它通过1
×
1卷积来恢复到原来的通道数。
[0064]
如今的遥感数据背景大多比较复杂，边缘细节信息相比之前有了很大提升。因此如果单靠主网络来提取特征信息的话，这些细节特征将会被一定程度上的忽略，从而降低预测效果。针对这个问题，我们提出了一个细节特征引导模块，引导底层以单流方式学习细节特征信息。我们将数据集中的标签通过利用拉普拉斯算子生成特征图，然后让模型学习特征图信息，从而引导底层学习更多的细节特征信息。由于在实际的遥感图像变化检测任务中，细节特征信息对应的像素点的数量远小于非细节信息所对应像素点的数量，因此可以把细节特征预测当作一个类不平衡问题来进行处理。因此设计了一个新的损失函数ld来
处理这类不平衡的问题，若预测细节图的高位h，宽为w，则ld表示如下：
[0065]
ld(x
pd
,x
dg
)＝l
bce
(x
pd
,x
dg
)+l
dice
(x
pd
,x
dg
)
[0066]
其中x
pd
∈rh×w表示预测细节，x
dg
∈rh×w表示相应的特征图，l
bce
表示二元交叉熵损失。
[0067]
由于遥感图像数据量大、背景复杂、目标特征不明显等问题，如果不针对变化检测的任务特征明确区分需要注意的区域，网络将难以为每个像素分配准确的标签。通过利用同一类型物体在不同时间和地点之间的关系，建模相邻像素之间的时空关系。基于这一认识，我们设计了一个用于遥感图像变化检测的时空自注意模块。该模块捕获了整个时空中各个像素之间丰富的全局时空关系，使网络能够对重要区域的像素赋予更大的权重，并对我们需要注意的目标区域给予更多的注意。
[0068]
图5说明了自注意模块的具体细节。我们提取双时态遥感图像的特征张量x∈rc×h×w×2，其中c、h和w分别是特征张量的通道数，高度和宽度。然后将其输入到自主意模块中，生成新的特征张量z∈rc×h×w×2进行输出。通过残差函数从输入的特征图x中推出新的特征图z：z＝g(x)+x，其中γ＝g(x)是待学习的x的残差映射。其计算的核心是从输入的张量中生成一组键向量，值向量和查询向量，并学习这些值的加权和来生成每个输出向量。其中查询和对应键的相似性决定了分配给每个值的权重。
[0069]
图6显示了自注意模块的可视化结果。图6(a)和(b)为同一区域的双时点遥感图像，图6(c)为其标签图，图6(d)和(e)分别为有无该模块的热力图。我们清楚地发现，在网络中引入自注意模块后，网络对于一些先前不关心或不太关心的变化区域中的像素会赋予了更大的权重，即热图中的深色区域。
[0070]
考虑到粗糙的直接融合会导致信息冗余，对预测结果产生负面影响。因此在对图像进行像素级分类时，通常需要在解码阶段与浅层信息进行融合，以弥补信息在传递过程中的丢失问题。但是如何进行有效的融合一直是需要探讨的问题。而本模型有多条支路输出。所以对每条支路的输出进行融合需要更加合理的设计，才能对提取的特征信息进行更好的处理，从而增加模型精度。其中一个解决方案就是将不同深度的信息进行叠加组成一个新的特征层，然后对新的特征层进行卷积运算，并对不同通道实行信息融合，融合网络的结构如图7所示。
[0071]
w和h分别表示特征图的宽度和高度，首先对不同深度的堆叠特征层进行卷积操作，将不同通道实现信息交互叠加得到特征图u
′
，其方程为下所示：
[0072]u′
＝relu(b(f3×3(u)))
[0073]
上式中b为批量标准化运算，relu是激活函数修正线性单元，其功能在于使得每一层网络的输入都能保持相同的数据分布，并将其规范至均值与方差分别为0和1的正态分布中，避免因为过于靠近非线性区域而使得网络难以收敛。批标准化会计算上一个特征层的平均值μ
β
，然后通过μ
β
获得标准偏差σ2，最后通过如下公式可得归一化值与yi。其中xi和m是输入特征的参数和参数的数量。ε'是一个非常小的值，以避免分母为零：
[0074]
[0075][0076][0077][0078]
另一方面，为了让模型更好地获取全局信息，并利用向量来指导特征学习，增加了一种注意机制，对特征映射中的数据u
′
进行重组得到t，激活函数sigmoid和t的计算公式如下：
[0079][0080]
t＝sigmoid(f1×1(relu(f1×1(f
gp
(u')))))
[0081]
上式中cn表示类别数，f
gp
表示全局平均池化，f1×1表示卷积核为1的卷积操作，sigmoid是线性激活函数，relu是激活函数修正线性单元，在变化检测任务中因为只有变化与未变化区域的区别，所以将cn设置为2；最后将t与u
′
中对应通道数相乘实现对参数赋予权重的功能，并将获得的特征层与u
′
相加得到最终输出v：v＝tu
′
+u
′
。
[0082]
三、利用数据集进行网络训练的过程如下：
[0083]
在获得数据集之后，本技术实施例将一部分数据集做数据增强，分别以0.2的概率对原图像及标签做水平翻转，镜像翻转以及-180
°
～+180
°
的旋转变换。其目的是为了解决样本数量不充分导致的过拟合现象，并且丰富数据集的多样性，增强网络模型的鲁棒性。
[0084]
本技术实施例在训练开始前，对网络权重做随机初始化，调整初始学习率为0.001，并采用利用训练数据集对变换检测网络进行训练时，每次输入一对原始遥感图片到当前网络中，并通过正向传播计算得到当前网络的预测图像，利用交叉熵损失函数，计算输出图片与其对应的人工标注的掩模图片之间的损失函数，利用链式法则将这个损失函数反向传播到网络中。adam优化算法是一种对随机梯度下降法的扩展，adam优化器使用动量和自适应学习率来加快收敛速度，在反向传播的过程中，本发明使用adam优化器对网络中的参数如卷积的权重、卷积的偏置等进行更新，此处adam的超参数β1和β2分别设置为默认值0.9和0.999。
[0085]
网络在收敛过程中不宜采用较大的学习率，较大的学习率容易使网络在收敛过程中产生震荡，从而偏离最优值，另一方面在深度神经网络中，随着层数的增多，在梯度下降的过程中，容易出现梯度消失或梯度爆炸。因此，本发明实施例在迭代过程中采用了学习率衰减策略来优化学习过程，此处使用的学习率衰减策略每3次迭代对当前学习率乘以值0.95，当迭代200次后学习率衰减为3.27
×
1e-5，满足收敛要求。
[0086]
网络在初始收敛过程中，本发明实施例还设置了学习率预热阶段，即在最先的几次迭代中采用较小的学习率，然后逐步增大到标准水平，其意义在于，在模型训练的初始阶段：该模型对数据分布极为陌生，需要使用较小的学习率来逐步调整和修正权重分布，如果直接使用很大的学习率，有很大的概率会使训练结果偏离正确的梯度方向，从而导致梯度消失或者梯度爆炸，也可能间接导致过拟合。
[0087]
为了验证本发明提出的方法的有效性，下面将与现有的模型进行对比。其中用于
对比的模型包括segnet、hrnet、unet、fcn-8s、pspnet和icnet、bisenet、bisenetv2。数据集则使用上述的遥感变化检测数据集，评价标准采用广泛使用的像素精度(pa)、召回率(rc)、精确率(pr)、平均交并比(miou)作为评价指标，所得结果如表1所示。
[0088]
表1中pa是使用最普遍地评价指标，表示正确预测的像素占所有像素的比例。rc表示在原始图像的变化区域中，被算法正确识别为变化区域的比例，pr表示在预测图中预测正确的变化区域像素数量占所有真实参考变化区域像素数量的比例。miou是计算两个集合的交集与并集之间的比例，表示变化检测任务中变化区域和不变区域。从表1中可以看出本发明的网络在各项指标上都优于其他网络。
[0089]
表1评价结果
[0090][0091]
本发明基于现有的深度学习平台，提出了一种轻量级多特征聚合的神经网络来提升遥感变化检测的精度。该网络能够脱离人工设置的阈值直接完成端到端的训练，自动的对云层的边缘进行优化，解决了特征提取不完善，变化检测效果不佳的问题，提高了检测精度，增强了算法的普适性。
[0092]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。