一种基于AFFPN的新型超高清遥感图像变化检测方法

一种基于affpn的新型超高清遥感图像变化检测方法
技术领域
1.本发明涉及一种超高清遥感图像变化检测方法，尤其涉及一种基于affpn 的新型超高清遥感图像变化检测方法。


背景技术：

2.超高清遥感图像变化检测任务在监测和分析地球变化方面起着至关重要的 作用。它的目的就是通过多张不同时间拍摄的同一地点的超高清遥感图像，检 测出该地点发生了哪些重大的变化，由此得到一张变化图。作为遥感领域重要 而关键的任务，它被广泛的应用于自然灾害评估、城乡规划、土地覆盖图绘制 等方面。
3.目前传统的变化检测方法可以分为两类：基于代数的方法和基于变换的方 法。基于代数的方法对图像的每个像素点进行算术运算，得到多时态遥感图像 的差值图，然后通过设置一系列的阈值得到最终的变化图。常用的基于代数的 方法有图像差分法、图像比值法、变化向量分析法等；基于变换的方法将多光 谱遥感图像转换到某个特征空间上，以此来减少图像中不同频带之间的冗余信 息，获得变化图。常用的基于变换的方法有主成分分析法、穗帽变换、卡方变 换等。传统的变化检测方法虽然易于实现，但是它们在面对超高清遥感图像时 效果不佳，产生的变化图缺乏完整的变化信息。
4.超高清遥感图像的出现，为监测更精细的地球变化情况提供了可能性。然 而，超高清遥感图像中包含的精确细节和复杂的纹理特征为变化检测方法带来 了新的挑战，这导致了基于深度学习的变化检测方法的崛起。
5.虽然最先进的(state
‑
of
‑
the
‑
art，sota)基于深度学习的方法在超高清遥感 图像的变化检测任务上取得了比传统方法更好的效果，但它们仍然具有以下三 个局限性：
6.1、目前基于深度学习的变化检测方法在像素空间计算损失(例如交叉熵损 失、dice损失)，来衡量变化图和真实图像之间每个像素点的差异。理论上， 经过这些像素损失优化的深度学习网络能产生达到像素级别精准程度的变化图。 但是像素损失有着严苛的优化目标，并且只考虑像素级的局部信息，这使得其 在面对超高清遥感图像变化检测任务时效果不佳。因为拍摄于不同时间的超高 清遥感图像是光学卫星图像，它们不可避免的会受到光照变化、配准不齐、人 工误差等因素的影响，使得两幅图像之间像素级别的映射并不准确，局部信息 无法准确表示变化区域的特点。
7.2、缺乏有效融合旧时态图像特征f
t1
和新时态图像特征f
t2
的策略。现有技 术中有人不分别提取f
t1
和f
t2
，而是直接把新、旧两个时态的遥感图像(即双 时态遥感图像对)堆叠成一个，直接输入到深度学习网络中。还有人则是先通 过图像差值法的方法得到双时态遥感图像对的差值图，然后把这一张差值图作 为网络的输入。尽管这两种方法不需要进行f
t1
和f
t2
的融合，但是这也使得它 们网络的前几层无法提供每个图像独立的特征来帮助图像的重建，导致产生的 变化图有着粗糙的边界和不完整的变化区域。另外一些方法直接将f
t1
和f
t2
沿 着通道维度进行堆叠，虽然这种融合策略易于实现，但是它不能有效地滤除不 相关的特征，并且无法处理包含不同信息的异构特征的融合问题。最近，注意 力机制已经
被运用到变化检测任务中，帮助网络更好地融合不同的特征。有人 通过一个时空注意力网络(spatial
–
temporal attention neural network，stanet) 来引入自注意力机制，从而获取f
t1
和f
t2
之间的空间和时序依赖关系，但是该 方法忽略了f
t1
和f
t2
在通道维度上的关系。在现有技术中，有人构建了一个深 度监督的图像融合网络(image fusion network,ifn)，该网络通过构建两个独立 的注意力模块(即通道注意力模块和空间注意力模块)来解决异构特征融合问 题，但是该方法的注意力模块包含了全连接层，导致无法任意地嵌入卷积网络 中，独立的注意力模块也割裂了通道与空间之间的联系。
8.3、孱弱的特征提取能力：目前最先进的深度学习变化检测方法普遍采用预 训练的卷积网络(比如vgg16或resnet18)来提取各个时态遥感图像的特征。 但是在现实的遥感任务中，遥感图像会受到不同的天气、气候、分辨率等因素 的影响，从而包含了大量的噪声。这些方法采用的预训练卷积网络比较简单， 可学习的参数较少，使得它们难以从这些含有大量噪声和变化差异的图像中提 取变化检测任务所需要的高代表性高质量特征。


技术实现要素：

9.针对现有技术中的上述不足，本发明提供了一种基于affpn的新型超高清 遥感图像变化检测方法。
10.为了达到上述发明目的，本发明采用的技术方案为：
11.一种基于affpn的新型超高清遥感图像变化检测方法，包括以下步骤：
12.s1、构建自适应多尺度多层次特征融合的感知网络affpn；
13.s2、将旧时态图像t1和新时态图像t2输入affpn，分别进行并行的特征 提取，得到多尺度多层次的特征
14.s3、将步骤s2得到的两个同一层次的沿着通道维度进行堆叠后进行特征 融合，得到融合特征f
f
；
15.s4、将步骤s3得到的融合特征f
f
进行二倍上采样，得到差异图d；
16.s5、基于步骤s4得到的差异图d，联合使用像素损失函数和感知损失函数 对affpn进行训练；
17.s6、对步骤s4得到的差异图d进行argmax操作，获得每个像素点属于的 类别，生成变化图m。
18.本发明具有以下有益效果：本发明解决了现有技术中只能捕获像素级局部 信息、缺乏有效的特征融合策略、提取的特征信息不准确质量不高的问题，在 面对包含大量噪声的复杂超高清遥感图像变化检测任务时尤其有效，复杂变化 检测任务意味着旧时态图像和新时态图像受到天气、季节、分辨率、光照、阴 影、人工误操作等各种客观和主观因素的影响，这些因素会造成新、旧时态图 像之间的噪声差异非常大，这很可能导致网络错误的把这些差异判别成变化区 域，而本发明能很好地过滤这些噪声差异，找到正确的变化区域并提供精细化、 高质量的变化图。
19.优选地，步骤s1中构建的自适应多尺度多层次特征融合的感知网络affpn 具体包括两个特征提取模块fem、特征融合模块ffm、两个3
×
3卷积、sub
‑
pixel 卷积层和损失函数模块lfm；
20.特征提取模块fem包括主干网络backbone和压缩组件sc；
21.特征融合模块ffm包括多个通道
‑
空间注意力组件csac和多个卷积层；
22.损失函数模块lfm包括感知辅助组件pac。
23.该优选方案具有以下有益效果：提出了一种能高效的完成超高清遥感图像 变化检测任务的网络结构。
24.优选地，步骤s2具体包括：
25.将旧时态图像t1和新时态图像t2分别馈送到两个并行的特征提取模块 fem中的构成主干网络backbone的se
‑
resnet50中，得到se
‑
resnet50第一个 maxpool层的输出、conv2_3的输出，conv3_4的输出，conv4_6的输出和conv5_3 的输出，并传输到压缩组件sc中进行压缩，得到多尺度多层次的特征其 中a＝t1，t2；b＝1，2，3，4，5。
26.该优选方案具有以下有益效果：本发明设计的特征提取模块fem通过迁移 学习技术和压缩组件sc，在提取高质量特征的同时极大的减少冗余特征，使得 affpn网络具有更强的特征提取能力的同时不增加太多的计算复杂度，可以获 取具有高代表性的多尺度多层次特征。
27.优选地，s3包括以下分步骤：
28.s31、将步骤s2得到的两个同一层次的沿着通道维度进行堆叠，得到5 对
29.s32、将5对输入特征融合模块ffm中，分别通过通道
‑
空间注 意力组件csac和两层3
×
3卷积层后得到
30.s33、将f
5branch
经过二倍双线性上采样后与沿着通道维度进行堆叠，得 到将通过通道
‑
空间注意力组件csac、一层1
ꢀ×
1卷积层、二层3
×
3卷积层后得到
31.s34、按步骤s33的方法依次向上融合5个层次的特征，得到融合特征f
f
。
32.该优选方案具有以下有益效果：通过特征融合模块ffm和通道
‑
空间注意力 组件csac为affpn网络提供自适应的特征融合策略，强调了变化信息的重要 特征和区域，获取重要的特征，忽略不相关的特征，并克服了异构特征融合不 佳的问题，对其进行了有效融合，特征融合模块ffm是一个紧凑、通用的结构， 由于其全卷积的特性，可以直接嵌入到输入大小任意的网络中。
33.优选地，通道
‑
空间注意力组件csac处理流程包括以下分步骤：
34.s301、将输入特征对[f1，f2]进行堆叠得到输入特征f；
[0035]
s302、沿着空间维度对f进行平均池化操作，得到空间上下文描述符
[0036]
s303、将通过两个1
×
1卷积层、relu激活函数和sigmoid函数得到通 道注意力图计算过程表示为：
[0037][0038]
其中σ为sigmoid函数，δ为relu激活函数，f
11
×1和表示两个1
×
1卷 积层；
[0039]
s304、将输入特征f和通道注意力图相乘得到通道精炼特征f
c
；
[0040]
s305、沿着通道维度对通道精炼特征f
c
进行平均池化操作，得到通道上下 文描述符f
savg
；
[0041]
s306、将f
savg
通过一个7
×
7卷积层、relu激活函数和sigmoid函数得到空 间注意力图计算过程表示为：
[0042][0043]
其中表示7
×
7卷积层；
[0044]
s307、将通道精炼特征f
c
和空间注意力图相乘得到输出通道
‑
空间精炼 特征f
csac
，计算公式为：
[0045][0046]
其中表示按元素逐个相乘。
[0047]
该优选方案具有以下有益效果：通过csac，ffm可以为来自双时态图像 对的多尺度多层次特征自适应地提供通道和空间维度的全局细粒度关注，从 而帮助网络合理地融合特征。
[0048]
优选地，步骤s4具体包括将步骤s3得到的融合特征f
f
通过两层3
×
3卷积 层后输入到sub
‑
pixel层中进行二倍上采样，得到差异图d。
[0049]
该优选方案具有以下有益效果：两层3
×
3卷积层进一步对融合特征f
f
进行 精炼，采用sub
‑
pixel层进行上采样有两个原因：一是因为sub
‑
pixel层能够自我 学习，有助于获得更好的从低分辨率到高分辨率的映射，也就是sub
‑
pixel层能 自我学习产生更恰当的上采样方式；二是因为它可以在压缩融合特征f
f
通道数 的同时增加融合特征f
f
的长和宽，从而降低了对gpu内存的需求。
[0050]
优选地，步骤s5包括以下分步骤：
[0051]
s51、将差异图d输入损失函数模块lfm中，对步骤s4得到的差异图d 上的每个像素进行softmax操作，计算softmax损失l
sm
，计算公式为：
[0052][0053]
其中，n为差异图d上所有像素点的总数，p
i
表示像素i经过softmax函 数后输出的概率值，g
i
表示像素i对应的真实标签值；
[0054]
s52、计算dice损失l
d
，计算公式为：
[0055][0056]
s53、将差异图d输入到感知辅助组件pac中，沿着通道维度进行逐元素 的相减，相减的结果经过sigmoid函数将其像素值归一化到[0,1]区间，得到差值 图d
d
；
[0057]
s54、将差值图d
d
和相应的真实标签变化图gt沿着通道维度复制三次得到 扩充差值图d
′
d
和扩充真实标签变化图gt
′
；
[0058]
s55、将扩充差值图d
′
d
输入到vgg
‑
19网络中，获取vgg
‑
19第四、第九、 第十八、第
二十七和第三十六网络层的输出特征 [0059]
s56、将扩充真实标签变化图gt
′
输入到vgg
‑
19网络中，获取vgg
‑
19第 四、第九、第十八、第二十七和第三十六网络层的输出特征 [0060]
s57、计算感知损失，其值为五对输出特征的欧氏距离的平方和，计算公式 为：
[0061][0062]
其中l
p
为感知损失，c为特征的通道数， h为特征的高度，w为特征的宽度，||
·
||2为l2范数；
[0063]
s58、计算总体损失l，计算公式为：
[0064]
l＝λ(l
sm
+l
d
)+l
p
[0065]
其中λ为预设参数；
[0066]
s59、通过总体损失l对affpn网络进行反向传播，更新除了vgg
‑
19网 络以外的所有参数，训练affpn网络，直到其收敛。
[0067]
该优选方案具有以下有益效果：通过感知辅助组件引入了感知损失，通过 损失函数模块将softmax损失、dice损失和感知损失结合，使得affpn网络 能够同时在像素空间和特征空间进行优化，使得affpn网络不仅注重局部像素 之间的关系也能捕获全局的感知差异和空间信息，结合了像素损失和感知损失 的优点，降低了affpn网络训练难度，进而提升了affpn网络最终的性能。
附图说明
[0068]
图1是本发明一种基于affpn的新型超高清遥感图像变化检测方法的流程 图；
[0069]
图2是本发明实施例中affpn结构示意图；
[0070]
图3是本发明实施例中特征提取模块fem结构示意图；
[0071]
图4是本发明实施例中通道
‑
空间注意力组件csac结构示意图；
[0072]
图5是本发明实施例中感知辅助模块pac结构示意图；
[0073]
图6是本发明实施例和f1次优网络stanet在season
‑
varying数据集上的 变化检测结果示意图，其中图6(a)为旧时态图像t1示意图，图6(b)为新 时态图像t2示意图，图6(c)为真实标签图像gt示意图，图6(d)为采用本 发明实施例得到的变化图示意图，图6(e)为采用对比方法stanet得到的变 化图示意图。
[0074]
图7是本发明实施例和f1次优网络ifn在levir
‑
cd数据集上的变化检测 结果示意图，其中图7(a)为旧时态图像t1示意图，图7(b)为新时态图像 t2示意图，图7(c)为真实标签图像gt示意图，图7(d)为采用本发明实施 例得到的变化图示意图，图7(e)为采用对比方法ifn得到的变化图示意图。
具体实施方式
[0075]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 用以解释本发明，并不用于限定本发明。
[0076]
请参照图1，本发明提供了一种基于affpn的新型超高清遥感图像变化检 测方法，包括以下步骤：
[0077]
s1、构建自适应多尺度多层次特征融合的感知网络affpn；
[0078]
请参照图2，本发明实施例中，步骤s1中构建的自适应多尺度多层次特征 融合的感知网络affpn具体包括两个特征提取模块fem、特征融合模块ffm、 两个3
×
3卷积、sub
‑
pixel卷积层和损失函数模块lfm。
[0079]
特征提取模块fem包括主干网络backbone和压缩组件sc；
[0080]
特征融合模块ffm包括多个通道
‑
空间注意力组件csac和多个卷积层；
[0081]
损失函数模块lfm包括感知辅助组件pac。
[0082]
s2、将旧时态图像t1和新时态图像t2输入affpn，分别进行并行的特征 提取，得到多尺度多层次的特征
[0083]
请参照图3，本发明实施例中，步骤s2具体包括：
[0084]
将旧时态图像t1和新时态图像t2分别馈送到两个并行的特征提取模块 fem中的构成主干网络backbone的se
‑
resnet50中，得到se
‑
resnet50第一个 maxpool层的输出、conv2_3的输出，conv3_4的输出，conv4_6的输出和conv5_3 的输出，并传输到压缩组件sc中进行压缩，得到多尺度多层次的特征其 中a＝t1，t2；b＝1，2，3，4，5。
[0085]
特征提取模块fem由主干网络backbone和压缩组件sc组成。为了加快网 络的训练速度和增强每个时态图像特征的代表性及质量，采用迁移学习技术， 把预训练的网络作为fem的主干网络进行模型迁移。采用的预训练网络是在 imagenet数据集上预训练的se
‑
resnet50，具体而言，删除了se
‑
resnet50中的 gap层(global average pooling layer，全局平均池化层)以及在gap层之后 的所有层，使其可以用于特征提取。本发明还对cp输出的特征(即第一个 maxpool层的输出)进行了2倍的双线性上采样，由此获得(ho/2,wo/2)尺度的 第一层次特征f
1t1
和f
1t2
。为了在效率和精度之间取得一个较好的平衡，在sc中 使用1
×
1卷积层来压缩特征的通道数，这虽然略微降低了affpn的性能，但 极大地减少了冗余特征和计算复杂度。通过fem，最终从原始的双时态图像中 得到了具有不同尺度和层次信息的多尺度多层次特征(a＝t1，t2；b＝1，2，3， 4，5)。
[0086]
s3、将所述步骤s2得到的两个同一层次的沿着通道维度进行堆叠后进行 特征融合，得到融合特征f
f
；
[0087]
本发明实施例中，步骤s3包括以下分步骤：
[0088]
s3包括以下分步骤：
[0089]
s31、将步骤s2得到的两个同一层次的沿着通道维度进行堆叠，得到5 对
[0090]
s32、将5对输入特征融合模块ffm中，分别通过通道
‑
空间注 意力组
件csac和两层3
×
3卷积层后得到
[0091]
s33、将经过二倍双线性上采样后与沿着通道维度进行堆叠，得 到将通过通道
‑
空间注意力组件csac、一层1
ꢀ×
1卷积层、二层3
×
3卷积层后得到
[0092]
s34、按步骤s33的方法依次向上融合5个层次的特征，得到融合特征f
f
。
[0093]
特征融合模块ffm的结构参照图1所示，它由通道
‑
空间注意力组块csac、 卷积层和双线性上采样算法构成，负责对特征进行自适应地融合。本发明所提 出的affpn总共有两个地方需要进行特征融合：
[0094]
1、融合从t1和t2分别提取的同尺度同层次特征(比如f
1t1
和f
1t2
的融合)， 以进行后续的比较。
[0095]
2、将双时态图像对的高分支特征与低分支特征进行融合(比如与 融合)。高分支特征通过的层较多，尺寸较小，往往包含更多的全局信息， 但缺乏局部信息；低分支特征包含精细的局部细节，但缺乏全局信息。由于全 局信息解析语义，局部信息解析位置，所以把经过2倍双线性上采样后的高分 支特征与其上一分支的特征(低分支特征)进行融合，以期望恢复变化区域的 细粒度细节，从而产生更好的变化图。
[0096]
但是这两个地方的融合存在以下两个问题：一是遥感图像中存在的噪声使 得并非所有特征都是有利于变化检测任务的，一些不相关的特征会增加网络的 训练难度；二是不同分支的特征对全局信息和局部信息的偏重不同，正如前面 分析的，高分支特征有更多的全局信息，低分支特征有更多的局部信息，这使 得不同分支的特征之间具有一定的异构性。直接沿着通道维度进行堆叠的特征 融合策略虽然简单，但难以解决这两个问题。因此，我们在ffm中嵌入了简单 而有效的通道
‑
空间注意力组件csac，用来突出有益特征并进行不同分支的异 构特征融合。
[0097]
请参照图4，本发明实施例中，通道
‑
空间注意力组件csac处理流程包括 以下分步骤：
[0098]
s301、将输入特征对[f1，f2](和)进行堆叠得到输入 特征
[0099]
s302、沿着空间维度(高h和宽w)对f进行平均池化操作，将空间信息 聚合起来，得到空间上下文描述符
[0100]
s303、将通过两个1
×
1卷积层、relu激活函数和sigmoid函数得到通 道注意力图计算过程表示为：
[0101][0102]
其中σ为sigmoid函数，δ为relu激活函数，f
11
×1和表示两个1
×
1卷 积层；的2c个值代表不同特征图(featuremap)对变化检测任务的有益程 度，也就是说，对变化检测任务有帮助的特征图，中对应的值就较高。
[0103]
s304、将输入特征f和通道注意力图相乘得到通道精炼特征从而使网络关注2c个特征图中有意义的特征图，忽略不相关的特征图。
[0104]
s305、沿着通道维度对通道精炼特征f
c
进行平均池化操作，将通道信息聚 合起来，得到通道上下文描述符
[0105]
s306、将f
savg
通过一个7
×
7卷积层、relu激活函数和sigmoid函数得到空 间注意力图计算过程表示为：
[0106][0107]
其中表示7
×
7卷积层；对变化检测任务有帮助的空间区域，其在中 对应位置的值较高。
[0108]
s307、将通道精炼特征f
c
和空间注意力图相乘得到输出通道
‑
空间精炼 特征f
csac
，使得网络更加关注有意义的区域，计算公式为：
[0109][0110]
其中表示按元素逐个相乘。
[0111]
通道注意力图和空间注意力图可以根据不同特征图对变换检测任务 的贡献程度，通过反向传播自适应的进行更新。
[0112]
通过csac，ffm可以为来自双时态图像对的多尺度多层次特征自适应 地提供通道和空间维度的全局细粒度关注，从而帮助网络合理地融合特征。
[0113]
s4、将所述步骤s3得到的融合特征f
f
进行二倍上采样，得到与双时态图像 相同宽高的差异图
[0114]
本发明实施例中，步骤s4具体包括将步骤s3得到的融合特征f
f
通过两层 3
×
3卷积层后输入到sub
‑
pixel层中进行二倍上采样，得到与双时态图像相同宽 高的差异图其中c为2，代表d有两个特征图。d中的两个特征图 分别为已改变区域的特征图d1和未改变区域的特征图d2，d1最大化了已改变区 域的像素值，d2则最大化了未改变区域的像素值。
[0115]
s5、基于所述步骤s4得到的差异图d，联合使用像素损失函数和感知损失 函数对affpn进行训练；
[0116]
本发明实施例中，步骤s5包括以下分步骤：
[0117]
s51、将差异图d输入损失函数模块lfm中，损失函数模块lfm的结构参 照图1所示，通过lfm，本发明所提出的affpn联合使用两种不同类型的损 失函数进行训练：一种是像素损失，包含了softmax损失l
sm
和dice损失l
d
； 另一种是通过感知辅助模块pac引入的感知损失l
p
。像素损失由两个部分，即 l
sm
和l
d
组成，对步骤s4得到的差异图d上的每个像素进行softmax操作，计 算softmax损失l
sm
，计算公式为：
[0118][0119]
其中，n为差异图d上所有像素点的总数，p
i
表示像素i经过softmax函 数后输出的
概率值，g
i
表示像素i对应的真实标签值；
[0120]
s52、计算dice损失l
d
，计算公式为：
[0121][0122]
s53、请参照图5，将差异图d输入到感知辅助组件pac中，差异图的两个特征图d1和d2分别最大化了已改变区域的像素值和未改变区域的像素值。 为了得到已改变区域和未改变区域之间的差值图我们将d1按元素 减去d2，即沿着通道维度进行逐元素的相减，相减的结果经过sigmoid函数将 其像素值归一化到[0,1]区间，得到差值图d
d
，保证了d
d
的像素值与gt的像素 值处于同一可比区间(因为gt的像素值不是0就是1，0代表未改变区域，1 代表已改变区域)；
[0123]
只使用像素损失来训练变化检测网络是次优的。所以本发明提出了一个新 颖的感知辅助组件pac，通过该模块为变化检测任务引入一种基于高阶图像特 征表示的感知损失。空间相似的样本总是在特征空间也保持它们之间的相似性， 于是本发明所提出的pac旨在通过感知损失建立差值图d
d
与其gt(ground truth,真实标签图)的空间相似性约束，并更好地度量d
d
与gt之间的全局感 知差异和空间信息，拉大d
d
中已改变区域与未改变区域的差异，进而获得更好 的变化图。
[0124]
s54、将差值图d
d
和相应的真实标签变化图gt沿着通道维度复制三次得到 扩充差值图和扩充真实标签变化图这么做的目的是为 了符合损失网络vgg
‑
19所要求的输入维度。用于图像分类任务的预训练卷积 神经网络已经学会了如何对感知和语义信息进行编码，因此我们把经过 imagenet数据集(该数据集用于图像分类任务)预训练后的vgg
‑
19作为固定 的损失网络loss network，用来将d
′
d
和gt
′
变换到特征空间并嵌入丰富的信息， 得到一批具有高代表性高信息量的特征。值得注意的是，在pac中，预训练的 vgg
‑
19损失网络仅用于提取特征，它的参数都是固定的，不参与反向传播。
[0125]
s55、将扩充差值图d
′
d
输入到vgg
‑
19网络中，获取vgg
‑
19第四、第九、 第十八、第二十七和第三十六网络层的输出特征 [0126]
s56、将扩充真实标签变化图gt
′
输入到vgg
‑
19网络中，获取vgg
‑
19第 四、第九、第十八、第二十七和第三十六网络层的输出特征 [0127]
s57、基于这批高代表性高信息量的特征建立感知损失，计算感知损失，其 值为这五对输出特征的欧氏距离的平方和，计算公式为：
[0128][0129]
其中l
p
为感知损失，c为特征的通道数， h为特征的高度，w为特征的宽度，||
·
||2为l2范数；优化l
p
可以使d
d
在特征空 间上与真实标签图像gt相似，却不强迫它们逐像素的精确匹配，继而在获取全 局感知和空间信息的同时
降低了训练难度，提高了网络性能。
[0130]
s58、计算总体损失l，计算公式为：
[0131]
l＝λ(l
sm
+l
d
)+l
p
[0132]
其中λ为预设参数，用于平衡感知损失与像素损失，一般设置为50；
[0133]
s59、通过总体损失l对affpn网络进行反向传播，更新除了vgg
‑
19网 络以外的所有参数，训练affpn网络，直到其收敛。
[0134]
s6、对所述步骤s4得到的差异图d进行argmax操作，获得每个像素点最 可能属于的类别，生成变化图m。
[0135]
接下来对本发明和现有技术进行对比实验来测试本发明的性能，本次实验 使用了两个公开的基准数据集：season
‑
varying数据集和levir
‑
cd数据集。
[0136]
season
‑
varying数据集包含11对超高清遥感图像，其中7对具有4725像素
ꢀ×
2200像素尺寸，4对具有1900像素
×
1000像素尺寸。这些图像的分辨率在 3
‑
100cm/px之间变化，并且旧时态图像和新时态图像之间的天气和季节差异非 常大，这使得网络需要考虑不同大小的变化物的影响(如汽车的变化到大型建 筑物的变化)和天气、季节等自然界变化带来的影响(如雨天和晴天的阴影和 亮度不同、夏天和秋天的树林茂盛程度不同、春天和冬天道路的积雪情况不同， 这些变化情况不是需要关注的，是需要忽略的噪声)。为了进行公平的对比，遵 循该数据集原有的数据预处理方法：将超高清遥感图像对裁剪成256
×
256个不 重叠的图像块，进而生成16000个子图像对，然后其中的10000对子图像用于 网络模型的训练，3000对子图像对用于网络模型的验证，3000对子图像用于网 络模型的测试。
[0137]
levir
‑
cd数据集由637对1024像素
×
1024像素的超高清遥感图像组成。 这些双时态图像对的时间跨度为5～14年，涵盖了别墅、高层公寓、小型车库、 大型仓库等各种建筑的变化。同理，为了公平的对比，按照该数据集原论文中 的处理方法，将每幅遥感图像裁剪成16个不重叠的256像素
×
256像素图像块， 并将该数据集分为三个部分：7120对图像块用于训练，1024对图像块用于验证， 2048对图像块用于测试。
[0138]
本发明所提出的affpn是通过pytorch实现的，所有的实验都在geforce gtx 1080ti gpu上进行，并由nvidia cuda进行加速。affpn在进行训练 时，采用adam优化器，初始学习率设置为0.0001。当训练损失在5个周期(epoch) 内都没有下降时，将学习率下调10％。当验证数据集上的f1分数在30个周期 内都没有上升时，训练过程将被停止。将从定量和定性的角度对本发明进行综 合评价，并通过消融实验进一步分析本发明提出的各个关键组件的合理性。
[0139]
对比实验过程具体如下：
[0140]
首先在两个开源的基准数据集season
‑
varying和levir
‑
cd上将本发明所提 出的affpn方法与其他六种sota深度学习变化检测方法进行了比较。以p (precision，查准率)、r(recall，查全率)、f1(f1
‑
score，f1分数)和oa(overall accuracy，总体准确率)这四个指标作为定量比较的评价指标。它们的定义如下：
[0141][0142]
[0143][0144][0145]
其中tp、fp、tn和fn分别代表真阳性、假阳性、真阴性和假阴性的数量。 p越高表示网络的精确度越高，r越高表示网络的漏检越少。f1和oa用来衡 量网络的整体性能，它们越高代表网络的整体性能越好。值得注意的是，由于p 和r是一对互相矛盾的评价指标，即p的上升往往带来r的下降，所以当p和 r这两个指标产生矛盾，难以衡量网络性能时，综合考虑p和r的f1就成为了 最重要的评价指标。
[0146]
表1
[0147][0148]
表1显示了本发明affpn和其他六种sota方法的定量比较结果。对于 season
‑
varying数据集，本发明所提的affpn的性能最好，在p、r、f1和oa 这4个评价指标上都取得了最高的分数，分别为97.57％、96.42％、96.99％、99.29％。 与其他六种方法相比，本发明的查准率p提升了2.61％
‑
13.16％，查全率r提高 了2.86％
‑
15.97％，f1分数提升了5.68％
‑
14.55％，总体准确率oa提升了 1.41％
‑
3.57％。可见本发明对于包含大量噪声的复杂超高清遥感图像变化检测任 务特别有效，能带来非常明显的性能提升。在levir
‑
cd数据集上，本发明依 旧取得了最高的f1和oa。比其他方法相比，本发明的f1提升了0.9％
‑
9.58％， oa提升了0.09％
‑
0.77％。当然，虽然本发明有着很好的性能表现，但可以观察 到它在levir
‑
cd数据集上的增益并不是很显著，这是因为levir
‑
cd数据集 只标记了建筑物的变化情况，并且它所受到的噪声干扰很小(即新、旧时态图 像对之间的噪声差异较小)，所以现有的sota方法已经可以很出色的在 levir
‑
cd数据集上完成变化检测任务。
[0149]
在season
‑
varying数据集和levir
‑
cd数据集上，f1分数第二高的网络分 别是stanet和ifn，这意味着这两种方法的整体性能也很优秀。于是，再从定 性的角度看看本发明的优势。请参照图6，展示了本发明所提出的affpn和f1 次优网络stanet在season
‑
varying数据集上的变化检测结果,前两行图像包含纤 细和微小的区域变化情况，后两行包含复杂和大面积的区域变化情况。对比图6 (a)和图6(b)这两列，可以发现该数据集的双时态图像对受到了非常大的噪 声干扰(比如旧时态图像没有积雪，新时态图像白雪皑皑；新、旧时态图像之 间天气、光照角度、分辨率的不同等等)，但affpn成功地滤除了这些无关的 因素，并准确识别出了已变化的区域。对于纤细和微小的变化区域(图6的第 一行和第二行图像)，affpn能正确分辨出更多的细微变化，并且产生的变化图 具有更好的连续性。
对于变化区域复杂和变化区域大的情况(图6的第三行和 第四行图像)，affpn的变化图包含了更精细的细节，并且其变化区域更加完整， 边界更加准确和清晰。请参照图7，展示了affpn和f1次优网络ifn在 levir
‑
cd数据集上的变化检测结果。第一行图像涉及小而零散的建筑物变化， 第二行图像涉及密集的建筑物变化。图7的第一行图像显示了affpn能准确地 学习到建筑物的特点，从而正确地找到出现建筑物变化的空间位置，而ifn错 误地将汽车的变化判定为建筑物的变化。图7的第二行图像显示了密集别墅群 的变化情况，affpn在这种情况下依旧能出色的完成变化检测任务，准确地找 到每个产生变化的建筑物的位置，其变化图具有更符合建筑物几何结构特点的 边界。通过对affpn的定性分析，可以看到本发明在重建精细的变化细节方面 有着优异的性能，产生的变化图与真实的变化情况非常相似。
[0150]
虽然本发明所提出的affpn是一个整体，但是在这个整体中依旧有几个关 键的组件，这些组件对于网络性能的提升有着较大的帮助，于是我们希望通过 消融实验来分析这些关键组件。具体来说，我们建立了三个消融网络，分别命 名为affpn
‑
a，affpn
‑
b，affpn
‑
c。affpn
‑
a是将affpn的通道
‑
空间注 意力组件csac和感知辅助组件pac都去掉后的网络，affpn
‑
b去掉了affpn 的感知辅助组件pac，affpn
‑
c则去掉了通道
‑
空间注意力组件csac。本发明 所提的affpn和这三个消融网络在season
‑
varying数据集上的实验结果如表2 所示。
[0151]
表2
[0152][0153]
从表2中可以看出，虽然去掉了所有的关键组件，但affpn
‑
a的性能仍然 比表1中的六种sota方法更好(在p、f1和oa上分别有1.79％、3.47％和0.9％ 的提升)，这表明了本发明所搭建的基础框架对变化检测任务的适应性和优越性。 其次，affpn
‑
b和affpn
‑
c的性能都比affpn
‑
a的性能高，这意味着本发明 提出的csac和pac这两个关键组件对于变化检测网络性能的提升是有帮助的。 尤其是本发明提出的感知辅助组件pac带来了最显著的性能提升，与affpn
‑
a 相比，加入了pac的affpn
‑
c的查准率p提升了0.13％、查全率r提升了2.86％、 f1分数提升了1.53％、总体准确率oa提升了0.35％。pac以一种新颖的方式 在特征空间上为变化检测任务建立了感知损失，pac所带来的明显的性能改善 也在一定程度上表明：在变化检测任务中，使用像素损失的同时辅以感知损失 是一个很有优势的方案。第三，融合了csac和pac的affpn取得了最高的 性能，这表明csac和pac可以相辅相成，它们的结合促成了affpn的高性 能表现。
[0154]
综上，本发明提出了一种新颖的结合感知损失和自适应多尺度多层次特征 融合策略的超高清遥感图像变化检测方法affpn，来破除现有技术中存在的局 限性。affpn由fem，ffm和lfm组成，所搭建的fem展示了强大的特征 提取能力，而ffm则学会了在通道和空间维度上强调重要特征以及抑制不相关 特征并提供自适应的特征融合策略，因此通过这
两个模块可以获得全面而高质 量的特征表示。lfm通过pac引入感知损失，弥补了像素损失的缺点，因此可 以获得更好的变化图。进行的对比实验结果表明，本发明具有最先进的性能。 此外，进行的消融研究展现了各个关键组件的合理性和感知损失在变化检测中 的巨大潜力。
[0155]
本领域的普通技术人员将会意识到，这里所描述的实施例是为了帮助读者 理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述 和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各 种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发 明的保护范围内。