一种线下训练-线上学习的灾害场景地物损毁评估方法

1.本发明属于高分辨率遥感影像识别领域，特别涉及一种线下训练-线上学习的灾害场景地物损毁评估方法。


背景技术：

2.当突发灾难发生时，快速而准确的地物损害评估对于人道主义援助和灾害应急响应至关重要。然而，由于通信和交通基础设施有限，直接人力评估地物损毁可能是危险、困难和缓慢的。遥感技术是实现建筑物损害评估的一种安全和有效的方法。高空间分辨率遥感图像可以准确地反映地球表面，并能迅速提供大面积的观测数据，以支持地物损害评估。利用双时相遥感图像对进行地物损毁评估可以被视为两个基本子任务的组合：地物灾前分类和地物灾后损毁评估。地物灾前分类，也被称为地物提取，在遥感领域得到了广泛的研究，其目的是为灾前图像上的每个像素分配一个独特的语义标签，以表示地物的区域。然后根据灾前图像上的地物分类结果，对灾后图像上的每一个地物实例分配一个反映损坏程度的唯一损坏等级标签，进行损坏分类。
3.目前主流的地物损毁评估方法主要采用端到端的孪生全卷积神经网络，以及级联的受灾区域提取与区域损毁评估方法；端到端的孪生全卷积神经网络法将地物损毁评估视作多时相像素级分类任务，可实施端到端训练与推理，但由于灾害条件下成像条件恶劣、不同灾种对不同地物的影响机制多样，造成的损毁通常复杂多变，导致该方法容易出现“同物多损”问题，即一个地物实例仅有一种损毁级别，但由于像素分类范式不可避免的逐像素判别，导致一个地物出现多种损毁级别。为克服这一问题，级联的受灾区域提取与区域损毁评估方法，通过将任务分解为两个子任务，先确定受灾地物所在的区域，再对该区域进行全局语义判别从而克服“同物多损”问题，但该方法具有两个独立阶段，其无法端到端训练与推理，导致模型难以获得最优解，在灾害应急场景，模型处理速度远低于端到端方法，无法满足应急场景；与此同时，上述两类方法均未考虑模型在未知区域与未知灾种的泛化问题。
4.为了解决上述问题，亟需一个多场景泛用、端到端、目标语义一致的地物损毁评估框架，稳健地对各种灾害场景进行快速地物损毁评估；当新灾害事件发生时，可快速迁移模型参数分布，解决特征分布漂移问题，完成未知区域、未知灾种等高不确定性灾害场景下的模型泛化，实现准确的分钟级城市灾害快速应急响应应用。


技术实现要素：

5.本发明的目的在于提出一种线下训练-线上学习的灾害场景地物损毁评估方法。
6.提出的线下训练-线上学习的灾害场景地物损毁评估方法通过线下训练-线上学习框架不断对齐模型在未知区域、未知灾种数据中的统计特征分布，克服未知区域与未知灾种带来的分布漂移问题；并设计了端到端的多任务灾前地物提取与灾后损毁评估深度网络模型，将灾前地物区域提取与灾后地物损毁评估可微分地整合在一起，解决了传统损毁评估模型无法同时具备端到端训练、推理与目标一致性预测的问题。
7.本发明提供基于线下训练-线上学习框架的灾害场景地物损毁评估方法，实现步骤如下：
8.步骤1，构建灾害场景地物损毁评估影像样本数据库，并按比例划分为训练集、无标注集与验证集，对训练集、无标注集与验证集做归一化处理，对训练集进行辐射、几何、尺度的数据增强处理；对无标注集进行随机的辐射、几何、尺度的数据增强处理；
9.步骤2，构建线下的多任务灾前地物提取与灾后损毁评估深度网络模型，并采用基于梯度的线下训练算法求解模型参数；
10.步骤3，构建线上的多任务灾前地物提取与灾后损毁评估深度网络模型，并加载线下训练获得的模型参数；利用无标注集与线上学习算法对线上的多任务灾前地物提取与灾后损毁评估深度网络模型进行滑动平均参数更新；
11.步骤4，基于训练收敛后的线上深度网络模型，对待评估数据进行预测，利用输出概率获取损毁评估结果。
12.进一步的，步骤1具体实现包括如下子步骤：
13.步骤1.1，建立地物灾种分类体系，确定灾种类型与地物损毁程度体系；
14.步骤1.2，根据灾种类型确定高分辨率遥感影像收集区域与时间，并采集相应的灾前、灾害高分辨率遥感影像对，根据不同灾种不同地物的损毁程度分类体系，对影像中的感兴趣地物进行位置与损毁程度的像素集标注，并保留大量影像作为无标注数据，形成灾害场景地物损毁评估影像样本数据库；
15.步骤1.3，将灾害场景地物损毁评估影像样本数据库按一定比例划分成三个部分，用于模型线下训练的训练集a1，用于线上学习的无标注训练集a2与用于精度评估的测试集b；
16.步骤1.4，将训练集a1，a2与测试集b进行归一化，并对训练集a1进行辐射、几何、尺度的数据增强处理；对无标注集a2进行随机的辐射、几何、尺度的数据增强处理。
17.进一步的，步骤2具体实现包括如下子步骤：
18.步骤2.1，构建多任务灾前地物提取与灾后损毁评估框架，该框架中包含特征差异化的图像编码器，任务差异化的上下文提取器，灾前地物提取与灾后损毁评估双任务解码器；
19.步骤2.2，构建特征差异化的图像编码器，复用已有的视觉层次化卷积神经网络resnet-50，作为单张图像的编码器，进行特征提取；由于灾前、灾后图像中地物模式相同，但灾害发生导致成像环境剧烈改变，灾后图像统计量具有明显差异，这里在图像编码器中共享全部卷积层权重，对灾前、灾后图像分别单独构建可学习的线性批归一化层，以克服上述特征统计差异问题。
20.步骤2.3，对灾前、灾后特征图，分别构建任务差异化的上下文提取器，为进行空间上下文的高效提取，这里设计了一种空间压缩池化自注意力网络，作为上下文提取器，对灾前、灾后特征图增加特异性的上下文信息。空间压缩池化自注意力网络由3个空间压缩池化自注意力层堆叠组合而成，每层由逐点全连接层、归一化层、空间压缩池化自注意力层、残差层归一化层以及多层感知机层构成，其中空间压缩池化自注意力层输入特征图x，通过逐点全连接层投影为3个独立的特征图q,k,v，并对其进行层归一化运算；利用空间平均池化运算对高维的q，k特征图进行空间维度的8倍降维，获得低维特征图avg(q),avg(k)；接着利
用低维特征图avg(q),avg(k)进行标准多头自注意力计算，从而获得上下文增强的特征图qc,接着对qc进行层归一化并与之前的输入相加构成残差连接，即残差层归一化层；同时将将残差归一化特征输入多层感知机进行线性变换，并与输入特征图相加，得到空间压缩池化自注意力层的输出特征；此处同时将空间压缩池化自注意力层输出特征与编码器中对应空间分辨率的特征图进行相加，实现细节特征与语义特征的互补；步骤2.4，构建灾前地物提取与灾后损毁评估双任务解码器，每个任务的解码器均由1个分层聚合器后接4层卷积层实现，不同在于灾前地物提取子解码器的输出通道数为地物类别数，灾后损毁评估子解码器的输出通道数为损毁分级数。
21.分层聚合器旨在将多个不同分辨率的特征，利用双线性插值上采样到相同的最高分辨率并进行线性投影与求和运算，得到一个高分辨率特征图，用于后续任务的卷积特征表示；为了令灾后损毁评估子解码器获取双时相对比信息，通过将灾前地物提取子解码器中分层聚合器输出的高分辨率地物特征图与灾后损毁评估子解码器中分层聚合器输出的高分辨率受灾地物特征图进行通道维拼接，再输入后续4个卷积层提取双时相对比信息；
22.步骤2.5，构建多任务灾前地物提取与灾后损毁评估损失函数并利用训练集a1进行基于梯度的线下训练多个多任务灾前地物提取与灾后损毁评估深度网络模型：
23.l＝l
loc
+l
dam
24.其中l
loc
为灾前地物提取损失函数，多类别(感兴趣地物类别大于1)通过交叉熵实现，二类别(感兴趣地物类别等于1)通过二类交叉熵与soft-dice损失函数实现；l
dam
为灾后损毁评估损失函数，通过多类交叉熵与在线难样本挖掘实现；通过反向传播求解参数梯度，从而利用神经网络优化器进行梯度下降训练网络模型。
25.进一步的，步骤3具体实现包括如下子步骤：
26.步骤3.1，在线上加载所有多任务灾前地物提取与灾后损毁评估深度网络模型f1及其线下训练的网络参数，并构建一个新的多任务灾前地物提取与灾后损毁评估深度网络模型f2，对训练好的参数进行动量为0.99的滑动平均处理，用于新网络模型的参数初始化；
27.步骤3.2，线上学习旨在令模型f2通过回归的方式渐进学习模型f1的特征表示，充分挖掘线下模型已学习的知识表示，同时利用未标注的新增数据a2，线上调整拟合的特征分布，克服跨灾种、跨区域的分布漂移问题；具体以一定批次大小输入无标注灾前灾后影像对数据到模型f1，并对其再一次进行随机色彩扰动、几何翻转、旋转等数据增强操作，输入到模型f2；对两个模型输出的似然作均方根误差损失计算，并反向传播求得参数梯度，并对模型f2进行动量为0.99的滑动平均参数更新，反复迭代直至达到收敛条件；
28.进一步的，步骤4具体实现包括如下子步骤：
29.步骤4.1,对于新的灾前、灾后遥感影像对，将其进行归一化之后输入到步骤3.2中获得的网络模型中，得到网络输出的地物灾前分类概率图与灾后损毁评估概率图；
30.步骤4.2，利用地物灾前分类概率，取最大值(若是二类则以0.5为决策阈值)获取分类结果，并利用种子填充算法、区域提议算法提取地物目标实例；进一步，在灾后损毁评估概率图中获取每个地物目标实例区域的区域损毁概率图，对每个区域损毁概率图取最大值，获取区域损毁分类图，利用多数投票算法，找到最大置信的损毁级别，作为该目标实例区域的损毁级别；迭代所有地物目标实例，得到最终灾后损毁评估图。
31.在本发明中我们所提出的基于线下训练-线上学习框架的灾害场景地物损毁评估
方法具有以下两个显著特点。一是基于线下训练-线上学习框架的模型训练与分布对齐方法。针对未知区域与位置灾种数据带来的数据分布漂移，提出了一种基于一致性正则与动量更新的线上学习策略，结合线下训练获得的较为稳健的模型参数，形成一种面向未知分布数据的迭代式模型训练、调整方法，克服传统独立同分布训练模式下模型泛化难的问题。第二个显著特点是多任务灾前地物提取与灾后损毁评估深度网络模型。针对传统端到端模型目标语义不一致、级联模型训练复杂、效率低下的问题，提出了一种多任务端到端损毁评估网络模型，其揭示了目标语义不一致的本质在于目标先验的缺失，基于此设计了多任务灾前地物提取与灾后损毁评估框架，其包含特征差异化的图像编码器，任务差异化的上下文提取器，灾前地物提取与灾后损毁评估双任务解码器；其中图像编码器与上下文提取器用于提取成像干扰鲁棒、灾种自适应的目标先验特征表示，并通过双任务解码器，将目标先验特征传递至损毁评估子解码器，从而在损毁评估阶段实现目标范围的强语义一致约束，实现可同时端到端训练、推理、语义一致的地物损毁评估。
附图说明
32.图1是本发明实施例1的步骤1中xview2建筑物灾害损毁评估数据集的部分可视化图。
33.图2是本发明实施例1的步骤2中设计的多任务灾前地物提取与灾后损毁评估深度网络模型示意图。
34.图3是本发明实施例1的步骤2.3中设计的空间压缩池化自注意力层示意图。
35.图4是本发明实施例1的步骤4中模型的部分预测结果图。
具体实施方式
36.下面通过实施例，进一步阐明本发明的突出特点和显著进步，仅在于说明本发明而决不限制本发明。
37.实施例1
38.(一)使用公开数据xview2建筑物灾害损毁评估数据集作为灾害场景地物损毁评估影像样本数据库，xview2训练数据集包含11034对worldview-3、geoeye高分辨率光学遥感影像，每张影像大小为1024
×
1024像素，各灾种样例见图1。
39.1.1，感兴趣地物类别为建筑物，灾种分类体系包含地震、野火、火山爆发、飓风、洪涝、海啸6大灾种，地物损毁程度分为无损毁、轻度损毁、中度损毁、严重损毁与完全损毁；
40.1.2，使用公开数据xview2建筑物灾害损毁评估数据集，其已包含19个灾害事件的灾前、灾后影像对及其标注；
41.1.3，将xview2建筑物灾害损毁评估数据集按一定比例划分成三个部分，具体为用于模型线下训练的训练集a1(9168对)、用于线上学习的无标注集a2(933对)与用于精度评估的测试集b(933对)；
42.1.4，将训练集a1，a2与测试集b进行归一化，并对训练集进行随机翻转、随机角度旋转、随机色彩抖动、随机光照抖动数据增强运算。
43.(二)构建线下的多任务灾前地物提取与灾后损毁评估深度网络模型，并采用基于梯度的线下训练算法求解模型参数；
44.2.1，构建多任务灾前地物提取与灾后损毁评估框架，如图2，该框架中包含特征差异化的图像编码器，任务差异化的上下文提取器，灾前地物提取与灾后损毁评估双任务解码器；
45.2.2，构建特征差异化的图像编码器，复用现有的resnet-50(由一个卷积层、4个残差模块串联而成，每个残差模块由1个1x1卷积、1个3x3卷积、1x1卷积组成，并在输入与卷积输出之间构造残差连接；每个卷积层后接可学习的线性批归一化层)，作为单张图像的编码器，进行特征提取；由于灾前、灾后图像中地物模式相同，但灾害发生导致成像环境剧烈改变，灾后图像统计量具有明显差异，这里在图像编码器中共享全部卷积层权重，对灾前、灾后图像分别单独构建可学习的线性批归一化层，以克服上述特征统计差异问题；
46.2.3，对灾前、灾后特征图，分别构建任务差异化的上下文提取器，为进行空间上下文的高效提取，这里设计了一种空间压缩池化自注意力网络，作为上下文提取器，对灾前、灾后特征图增加特异性的上下文信息。空间压缩池化自注意力网络由3个空间压缩池化自注意力层(如图3)堆叠组合而成，每层由逐点全连接层、归一化层、多头自注意力层、残差层归一化层以及多层感知机层构成，其中空间压缩池化自注意力层输入特征图x，通过逐点全连接层投影为3个独立的特征图q,k,v，并对三者分别进行层归一化运算；利用空间平均池化运算对高维的归一化后的q，k特征图进行空间维度的8倍降维，获得低维特征图avg(q),avg(k)；接着利用低维特征图avg(q),avg(k)进行标准多头自注意力计算，从而获得上下文增强的特征图qc,接着对qc进行层归一化并与之前的输入相加构成残差连接，即残差层归一化层；同时将残差归一化特征输入多层感知机进行线性变换，并与输入特征图相加，得到空间压缩池化自注意力层的输出特征；此处同时将空间压缩池化自注意力层输出特征与编码器中对应空间分辨率的特征图进行相加，实现细节特征与语义特征的互补。空间池化压缩自注意力层通过空间池化运算，在有效提升特征感受野的同时，显著降低了后续标准自注意力运算的计算量，能充分提取不同灾情阶段影像的空间模式信息，提升特征判别性；
47.2.4，构建灾前地物提取与灾后损毁评估双任务解码器，每个任务的解码器均由1个分层聚合器后接4层卷积层实现，不同在于灾前地物提取子解码器的输出通道数为地物类别数，灾后损毁评估子解码器的输出通道数为损毁分级数。分层聚合器旨在将多个不同分辨率的特征，利用双线性插值上采样到相同的最高分辨率并进行线性投影与求和运算，得到一个高分辨率特征图，用于后续任务的卷积特征表示；为了令灾后损毁评估子解码器获取双时相对比信息，通过将灾前地物提取子解码器中分层聚合器输出的高分辨率地物特征图与灾后损毁评估子解码器中分层聚合器输出的高分辨率受灾地物特征图进行通道维拼接，再输入后续4个卷积层提取双时相对比信息。
48.2.5，构建多任务灾前地物提取与灾后损毁评估损失函数并利用训练集a1进行基于梯度的线下训练多个多任务灾前地物提取与灾后损毁评估深度网络模型：
49.l＝l
loc
+l
dam
50.其中l
loc
为灾前地物提取损失函数，多类别通过交叉熵实现，二类别通过二类交叉熵与soft-dice损失函数实现；l
dam
为灾后损毁评估损失函数，通过多类交叉熵与在线难样本挖掘实现；通过反向传播求解参数梯度，从而利用动量为0.9的sgd优化器进行梯度下降训练网络模型。
51.(三)构建线上的多任务灾前地物提取与灾后损毁评估深度网络模型，并加载线下
训练获得的模型参数；利用无标注集与线上学习算法对线上的多任务灾前地物提取与灾后损毁评估深度网络模型进行滑动平均参数更新；
52.3.1,在线上加载所有多任务灾前地物提取与灾后损毁评估深度网络模型f1及其线下训练的网络参数，并构建一个新的多任务灾前地物提取与灾后损毁评估深度网络模型f2，对训练好的参数进行动量为0.99的滑动平均处理，用于新网络模型的参数初始化；
53.3.2，线上学习旨在令模型f2通过回归的方式渐进学习模型f1的特征表示，充分挖掘线下模型已学习的知识表示，同时利用未标注的新增数据a2，线上调整拟合的特征分布，克服跨灾种、跨区域的分布漂移问题；具体以批次大小16，输入无标注灾前灾后影像对数据到模型f1，并对其再一次进行概率为0.9的随机色彩扰动、几何翻转、旋转等数据增强操作，输入到模型f2；对两个模型输出的似然作均方根误差损失计算作为一致性正则项，并反向传播求得参数梯度，并对模型f2进行动量为0.99的滑动平均参数更新，反复迭代60000步；
54.(四)基于训练收敛后的深度网络模型，对待评估数据进行预测，利用输出概率获取损毁评估结果；
55.4.1,对于新的灾前、灾后遥感影像对，将其进行归一化之后输入到步骤3.2中获得的网络模型中，得到网络输出的地物灾前分类概率图与灾后损毁评估概率图；
56.4.2，利用地物灾前分类概率，取最大值(若是二类则以0.5为决策阈值)获取分类结果，并利用种子填充算法、区域提议算法提取地物目标实例；进一步，在灾后损毁评估概率图中获取每个地物目标实例区域的区域损毁概率图，对每个区域损毁概率图取最大值，获取区域损毁分类图，利用多数投票算法，找到最大置信的损毁级别，作为该目标实例区域的损毁级别；迭代所有地物目标实例，得到最终灾后损毁评估图，其结果如图4。
57.本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。