可靠区域作为注意力机制监督的弱监督建筑物分割方法

1.本发明属于图像分割领域，尤其涉及一种可靠区域作为注意力机制监督的弱监督建筑物分割方法。


背景技术：

2.随着传感器技术和无人机技术的发展，利用无人机获取建筑物足迹已成为近年来高分辨率图像分割和目标检测的一个重要研究方向。它被广泛应用于数字城市、军事侦察、灾害评估等领域。近年来，随着深度神经网络的发展，语义分割任务取得了很大的进展，但该领域仍面临一个很大的挑战是缺乏大规模的像素级分割标签，目前语义分割任务主要面对较低分辨率的自然场景图像，但在遥感领域的研究还较少，主要原因是在从自然场景任务转换到遥感任务，受真实标签数量少的限制，尤其是缺少像素级分割标签。在较低分辨率的coco数据集中，coco数据集的标注人员需要花费4.1秒按类别标记一副图像，花费10.1分钟按像素级分类标注一副图像(像素级标注所需时间是图像级标注的150倍)，对于较低分辨率的coco数据集一副图像都需要耗费如此长的时间，那对于高分辨率的遥感图像则需要耗费更多的时间和人力成本。因此近年来人们致力于使用弱监督语义分割(wsss)来研究语义分割任务，wsss使用图像级分类标签、涂鸦和边界框等弱监督方式，试图实现与完全监督同等的分割性能，其中图像级标签是获取方式最容易监督标签也是监督信息最弱的监督标签。
3.目前，主流的弱监督方法都基于类激活图(cam)，该方法通过图像分类标签训练分类网络使得分类器获得目标对象的定位图。虽然cam可以识别目标对象最具显著性的区域，但是cam有三个主要的障碍，使其无法直接作为分割网络训练的伪标签：(1)欠激活：cam通常只覆盖对象最具显著性的部分而不是对对象的整个区域做出响应。(2)过激活：cam会引入过度激活等噪音，即存在背景区域错误激活为前景。(3)不一致性：当原始图像经过仿射变换后，对同一副图像生成的cam图存在不一致性。这些现象的根本原因来自完全监督和弱监督语义分割之间的监督差距。


技术实现要素：

4.为了解决现有技术存在的问题，本发明提供了一种可靠区域作为注意力机制监督的弱监督建筑物分割方法来缩小监督上的差距。为解决cam的欠激活问题，本技术引入了像素注意力模块(pam)、孪生网络和等变约束使得每个像素能捕获的更多的上下文外观信息。为解决过度激活问题，本技术设计了可靠伪像素标签作为监督。
5.本发明的技术方案提供一种可靠区域作为注意力机制监督的弱监督建筑物分割方法，方法包括以下步骤：
6.s1、构建弱监督语义分割网络，所述弱监督语义分割网络包括：第一分类网络、可靠区域合成模块，第二分类网络、像素注意力模块和类激活映射计算模块、孪生网络结构、损失函数设计模块；损失函数设计模块包括第二分类网络的损失函数，等变约束损失函数
和可靠区域损失函数；
7.s2、获取无人机拍摄的建筑物图像和人工标记的分类标签作为训练集，利用训练集对第一分类网络进行初步训练，得到初始种子；
8.s3、将得到的初始种子输入到可靠区域合成模块中得到可靠标签；
9.s4、用训练集对第二分类网络进行训练，得到高级特征映射，训练的损失函数为第二分类损失函数；
10.s5、用高级特征映射作为像素注意力模块的输入，得到改进的高级特征映射；
11.s6、将改进的高级特征映射作为类激活映射计算模块的输入，得到类激活映射；
12.s7、孪生网络结构在弱监督语义分割网络的训练过程中共享权值，并提供等变约束损失函数提供等变约束；
13.s8、用步骤s3生成的可靠标签作为步骤s6类激活映射的监督，得到可靠区域损失函数；
14.s9、使用损失函数设计模块训练弱监督分割网络得到伪标签；
15.s10、使用伪标签训练deeplab v1分割网络，利用deeplab v1分割网络进行分割，得到最终的建筑物分割结果。
16.进一步地，步骤s2-s3具体如下：
17.s2.1：所述第一分类网络的损失函数定义如下：
[0018][0019]
其中yi表示样本i的标签，前景为1，背景为0，n代表训练样本的个数，p代表预测概率向量；
[0020]
s2.2：给定第一分类网络，输入原始图像和分类标签使用s2.1的损失函数对第一分类网络进行训练，计算得到cam：
[0021][0022]
其中wc是类别c的最后分类层的权重，f(x)是gmp之前输入图像x的特征图；
[0023]
s2.3：设置前景阈值θ
fg
，给定一个滑动窗口w，确定某一像素i，若该像素以及在滑动窗口内的概率值均大于前景的阈值，则选定该像素点为可靠区域，其余均为不可靠区域，即背景，定义如下：
[0024][0025]
其中dr表示可靠标签，wi表示像素i滑动窗口内的像素点。
[0026]
进一步地，步骤s7中，所述等变约束的损失函数定义如下：
[0027][0028]
其中f(
·
)代表仿射变化，mo代表原始图像的类激活映射cam，m
t
代表仿射变化对应的cam。
[0029]
进一步地，步骤s8中，可靠区域损失函数定义如下：
[0030][0031]
其中m是步骤s5得到的改进的高级特征映射；r是步骤s3得到的可靠标签；h、w表示输入图像的宽、高。
[0032]
进一步地，步骤s9中，损失函数设计模块的总损失函数为步骤s4的第二分类损失函数、步骤s7等变损失函数和步骤s8可靠损失函数之和。
[0033]
本发明的有益效果是：极大的降低了像素标注的时间成本和人力成本。
附图说明
[0034]
图1是本发明提供的一种可靠区域作为注意力机制监督的弱监督建筑物分割方法的流程示意图；
[0035]
图2是本发明弱监督建筑物分割网络的结构图；
[0036]
图3是本发明像素注意力模块示意图；
[0037]
图4是本发明的定性结果。
具体实施方式
[0038]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0039]
本发明提供了一种可靠区域作为注意力机制监督的弱监督建筑物分割方法。请参考图1，图1是本发明方法的流程图；方法包括以下步骤：
[0040]
s1、构建弱监督语义分割网络，所述弱监督语义分割网络包括：第一分类网络、可靠区域合成模块，第二分类网络、像素注意力模块和类激活映射计算模块、孪生网络结构、损失函数设计模块；损失函数设计模块包括第二分类网络的损失函数，等变约束损失函数和可靠区域损失函数；
[0041]
s2、获取无人机拍摄的建筑物图像和人工标记的分类标签作为训练集，利用训练集对第一分类网络进行初步训练，得到初始种子；
[0042]
s3、将得到的初始种子输入到可靠区域合成模块中得到可靠标签；
[0043]
s4、用训练集对第二分类网络进行训练，得到高级特征映射，训练的损失函数为第二分类损失函数；
[0044]
s5、用高级特征映射作为像素注意力模块的输入，得到改进的高级特征映射；
[0045]
s6、将改进的高级特征映射作为类激活映射计算模块的输入，得到类激活映射；
[0046]
s7、孪生网络结构在弱监督语义分割网络的训练过程中共享权值，并提供等变约束损失函数提供等变约束；
[0047]
s8、用步骤s3生成的可靠标签作为步骤s6类激活映射的监督，得到可靠区域损失函数；
[0048]
s9、使用损失函数设计模块训练弱监督分割网络得到伪标签；
[0049]
s10、使用伪标签训练deeplab v1分割网络，利用deeplab v1分割网络进行分割，得到最终的建筑物分割结果。
[0050]
请参考图2，图2是本发明弱监督建筑物分割网络的结构图；
[0051]
步骤s2-s3中，合成可靠区域标签的具体过程为：
[0052]
s2.1：所述第一分类网络的损失函数定义如下：
[0053][0054]
其中yi表示样本i的标签，前景为1，背景为0，n代表训练样本的个数，p代表预测概率向量；
[0055]
s2.2：给定第一分类网络，输入原始图像和分类标签使用s2.1的损失函数对第一分类网络进行训练，计算得到cam：
[0056][0057]
其中wc是类别c的最后分类层的权重，f(x)是gmp之前输入图像x的特征图；
[0058]
s2.3：设置前景阈值θ
fg
，给定一个滑动窗口w，确定某一像素i，若该像素以及在滑动窗口内的概率值均大于前景的阈值，则选定该像素点为可靠区域，其余均为不可靠区域，即背景，定义如下：
[0059][0060]
其中dr表示可靠标签，wi表示像素i滑动窗口内的像素点。
[0061]
步骤s4-s6，得到类激活映射的具体过程为：
[0062]
s3.1：给定第二分类网络，训练第二分类网络(cnn)得到高级特征映射f。f作为像素注意力模块的输入。像素注意力模块挖掘像素之间的相似性从而得到改进的高级特征映射。
[0063]
请参考图3，图3是本发明像素注意力模块示意图；
[0064]
所述像素注意力模块，用于对提取到的高级特征映射f建立全局关系。首先将f分别输入到两个卷积核为1的卷积层中得到新的特征映射q和k。利用q和k进行矩阵运算得到注意力矩阵a。将f输入到新的卷积层中得到v。将v和注意力矩阵进行矩阵相乘得到残差模块。将残差模块加权到原始的高级特征映射上。
[0065]
孪生网络结构在网络的训练过程中共享权值，提供等变约束。
[0066]
等变约束的损失函数定义如下：
[0067][0068]
其中f(
·
)代表仿射变化，mo代表原始图像的cam，m
t
代表仿射变化对应的cam。
[0069]
步骤s8-s9，生成伪标签和训练分割网络的具体过程为：
[0070]
s4.1：使用生成的可靠标签作为生成的类激活映射的监督，训练得到伪标签。
[0071]
s4.2：可靠区域损失函数定义如下：
[0072][0073]
其中m是得到的改进的高级特征映射。r是得到的可靠标签。
[0074]
使用各网络、模块的损失函数作为网络的总损失，训练本技术的弱监督网络结构，
生成伪标签；
[0075]
使用伪标签训练deeplab v1分割网络，利用deeplab v1分割网络进行分割，得到最终的建筑物分割结果。需要说明的是，deeplab v1分割网络是一个现有网络，这里本技术不再过多解释说明。
[0076]
为了更好的解释，各个模块的详细工作过程如下：
[0077]
将无人机建筑物图像和对应的分类标签输入到分类网络中进行训练，分类网络的主干网络是resnet38。为了获得初始种子，本技术首先需要得到类激活映射图(cam)。与目前主流弱监督方法计算cam的方法不同，本技术提出在计算cam的网络结构中使用全局最大池化(gmp)代替全局平均池化(gap)。目前弱监督方法计算cam的主要方式是根据zhou提出，该网络框架一个典型的分类网络(如vgg、googlenet)，与典型的分类网络不同的是在网络最后几层将全连接层改成了池化层进行全局平均池化(gap)操作。因为现有的弱监督方法普遍应用于多类别的自然场景(如pascal voc)数据集，使用gap能起到激励网络识别更多的显著区域。而本文主要针对的是建筑物足迹二元分类问题，因此使用全局最大池化(gmp)更符合需求。因为gmp鼓励网络识别最具辨别力的部分，因此在计算cam时图像区域的低分数(噪声)不会被考虑。
[0078]
可靠区域标签的获取：
[0079]
通过分类网络计算得到的cam图，cam图是以像素概率表示的，因此可用p
ic
表示像素i属于类别c的概率。由于以像素类概率表示的cam不利于可靠区域的合成，本技术首先将概率转换为每个像素的特定类标签：
[0080][0081]
设置前景阈值θ
fg
，给定一个滑动窗口w，确定某一像素i，若该像素以及在滑动窗口内的概率值均大于前景的阈值，则选定该像素点为可靠区域，其余均为不可靠区域(即背景)，定义如下：
[0082][0083]
其中dr表示可靠标签，wi表示像素i滑动窗口内的像素点。
[0084]
像素注意力模块：请参考图3，图3是本发明像素注意力模块示意图；所述像素注意力模块，用于对提取到的高级特征映射f建立全局关系。首先将f分别输入到两个卷积核为1的卷积层中得到新的特征映射q和k。利用q和k进行矩阵运算得到注意力矩阵a。将f输入到新的卷积层中得到v。将v和注意力矩阵进行矩阵相乘得到残差模块。将残差模块加权到原始的高级特征映射上。具体计算过程如下：
[0085][0086][0087]
孪生网络结构：注意力模型pam的等变约束是由一个具有等变正则化损失的孪生
网络结构实现的。孪生网络以两个比较“相似”的样本作为输入到网络的两个分支，孪生网络的两个分支通过共享权重的方式，共享“相似”和消除“差异”信息。然后输入映射到新的空间，形成输入在新的空间的表示，通过损失函数比较两个样本在新空间的相似程度。
[0088]
本技术网络结构的总损失函数：
[0089]
分类损失函数：图像级分类标签是唯一可以使用的人工标注标签。本技术在网络的末端使用全局最大池化来得到图像分类的预测概率向量。训练分类网络，本技术使用二元交叉熵损失函数：
[0090][0091]
其中yi表示样本i的标签，前景为1，背景为0，n代表训练样本的个数，p代表预测概率向量。
[0092]
由于本技术的网络结构使用了孪生网络，因此输出得到两个预测概率向量po,p
t
。po表示原始图像的预测概率向量，p
t
表示图像经过仿射变化后输出的预测向量。因此需要计算两个分支的分类损失函数：
[0093][0094]
等变损失函数：在全监督语义分割的数据增强阶段，像素级标签隐式的与输入图像存在相同的仿射变换。然而，在弱监督语义分割中只考虑了图像级分类标签，缺乏隐式约束。为了保持输出的一致性，需要等变正则化损失函数。
[0095][0096]
其中f(
·
)代表仿射变化，mo代表原始图像的cam，m
t
代表仿射变化对应的cam。
[0097]
可靠区域损失函数：
[0098][0099]
其中m是步骤s3.1得到的改进的类激活映射图。r是步骤2.2得到的可靠标签。考虑孪生网络的二分支结构，可得：
[0100]
l
r1
＝||m
o-r||2[0101]
l
r2
＝||m
t-f(r)||2[0102]
网络的总损失函数如下：
[0103][0104]
利用总损失训练网络计算得到的cam生成伪像素标签，训练语义分割网络。
[0105]
为了更好的对本发明所提出的内容进行解释说明，下面提供1个采用本发明的具体实施案例。以下案例所使用的数据集为自制的无人机建筑物数据集。本文提出的网络结构在pytorch网络框架下实现，并在rtx 3090gpu上运行。
[0106]
本案例所采用的数据集，包含2031张图像作为训练集，704张图像作为测试集。
[0107]
本技术将从将得到的结果从定性和定量两个角度对本技术的方法和其他方法进行比较，来验证本技术的方法优越性。
[0108]
请参考图4，图4中各部分表示含义如下：
[0109]
(a)原图.(b)真实标签.(c)psa.(d)irn.(e)seam.(f)bes.(g)ours.其中第一行和第二行是训练集的结果。第三行和第四行是测试集的结果。
[0110]
图4可以看出不论是在训练集还是测试集，本技术的方法生成的伪标签分割的效果更好，与其他四个对比算法普遍存在背景被误识别成房屋的缺点，从图4(g)可以看出，本技术的方法在分割的结果上显得更精细和准确。另外本技术选取了定量指标交并比iou(intersection over union)，像素精度pa(pixel accuracy)，mpa(平均像素精度)，定量实验结果如表所示，表1、表2分别为训练集和测试集的定量结果。
[0111]
本技术在表1和表2分别给出了基于resnet主干网络训练集和测试集的结果。可以看出本技术的方法在与其他方法的对比下取得了更好的结果，在测试集的上iou到达88.8％。本技术方法的提升主要来源于本技术对显著性区域的充分挖掘，避免了噪声的干扰。
[0112]
表1.不同弱监督方法分割产生的定量指标(训练集)
[0113][0114]
表2.不同弱监督方法分割产生的定量指标(验证集)
[0115][0116]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0117]
本发明的有益效果是：
[0118]
(1)本技术设计了像素注意力模块，挖掘像素之间的相似性，从而可以得到更多的显著性区域。
[0119]
(2)本技术设计了可靠区域标签合成模块，通过该模块本技术挖掘图像中最具显著性的部分。
[0120]
(3)设计损失函数将可靠区域标签作为类激活映射的监督，使得能够生成更好的伪标签。
[0121]
(4)本发明通过分类标签实现了建筑物的像素级分割，极大的降低了像素标注的时间成本和人力成本。