跨尺度图相似引导聚合系统、方法及应用

1.本发明属于图像处理技术领域，特别涉及一种跨尺度图相似引导聚合系统、方法及应用。


背景技术：

2.遥感图像被广泛应用于如环境监测、土地资源管理和灾害评估等方面，在应用时，语义分割是遥感图像的关键技术之一，是将输入图像中每个像素划分为一个语义类别。然而，遥感图像具有多样的地球物理特性、计算量大等特点，因此很难实现有效的语义分割。
3.近年来，卷积神经网络凭借其强大的特征提取能力极大促进了遥感图像语义分割的发展。完全卷积网络(fcn)首先将全连接层修改为卷积层，使其成为全卷积的网络，实现像素级别的端到端训练。随即，为了更好的恢复图像细节信息，一种“编码器-解码器”结构被提出，该结构利用跳转连接将低级别细节信息与高级别语义信息连接起来，使模型获得更多的细节信息，增强模型预测能力。然而，这些方法在语义信息的提取中暴露了一个共同的缺点，模型受限于固定的几何结构和有限的感受野。为此，出现了一种多尺度上下文融合技术，它应用特定的技术，如空洞卷积或金字塔池模块来聚合上下文，虽然能够有效挖掘多尺度上下文信息，但是在跨尺度信息交互方面却被忽略。而往往跨尺度之间存在着重要的关联关系。这对于语义分割通常至关重要。除此之外，基于注意力的机制和图卷积网络(gcn)，从通道或空间维度自适应地捕捉大范围的依赖关系，从而有效扩大感受野的范围。以上策略在一定程度上解决了多尺度问题，并增强了模型的表征能力。另外，为了进一步对遥感图像进行细粒度的分割，最近，有些方法将边界检测模块作为一个独立的分支进行并行探索，将提取出的边缘轮廓特征作为一种补充，这对提高边界细化能力和解决语义分割中的一致性问题都至关重要。
4.尽管上述方法具有重要意义和价值，但它们仍存在一些缺陷：1)对于多尺度模型，在上下文建模过程中忽略了跨尺度相关性。2)在边界检测过程中，忽略了边界的多尺度特性。3)边界信息稀疏，存在样本不均衡问题，导致对语义特征的指导不可靠。在遥感图像中，边界像素点数量往往只占整个图像的小部分，其边缘特征通常是一个稀疏矩阵，无法有效指导并改善语义分割效果


技术实现要素：

5.针对现有技术存在的不足，本发明提供一种跨尺度图相似引导聚合系统、方法及应用，本发明通过跨尺度图交互模块构建图结构，并利用图卷积推理并聚合跨尺度节点之间的关联关系，以增强遥感特征的表征能力；通过多尺度相似性引导聚合模块聚合语义特征和边界特征，改善边缘特征对语义分割的辅助效果。
6.为了解决上述技术问题，本发明采用的技术方案是：
7.首先，本发明提供一种跨尺度图相似引导聚合系统，包括主干网络和两个独立的子任务分支，称为语义特征提取分支和边界特征提取分支，在语义特征提取分支中，引入了
跨尺度图交互模块cgi以提取语义特征，在边界特征提取分支中，引入了多尺度相似性引导聚合模块msa以提取多尺度边界特征；
8.所述主干网络首先使用常规的卷积操作挖掘原始图像丰富的语义特征xi，随即利用空洞卷积方法，以不同膨胀率改变卷积操作的感受野，进一步挖掘原始图像的多尺度语义特征fk，生成多尺度语义特征图；最后将主干网络所挖掘出的特征图作为输入，进入后续两个分支网络中，其中会将语义特征xi输入进边缘特征提取分支，而将fk输入到语义特征提取分支中；
9.所述语义特征提取分支包括跨尺度图交互模块gci和图卷积网络gcn，在语义特征提取分支中，以主干网络挖掘出的原始图像的多尺度语义特征fk作为输入，将其输入到所述的跨尺度图交互模块cgi，通过构建不同尺度的图节点和边缘的关系，从而建立出跨尺度图模型，最后利用图卷积网络gcn推理并聚合跨尺度语义特征之间的关联关系，以增强模型的表征能力，提取语义特征的跨尺度语义特征gi；
10.所述边界特征提取分支包括多尺度相似性引导聚合模块msa，该模块包括多尺度边界特征提取mbfe单元和相似性引导聚合sga单元，多尺度相似性引导聚合模块msa将含有丰富语义特征xi作为输入，首先会进行一次初步的特征融合，并进行有监督的训练，从而获得含有边界信息的边界特征b；随即，会将边界特征b输入进mbfe单元；mbfe单元利用具有不同膨胀率的空洞卷积来探测多尺度边界信息，提取含有多尺度的边界特征bi，sga单元计算边界特征bi和所述语义特征提取分支输出的跨尺度语义特征gi之间的相似性，并执行乘法运算来聚合跨尺度语义特征gi和边界特征bi的两个多尺度特征，以改善边缘特征对语义分割的辅助效果，最终输出融合了语义和边缘信息的特征图。
11.进一步的，所述跨尺度图交互模块cgi首先将主干网络生成的多尺度语义特征图通过特征拼接整合为跨尺度特征图，然后按照图卷积操作对跨尺度特征图进行图推理，将空间像素点转化为图模型中的节点，将计算节点的相似矩阵作为图模型的边；最后，通过图卷积网络gcn中的消息传递机制来执行跨尺度推理来聚合信息，通过跨尺度图推理的作用，使得语义分析在多尺度之间进行交互。
12.其次，本发明还提供一种如前所述的跨尺度图相似引导聚合系统的应用，用于遥感图像语义分割。
13.最后，本发明提供一种利用如前所述的跨尺度图相似引导聚合系统进行语义分割的方法，具体方法如下：
14.s1、首先将原始图像输入进主干网络中，主干网络一方面使用卷积操作挖掘原始图像丰富的语义特征xi，一方面通过设定不同的空洞率以改变卷积操作的感受野大小，从而挖掘出原始图像的多尺度语义特征fk，生成多尺度语义特征图；
15.s2、对于主干网络生成的多尺度语义特征图，输入跨尺度图交互模块gci中，以空间像素点作为跨尺度图模型的节点，同时计算节点的相似矩阵作为图模型的边，随后，通过图卷积网络gcn中的消息传递机制来执行跨尺度推理来聚合信息，通过跨尺度图推理的作用，使得语义信息在多尺度特征之间进行交互，最终获得跨尺度语义特征gi；
16.s3、在边界特征提取分支，采用空洞卷积方法以挖掘多尺度边界特征，主干网路输出的语义特征xi作为输入，首先进行一次初步的特征融合，并进行有监督的训练，从而获得含有边界信息的边界特征b；随即，将边界特征b输入进mbfe单元，对于边界特征b，通过mbfe
单元使用不同膨胀率的空洞卷积作用于边界特征b，经过特征挖掘，从而得到不同尺度大小的边界特征bi，实现多尺度的边界特征挖掘；为了方便后续与语义特征的融合，将挖掘的边界特征bi的数目和语义特征gi保持一致；
17.s4、针对边界特征提取分支挖掘出的边界特征为稀疏矩阵，导致样本不均衡问题，利用相似性引导聚合sga单元计算边界特征bi和语义特征提取分支输出的语义特征gi之间的相似性，通过计算得到相似最强区域，并以此作为权重矩阵对原始的语义特征进行加权融合；
18.s5、最后输出融合了语义和边缘信息的特征图。
19.进一步的，步骤s2中，对于主干网络生成的多尺度语义特征fk，将特征的空间像素点视为节点，并将其大小转换为fk∈rn×d，跨尺度节点集合为f＝每个节点f都对原始图像中的不同区域进行编码，n和d的值由多尺度语义特征的空间和通道大小决定；将图的边定义为图像区域之间的成对相似性计算，并通过以下等式构造关系其中和是一个常规的卷积，其参数通过反向传播学习到，和分别表示第p个尺度的第i个节点和第q个尺度的第j个节点。
20.进一步的，步骤s4中，所述相似性引导聚合sga单元进行相似性计算具体步骤如下：给定多尺度语义图特征和边界特征小写字母g,b分别表示相应的特征图，下标k表示当前为第几个特征k＝{1,2,3,4,5}，上标n表示所属特征图的位置,首先计算两者的相似度先计算两者的相似度其中分别为两个非线性变换，和分别表示非线性变换的参数，上标t表示矩阵转置。函数用来计算在边界上第j位置与语义图上第i个位置的影响数值；然后，在多尺度边界特征和相似矩阵之间进行矩阵乘法运算其中α是通过反向传播得到的参数，根据上述计算，同一类别的边界区域将以比其他无关区域高的权重被激活。
21.与现有技术相比，本发明优点在于：
22.通过本发明不仅能满足跨尺度目标之间的交互，还能挖掘多尺度边界信息，实现鲁棒聚合，极大地提高了遥感特征的表示能力。具体的，本发明设计了跨尺度图交互(cgi)模块，该模块建立跨尺度图结构，执行自适应图推理以捕获跨尺度语义相关信息。本发明还设计了多尺度相似性引导聚合(msa)模块，挖掘多尺度边界信息，完成可靠的边界特征引导，该模块由多尺度边界特征提取(mbfe)单元和相似性引导聚合(sga)单元组成。mbfe单元利用具有不同膨胀率的阿托斯卷积来探测多尺度边界信息，sga单元利用相似性计算来增强边界制导的鲁棒性和可靠性。通过在两个基准遥感数据集上进行的数值实验中，本发明提出的语义分割方法优于现有技术中最先进的方法。
附图说明
23.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用
的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1为本发明的系统架构图；
25.图2为本发明的语义特征提取分支结构图；
26.图3为本发明的相似性引导聚合单元结构图。
具体实施方式
27.下面结合附图及具体实施例对本发明作进一步的说明。
28.实施例1
29.本发明提出了一种用于遥感图像语义分割的跨尺度图相似引导聚合网络(cgsan)，在现有语义分割的图卷积网络的基础上，设计了两个独立的子任务分支，分别用于获取语义特征之间的跨尺度相关性和边界特征的多尺度特性，最终获得包含了语义特征和边界特征的跨尺度特征图。
30.本实施例的跨尺度图相似引导聚合系统，结合图1所示，包括主干网络和两个独立的子任务分支，分别为语义特征提取分支和边界特征提取分支，下面分别介绍各部分。
31.所述主干网络包括两部分工作，一是使用常规的卷积操作挖掘原始图像丰富的语义特征xi；一是利用空洞卷积技术(aspp)，以不同膨胀率改变卷积操作的感受野，从而挖掘原始图像的多尺度语义特征fk，生成多尺度语义特征图。此部分内容为现有技术关于语义分割的如何获取多尺度特征，此处不再过多赘述。主干网络所挖掘出的特征图作为输入，进入后续的两个分支网络中，其中会将语义特征xi输入进边界特征提取分支，而将fk输入到语义特征提取分支中。
32.结合图2所示，语义特征提取分支包括跨尺度图交互模块gci和图卷积网络gcn，在语义特征提取分支中，以主干网络挖掘出的原始图像的多尺度语义特征fk作为输入，将其输入进所设计的跨尺度图交互模块gci，通过构建不同尺度的图节点和边缘的关系，从而建立出跨尺度图结构，最后利用图卷积网络gcn推理并聚合跨尺度语义特征之间的关联关系，以增强模型的表征能力，提取语义特征的多尺度特征gi。
33.所述跨尺度图交互模块cgi，对于主干网络生成的多尺度语义特征图，首先通过特征拼接方式被整合为更大的跨尺度特征图(此处是将已有的多尺度特征拼接为尺度更大的特征图，例如尺寸为3x3的两个特征图，拼接之后就得到为6x3的更大的特征图)。随后就会按照常规的图卷积的操作，对这个跨尺度特征图进行图推理，即图的边缘和点的构建，以及信息的聚合等操作。具体的：将空间像素点转化为图模型中的节点，图卷积操作中，进行相似矩阵的计算，将计算节点的相似矩阵作为图模型的边。相关性计算时，会得到两个节点的相关性分数，如果两个节点具有很强的语义关系，则会获得较高的相关性分数，则表明两个节点强相关。最后，通过图卷积网络gcn中的消息传递机制来执行跨尺度推理来聚合信息，通过跨尺度图推理的作用，使得语义分析在多尺度之间进行交互，从而实现挖掘更大范围的语义信息的目的。
34.结合图3所示，边界特征提取分支中，包括多尺度相似性引导聚合模块msa，该模块包括多尺度边界特征提取mbfe单元和相似性引导聚合sga单元。多尺度相似性引导聚合模
块msa将含有丰富语义特征xi作为输入，首先会进行一次初步的特征融合，并进行有监督的训练，从而获得含有边界信息的边界特征b；随即，会将边界特征b输入进mbfe单元。mbfe单元利用具有不同膨胀率的空洞卷积来探测多尺度边界信息，提取含有多尺度的边界特征bi。
35.相似性引导聚合sga单元计算边界特征bi和所述语义特征提取分支输出的语义特征gi之间的相似性，并执行乘法运算来聚合语义特征和边界特征的两个多尺度特征，以改善边缘特征对语义分割的辅助效果。
36.相似性引导聚合sga单元对边界特征bi和语义特征提取分支输出的语义特征gi进行相似性计算，通过计算得到相似最强区域，并以此作为权重矩阵对原始的语义特征进行加权融合。这样边缘特征便得到了增强。这在一定程度上解决了样本不均衡问题。后续实施例3中的方法步骤中详细介绍相似性计算和加权融合方法。
37.mbfe单元不同膨胀率的空洞卷积是一种有效的方法来生成不同尺度的边界特征。直观地说，这种策略有助于将生成的边界特征与语义特征对齐，从而促进后续的聚合。针对边界特征提取分支挖掘出的边界特征为稀疏矩阵，导致样本不均衡问题，本发明采用相似性分析方法搜寻相关性较强的边缘区域，以强化和引导边缘特征融合。利用边界特征通过计算相似度来指导语义特征学习，比传统的通过元素添加或连接来进行语义特征聚合更具说服力。因此设计出了相似性引导聚合单元sga来解决特征融合中的稀疏边界矩阵问题。受注意力机制的启发，本发明在相应的尺度上计算语义特征和边界特征之间的相似性，从而突出语义特征的有效边界信息。根据上述计算，同一类别的边界区域将以比其他无关区域得到更高的权重。由于边界特征进行了增强，因此一定程度上解决了语义分割中类内一致性问题，从而提升模型在边缘附近的预测精度。
38.实施例2
39.本实施例提供一种跨尺度图相似引导聚合系统的应用，用于遥感图像语义分割。该系统的组成与功能参见实施例1部分的内容，此处不再赘述。
40.实施例3
41.本实施例提供一种语义分割方法，使用如实施例1所述的跨尺度图相似引导聚合系统进行，具体方法如下：
42.s1、首先将原始图像输入进主干网络中，主干网络一方面使用卷积操作挖掘原始图像丰富的语义特征xi，一方面通过设定不同的空洞率以改变卷积操作的感受野大小，从而挖掘出原始图像的多尺度语义特征fk，生成多尺度语义特征图；
43.s2、对于主干网络生成的多尺度语义特征图，输入跨尺度图交互模块gci中，以空间像素点作为跨尺度图模型的节点，同时计算节点的相似矩阵作为图模型的边，随后，通过图卷积网络gcn中的消息传递机制来执行跨尺度推理来聚合信息，通过跨尺度图推理的作用，使得语义信息在多尺度特征之间进行交互，从而实现挖掘更大范围的语义信息的目的，最终获得跨尺度语义特征gi。
44.更具体的，步骤s2中，对于主干网络生成的多尺度语义特征fk，将特征的空间像素点视为节点，并将其大小转换为fk∈rn×d，跨尺度节点集合为，跨尺度节点集合为每个节点f都对原始图像中的不同区域进行编码，n和d的值由多尺度语义特征的空间和通道大小决定；将图的边定义为图像区域之间的成对相似性计算，并通过以下等式构造关系
其中和是一个常规的卷积，其参数通过反向传播学习到，和分别表示第p个尺度的第i个节点和第q个尺度的第j个节点。本发明可以挖掘出五个尺度的特征图，因此，p和q的最大值为5。从上面的等式可以看出，如果两个计算区域具有很强的语义关系，则会获得较高的相关性分数。在构造节点f和边r的跨尺度图模型之后，通过gcn中的消息传递机制来执行跨尺度推理来聚合信息。通过跨尺度图推理的作用，使得模型能包含了更广泛、更多样的跨尺度语义信息。
45.s3、在边界特征提取分支，采用空洞卷积方法以挖掘多尺度边界特征，主干网路输出的语义特征xi作为输入，首先进行一次初步的特征融合，并进行有监督的训练，从而获得含有边界信息的边界特征b；随即，将边界特征b输入进mbfe单元，对于边界特征b，通过mbfe单元使用不同膨胀率的空洞卷积作用于边界特征b，经过特征挖掘，从而得到不同尺度大小的边界特征bi，实现多尺度的边界特征挖掘；为了方便后续与语义特征的融合，将挖掘的边界特征bi的数目和语义特征gi保持一致。
46.s4、针对边界特征提取分支挖掘出的边界特征为稀疏矩阵，导致样本不均衡问题，利用相似性分析方法搜寻相关性较强的边缘区域，以强化和引导边缘特征与语义特征融合。本发明利用相似性引导聚合sga单元计算边界特征bi和语义特征提取分支输出的语义特征gi之间的相似性，通过计算得到相似最强区域，并以此作为权重矩阵对原始的语义特征进行加权融合。
47.我们认为利用边界特征通过计算相似度来指导语义特征学习，比传统的通过元素添加或连接来进行语义特征聚合更具说服力。因此设计出了相似性引导聚合sga单元来解决特征融合中的稀疏边界矩阵问题。受注意力机制的启发，在相应的尺度上计算语义特征和边界特征之间的相似性，从而突出语义特征的有效边界信息。根据上述计算，同一类别的边界区域将以比其他无关区域得到更高的权重。由于边缘特征进行了增强，因此一定程度上解决了语义分割中类内一致性问题，从而提升模型在边缘附近的预测精度。边缘特征会和语义特征进行相似性计算，通过计算得到相似最强区域，并以此作为权重矩阵对原始的语义特征进行加权融合。这样边缘特征便得到了增强。这在一定程度上解决了样本不均衡问题。具体的，步骤s4中，所述相似性引导聚合sga单元进行相似性计算具体步骤如下：给定多尺度语义图特征和边界特征小写字母g,b分别表示相应的特征图，下标k表示当前为第几个特征k＝{1,2,3,4,5}，上标n表示所属特征图的位置,首先计算两者的相似度算两者的相似度其中分别为两个非线性变换，和分别表示非线性变换的参数，上标t表示矩阵转置。函数用来计算在边界上第j位置与语义图上第i个位置的影响数值；然后，在多尺度边界特征和相似矩阵之间进行矩阵乘法运算其中α是通过反向传播得到的参数，根据上述计算，同一类别的边界区域将以比其他无关区域高得多的权重被激活，这不仅确保了对象的类内一致性，而且还解决了边缘像素稀疏问题。
48.s5、最后输出的是融合了语义和边缘信息的特征图。
49.综上所述，本发明首先，将原始图像作为输入，利用主干网络学习多尺度特征图。随后，利用两个独立的子分支获取跨尺度语义信息、挖掘多尺度边界信息，具体的：跨尺度图交互模块(cgi)通过设计节点和边来建立跨尺度图结构，使用gcn对跨尺度特征的聚合有效确认进行推理；多尺度相似性引导聚合模块(msa)由多尺度边界特征提取单元(mbfe)和相似性引导聚合单元(sga)组成，mbfe单元利用具有不同膨胀率的空洞卷积来探测多尺度边界信息，sga单元计算语义特征和边界特征之间的相似性，并执行乘法运算来聚合两个多尺度特征。本发明提出的cgsan不仅能满足跨尺度目标之间的交互，还能挖掘多尺度边界信息，实现稳健的聚集，极大地提高了遥感特征的表征能力，更好的解决遥感图像语义分割问题。
50.当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。