基于双向特征融合的高分辨率光学遥感图像地物分类方法与流程

1.本发明涉及光学遥感图像地物分类技术领域，尤其涉及一种基于双向特征融合的高分辨率光学遥感图像地物分类方法。


背景技术：

2.光学遥感图像成像技术不断发展，图像的分辨率不断提高。光学遥感图像地物分类的应用场景不断增加，其在民用国防等领域起着越来越重的作用。光学遥感图像的地物分割是遥感图像信息提取的重要环节。影像分割是面向对象的影像分析方法的关键步骤，其分割结果质量直接影响着后续影像信息的提取质量。准确及时地从得到的遥感影像中获取地物信息有着实际需求。
3.以深度学习技术的兴起为界，可以将遥感图像的地物分类划分为两个阶段，即基于传统方法的地物分类和基于深度学习技术的地物分类。传统的遥感图像地物分类方法主要包括：遥感图像的特征提取、遥感图像的特征选择和分类算法三大部分。近年来光学遥感图像的分辨率不断提高，对光学遥感图像的分割精细度有了更高的要求。
4.通常基于卷积神经网络的地物分割方法，利用级联的卷积和池化操作获得高级的分类语义信息，为弥补分辨率降低带来的空间信息损失，需结合不同层次的特征图来细化分割结果。之前采用的自下而上的特征融合与上采样方式，信息流仅仅在单个方向上流动，浅层特征图的细节信息与深层特征图的语义信息无法很好的融合进而影响最终的分割结果。现有方法多采用线性上采样来恢复输出图像的分辨率，这种方法忽略了图像内部像素间的相关性，通常无法获得令人满意的上采样结果。
5.面临问题：
6.(1)传统单向信息流的多尺度特征融合方式无法很好地结合不同层的特征，影响最终的分割准确度。
7.(2)常见的线性上采样方式无法结合不同层特征图的内在信息，影响最终分割结果的精细度。


技术实现要素：

8.基于此，有必要针对上述技术问题，提供一种基于双向特征融合的高分辨率光学遥感图像地物分类方法。
9.本申请提供的一种基于双向特征融合的高分辨率光学遥感图像地物分类方法是基于卷积神经网络的。
10.一种基于双向特征融合的高分辨率光学遥感图像地物分类方法，所述方法包括：s110利用主干网络提取输入图像的不同分辨率的初始特征图，并按照分辨率的大小依次排序；s120依次选取相邻的三张初始特征图作为一组，以每组位于中间的初始特征图作为一阶段采样标准特征图，其余初始特征图以一阶段采样表征特征图为标准，对应进行上采样和下采样，得到与一阶段采样标准特征图相同分辨率的一阶段过渡特征图；s130将相同分
辨率的所述一阶段过渡特征图与所述一阶段采样标准特征图进行特征融合，得到初始融合特征图；s140将所述初始融合特征图根据上述步骤s120-步骤130中特征融合的方式，得到进阶融合特征图；s150将所述进阶融合特征图、所述初始特征图和所述初始融合特征图进行迭代上采样融合后，得到恢复分辨率的目标特征图；s160根据所述目标特征图生成最终的预测结果，从而训练得到目标网络，根据所述目标网络对遥感图像进行地物分割。
11.在其中一个实施例中，所述s140将所述初始融合特征图根据上述步骤s120-步骤130中特征融合的方式，得到进阶融合特征图，具体为：将所述初始融合特征图按照分辨率大小进行排序，依次选取相邻的三张所述初始融合特征图作为一组；以每组位于中间的初始融合特征图作为二阶段采样标准特征图，其余初始融合特征图以二阶段采样表征特征图为标准，对应进行上采样和下采样，得到与二阶段采样标准特征图相同分辨率的二阶段过渡特征图；将相同分辨率的所述二阶段过渡特征图与所述二阶段采样标准特征图进行特征融合，得到进阶融合特征图。
12.在其中一个实施例中，所述s150将所述进阶融合特征图、所述初始特征图和所述初始融合特征图进行迭代上采样融合后，得到恢复分辨率的目标特征图，具体为：将所述进阶融合特征图进行上采样，并与上采样后分辨率相同的初始融合特征图进行特征融合，得到初始待采样特征图；同时将所述初始融合特征图进行上采样，并与上采样后分辨率相同的初始特征图进行特征融合，得到待融合特征图；将所述初始特征采样特征图进行上采样，然后与所述待融合特征图进行融合，得到目标待采样特征图；将所述目标待采样特征图进行上采样，得到恢复分辨率的目标特征图。
13.在其中一个实施例中，所述的每一次上采样均为固定倍率的采样。
14.上述基于双向特征融合的高分辨率光学遥感图像地物分类方法，通过设计的双向特征融合结构，结合了浅层的细节信息和深层的语义信息，避免了之前的特征融合方式中存在的信息损失问题；同时设计了一种结合特征图语义信息的上采样方式，多次重复的融合操作更有效聚合不同层次的特征。最终结果上，该网络在遥感图像的地物分割效果上获得了提升，分割的准确度获得了提高。
附图说明
15.图1为一个实施例中基于双向特征融合的高分辨率光学遥感图像地物分类方法的流程示意图；
16.图2为一个实施例中特征融合的结构示意图。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明做进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
18.本申请提供的基于双向特征融合的高分辨率光学遥感图像地物分类方法，。
19.在一个实施例中，如图1所示，提供了一种基于双向特征融合的高分辨率光学遥感图像地物分类方法，包括以下步骤：
20.s110利用主干网络提取输入图像的不同分辨率的初始特征图，并按照分辨率的大
小依次排序。
21.具体地，如图2所示，m为输入的图像，首先利用主干网络提取输入图像的不同分辨率的初始特征图：m11，m12，m13，m14，m15，通过特征的提取，可以获得输入图像不同层次的特征，其中浅层的特征图包含待分割图像的细节信息，而深层特征图包含待分割图像的类别信息。图中，m11的分辨率为二分之一，m12的分辨率为四分之一，m13的分辨率为八分之一，m14和m15的分辨率均为十六分之一。
22.s120依次选取相邻的三张初始特征图作为一组，以每组位于中间的初始特征图作为一阶段采样标准特征图，其余初始特征图以一阶段采样表征特征图为标准，对应进行上采样和下采样，得到与一阶段采样标准特征图相同分辨率的一阶段过渡特征图。
23.具体地，如图2所示，将相邻的三层初始特征图分别进行上采样和下采样后拼接进行特征融合。下采样采用卷积操作，上采样利用预先设计的上采样模块来实现。将统一尺寸后的特征图拼接进而融合特征。图中，即可分为(m11，m12，m13)、(m12，m13，m14)、(m13，m14，m15)，对于分辨率较大的特征图进行下采样操作，对于分辨率较小的特征图利用本方法提出的方式进行上采样操作，以(m11，m12，m13)为例，选择m12为一阶段采样标准特征图，那么m11需要进行下采样，将分辨率从1/2降低到1/4，而m13则需要将进行上采样，将分辨率从1/8提升至1/4，当分辨率均为1/4时，则为一阶段过渡特征图。
24.s130将相同分辨率的一阶段过渡特征图与一阶段采样标准特征图进行特征融合，得到初始融合特征图。
25.具体地，将分辨率相同的一阶段过渡特征图与一阶段采样标准特征图进行特征融合，得到分辨率为1/4的初始融合特征图，即m21。图2中的m21、m22、m23均为初始融合特征图，而且图中的o代表分辨率不变，a代表上采样，b代表下采样。
26.s140将初始融合特征图根据上述步骤s120-步骤130中特征融合的方式，得到进阶融合特征图。
27.具体地，对于生成的初始融合特征图m21、m22、m23利用和步骤s120和步骤s130相同的融合方式，经过上采样和下采样操作进行进一步融合。通过这种方式更好地融合浅层特征和深层特征。
28.在一个实施例中，步骤s140具体为：将初始融合特征图按照分辨率大小进行排序，依次选取相邻的三张初始融合特征图作为一组；以每组位于中间的初始融合特征图作为二阶段采样标准特征图，其余初始融合特征图以二阶段采样表征特征图为标准，对应进行上采样和下采样，得到与二阶段采样标准特征图相同分辨率的二阶段过渡特征图；将相同分辨率的二阶段过渡特征图与二阶段采样标准特征图进行特征融合，得到进阶融合特征图。具体地，初始融合特征图m22作为二阶段采样标准特征图，因为m22的分辨率为1/8，所以对初始融合特征图m21通过下采样，变成分辨率为1/8的二阶段过渡特征图，并对初始融合特征图m23通过上采样，变成分辨率为1/8的二阶段过渡特征图，然后将这两个二阶段过渡特征图与作为二阶段采样标准特征图的m22一起融合，得到分辨率为1/8的进阶融合特征图，即m31。
29.s150将进阶融合特征图、初始特征图和初始融合特征图进行迭代上采样融合后，得到恢复分辨率的目标特征图。
30.具体地，基于进阶融合特征图、初始特征图和初始融合特征图，通过将不同分辨率
的特征图进行上采样后，再融合，实现对不同层次特征的融合，逐步恢复分辨率，最终得到目标特征图。
31.在一个实施例中，步骤s150具体为：将进阶融合特征图进行上采样，并与上采样后分辨率相同的初始融合特征图进行特征融合，得到初始待采样特征图；同时将初始融合特征图进行上采样，并与上采样后分辨率相同的初始特征图进行特征融合，得到待融合特征图；将初始特征采样特征图进行上采样，然后与待融合特征图进行融合，得到目标待采样特征图；将目标待采样特征图进行上采样，得到恢复分辨率的目标特征图。具体地，如图2所示，将m31进行上采样，m31原来的分辨率为1/8，上采样后为1/4，选择分辨率为1/4的初始融合特征图m21，与之进行特征融合，得到分辨率为1/4的初始待采样特征图m41；同时将刚刚分辨率为1/4的初始融合特征图m21进行上采样，将分辨率变为1/2，然后与分辨率为1/2的初始特征图m11进行特征融合，从而得到分辨率为1/2的待融合特征图m32；将m41进行上采样，将分辨率变为1/2，然后将上采样之后的m41与分辨率为1/2的m32进行融合，得到分辨率为1/2的目标待采样特征图m51，最后将m51进行上采样，得到最终需要的目标特征图m，且此时的目标特征图m分辨率已经恢复为1。
32.在一个实施例中，步骤s150中的每一次上采样均为固定倍率的采样。具体地，在步骤s150中，上采样均是固定倍率的采样，在步骤s150中都是两倍上采样。同样的在上述步骤s110-s140中，提到的上采样和下采样的倍率都是相同的，一般设置为两倍。
33.s160根据目标特征图生成最终的预测结果，从而训练得到目标网络，根据目标网络对遥感图像进行地物分割。
34.具体地，在得到目标特征图之后，利用特征重采样模块重新排列上采样的特征。具体分为四个环节：特征通道压缩，内容编码，上采样内核预测和内核归一化。即为常见的轻量级通用上采样算子。根据目标特征图生成最终的预测结果，从而训练得到目标网络，根据目标网络对遥感图像进行地物分割，都是基本的训练转化和学习，这里的目标网络是训练和优化好的。
35.上述实施例中，通过设计的包括上采样和下采样的双向特征融合结构，结合了浅层的细节信息和深层的语义信息，避免了之前的特征融合方式中存在的信息损失问题；同时设计了一种结合特征图语义信息的上采样方式，多次重复的融合操作更有效聚合不同层次的特征。最终结果上，该网络在遥感图像的地物分割效果上获得了提升，分割的准确度获得了提高。
36.显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(rom/ram、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。
37.以上内容是结合具体的实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护
范围。