一种基于CIM-T架构的高分辨率影像变化检测方法

本发明涉及现实场景下两期遥感图像变化检测与图像处理领域，尤其涉及一种基于cim-t架构的高分辨率影像变化检测方法。

背景技术：

1、近年来，随着航天技术的不断发展，中国对地观测能力同步取得不断的提升，而且通过遥感卫星获得的图像的空间分辨率亦在不断提升。相对普通遥感影像，高分辨率遥感影像，特指高空间分辨率遥感影像，具有更加丰富的细节信息，并由此带来更加准确和客观的特点。因此，高分辨率遥感影像被广泛运用于城市违章建筑变化检测、土地荒漠化变化检测与农作物面积分析等重要领域。

2、在遥感图像应用领域中，遥感图像变化检测是遥感领域最为重要的下游任务之一。由于高分辨率遥感影像复杂的地物信息，过去的遥感图像配准仍然依赖人工解译，但人工解译方法需要高昂的人力成本，且存在较高的误检率和漏检率，满足不了实时检测的需求。为适应当今制造业的信息化和智能化的趋势，在生产环节上需要摆脱传统人力手工对产能和效率的束缚。

3、传统的高分辨率遥感图像的变化检测算法主要是应用统计学的思想，利用单个像素作为基本单元进行分析并提取变化的信息，但该方法难以得到准确的变化边界，也需要耗费大量的人力和时间成本。随着机器学习方法的不断发展，变化检测从以单个像素为单位的像素级变化检测逐渐发展成以多个像素聚合为单位的对象级变化检测。虽然机器学习方法能够减少人力及时间成本，但是对于变化区域的边界以及变化内容语义信息也无法得到较好的结果。

4、但随着深度学习方法的不断发展，各种基于神经网络的变化检测算法在不断的提出。针对遥感图像尺寸大小不一样的情况，李军伟等人在中国发明专利申请“一种基于自适应融合nestedunet的光学遥感图像变化检测方法”(申请号为：cn202211047386.2)、阮永俭等人在中国发明专利申请“一种全尺度特征聚合的遥感影像变化检测的方法”(申请号为：cn202211003665.9)中都针对图像的分辨率不一致的问题进行了一定的改进。同时，针对变化对象不一致的问题，戴育岐等人在中国发明专利申请“一种基于深度学习的行星遥感影像地表地形变化检测方法”(申请号为：cn202211136723.5)、侯彪等人在中国发明专利申请“一种基于深度学习以及图像配准算法的飞机变化检测专利方法”(申请号为：cn202210815924.1)中都针对不同的变化对象做出了一定的改进。

5、但是，上述方法在用于高分辨率遥感影像的变化检测的时候，往往会存在一系列的问题。遥感图像的变化区域边界往往比较精细，而卷积神经网络连续的下采样过程会导致丢失图片的众多细节信息，对于最后的变化检测结果的边界信息存在非常大的影响。同时，高分辨遥感影像存在尺寸非常大的特点，神经网络架构对于大尺寸的高分辨率遥感图像而言需要更大的参数量以及训练算力。

6、因此，本领域的技术人员致力于开发一种基于cim-t架构的高分辨率影像变化检测方法，解决现有技术中存在的上述问题。

技术实现思路

1、有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何解决各种基于神经网络的深度学习变化检测算法中同时存在的会导致图片的众多细节信息丢失的问题，以及需要过大的参数量和训练算力的问题。

2、为实现上述目的，本发明提供了一种基于cim-t架构的高分辨率影像变化检测方法，兼顾卷积神经网络参数量少以及transformer网络提取特征能力强的cim-transformer网络架构(即cim-t架构，卷积内卷积模块与transformer模块)，在保证训练参数量不至于过大的同时，大幅提高图像变化检测的边缘信息的提取，最终解决了现有卷积神经网络因连续下采样过程导致最后检测结果边界非常不精细的问题的同时，也解决了单纯使用transformer网络架构导致参数量以及计算力需求极大的问题。具体来说，本发明所提供的技术方案采用经典的编码器-解码器结构进行网络的搭建：编码器部分提出卷积和内卷积组合的方式对特征进行初步提取，再使用transformer模块对特征进一步进行优化，得到更加精细的特征；解码器部分提出使用密集跳跃连接机制，将各级特征进行重采样恢复细节信息。最后，采用ecam模块(总体通道注意力机制模块)对变化区域特征做出更好的预测。

3、具体来说，本发明提供了一种基于cim-t架构的高分辨率影像变化检测方法，包括以下步骤：

4、步骤1、采集两期遥感影像图像，获得变化检测数据集；

5、步骤2、用所述变化检测数据集构建变化检测模型；

6、步骤3、用所述变化检测数据集训练所述变化检测模型；

7、步骤4、将待测图像数据集输入所述变化检测模型，得到变化检测结果；

8、其中，

9、所述步骤2中的所述变化检测模型是一种编码器-解码器模型；

10、编码器包括主干网络特征提取模块和标签生成器模块；

11、解码器包括密集跳跃连接模块和ecam模块；

12、具体地，所述步骤2包括以下子步骤：

13、步骤2.1、通过所述主干网络特征提取模块提取所述变化检测数据集中的多尺度特征，并记录在第一特征图中，再通过所述标签生成器模块对所述多尺度特征进行再生成；

14、步骤2.2、通过所述密集跳跃连接模块对提取到的所述多尺度特征进行融合和增强；

15、步骤2.3、采用所述ecam模块对所述多尺度特征进行差异性同化，得到所述变化检测模型。

16、进一步地，所述步骤2中的所述主干网络特征提取模块由双路权值共享的孪生网络构成，把从所述两期遥感影像图像中获取的所述变化检测数据集输入所述孪生网络中，再采用cim模块获得所述变化检测数据集中的所述多尺度特征。

17、进一步地，所述cim模块包括卷积模块和内卷积模块，将输入的所述变化检测数据集先通过所述卷积模块进行处理，得到中间结果，再将所述中间结果输入到所述内卷积模块，得到所述多尺度特征。

18、进一步地，所述卷积模块包括：3×3的卷积层、第一批归一化层、激活层；所述内卷积模块包括：1×1的卷积核、第二批归一化层、激活函数、逐元素相加模块；

19、通过残差连接的方式将所述内卷积模块所得的结果与所述变化检测数据集进行相加，得到所述多尺度特征，并记录在有四层的所述第一特征图中，所述第一特征图的每一层的大小不同、通道数不同；

20、所述cim模块由以下公式给出：

21、x＝x+cim(x)

22、其中，x代表所述变化检测数据集，cim代表的是卷积-内卷积的操作所得的结果，相加操作代表所述残差连接的方式。

23、进一步地，所述标签生成器模块包含：标签编码模块和标签解码模块；

24、所述标签编码模块是通过空间注意力模块与transformer编码模块对所述主干网络特征提取模块获得的所述多尺度特征进行编码，生成具有全局上下文信息的标签向量；

25、所述标签解码模块是对所述标签向量采用多头层间注意力的方式，重新获得与所述第一特征图一样大小且具有全局信息的第二特征图。

26、进一步地，对于一个上采样单元，所述密集跳跃连接模块采用双倍双线性插值的方式对所述第二特征图进行融合和增强，得到分辨率提升的所述第二特征图，再将所述第二特征图继续作为下一个上采样单元的输入，最终得到的所述第二特征图的每一层都大小相同；

27、所述上采样单元包括：1×1的卷积层、批归一化层、激活函数层、双倍双线性插值层。

28、进一步地，所述ecam模块的输入为所述第二特征图的四层特征图；

29、所述步骤2.3包括以下子步骤：

30、步骤2.3.1、对所述四层特征图进行直接相加，具体为：

31、fintra＝x(0，1)+x(0，2)+x(0，3)+x(0，4)

32、其中，x(0，1)表示第一层特征图，x(0，2)表示第二层特征图，x(0，3)表示第三层特征图，x(0，4)表示第四层特征图，fintra表示输入的所述四层特征图的内部关系，相加操作代表对特定层的特征图进行逐元素的相加；

33、步骤2.3.2、进行通道维度上的拼接操作，获得输入的所述四层特征图之间的相互关系，具体为：

34、finter＝[x(0，1)，x(0，2)，x(0，3)，x(0，4)]

35、其中，finter表示输入的所述四层特征图之间的相互关系，中括号代表所述通道维度上的拼接操作；

36、步骤2.3.3、将fintra输入通道注意力模块，计算通道注意力cam，具体为：

37、cam(f)＝σ(mlp(avgpool(f))+mlp(maxpool(f))

38、其中，f可以取fintra或finter，fintra或finter的通道注意力计算公式一样，mlp是多层感知机，avgpool是平均池化，maxpool是最大池化，σ代表sigmoid操作；

39、mintra＝cam(fintra)

40、其中，f取fintra，mintra代表所述四层特征图内部的一个关系；

41、步骤2.3.4、将finter输入所述通道注意力模块，并与重复四次后的mintra相加，得到：

42、finter+repeat(4)(m(intra))

43、步骤2.3.5、将两个结果通过逐像素点相乘，计算总体注意力机制ecam，具体为：

44、

45、其中，m(inter)代表所述四层特征图相互之间的一个关系，其计算方式与mintra的计算方式类似，只是将fintra替换为finter；

46、步骤2.3.6、通过1×1的卷积操作得到最后的预测结果，具体为：

47、y＝(ecam(fensemble))

48、其中，fensemble代表y代表最后的预测结果，h代表1×1的卷积操作。

49、进一步地，所述通道注意力模块包含平均池化层、最大池化层、全连接层、激活函数层。

50、进一步地，在所述步骤3中，所述变化检测模型的训练总损失为交叉熵损失和相似性度量损失的和：

51、loss＝lwce+ldice

52、其中，loss为所述训练总损失，lwce为所述交叉熵损失，ldice为所述相似性度量损失；

53、lwce的计算过程为：

54、

55、其中，h代表所述两期遥感影像图像的高度，w代表宽度，weig t[class]代表每种类别的权重，class代表两种列表：0或1；

56、ldice的计算过程为：

57、

58、其中，y代表标签真值结果，代表预测结果，softmax是归一化指数函数，softmax函数将上一层的原始数据进行归一化，转化为(0,1)之间的数值。

59、进一步地，在所述步骤3中，所述变化检测模型的超参数设置如下：采用多种尺度进行训练，将输入的所述两期遥感影像图像调整为256×256以及512×512大小，分别进行两组不同的训练；采用adam优化器进行训练，同时采用10个epoch的warmup过程；模型总计训练100个epochs，初始的学习率设置为0.001；使用8张3090显卡进行训练。

60、本发明提供的一种基于cim-t架构的高分辨率影像变化检测方法至少具有以下技术效果：

61、1、本发明所提供的技术方案通过采用cim模块作为两期图像特征提取的第一部分，之后对每级特征采用transformer模块进行特征的再生成，提升了网络对图像的特征提取能力，对变化边界有着更精细的提取；

62、2、本发明所提供的技术方案通过采用密集跳跃连接机制对不同层级的特征进行一个融合处理。不同于传统的panet网络简单地对多尺度特征简单求和，密集跳跃连接机制集成了不同层级之间的特征以及相同层级之间的特征进行跨尺度和快速归一化融合，增强了不同分辨率输入特征的表征能力，从而提高了对变化边界的更精细化提取；

63、3、本发明所提供的技术方案为了解决各级融合特征像素点上存在一定语义差异的情况，采用一种ecam的方式对各级特征进行处理。ecam的基础是cam，通过采用注意力机制来实现对特征的一个同化处理。通过对特征内部与特征之间采用相互进行注意力机制，协调各特征像素点上存在的语义偏差，得到更好的检测结果。

64、以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。