基于多方向注意力表征增强的SAR影像变化检测方法

基于多方向注意力表征增强的sar影像变化检测方法
技术领域
1.本发明属于雷达技术领域，具体涉及一种基于多方向注意力表征增强的sar影像变化检测方法。


背景技术：

2.sar(synthetic aperture radar)，即合成孔径雷达，是一种主动式的对地观测系统，可安装在飞机、卫星、宇宙飞船等飞行平台上，全天时、全天候对地实施观测、并具有一定的地表穿透能力。因此，sar系统在灾害监测、环境监测、海洋监测、资源勘查、农作物估产、测绘和军事等方面的应用上具有独特的优势，可发挥其他遥感手段难以发挥的作用，因此越来越受到世界各国的重视。
3.极化合成孔径雷达是随着合成孔径雷达技术的发展而产生的一种新的成像系统，它通过获取地面同一分辨单元在不同极化方式下的散射特性来获取目标的多种极化信息，因而能够获得比传统的单极化sar更加丰富的地物信息，从而大大增强了雷达获取目标信息的能力。所以，对这些复杂的、大规模的极化sar数据进行全自动或半自动研究是迫切需要的。
4.变化检测是通过在不同时间观察对象或现象来识别其状态差异的过程。极化sar图像变化检测是极化sar图像解译的一个重要分支，但是与自然图像不同，sar图像因其获取方式的不同，其变化检测方法大多面临着斑点噪声的挑战，斑点噪声会降低图像质量，破坏图片目标结构与纹理信息，阻碍sar数据的精细解释，因此有效解决sar图像斑点噪声并能有效进行变化检测任务是当下比较热门和挑战的问题。
5.现有技术中记载的一种基于卷积神经网络(cnn)的sar图像变化检测新方法。通过自动学习来提取和捕捉原始图像的空间特征，得到鲁棒性更强的结果。celik提出了一种基于主成分分析(pca)和k均值聚类的多时相卫星图像无监督变化检测新技术。通过pca提取正交特征向量，使用像素的特征向量和簇的平均特征向量之间的最小欧几里得距离将每个像素分配给两个簇中的一个，实现了变化检测。qu提出利用离散余弦变换域的特征，并将重塑后的dct系数作为频域分支集成到所提出的模型中。利用频率域和空间域的特征表示来抑制散斑噪声。liu提出了一种用于sar变化检测的堆叠式fisher自动编码器(sfae)。对叠加式自动编码器进行扩展，以适应sar变化检测中的乘性噪声环境。sfae提取的特征比原始堆叠式自动编码器更具鉴别能力。
6.然而，现有技术存在以下缺陷：
7.(1)sar图像因为其获取图像的方式问题，图像噪声明显高于自然图像，噪声会破坏图像目标结构与纹理信息，其噪声很大程度影响其变化检测的效果，传统的滤波虽然会整体降低噪声程度，但会使物体边缘信息往法线方向扩散，一定程度上丧失了边缘信息。
8.(2)对于变化检测任务来说，像素点的类别是否变化其很大程度上受其周围像素的类别改变影响，尤其对于目标纹理、边缘信息方面，现有技术没有很好的用到其周围像素的信息。
9.因此如何克服sar图像自身噪声的影响并能够保留充足的物体边缘信息且进行有效的利用得到较好的变化检测效果极为重要。


技术实现要素：

10.为了解决现有技术中存在的上述问题，本发明提供了一种基于多方向注意力表征增强的sar影像变化检测方法。本发明要解决的技术问题通过以下技术方案实现：
11.本发明提供的一种基于多方向注意力表征增强的sar影像变化检测方法，包括：
12.步骤101：从雷达卫星的数据中获取同一位置不同时间拍摄的两张sar图像，组成双时相sar图像；
13.步骤102：使用多方向表征增强处理方法，以不同方向的窗口的方式在双时相sar图像的差异图中确定与中心像素点最为接近的方向窗口，并在差异图中对该方向窗口的图像进行处理，获得多方向表征增强处理后的图像；
14.步骤103：构建基于自注意力与senet的变化检测网络；
15.其中，所述变化检测网路包括注意力模块以及多尺度特征融合层；
16.步骤104：将双时相sar图像作为第一训练数据以及将多方向表征增强处理后的图像作为第二训练数据；
17.步骤105：将第一训练数据以及第二训练数据分别输入所述变化检测网络的不同输入端口，以进行多尺度特征提取、尺度融合、自注意力模块学习以及深层特征处理，结合代价函数对变化检测网络进行训练，得到训练好的变化检测网络；
18.步骤106：使用训练好的变化检测网络对sar图像进行识别，以实现不同sar图像的地物变化检测。
19.可选的，所述步骤102包括：
20.步骤201：输入双时相sar图像；
21.步骤202：按照对应位置区域，对双时相sar图像进行像素切片，得到每个sar的切片图像；
22.步骤203：计算双时相区域对应的切片图像的特征之间的差异，得到差异图；
23.步骤204：设置多个不同方向且半径不同的方向窗口以及迭代次数，在差异图中选择与中心像素最接近的目标方向窗口；
24.步骤205：将目标方向窗口中的差异值保持不变，将其它区域的差异值置0，将置0之后的差异图作为多方向表征增强处理后的图像。
25.可选的，步骤203中差异图为：
[0026][0027]
其中，img1与img2代表不同时相的切片图像的特征，dif代表其双时相产生的差异图。
[0028]
可选的，步骤204包括：
[0029]
步骤204a：设置八个不同大小方向的方向窗口，其方向窗口集合：s＝{l,r,u,d,nw,ne,sw,se}，并输入差异图；
[0030]
步骤204b：计算差异图在八个方向的方向窗口各自的像素平均值；
[0031]
步骤204c：计算每个方向窗口的像素平均值与中心像素的相似值，根据该差异值选择最相近的方向窗口作为目标方向窗口。
[0032]
可选的，
[0033]
第n个方向窗口的像素平均值为：
[0034][0035]
其中，ω
ij
是中心像素i的邻域内像素j的权重，qj是邻域内像素j的像素值，是中心像素i个第n个邻域，j为邻域中的第j个像素；
[0036]
相似值为：
[0037][0038]
其中，im表示最近接的方向窗口索引，qi是中心像素i的像素值，n是方向窗口序号，s是方向窗口集合。
[0039]
可选的，步骤103包括：
[0040]
301：获取依次连接的尺度不同的卷积层以及senet主干网络；
[0041]
302：在所述卷积层与senet主干网络之间依次增加特征融合层以及自注意力模块，得到基于自注意力与senet的变化检测网络。
[0042]
可选的，步骤104包括：
[0043]
步骤401：将双时相sar图像以及多方向表征增强处理后的图像均进行归一化处理；
[0044]
步骤402：将归一化的双时相sar图像作为第一训练数据，以及将多方向表征增强处理后且归一化后的图像作为第二训练数据。
[0045]
可选的，步骤105包括：
[0046]
步骤501：将第一训练数据输入变化检测网络的第一个卷积层，经过多个卷积层卷积获得不同感受野的多尺度信息；
[0047]
步骤502：将第二训练数据输入所述变化检测网络的特征融合层，以与多尺度信息进行对齐相加融合；
[0048]
步骤503：将融合后的特征送入自注意力模块，以使自注意力模块将融合后的特征送入匹配的分块进行自注意力学习；
[0049]
其中，分块的大小与方向窗口的半径的对应；
[0050]
步骤504：将自注意力学习结果送入主干网络学习深层特征，并从线性层得到分类概率，选择分类概率最高的作为预测结果；
[0051]
步骤505：根据原sar图像与预测结果计算代价函数；
[0052]
步骤506：按照批次利用梯度下降法，求解代价函数的最小化问题，获得训练后的变化检测网络。
[0053]
可选的，步骤503包括：
[0054]
步骤601：将自注意力模块中的每个特征层与半径较小的四个方向窗口的特征大小位置对应，以将自注意力模块的特征层分为4个patch；
[0055]
步骤602：将每个patch展平并经过线性层，并将融合后的特征送入patch以使送入
patch的原有特征数量增大为原先三倍，平均分为三份，依次为q，k，v；
[0056]
步骤603：将每个patch的q，k，v与其它patch的q，k，v对应进行相似性度量，之后再进行缩放标准化以及加权，以有效学习到各个patch的重要程度及和其它patch的关系；
[0057]
步骤604：将自注意力学习得到的映射输出还原为原始patch尺寸，完成自注意力学习。
[0058]
本发明的有益效果：
[0059]
1、本发明提供的一种基于多方向注意力表征增强的sar影像变化检测方法，通过获取双时相sar图像分别进行多尺度卷积和方向窗口特征提取，多尺度卷积能够得到图像的多尺度特征信息，方向窗口特征提取能够将区域特征进行筛选得到与中心点相近的特征，将这些特征进行融合。融合后的特征经过与方向窗口设计区域匹配的自注意力模块，这样可以通过模型训练得到像素点不同方向的区域重要性，增强中心点的表征信息也排除一些干扰信息。本发明与现有技术的变化检测方法相比，增强中心点表征信息，排除无效信息，解决遥感sar图像变化检测噪声问题，提升其变化检测效果。
[0060]
2、本发明提供的一种基于多方向注意力表征增强的sar影像变化检测方法，通过对应着多方向增强所设置的窗口区域，对应着构建相应大小patch的自注意力机制模块，帮助模型学习对应区域的关注度，避免其它无关像素影响变化检测效果。
[0061]
3、本发明提供的一种基于多方向注意力表征增强的sar影像变化检测方法，检测模型基于senet上加入方向窗口模块并使用与之方向窗口对应的self-attention机制实现逐像素的变化检测网络，相对于全卷积网络更关注特征细节，对于物体边缘特征具有更好的检测效果，虽会引起更多的噪声，但通过方向窗口与self-attention很好解决这个问题。
[0062]
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
[0063]
图1是本发明实施例提供的一种基于多方向注意力表征增强的sar影像变化检测方法流程示意图；
[0064]
图2是本发明实施例提供的多方向表征增强处理方法的过程示意图；
[0065]
图3是本发明实施例提供的多方向表征增强流程图；
[0066]
图4是本发明实施例提供的多方向表征增强框架图；
[0067]
图5是本发明实施例提供的变化检测网络的框架图；
[0068]
图6是本发明实施例提供的变化检测网络训练流程图；
[0069]
图7是本发明实施例提供的自注意力机制框架图。
具体实施方式
[0070]
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
[0071]
参考图1，本发明提供的一种基于多方向注意力表征增强的sar影像变化检测方法包括：
[0072]
步骤101：从雷达卫星的数据中获取同一位置不同时间拍摄的两张sar图像，组成双时相sar图像；
[0073]
步骤102：使用多方向表征(mdre)增强处理方法，以不同方向的窗口的方式在双时相sar图像的差异图中确定与中心像素点最为接近的方向窗口，并在差异图中对该方向窗口的图像进行处理，获得多方向表征增强处理后的图像；
[0074]
值得说明的是：本发明采用多方向表征增强机制，将所选择的临近相似区域为变化检测中的特征增强区域，该发明能够很好克服了sar图像变化检测中滤波降噪不保边的特性，将sar图像特征整体降噪的同时能够有效保留物体边缘信息，使得边缘纹理信息很好的保留下来，解决现有技术存在的问题1。
[0075]
步骤103：构建基于自注意力与senet的变化检测网络；
[0076]
其中，所述变化检测网路包括自注意力模块以及多尺度特征融合层；
[0077]
步骤104：将双时相sar图像作为第一训练数据以及将多方向表征增强处理后的图像作为第二训练数据；
[0078]
步骤105：将第一训练数据以及第二训练数据分别输入所述变化检测网络的不同输入端口，以进行多尺度特征提取、尺度融合、自注意力模块学习以及深层特征处理，结合代价函数对变化检测网络进行训练，得到训练好的变化检测网络；
[0079]
步骤106：使用训练好的变化检测网络对sar图像进行识别，以实现不同sar图像的地物变化检测。
[0080]
值得说明的是：本发明构建基于多方向注意力表征增强的变化检测网络，该网络为逐像素多尺度变化检测网络，关注每一个像素点的信息，并且防止因为上、下采样引起sar图像特征缺失，采用多尺度卷积进行特征提起，在变化检测网络中添加了自注意力机制，使得网络更加关注方向窗口增强所得到的区域，使变化检测结果能够更好地吻合真实地物。
[0081]
本发明提供的一种基于多方向注意力表征增强的sar影像变化检测方法，通过获取双时相sar图像分别进行多尺度卷积和方向窗口特征提取，多尺度卷积能够得到图像的多尺度特征信息，方向窗口特征提取能够将区域特征进行筛选得到与中心点相近的特征，将这些特征进行融合。融合后的特征经过与方向窗口设计区域匹配的自注意力模块，这样可以通过模型训练得到像素点不同方向的区域重要性，增强中心点的表征信息也排除一些干扰信息。本发明与现有技术的变化检测方法相比，增强中心点表征信息，排除无效信息，解决遥感sar图像变化检测噪声问题，提升其变化检测效果。
[0082]
作为本发明一种可选的实施方式，参考图2以及图3，步骤s102包括：
[0083]
步骤201：输入双时相sar图像；
[0084]
步骤202：按照对应位置区域，对双时相sar图像进行像素切片，得到每个sar的切片图像；
[0085]
步骤203：计算双时相区域对应的切片图像的特征之间的差异，得到差异图；
[0086]
其中，差异图为：
[0087][0088]
其中，img1与img2代表不同时相的切片图像的特征，dif代表其双时相产生的差异图。
[0089]
步骤204：设置多个不同方向且半径不同的方向窗口以及迭代次数，在差异图中选
择与中心像素最接近的目标方向窗口；
[0090]
参考图4，作为本发明一种可选的实施方式，步骤204包括：
[0091]
步骤204a：设置八个不同大小方向的方向窗口，其窗口集合：s＝{l,r,u,d,nw,ne,sw,se}，并输入差异图；
[0092]
步骤204b：计算差异图在八个方向的方向窗口各自的像素平均值；
[0093]
步骤204c：计算每个方向窗口的像素平均值与中心像素的相似值，根据该差异值选择最相近的方向窗口作为目标方向窗口。
[0094]
第n个方向窗口的像素平均值为：
[0095][0096]
其中，ω
ij
是中心像素i的邻域内像素j的权重，qj是邻域内像素j的像素值，是中心像素i个第n个邻域，j为邻域中的第j个像素；
[0097]
相似值为：
[0098][0099]
其中，im表示最近接的方向窗口索引，qi是中心像素i的像素值，n是方向窗口序号，s是方向窗口集合。
[0100]
值得说明的是：将得到的结果与原始像素值进行做差得到的绝对值的大小代表着相似度的程度，在s中取其与原像素值最为相似的区域。
[0101]
步骤205：将目标方向窗口中的差异值保持不变，将其他区域的差异值置0，将置0之后的差异图作为多方向表征增强处理后的图像。
[0102]
作为本发明一种可选的实施方式，参考图2，步骤104包括：
[0103]
步骤401：将双时相sar图像以及多方向表征增强处理后的图像均进行归一化处理；
[0104]
步骤402：将归一化的双时相sar图像作为第一训练数据，以及将增强处理后且归一化后的图像作为第二训练数据。
[0105]
参考图5，作为本发明一种可选的实施方式，步骤103包括：
[0106]
301：获取依次连接的尺度不同的卷积层以及senet主干网络；
[0107]
302：在所述卷积层与senet主干网络之间依次增加特征融合层以及自注意力模块，得到基于自注意力与senet的变化检测网络。
[0108]
本发明将senet主干网络作为检测网络的一部分，将经过自注意力机制后的特征层输入到senet主干网络，进行深层特征处理，并与标签结合代价函数进行模型训练，最终得到变化检测结果。
[0109]
参考图6，作为本发明一种可选的实施方式，步骤105包括：
[0110]
步骤501：将第一训练数据输入变化检测网络的第一个卷层，经过多个卷积层卷积获得不同感受野的多尺度信息；
[0111]
步骤502：将第二训练数据输入所述变化检测网络的特征融合层，以与多尺度信息进行对齐相加融合；
[0112]
步骤503：将融合后的特征送入注意力模块，以使注意力模块将融合后的特征送入
匹配的分块进行自注意力学习；
[0113]
其中，分块的大小与方向窗口的半径的对应；
[0114]
步骤504：将自注意力学习结果送入主干网络学习深层特征，并从线性层得到分类概率，选择分类概率最高的作为预测结果；
[0115]
步骤505：根据原sar图像与预测结果计算代价函数；
[0116]
步骤506：按照批次利用梯度下降法，求解代价函数的最小化问题，获得训练后的变化检测网络。
[0117]
值得说明的是：输入预处理后的数据,数据分为两个部分，分别是数据1与经过多方向表征增强处理的数据2；将数据1经过1*1、3*3、5*5多尺度卷积获得不同感受野的多尺度信息，数据2与经过多尺度卷积的特征进行对齐相加融合，增强了与中心点相似的区域，抑制其它区域；融合后的特征对应多方向表征增强当中设置的半径大小分块，之后进行自注意力计算(4个patch)；senet主干网络作为本网络的一部分，其含有残差结构与特有的se(squeeze-and-excitation)结构，可学习到更为深层特征，将步骤403获得的特征层输入到senet主干网络，并经过线性层得到分类概率；数据标签为sar图像部分区域二值标签(0，1)，分别代表变化区域和未变区域，最终预测结果与标签经过softmaxcrossentropy与标签计算代价函数。
[0118]
softmax：
[0119][0120]
其中|c|代表类别数，zj代表第j类别对应输出值，yi代表第i类别的概率。
[0121]
cross entropy loss：
[0122][0123]
其中，代表第i类别的预测概率，yi代表标签值，l
ce
代表交叉熵损失。
[0124]
按照批次利用梯度下降法求解代价函数的最小化问题，获得训练后的变化检测网络；
[0125]
参考图7，作为本发明一种可选的实施方式，步骤503包括：
[0126]
步骤601：将注意力模块中的每个特征层与半径较小的四个方向窗口的特征大小位置对应，以将注意力模块的特征层分为4个patch；
[0127]
步骤602：将每个patch展平并经过线性层，并将融合后的特征送入patch以使送入patch的原有特征数量增大为原先三倍，平均分为三份，依次为q，k，v；
[0128]
步骤603：将每个patch的q，k，v与其它patch的q，k，v对应进行相似性度量，之后再进行缩放标准化以及加权，以有效学习到各个patch的重要程度及和其它patch的关系；
[0129]
步骤604：将自注意力学习得到的映射输出还原为原始patch尺寸，完成自注意力学习。
[0130]
值得说明的是：将当前特征层与多方向表征增强的窗口特征大小位置对应，本发明选择分成4个patch，分别正好对应方向窗口增强所设定的最小窗口；将每个patch展平并经过线性层，将原有特征数量增大为原先三倍，平均分为三份，依次为query，key，value；缩
写为q，k，v。将各个patch的q，k，v与其它一一进行相似性度量，再进行缩放标准化，最后进行加权，有效学习到各个patch的重要程度及和其它patch的关系；将自注意力得到的映射输出还原为原始patch尺寸。