基于跨维度注意力机制的自监督单遥感图像超分辨率方法

1.本发明涉及模式识别技术领域，特别涉及一种基于跨维度注意力机制的自监督单遥感图像超分辨率方法。


背景技术：

2.图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建，目前，主要的图像超分辨率方法有以下几种：(1)基于插值的图像超分辨率方法；(2)基于重构的图像超分辨率方法；(3)基于学习的图像超分辨率方法。
3.在过去的几年中，基于深度学习的遥感图像超分辨率方法在某些情况下已经可以有效的克服遥感成像传感器物理分辨率的限制，这类方法成功的一个不可缺少的因素是大量的特定数据集。但是，在实际获取遥感图像的过程中，因受到各种复杂因素的影响，真实遥感图像的退化方式与特定数据集的退化方式大相径庭，导致训练后的模型在实际应用中的性能大幅下降。


技术实现要素：

4.为了解决现有图像超分辨率方法对于大规模训练数据集的依赖问题，本发明实施例提供一种基于跨维度注意力机制的自监督单遥感图像超分辨率方法，通过提出跨维度注意力机制引导网络，利用单张图像内部的信息的可再现性，避免模型性能对于大规模训练数据集的依赖，通过将输入的图像进行下采样，组成自训练对，在训练过程中学习图像内部的自相似性和退化过程，然后将输入的低分辨率图像进行图像超分辨率重建。所述技术方案如下：
5.本发明提供了一种基于跨维度注意力机制的自监督单遥感图像超分辨率方法包括：
6.将输入图像进行下采样；
7.提取图像的卷积特征；
8.计算通道特征和空间特征的权重，其中，图像卷积特征中不同通道的权值矩阵为t
c
：
9.t
c
＝sigmoid(f1×1(relu(f1×1(avg(f)))))
10.其中，f∈r
c
×
h
×
w
为图像卷积特征；avg为全局平均池化，f1×1为卷积核大小为1
×
1的卷积操作；
11.图像卷积特征中不同空间的权值矩阵为t
s
：
12.t
s
＝sigmoid(f1×1(f))
13.其中，f∈r
c
×
h
×
w
为图像卷积特征；f1×1为卷积核大小为1
×
1的卷积操作；
14.计算带有通道权重和空间权重的通道
‑
空间特征权重t∈r
c
×
h
×
w
：
15.16.其中，f1×1为卷积核大小为1
×
1的卷积操作；
17.计算跨维度注意力机制的输出图像特征
[0018][0019]
使用最小绝对值偏差作为损失函数，优化训练过程，其中，最小绝对值偏差l1为：
[0020][0021]
其中，θ为跨维度注意力机制网络(cdan)的参数，lr是输入的低分辨率图像，是将lr进行s倍下采样后的图像。
[0022]
在上述的基于跨维度注意力机制的自监督单遥感图像超分辨率方法中，可选的是，所述将输入图像进行下采样，具体为：利用一张低分辨率遥感图像作为输入，进行s倍的下采样操作得到对应于输入图像的更低分辨率图像，其大小为构造出对于输入图像的匹配图像对。
[0023]
在上述的基于跨维度注意力机制的自监督单遥感图像超分辨率方法中，可选的是，所述提取图像的卷积特征，具体为：通过relu层、卷积层得到图像卷积特征。
[0024]
本发明实施例提供的技术方案带来的有益效果是：
[0025]
本发明实施例提供的一种基于跨维度注意力机制的自监督单遥感图像超分辨率方法，提出了一种新的图像超分辨率卷积神经网络——跨维度注意力机制引导网络，跨维度注意力机制引导网络是一种自监督超分辨率方法，利用单张图像内部的信息的可再现性，避免模型性能对于大规模训练数据集的依赖，通过将输入的图像进行下采样，组成自训练对，在训练过程中学习图像内部的自相似性和退化过程，然后将输入的低分辨率图像进行图像超分辨率重建。其次，还提出了跨维度注意力机制模块，通过对图片特征的通道与空间特征之间的相互依赖关系建模，考虑通道维度与空间维度之间的相互作用，通过学习得到通道与空间的特征权重，选择性地捕捉更多的信息特征，进而提高静态卷积神经网络的学习能力。
附图说明
[0026]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]
图1是本发明实施例提供的一种基于跨维度注意力机制的自监督单遥感图像超分辨率方法的流程示意图；
具体实施方式
[0028]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0029]
下面将结合附图1，对本发明实施例的一种基于跨维度注意力机制的自监督单遥感图像超分辨率方法进行详细说明。
[0030]
参考附图1所示，本发明实施例的一种基于跨维度注意力机制的自监督单遥感图像超分辨率方法包括：
[0031]
步骤110：将输入图像进行下采样；
[0032]
需要说明的是，理论上，低分辨率图像与高分辨率图像之间的关系表示为:
[0033]
i
lr
＝(i
hr
*k)
↓
s
+n
[0034]
其中，i
lr
表示低分辨率图像，i
hr
表示高分辨率图像，*表示卷积操作，k表示模糊核，
↓
s
表示s倍的下采样，n表示噪声，如散斑噪声、声波噪声。
[0035]
由于获取实际遥感图像时，其高分辨率图像i
hr
未知，模糊核k和噪声n不确定，没有可靠的成对数据集对网络进行训练。因此，利用一张低分辨率遥感图像作为输入，进行s倍的下采样操作得到对应于输入图像的更低分辨率图像，其大小为构造出对于输入图像的匹配图像对。使用大小的低分辨率图像作为训练过程的输入。
[0036]
步骤120：提取图像的卷积特征；
[0037]
需要说明的是，利用卷积神经网络提取训练过程输入的大小为的图像卷积特征，具体而言，通过relu层、卷积层得到图像卷积特征f∈r
c
×
h
×
w
，其中c为通道数，h和w为图像特征的高和宽。图像卷积特征f∈r
c
×
h
×
w
作为跨维度注意力机制模块(cdam)的输入。
[0038]
步骤130：计算通道特征和空间特征的权重，其中，图像卷积特征中不同通道的权值矩阵为t
c
：
[0039]
t
c
＝sigmoid(f1×1(relu(f1×1(avg(f)))))
[0040]
其中，f∈r
c
×
h
×
w
表示图像卷积特征；avg表示全局平均池化，f1×1表示卷积核大小为1
×
1的卷积操作；sigmoid表示激活函数；
[0041]
图像卷积特征中不同空间的权值矩阵为t
s
：
[0042]
t
s
＝sigmoid(f1×1(f))
[0043]
其中，f∈r
c
×
h
×
w
表示图像卷积特征；f1×1表示卷积核大小为1
×
1的卷积操作；
[0044]
需要说明的是，通过步骤120得到的卷积特征作为跨维度注意力机制模块(cdam)的输入，具体而言，跨维度注意力机制模块(cdam)分为两条支路，第一条支路将图像卷积特征f∈r
c
×
h
×
w
经过全局平均池化层，把图像卷积特征f∈r
c
×
h
×
w
的全局信息压缩到图片卷积特征的通道中，然后通过卷积层、relu层和sigmoid激活函数得到图片卷积特征中不同通道的权值矩阵t
c
∈r
c
×1×1；第二条支路，将图片卷积特征f∈r
c
×
h
×
w
经过卷积层和sigmoid激活函数得到具有不同空间信息的权值矩阵t
s
∈r1×
h
×
w
，通过以上建模过程得到通道注意力特征和空间注意力特征。
[0045]
步骤140：计算带有通道权重和空间权重的通道
‑
空间特征权重t∈r
c
×
h
×
w
：
[0046][0047]
其中，f1×1表示卷积核大小为1
×
1的卷积操作；
[0048]
需要说明的是，采用矩阵乘法将已经获得权重的通道特征和空间特征进行加权融
合，然后通过卷积层和sigmoid激活函数得到跨维度通道
‑
空间特征权重t∈r
c
×
h
×
w
。
[0049]
步骤150：计算跨维度注意力机制的输出图像特征
[0050][0051]
需要说明的是，采用元素乘法将图像的通道
‑
空间特征权重t与输入网络的卷积特征f进行融合，得到跨维度注意力机制模块的输出图像特征并作为后续的网络的输入。
[0052]
整个跨维度注意力机制模块对于输入图像特征的通道和空间特征信息进行联合学习，得到两者之间的相互依赖关系，建立了通道和空间特征信息的跨维度注意力机制模型，有效的得到了二者在整个图像特征中的注意力权重。这种针对图片的卷积神经网络利用了图像内部跨尺度信息重现的特点，不受到基于补丁方法的限制。
[0053]
步骤160：使用最小绝对值偏差作为损失函数，优化训练过程，其中，最小绝对值偏差l1为：
[0054][0055]
其中，θ表示跨维度注意力机制网络(cdan)的参数，lr表示输入的低分辨率图像，表示将lr进行s倍下采样后的图像。
[0056]
需要说明的是，训练过程具体而言，步骤110将输入图片根据超分辨率倍数s，缩小为通过跨维度注意力机制网络(cdan)，将大小为图片，超分辨率大小为lr的超分辨率图片。跨维度注意力机制网络(cdan)含有六个跨维度注意力机制模块(cdam)，跨维度注意力机制网络整体使用最小绝对值偏差l1作为损失函数，使真值i
lr
与预测值i'
lr
之间的误差最小，当学习率达到10
‑6时，整个训练过程结束。
[0057]
以上方法不需要额外大量的成对数据集对网络进行训练，输入图像经过下采样的图片可以视作lr，经过跨维度注意力机制网络，超分辨率得到的图片为sr，而输入图片可作为hr，利用最小绝对偏差l1作为网络的损失函数。基于这种方法，可以实现自监督超分辨率。尤其对于具有较多重复结构的遥感图像，通过六个跨维度注意力机制模块(cdam)，通过训练，使得跨维度注意力机制网络(cdan)学习图像内部的自相似性和退化过程，得到特定于输入图像的训练模型。
[0058]
训练结束后，将训练好的超分辨率模型进行测试，即将输入低分辨率图像i
lr
超分辨率为i
sr
(s
×
i
lr
)。
[0059]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。