基于综合特征表示的遥感图像场景分类方法与流程

1.本发明属于遥感图像场景分类技术领域，尤其涉及基于综合特征表示的遥感图像场景分类方法。


背景技术：

2.目前，图像分类和识别主要任务是学习和判断图像中是否包含某种特定的目标内容(物体或者场景等)，并依据其内容信息进行多类单标签或者多类多标签的分类和识别。该技术已经在科技研究、工业和经济发展、国家安全和日常生活等得到了一定的发展和应用，并起着至关重要的作用。比如，在人机交互、生物医学工程、航天航空技术、公安司法以及文化艺术等领域的实际应用，极大的改变了现代人们工作和生活的方式，同时也促进了人类社会的进步。
3.目前，图像分类识别技术研究正向着高级语义理解和现实生活领域应用的方向不断扩展。而图像分类识别技术研究离不开图像或者视频数据，获取大量有效的图像数据集变得尤为重要。由于图像数据信息含有丰富的语义信息，探索图像特征表示和分类方法对图像的分类识别特别关键。
4.图像分类识别是基于机器学习算法的分类器学习提取到的特征信息描述，从而获得区分目标类别的能力；一般采用的分类方法有基于概率统计的分类器、集合分类器和神经网络分类器等。整个图像分类和识别算法的构建是根据采集数据的类型情况和数据预处理的需求规定，而整个分类识别框架性能的高低取决于图像特征的提取和分类识别的能力。因此，如何设计有效获取丰富的图像特征信息与强力判别能力的分类器是图像分类识别算法的研究重点。
5.深度学习及卷积神经网络(convolutional neural networks,cnn)的发展，使图像分类告别了手动提取特征的阶段。然而，极深的cnn会导致梯度消失和过拟合，阻碍图像分类模型的学习进程，影响图像分类准确性。早期的研究主要采用初始化方法和层次训练来缓解梯度消失问题。激活函数relu的应用同样可以缓解梯度消失问题。
6.现有技术中，对遥感图像的特征一般都只利用其图像的原始特征，对分类器的设计也缺少更加精细化和针对性的设计，导致遥感图像场景分类效果并不太满意。


技术实现要素：

7.有鉴于此，提供一种综合特征表示和相应的的遥感图像场景分类器模型，是解决现有技术问题的关切点。本发明的目的在于提供一种基于综合特征表示的遥感图像场景分类方法，所述方法充分利用遥感图像的原始特征和衍生变换出来的频率特征，融合成为遥感图像的综合特征表示，并在综合特征表示的基础上，设计出包括结合残差模块的卷积神经网络和融合注意力机制的lstm网络的遥感图像场景分类模型，使得遥感图像场景分类效果更加精准。
8.本发明的目的是这样实现的，基于综合特征表示的遥感图像场景分类方法，包括
以下步骤：
9.从遥感影像图像数据中获取图像原始特征；
10.采用离散傅里叶变换获取影像图像数据的频率特征；
11.融合图像原始特征和频率特征，获得综合特征表示；
12.构建基于综合特征表示的遥感图像场景分类模型，并进行模型训练；
13.采用训练后的遥感图像场景分类模型进行遥感图像场景分类；
14.所述的遥感图像场景分类模型包括结合残差模块的卷积神经网络和融合注意力机制的lstm网络，所述的结合残差模块的卷积神经网络包括第一卷积层、第二卷积层、第三卷积层、leaky relu层和池化层，各层按序串联之后与残差模块并联，所述的融合注意力机制的lstm网络包括第一lstm层、第二lstm层和第三lstm层，三层lstm层按序串联，三层lstm层分别输出至第一注意力层、第二注意力层和第三注意力层，三层注意力层融合成遥感图像特征编码，将所述的特征编码输入softmax层进行分类；
15.所述的结合残差模块的卷积神经网络的输入为所述的综合特征表示，其输出为所述的融合注意力机制的lstm网络的输入，即为第一lstm层的输入。
16.具体地，所述的采用离散傅里叶变换将获取影像图像数据的频率特征包括以下步骤：
17.步骤201，获取图像数据矩阵f(m,n)，其中，0≤m≤m-1，0≤n≤n-1，m
×
n为图像大小；
18.步骤202，利用图像数据矩阵进行离散傅里叶变换计算，计算公式为：其中f(x,y)为频率变量值，x＝0,1,2
…
m-1，y＝0,1,2
…
n-1，dft表示离散傅里叶变换；
19.步骤203，利用核方法在核空间提取图像数据的频率特征；
20.所述的融合图像原始特征和频率特征采用拼接融合，即将频率特征向量拼接在对应的原始特征向量后面，融合成综合特征表示向量。
21.进一步地，将所述的综合特征表示向量序列输入所述的卷积神经网络后，则卷积核在特征序列中第j个位置的输出为：
[0022][0023]
其中，w为卷积神经网络的权重矩阵，b为偏移量，f为leaky relu激活函数，xj为综合特征表示向量。
[0024]
优选地，所述的池化层采用最大池化操作。
附图说明
[0025]
图1本发明遥感图像场景分类流程示意图；
[0026]
图2本发明遥感图像场景分类模型的结构示意图。
具体实施方式
[0027]
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基
于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
[0028]
卷积神经网络在图像分类任务中的性能与网络深度存在重要关系。网络越深，网络拟合复杂模型的能力越强。但深度卷积神经网络在训练中主要存在两方面的问题，制约着图像分类的性能：梯度消失和过拟合问题。
[0029]
研究发现网络模型层数越多，网络越复杂，网络的拟合能力就越强。但是，图像分类的效果并不随着网络层数的加深而效果越好。构建深层的神经网络可以使得网络学到不同抽象程度的概念，但随着深度的增加不同层的学习速率会出现显著差异，当输出层附近的学习速率比较合适时，前面的层会产生学习速率太慢，甚至会被困住，即出现严重的梯度消失问题。
[0030]
在图像分类模型训练的过程中，如果不能使用足量的训练数据对模型进行训练，换言之，整个数据的分布无法通过训练数据完全估计时；或者模型受到过度训练时，模型经常会产生过拟合现象。随着模型训练的进行，模型中参数不断更新，这一过程会使得模型的复杂度增加。训练过程可以使训练集上得到的训练误差逐渐降低。但是在模型的复杂度达到某一阈值之后，模型在测试集上的误差反而随着模型的复杂度升高而升高，此时过拟合现象产生，即模型的复杂度增加，但是该模型在除训练集之外的数据集上却没有效果。
[0031]
所以，本发明实施例提供了基于综合特征表示的遥感图像场景分类方法，如图1所示，包括以下步骤：
[0032]
从遥感影像图像数据中获取图像原始特征；
[0033]
采用离散傅里叶变换获取影像图像数据的频率特征；
[0034]
融合图像原始特征和频率特征，获得综合特征表示；
[0035]
构建基于综合特征表示的遥感图像场景分类模型，并进行模型训练；
[0036]
采用训练后的遥感图像场景分类模型进行遥感图像场景分类。
[0037]
如图2所示，所述的遥感图像场景分类模型包括结合残差模块的卷积神经网络和融合注意力机制的lstm网络，所述的结合残差模块的卷积神经网络包括第一卷积层、第二卷积层、第三卷积层、leaky relu层和池化层，各层按序串联之后与残差模块并联，所述的融合注意力机制的lstm网络包括第一lstm层、第二lstm层和第三lstm层，三层lstm层按序串联，三层lstm层分别输出至第一注意力层、第二注意力层和第三注意力层，三层注意力层融合成遥感图像特征编码，将所述的特征编码输入softmax层进行分类；所述的结合残差模块的卷积神经网络的输入为所述的综合特征表示，其输出为所述的融合注意力机制的lstm网络的输入，即为第一lstm层的输入。
[0038]
本实施例中并没有对具体的残差结构进行具体限定，是因为现有的残差结构几乎都具备避免学习梯度消失和训练性能退化的问题，只要能够适用于图像处理的残差结构或模块，均可以用于本实施例或者本发明方法中。
[0039]
具体地，所述的采用离散傅里叶变换将获取影像图像数据的频率特征包括以下步骤：
[0040]
步骤201，获取图像数据矩阵f(m,n)，其中，0≤m≤m-1，0≤n≤n-1，m
×
n为图像大小；
[0041]
步骤202，利用图像数据矩阵进行离散傅里叶变换计算，计算公式为：
其中f(x,y)为频率变量值，x＝0,1,2
…
m-1，y＝0,1,2
…
n-1，dft表示离散傅里叶变换；
[0042]
步骤203，利用核方法在核空间提取图像数据的频率特征。
[0043]
由上述步骤可知，本实施例中的频率特征实际上是从原始特征中衍生出来，所述的频率特征不但与当前像素点的原始特征有关，而且和上下文的原始特征相关，所以该频率特征实际上也是一种结合上下文信息的特征，这正好符合遥感图像上下文具备一定关联性的基本特性，所以该频率特征所包含的信息对于图像分类具有非常好的物理意义。
[0044]
所述的融合图像原始特征和频率特征采用拼接融合，即将频率特征向量拼接在对应的原始特征向量后面，融合成综合特征表示向量。
[0045]
进一步地，将所述的综合特征表示向量序列输入所述的卷积神经网络后，则卷积核在特征序列中第j个位置的输出为：
[0046][0047]
其中，w为卷积神经网络的权重矩阵，b为偏移量，f为leaky relu激活函数，xj为综合特征表示向量。
[0048]
优选地，所述的池化层采用最大池化操作。
[0049]
本发明的有益效果：综合利用遥感图像的原始特征和衍生的频率特征，原始特征与频率特征互补，使得信息利用效果更好，实现更加高效精准的场景分类能力；设计了结合残差模块的卷积神经网络，能够有效地避免卷积神经网络能够的梯度爆炸和消失的情况，使得模型的训练效能更好，同时在三层lstm中分别加入注意力机制层，使得综合特征表示的利用更加全面，以上三个方面综合提升了本发明方法的遥感图像场景分类能力。
[0050]
上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。