一种面向多模态数据的遥感图像分类方法

本发明涉及图像处理和神经网络的技术领域，尤其涉及一种面向多模态数据的遥感图像分类方法。

背景技术：

遥感图像分类算法主要分为以下几类：无监督分类，主要是建立统计识别函数，根据典型样本训练方法进行分类的技术。非监督分类，以不同影像在特征空间中类别特征的差别为依据的一种无先验类别标准的图像分类，主要以集群理论为基础，代表性的如k-mean。神经网络图像分类法，主要通过模人脑神经元对信息进行加工、处理、储存、搜索的过程，此方法不需要进行任何统计分布的先验知识。模糊聚类分类法，主要以一种模糊数学的方法，对不确定性事物进行分析。决策树分类法，利用决策树分类法的树结构原则，定义每个分支，由上而下，根据各个类别的相似程度，逐级向上聚类的过程。专家系统分类法，主要是以专家的经验和是知识以某种形式形成知识库。支持向量机分类法，这是一种有监督的学习模型，通常应用于对对象进行模式识别，能够相对更好的平衡模型中的复杂性和学习能力。面向对象的分类法，通常用于解读高分辨率和纹理影像数据的纹理特征，通过与现实世界中建立关系以达到真正的相互匹配，并以此利用基于像元分类中几乎不可利用的背景信息。

现有的图像分类方法需要对目标图像进行人工特征描述和提取，难以解决了人工提取特征和分类器选择的难题。

技术实现要素：

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了一种面向多模态数据的遥感图像分类方法，解决了传统的多模态模型中没有明确的目标给模型去发现跨模态之间的相关性和只有一个模态用于监督训练和测试的问题。

为解决上述技术问题，本发明提供如下技术方案：包括，基于自步学习策略建立场景目标检测模型，并通过所述场景目标检测模型进行跨模态学习；基于搜索策略和所述场景目标检测模型构建深度网络检测模型，通过所述深度网络检测模型对多模态信息进行处理；基于所述深度网络检测模型与所述自步学习策略构建多任务学习模型，利用所述多任务学习模型对遥感图像进行分类。

作为本发明所述的面向多模态数据的遥感图像分类方法的一种优选方案，其中：建立所述场景目标检测模型包括，构建深度网络模型；基于强化学习设计优化策略a，对所述深度网络模型进行优化；基于所述自步学习策略设计优化策略b，对优化后的深度网络模型进行正则化处理，生成所述场景目标检测模型；其中，所述深度网络模型由n个流构成，即为n个图像信息、n个音频信息和n个文本信息，每个流都由6个层组成，分别是1个输入层、4个中间层和1个输出层。

作为本发明所述的面向多模态数据的遥感图像分类方法的一种优选方案，其中：所述优化策略a包括，在数据生成阶段，利用q网络与数据所在的网络环境进行交互；通过所述深度网络模型观察当前数据网络层，并使用ε-贪心算法进行检测和优化；在训练阶段，所述深度网络模型会利用存储在重放记忆m中的数据来对网络进行训练，更新模型参数。

作为本发明所述的面向多模态数据的遥感图像分类方法的一种优选方案，其中：所述优化策略b包括，定义目标函数如下：

通过目标函数对所述优化后的深度网络模型进行所述正则化处理，使所述优化后的深度网络模型稀疏，进而获得所述场景目标检测模型；

其中，xi,yi∈r^m为双时相遥感图像中的对应像素，m为频带数，n为像素总数，x和y是融入专家知识后的筛选后的像素区域，ω为权值，t为矩阵的转置，i为像素区域的横坐标，j为像素区域的纵坐标。

作为本发明所述的面向多模态数据的遥感图像分类方法的一种优选方案，其中：构建所述深度网络检测模型包括，通过设计深度网络检测模型的强化学习机制和优化策略，训练场景目标检测模型的参数；设计深度网络检测模型特征的降维算法，以求取卷积后的高层特征v的投影矩阵。

作为本发明所述的面向多模态数据的遥感图像分类方法的一种优选方案，其中：所述强化学习机制和优化策略包括，定义y为深度网络检测模型检测到的窗口，窗口y的数据分布p(y)如下式：

根据下式固定所述深度网络检测模型被降解的底层分布，使得所述窗口y的数据分布p(v)达到最优：

逐层训练深度网络检测模型的模型参数，获得概率分布如下：

其中，x为继续贝叶斯降解后的低层特征，q(x)为图像信息、音频信息和文本信息上的经验分布，p(y|v)为深度网络检测模型被降解的底层分布，p(v)为深度网络检测模型被降解高层的分布；p(s|v)为卷积后的高层特征分布；s为层数，yvisi代表p(y|v，s)，α代表映射关系，i表示具体的层数，k,j∈n且k≠j，k和j表示n层中随机两层之间的关系，表示层sⁱ⁺¹和sⁱ之间的相关性，是投票函数和其他部分之间的相关性的权值，和表示偏置项。

作为本发明所述的面向多模态数据的遥感图像分类方法的一种优选方案，其中：所述降维算法包括，利用同类样本的稀疏表示构造图，通过所述构造图描述样本间的稀疏重构关系；基于所述稀疏重构关系，利用非参数离差矩阵来提取类间鉴别信息；通过求解广义特征值问题求得所述卷积后的高层特征v的投影矩阵。

作为本发明所述的面向多模态数据的遥感图像分类方法的一种优选方案，其中：构建所述多任务学习模型包括，基于所述深度网络检测模型与所述自步学习策略搭建卷积神经网络框架；基于卷积神经网络框架建立多尺度轻量化的深度学习模型，对所述遥感图像进行多阶段检测；建立基于强化学习与自步学习的优化控制策略，引导所述多尺度轻量化的深度学习模型完成遥感图像样本的学习。

作为本发明所述的面向多模态数据的遥感图像分类方法的一种优选方案，其中：所述多尺度轻量化的深度学习模型包括，通过所述深度网络模型检测后生成大量的候选检测窗口；利用带标记的场景样本训练所述深度网络模型，提取网络中每一个卷积层的特征，并将特征进行级联；利用基于决策树的级联adaboost分类器对所述每一个卷积层的特征分别进行训练，将第一个卷积层得到的特征送入k1个弱分类器，通过第二个卷积层训练k2个弱分类器，若网络中共有n个卷积层，则训练得到n个分类器模型h(x)，即多尺度轻量化的深度学习模型：

其中，x表示候选窗口样本，表示在第i个卷积层上的第j个弱分类器。

作为本发明所述的面向多模态数据的遥感图像分类方法的一种优选方案，其中：所述优化控制策略包括，将数据网络层的属性特征加入到奖赏函数中，通过奖赏塑形策略丰富属性特征包含的信息量。

本发明的有益效果：本发明结合深度学习的训练方法与优化方法构建多任务学习模型，通过多任务学习模型实现遥感图像的准确分类，并且多任务学习模型的误差损失较小。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述的一种面向多模态数据的遥感图像分类方法的深度网络模型结构示意图；

图2为本发明第二个实施例所述的一种面向多模态数据的遥感图像分类方法的帕维亚中心的遥感数据示意图；

图3为本发明第二个实施例所述的一种面向多模态数据的遥感图像分类方法的帕维亚中心遥感图片的标注数据示意图；

图4为本发明第二个实施例所述的一种面向多模态数据的遥感图像分类方法的帕维亚大学的遥感数据示意图；

图5为本发明第二个实施例所述的一种面向多模态数据的遥感图像分类方法的帕维亚大学遥感图片的标注数据示意图；

图6为本发明第二个实施例所述的一种面向多模态数据的遥感图像分类方法的alexnet模型训练的损失函数与精度曲线示意图；

图7为本发明第二个实施例所述的一种面向多模态数据的遥感图像分类方法的训练损失函数与精度曲线示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1，为本发明的第一个实施例，该实施例提供了一种面向多模态数据的遥感图像分类方法，包括：

s1：基于自步学习策略建立场景目标检测模型，并通过场景目标检测模型进行跨模态学习。

需要说明的是，自步学习策略是在每次迭代过程中倾向于从所有样本中选择具有很小的训练误差、高似然值的样本，然后更新模型参数；每次迭代选择样本的数量由权重参数确定，该参数通过逐次衰减实现引入更多的样本，当所有样本已被选择或者代价函数无法再降低则停止迭代。

建立场景目标检测模型的步骤如下：

(1)构建深度网络模型；

参照图1，本实施例面向多模态构建的深度网络模型由n个流(stream)构成，即为n个图像信息、n个音频信息和n个文本信息，这n个流的结构是完全相同的，每个流都由6个层组成，分别是1个输入层、4个中间层和1个输出层。

(2)基于强化学习设计优化策略a，对深度网络模型进行优化；

传统的多模态模型存在两个问题，第一，没有明确的目标提供给模型去发现跨模态间的相关性；第二，在跨模态学习布置中只有一个模态用于监督训练和测试，这样的模型显得很笨拙；因此，本实施例基于强化学习设计优化策略a，对深度网络模型进行优化。

具体的，优化策略a如下：

①在数据生成阶段，利用q网络与数据所在的网络环境进行交互；

需要说明的是，q网络(deppq-network，dqn)是一个深度强化学习算法，其利用神经网络对图像的强大的表征能力，把视频帧数据作为强化学习中的状态，并作为神经网络模型的输入；随后神经网络模型输出每个动作对应的价值(q值)，得到要执行的动作。

此处的数据为图像信息、音频信息和文本信息。

②通过深度网络模型观察当前数据网络层，并使用ε-贪心算法进行检测和优化；

ε-贪心算法基于一个概率来对探索和利用进行折中：每次尝试时以ε的概率进行探索，以1-ε的概率进行利用。

③在训练阶段，深度网络模型会利用存储在重放记忆m中的数据来对网络进行训练，更新模型参数。

假设超参数n表示经历重放的数量，对于每一次经历重放，都会从有限大小的重放记忆m中随机采样出一个包含若干次交互经历的迷你缓存器b；该深度网络模型会在从缓存器b中采样进行训练，该深度网络模型的参数会在贝尔曼目标的方向上迭代式地更新。

(3)基于自步学习设计优化策略b，对优化后的深度网络模型进行正则化处理，生成场景目标检测模型；

优化策略b如下：

①定义目标函数如下：

其中，xi,yi∈r^m为双时相遥感图像中的对应像素，m为频带数，n为像素总数，x和y是融入专家知识后的筛选后的像素区域，ω为权值，t为矩阵的转置，i为像素区域的横坐标，j为像素区域的纵坐标；

②通过目标函数对优化后的深度网络模型进行正则化处理，使优化后的深度网络模型稀疏，进而获得场景目标检测模型。

正则化是对最小化经验误差函数上加约束，这样的约束可以解释为先验知识(正则化参数等价于对参数引入先验分布)。

s2：基于搜索策略和场景目标检测模型构建深度网络检测模型，通过深度网络检测模型对多模态信息进行处理。

根据以下步骤搭建深度网络检测模型：

(1)通过设计深度网络检测模型的强化学习机制和优化策略，训练场景目标检测模型的参数；

(2)定义y为深度网络检测模型检测到的窗口，从概率的角度，可以得到窗口y的数据分布p(y)，如下式：

其中，v为卷积后的高层特征，x为继续贝叶斯降解后的低层特征，q(x)为图像信息、音频信息和文本信息上的经验分布，p(y|v)为深度网络检测模型被降解的底层分布，p(v)为深度网络检测模型被降解高层的分布；

(3)通过设置p(y|v,s)根据下式固定深度网络检测模型被降解的底层分布，使得窗口y的数据分布p(v)达到最优；

若分层训练的话，通过固定p(v|y)，仅仅能够学习到先验p(v)，当p(v|y)没有保留数据的全部特征的时候，这个先验值将不是最优的，因此拟p(y|v,s)来实现p(v|y)：

其中，p(s|v)为卷积后的高层特征分布；s为层数，yvisi代表p(y|v，s)；

(4)逐层训练深度网络检测模型的模型参数，获得概率分布如下：

其中，α代表映射关系，i表示具体的层数，k,j∈n且k≠j，k和j表示n层中随机两层之间的关系，表示层sⁱ⁺¹和sⁱ之间的相关性，是投票函数和其他部分之间的相关性的权值，和表示偏置项。

(2)设计深度网络检测模型特征的降维算法，以求取卷积后的高层特征v的投影矩阵。

深度网络检测模型特征的降维算法如下：

(1)利用同类样本的稀疏表示构造图，通过构造图描述样本间的稀疏重构关系；

(2)基于稀疏重构关系，利用非参数离差矩阵来提取类间鉴别信息；

(3)通过求解广义特征值问题求得卷积后的高层特征v的投影矩阵。

通过广义特征值问题：xsx′w＝rxx′w，计算特征向量，获得最优投影矩阵w；其中r是特征值。

s3：基于深度网络检测模型与自步学习策略构建多任务学习模型，利用多任务学习模型对遥感图像进行分类。

根据下列步骤构建多任务学习模型：

(1)基于深度网络检测模型与自步学习策略搭建卷积神经网络框架；

首先通过运用滑动窗口对测试样本进行多尺度多范围的扫描检测，以确定基于遥感数据的场景密度等级分类层的参数；第一阶段的深度网络模型为目标类别估计的基本框架，采用无监督学习的优化pcanet网络结构，将原先的直方图处理以及哈希编码替换为最大池化以及最小池化过程，用传统的手工通道特征作为网络的第一层，主要包括颜色通道、梯度幅值通道以及梯度直方图通道，然后在每个特征通道对样本图像用pca正交变换方法得到每个特征通道的滤波器核，将滤波器核与特征通道图进行卷积以及池化过程，得到最终粗精度的结果；本实施例通过训练一个基于决策树的级联分类器，作为深度网络检测模型，该层网络中滤波器的学习是使用标准的正交变换方法，在每个特征通道上最小化正交向量的重构误差：

其中的v由主特征向量构成，通过对v进行转换，得到每个特征通道上的滤波器核。主特征向量能够表达通道特征图中的主要信息，有利于用网络模型提取更高层次的特征；较佳的是，本实施例搭建的卷积神经网络框架为精细化检测提供了基础。

(2)基于卷积神经网络框架建立多尺度轻量化的深度学习模型，对遥感图像进行多阶段检测；

具体的，建立多尺度轻量化的深度学习模型的步骤如下：

①通过深度网络模型检测后生成大量的候选检测窗口；

②利用带标记的场景样本训练深度网络模型，提取网络中每一个卷积层的特征，并将特征进行级联；

③利用基于决策树的级联adaboost分类器对每一个卷积层的特征分别进行训练，将第一个卷积层得到的特征送入k1个弱分类器，通过第二个卷积层训练k2个弱分类器，若网络中共有n个卷积层，则训练得到n个分类器模型h(x)，即多尺度轻量化的深度学习模型：

其中，x表示候选窗口样本，表示在第i个卷积层上的第j个弱分类器。

(3)建立基于强化学习与自步学习的优化控制策略，引导多尺度轻量化的深度学习模型由易到难地学习遥感图像样本，完成遥感图像样本的学习。

本实施例利用pointwiseltr(learningtorank)对遥感数据进行了一些对比实验，发现pointwiseltr这种直接在密度图特征上进行学习的方式在求取策略梯度的时候，能够将不同排序策略更为显著地区分开；因此，本实施例将场景目标的一些属性特征加入到奖赏函数的定义中，通过奖赏塑形(rewardshaping)的方法丰富其包含的信息量；同时将反馈机制引入到多任务学习模型中，利用后验概率对估计结果的关系建立一套反馈条件，从而引导模型由易到难的选择性学习样本，最终学习完整的数据。

其中需要说明的是，样本的选择并不是随机的，是在一次迭代中全部纳入训练过程中，通过一种由简到难的有意义的方式进行选择的，选择简单的样本，即选择损失小的样本，也就是在线性回归问题中和模型间距离近的样本。

实施例2

为了对本方法中采用的技术效果加以验证说明，本实施例选择alexnet模型和采用本方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。

alexnet模型的模型参数庞大，需要耗费大量计算时间，训练过程中容易产生梯度消失。

为验证本方法相对alexnet模型具有较高的遥感图像分类精度，本实施例中将采用alexnet模型和本方法分别对遥感图像进行分类对比。

本实施例选用帕维亚中心和大学(paviacentreanduniversity)的数据集，该数据集是在飞往意大利北部的帕维亚途中，感应器拍摄到的现场；选用8类图像(水，树，沥青，阻挡效应砖，瓷砖，阴影，草地，裸露的土壤)，每类30张，实验前需要将图像进行裁剪，将其裁剪为227*227大小的图片；丢弃一些模糊、不具代表性的图片；并设置模型的学习率为0.0001。

实验环境：处理器：intel(r)core(tm)i7-8550ucpu@1.80ghz1.99ghz软件环境：tensorflow、python。

使用帕维亚中心和大学数据集对alexnet模型和本方法构建的多任务学习模型进行训练与分类；将训练后的损失函数与精度(类精度、平均精度)，使用相应的评估系数进行分析对比；

类精度(accuracy)为：

平均精度(averageaccuracy，aa)为：

其中，类精度表示每一类正确分类的像素的概率；平均精度表示分类精度的平均值。

alexnet模型获得的训练损失与精度如图6所示，本方法获得的训练损失与精度如图7所示，可以得到，本方法训练数据集的分类精度可以达到95％左右，而测试数据集的分类精度也可以达到93％左右，与训练数据集的精度非常接近；且训练数据集的损失误差几乎只有2％左右，测试数据集的损失误差也只有10％。

综合实验结果可得，本方法构建的多任务学习模型的分类精度高于alexnet模型，并且误差损失也比alexnet模型小。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。