一种基于多模态深度学习的遥感影像分类方法
【专利摘要】本发明公开了一种基于多模态深度学习的遥感影像分类方法，该方法包括以下步骤：首先构建多模态遥感影像数据样本集，包括不同成像原理的多模态遥感影像；基于不同的数据模态，构建数据模态敏感的特征学习深度网络，采用不同模态数据分别训练相应的特征学习深度网络；建立模态间特征关联模型生成关联共享特征并训练；采用测试样本集输入训练微调后的多模态深度网络，实现遥感影像精准分类。其优点表现在：有效利用多源遥感影像，挖掘模态间互补、合作信息，整个过程自动进行，减少了人工投入与主观人为因素导致的分类精度低，提高了分类精度。
【专利说明】
一种基于多模态深度学习的遥感影像分类方法
技术领域
[0001] 本发明涉及图像处理技术领域，具体地说，是一种基于多模态深度学习的遥感影 像分类方法。
【背景技术】
[0002] 分类是遥感影像分析应用的重要基础。"星机地"立体观测网基于多平台、多谱段、 多通道对海洋的连续观测，催生了多尺度、多时相、多方位和多层次海洋遥感影像，为精确 描述地物提供了更加丰富的数据信息。多源遥感影像间存在信息的互补与合作，利用两种 或两种以上遥感数据源提取信息，能够获得比单独使用其中任意一种遥感数据源更高的提 取精度。因此，丰富可用的多源遥感影像为影像高精度分类提供了可能。
[0003] 传统方法分类精度不高主要由两方面原因：一方面主要针对特定的遥感影像，通 过人工特征设计，选择合适的分类算法实现地物分类，人工提取底层特征无法精确表达地 面对象；另一方面，现有多源遥感影像分类方法多采用前期融合(像素级融合和特征级融 合)或后期融合(决策级融合），缺乏对多源遥感影像间的潜在互补、合作信息的挖掘。
[0004] 因此，如何通过特征学习逐级抽取获得遥感影像的高层特征，并对多源遥感影像 间的互补、合作与冗余信息进行有效关联，进而获得高层关联共享特征，是实现遥感影像精 准分类的核心。
【发明内容】
[0005] 本发明的目的是针对现有技术中的不足，提供一种基于多模态深度学习的遥感影 像分类方法，解决人工提取低层特征和单模态数据蕴含信息局限导致分类精度低的问题， 通过特征学习逐级抽取获得遥感影像的高层特征，并对多源遥感影像间的互补、合作与冗 余信息进行有效关联，进而获得高层关联共享特征，实现遥感影像精准分类。
[0006] 为实现上述目的，本发明采取的技术方案是：
[0007] -种基于多模态深度学习的遥感影像分类方法所述方法包括如下步骤：
[0008] 步骤1:构建多模态样本集，根据不同数据模态，分别设计不同数据模态下遥感影 像的大小；
[0009] 步骤2:基于不同数据模态，建立模态内特征学习深度网络模型，采用多模态样本 集进行训练；
[0010] 步骤3:构建遥感影像模态间特征分级关联模型，采用多模态样本集进行训练；
[0011] 步骤4:将测试样本集输入训练微调后的多模态深度网络，实现遥感影像精准分 类。
[0012] 进一步地，该方法包括特征学习与特征关联两部分，其中，特征学习中针对不同模 态数据，其深度网络模型均采用卷积神经网络，样本大小依据不同成像原理设计。
[0013] 进一步地，所述方法步骤1中的样本集包括不同数据模态，且每个数据模态的样本 大小依据其空间、光谱分辨率成像原理的不同，设计不同的大小。
[0014]进一步地，所述方法步骤2中的模态内特征学习深度网络包括：
[0015] (1)遥感影像模态内特征学习网络模型构建，不同成像原理的遥感影像蕴含信息 具有显著差异，针对不同模态遥感影像，其特征学习网络不同；
[0016] (2)依据不同数据模态，构建相应的深度学习网络，采用适合于数据模态的参数初 始化方法，基于多模态样本集训练模态敏感的参数组合。
[0017] 进一步地，所述方法步骤3中的模态间特征关联模型对模态间特征进行分级关联， 主要包括：
[0018] (1)不同数据模态间进行模态内特征学习时的复杂性具有显著差异，且仅依据高 层特征对不同模态间特征进行关联会丢失模态内部特有的性质或在较低层表现出来的共 享特征，设计模态间特征分级关联共享优化策略；
[0019] (2)针对多模态深度学习中手工标记训练样本的低效性，采用非监督方法对模态 间共享关联特征进行学习，基于高斯-伯努利受限玻尔兹曼机对多模态特征进行关联；
[0020] (3)基于最小信息距离对多模态复杂网络模型的模态缺失生成方法进行研究，增 强模型的泛化能力与扩展性。
[0021] 进一步地，所述方法步骤3中的模态间分级关联策略为：
[0022] (1)依据模态内特征学习速度，将模态内特征学习深度较浅的相近数据模态进行 优先关联，从而提尚t旲态间特征关联表达速度；
[0023] (2)从模态内的中级特征开始关联，逐层向上贪婪学习，将多数据模态关联转化为 双模态关联，简化模态间特征关联的复杂性。
[0024]本发明优点在于：
[0025] 1、本发明一种基于多模态深度学习的遥感影像分类方法，不仅构建了单模态下遥 感影像特征逐级抽象表达模型，同时提出了多模态间的分级特征关联模型，为有效利用多 源遥感影像，挖掘模态间互补、合作信息，整个过程自动进行，减少了人工投入与主观人为 因素导致的分类精度低，提高了分类精度。
[0026] 2、基于多模态深度学习理论构建多源遥感影像分类模型，通过逐层抽象单模态遥 感影像高层特征，并采用特征关联获取表达更全面、更准确的高层联合特征，进而实现遥感 影像的精准分类；
[0027] 3、具有较强可扩展，适用于遥感影像分类
【附图说明】
[0028] 附图1本发明所设计的分类流程图。
[0029] 附图2本发明的分类模型框架图。
[0030] 附图3为模态内特征学习网络示意图。
【具体实施方式】
[0031] 下面结合附图对本发明提供的【具体实施方式】作详细说明。
[0032] 本发明一种基于多模态深度学习的遥感影像分类方法，如图1所示，包括以下步 骤：
[0033] 步骤1:构建多模态样本集，根据不同数据模态，分别设计不同数据模态下遥感影 像的大小；
[0034] 样本集包括不同数据模态，且每个数据模态的样本大小依据其空间、光谱分辨率 等成像原理的不同，设计不同的大小。
[0035] 具体地，针对同一待分类的地表对象，以两种数据模态为例，两种遥感影像的空间 分辨率分别为h，h'，设置分辨率h的遥感影像样本大小为NXN，则分辨率h'的样本大小应为
[0036]步骤2:基于不同数据模态，建立模态内特征学习深度网络模型，采用多模态样本 集进行训练；
[0037]其中，模态内特征学习深度网络包括：
[0038] (1)遥感影像模态内特征学习网络模型构建，不同成像原理的遥感影像蕴含信息 具有显著差异，因此，针对不同模态遥感影像，其特征学习网络不同；
[0039] (2)依据不同数据模态，构建相应的深度学习网络，采用适合于数据模态的参数初 始化方法，基于多模态样本集训练模态敏感的参数组合；
[0040] 具体地，依据遥感影像提供信息量的大小，构建不同结构的特征学习深度网络模 型。遥感影像中地面对象分布具有空间相关性，采用局部连接的模型结构，并考虑降低模型 计算的复杂度，构建深度卷积神经网络模型（Convolutional Neural Network,CNN)进行模 态内特征学习，样本大小依据不同成像原理设计，其详细结构如图3所示。
[0041]在模态内特征学习过程中，依据数据模态与特征学习网络对激活函数的敏感度选 取激活函数，其中，常用的激活函数有：
[0043]步骤3:构建遥感影像模态间特征分级关联模型，采用多模态样本集进行训练； [0044]模态间特征关联模型对模态间特征进行分级关联，主要包括：
[0045] (1)不同数据模态间进行模态内特征学习时的复杂性具有显著差异，且仅依据高 层特征对不同模态间特征进行关联会丢失模态内部特有的性质或在较低层表现出来的共 享特征，因此设计模态间特征分级关联共享优化策略；
[0046] (2)针对多模态深度学习中手工标记训练样本的低效性，本发明采用非监督方法 对模态间共享关联特征进行学习，基于高斯-伯努利受限玻尔兹曼机对多模态特征进行关 联；
[0047] (3)为增强模型的泛化能力与扩展性，基于最小信息距离(Minimum Variation of Information，MinVI)对多模态复杂网络模型的模态缺失生成方法进行研究；
[0048]具体地，模态间分级关联策略为：
[0049] (1)依据模态内特征学习速度，将模态内特征学习深度较浅的相近数据模态进行 优先关联，从而提尚t旲态间特征关联表达速度；
[0050] (2)从模态内的中级特征开始关联，逐层向上贪婪学习，将多数据模态关联转化为 双模态关联，简化模态间特征关联的复杂性；
[0051] 具体地，模态间特征关联模型采用高斯-伯努利分布的受限玻尔兹曼机 (Gaussian-Bernoulli Restricted Boltzmann Machine，GBRBM)实现模态间关联信息的挖 掘。高斯-伯努利分布将二进制节点转换为具有高斯分布的节点。在多模态GBRBM中，可见层 与隐含层的联合概率为：
[0053]其能量函数为：
(4)
[0055]其中是归一化项，.reR''! eR''为两个可见层输入特征变量，hG{〇，l}k，是隐含 层变量，，W'w f ，定义了x与h，5^h的权值Y eRv、c' 为偏差矢 量。如图2所示，在分级关联时可见层有三个输入变量(例如，Lf1山此时的能量函 数E需要增加对应于第三个输入变量的相应项。
[0056] 具体地，为增强模型的扩展性和鲁棒性，基于最新信息距离(Minimum Variation of Information，MinVI)对多模态复杂网络模型的模态缺失生成方法进行研究，其中，信息 距离由VI表示，模态间最小信息距离如公式(5)所示。
[0057] minr' = - EPD(X.r,[!0§Pe(X \ Y) + log P0(Y \ X)] ( g)
[0058]其中，X，Y表示两个模态随机变量，PD (X，Y)为由数据生成的联合分布，Pe (X | Y)表示 参数为的条件概率分布，rVI(0)表示在PD上的期望。当l〇gPe(X|Y)和logPe(Y|X)最大值时， 信息距离VI最小，此时X在Y条件下的信息熵最小，Y在X条件下的信息熵也最小。对于多个数 据模态，如三个数据模态的变量X，Y，Z，同时使VI (X，Y)，VI (X，Z)，VI (Y，Z)的值最小。
[0059]以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为 本发明的保护范围。
【主权项】
1. 一种基于多模态深度学习的遥感影像分类方法，其特征在于，所述方法包括如下步 骤： 步骤1:构建多模态样本集，根据不同数据模态，分别设计不同数据模态下遥感影像的 大小； 步骤2:基于不同数据模态，建立模态内特征学习深度网络模型，采用多模态样本集进 行训练； 步骤3:构建遥感影像模态间特征分级关联模型，采用多模态样本集进行训练； 步骤4:将测试样本集输入训练微调后的多模态深度网络，实现遥感影像精准分类。2. 根据权利要求1所述的基于多模态深度学习的遥感影像分类方法，其特征在于，该方 法包括特征学习与特征关联两部分，其中，特征学习中针对不同模态数据，其深度网络模型 均采用卷积神经网络，样本大小依据不同成像原理设计。3. 根据权利要求1所述的基于多模态深度学习的遥感影像分类方法，其特征在于，所述 方法步骤1中的样本集包括不同数据模态，且每个数据模态的样本大小依据其空间、光谱分 辨率成像原理的不同，设计不同的大小。4. 根据权利要求1所述的基于多模态深度学习的遥感影像分类方法，其特征在于，所述 方法步骤2中的模态内特征学习深度网络包括： (1) 遥感影像模态内特征学习网络模型构建，不同成像原理的遥感影像蕴含信息具有 显著差异，针对不同模态遥感影像，其特征学习网络不同； (2) 依据不同数据模态，构建相应的深度学习网络，采用适合于数据模态的参数初始化 方法，基于多模态样本集训练模态敏感的参数组合。5. 根据权利要求1所述的基于多模态深度学习的遥感影像分类方法，其特征在于，所述 方法步骤3中的模态间特征关联模型对模态间特征进行分级关联，主要包括： (1) 不同数据模态间进行模态内特征学习时的复杂性具有显著差异，且仅依据高层特 征对不同模态间特征进行关联会丢失模态内部特有的性质或在较低层表现出来的共享特 征，设计模态间特征分级关联共享优化策略； (2) 针对多模态深度学习中手工标记训练样本的低效性，采用非监督方法对模态间共 享关联特征进行学习，基于高斯-伯努利受限玻尔兹曼机对多模态特征进行关联； (3) 基于最小信息距离对多模态复杂网络模型的模态缺失生成方法进行研究，增强模 型的泛化能力与扩展性。6. 根据权利要求1所述的基于多模态深度学习的遥感影像分类方法，其特征在于，所述 方法步骤3中的模态间分级关联策略为： (1) 依据模态内特征学习速度，将模态内特征学习深度较浅的相近数据模态进行优先 关联，从而提尚t旲态间特征关联表达速度； (2) 从模态内的中级特征开始关联，逐层向上贪婪学习，将多数据模态关联转化为双模 态关联，简化模态间特征关联的复杂性。
【文档编号】G06K9/62GK105930877SQ201610374807
【公开日】2016年9月7日
【申请日】2016年5月31日
【发明人】黄冬梅, 杜艳玲, 贺琪, 宋巍, 石少华, 苏诚
【申请人】上海海洋大学