一种样本关系学习的高光谱图像分类方法及系统与流程

1.本发明涉及光谱图像分类识别的领域，特别涉及一种样本关系学习高光谱图像分类方法及系统。


背景技术：

2.高光谱图像具有高光谱分辨率的优势，所包含的信息能反映地物类型的外部品质特征(包括大小、形状、缺陷)和内部物理结构、化学成分的差异，一直是非常重要的一种应用数据。因其丰富的光谱特征，它在材质分类、地表覆盖分类、精准农业、以及环境监测等方面有着重要的应用价值。高光谱图像光谱维度高，不同地物的光谱呈现出有类内差异大、类间差异小的现象。故而为了从高光谱图像中提取关键信息，通常需要大量的标注样本，并构建复杂度高的分类模型。如，近年来深度神经网络模型被广泛应用于高光谱图像分类领域，并取得了令人瞩目的成就。
3.然而，深度神经网络模型本质上是依赖于大数据驱动的，这使得高光谱图像中的小样本问题日益突出。具体来说，高光谱图像的样本收集，无法通过目视解译从图像中获得，通常依赖于专业人员在实地的勘察得到，这意味着其样本采集工作需要大量的人力物力。因此，小样本情况下，高精度的高光谱图像分类模型的研究具有重要的应用价值。
4.针对小样本情况下如何充分训练深度神经网络，最直接的方案时利用数学变换增加样本(伪标记样本或虚拟样本)，例如利用自训练方法生成带伪标记的样本，或利用生成对抗神经网络获得同分布的虚拟样本。但是，这样增加的样本信息依然仅限于小样本数据空间的信息范围，故而对深度神经网络的性能提升依然是有限的，并且容易产生错样本，进而造成累计误差。如果能够从多个样本关系的角度出发，利用模型学习到对比样本差异的能力，这样不仅可以通过多样本重组获取大量的训练数据，而且模型在训练过程中能够充分学习多样本关系：待分类样本与各类别样本之间的差异性，这种关系应用于分类模型中可以发挥重要的作用。
5.因此，如何能够构建样本关系学习的深度神经网络模型，对于高光谱图像分类，以及高光谱数据的应用，成为现有技术亟需解决的技术问题。


技术实现要素：

6.本发明的目的在于克服现有高光谱图像分类领域中的训练样本匮乏的问题，提出一种样本关系学习的高光谱图像分类方法及系统，利用该方法及系统，训练过程中仅需要少量的标注样本，且能够学习到待分类样本与不同类别样本共性特征(类似于类别原型)之间的差异性评分。本发明能充分挖掘多类别样本之间的差异性，并且只需要少量标注样本就能实现高光谱图像中不同类别信息的高精度识别。
7.为达此目的，本发明采用以下技术方案：
8.一种样本关系学习高光谱图像分类方法，包括
9.包括两个阶段：训练方法和应用方法，
10.所述训练方法，具体步骤如下：
11.目标类别样本集构建步骤s110：对某传感器的高光谱图像库，选取质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的样本集x，每种样本的数量最少可至100像元；
12.模型支撑样本集构建步骤s120:将所述的目标类别样本集x中的样本按类别划分成不同的子集，即将类别相同的样本放在一起构成单独的子集，然后将划分好的子集作为元素构成新的集合,成为支撑样本集s；
13.模型查询样本集构建步骤s130:将所述的目标类别样本集x，按照等比例复制扩充，保证扩充后每个类别样本数量相同，得到查询样本集q
train
，以用于训练；
14.模型输入实例集合构造步骤s140:在所述的支撑样本集s中，每个类别随机选择n个样本s
j
＝{x
j1
,
…
,x
jn
}，j∈{1,
…
,c}，在训练用的所述查询样本集q
train
中，随机选择一个样本x
q
，组成一个训练的输入实例重复上述输入实例构造过程，得到模型训练的输入实例集。
15.单样本特征提取步骤s150：从训练用的输入实例集中随机选择若干实例，对其中的每个实例中的样本，包括支撑样本和训练查询样本，运用深度神经网络分别提取实例中每个样本的特征，得到支撑样本的单样本特征：j∈{1,
…
,c}，以及训练查询样本的单样本特征其中为单样本特征提取参数；
16.共性特征提取步骤s160：将实例中每个类别的支撑样本特征利用深度神经网络生成该类别的共性特征其中为共性特征提取参数；
17.度量特征链接步骤s170：将实例中的训练查询样本特征，也就是待分类样本的单样本特征与所述的某类别的共性特征运用链接方法得到待度量特征其中η为特征链接参数；
18.度量特征评分步骤s180：将所述的待度量特征输入到深度神经网络g
ψ
，得到关系评分，所述关系评分表示训练查询样本x
q
属于第j类的概率值，其中ψ为度量参数；
19.模型参数更新步骤s190：基于所述关系评分利用损失函数计算所选若干实例的损失总和，利用反向传播机制更新模型的参数，最后完成模型的训练，即根据所述的若干实例集，不断迭代步骤s150
‑
s180，优化单样本特征提取参数共性特征提取参数特征链接参数η和度量参数ψ，直到任意批次实例集的损失函数稳定逼近0。
20.应用方法的步骤如下：
21.对于给定的待分类高光谱图像按逐像元方法依次推断类别标签，根据待分类像元，构建待分类样本实例，依次运用训练好的相关步骤，包括单样本特征提取步骤、共性特
征提取步骤、度量特征链接步骤和度量特征评分步骤，得到待分类样本实例的关系评分集，然后根据最大评分得到待分类像元的类别信息，最后根据逐像元的推断结果，生成分类结果图像。
22.本发明进一步公开了一种样本关系学习高光谱图像分类系统，包括
23.包括两个部分：模型训练部分和模型应用部分，
24.所述模型训练部分，具体如下：
25.目标类别样本集构建模块210：对某传感器的高光谱图像库，选取质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的样本集x，每种样本的数量最少可至100像元；
26.模型支撑样本集构建模块220:将所述的目标类别样本集x中的样本按类别划分成不同的子集，即将类别相同的样本放在一起构成单独的子集，然后将划分好的子集作为元素构成新的集合,成为支撑样本集s；
27.模型查询样本集构建模块230:将所述的目标类别样本集x，按照等比例复制扩充，保证扩充后每个类别样本数量相同，得到查询样本集q
train
，以用于训练；
28.模型输入实例集合构造模块240:在所述的支撑样本集s中，每个类别随机选择n个样本s
j
＝{x
j1
,
…
,x
jn
}，j∈{1,
…
,c}，在训练用的所述查询样本集q
train
中，随机选择一个样本x
q
，组成一个训练的输入实例重复上述输入实例构造过程，得到模型训练的输入实例集。
29.单样本特征提取模块250：从训练用的输入实例集中随机选择若干实例，对其中的每个实例中的样本，包括支撑样本和训练查询样本，运用深度神经网络分别提取实例中每个样本的特征，得到支撑样本的单样本特征：j∈{1,
…
,c}，以及训练查询样本的单样本特征其中为单样本特征提取参数；
30.共性特征提取模块260：将实例中每个类别的支撑样本特征利用深度神经网络生成该类别的共性特征其中为共性特征提取参数；
31.度量特征链接模块270：将实例中的训练查询样本，也就是待分类样本的单样本特征与所述的某类别的共性特征运用链接方法得到待度量特征其中η为特征链接参数；
32.度量特征评分模块280：将所述的待度量特征输入到深度神经网络g
ψ
，得到关系评分，所述关系评分表示训练查询样本x
q
属于第j类的概率值，其中ψ为度量参数；
33.模型参数更新模块290：基于所述关系评分利用损失函数计算所选若干实例的损失总和，利用反向传播机制更新模型的参数，最后完成模型的训练，即根据所述的若干实例
集，不断迭代模块250
‑
280，优化单样本特征提取参数共性特征提取参数特征链接参数η和度量参数ψ，直到任意批次实例集的损失函数稳定逼近0，得到训练好的单样本特征提取模块250、共性特征提取模块260、共性特征提取模块260和度量特征评分模块280。
34.所述模型应用部分，包括
35.分类结果图像生成模块295：对于给定的待分类高光谱图像按逐像元方法依次进行分类，根据待分类像元，构建待分类样本实例，依次运用训练好的模块，包括训练好的单样本特征提取模块250、共性特征提取模块260、共性特征提取模块260和度量特征评分模块280，得到待分类样本实例的关系评分集，然后根据最大评分得到待分类像元的类别信息，最后根据逐像元的推断结果，生成分类结果图像。
36.综上，本发明具有如下优点：
37.1.本发明的深度模型的训练仅需要少量的标注样本，每类可小于100个标注像元，而达到高精度；
38.2.本发明可根据少量样本获得大量训练数据，假设标记样本数量为||x||，包含c个类别，且每个类别包含的样本数量相同为那么所构建的输入实例集(即模型训练数据集)的大小为
39.3.本发明能够学习到待分类样本与每个类别样本之间的关系评分，即多样本之间的差异化学习，具有较为重要的工程应用价值。
附图说明
40.图1是根据本发明具体实施例的样本关系学习高光谱图像分类方法的模型训练阶段的流程图。
41.图2是根据本发明具体实施例的样本关系学习高光谱图像分类方法的模型应用阶段的流程图。
42.图3是根据本发明具体实施例的样本关系学习高光谱图像分类系统的结构框图。
具体实施方式
43.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
44.本发明在于：采用深度神经网络提取单样本特征，运用共性特征提取获得多样本的共性特征；然后采用特征链接，将待分类样本的特征与单类别的共性特征链接起来，获得度量特征；最后使用度量学习计算度量特征的关系评分；并基于待分类样本与每个类别的共性特征，所计算得到的关系评分集，在训练阶段计算损失值，并利用反向传播算法更新模型的参数，在应用时，通过最大概率值，判断待分类样本的类别信息，并逐像元生成分类结果图；本发明能充分挖掘多类别样本之间的差异性，并且只需要少量标注样本就能实现高光谱图像中不同类别信息的高精度识别。
45.具体的，参见图1和图2，示出了根据本发明的样本关系学习高光谱图像分类方法
的训练阶段、应用阶段的流程图。
46.一种样本关系学习高光谱图像分类方法，包括
47.包括两个阶段：训练方法和应用方法，
48.所述训练方法，具体步骤如下：
49.目标类别样本集构建步骤s110：对某传感器的高光谱图像库，选取质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的样本集x，每种样本的数量最少可至100像元；
50.模型支撑样本集构建步骤s120:将所述的目标类别样本集x中的样本按类别划分成不同的子集，即将类别相同的样本放在一起构成单独的子集，然后将划分好的子集作为元素构成新的集合,成为支撑样本集s；
51.模型查询样本集构建步骤s130:将所述的目标类别样本集x，按照等比例复制扩充，保证扩充后每个类别样本数量相同，得到查询样本集q
train
，以用于训练；
52.模型输入实例集合构造步骤s140:在所述的支撑样本集s中，每个类别随机选择n个样本s
j
＝{x
j1
,
…
,x
jn
}，j∈{1,
…
,c}，在训练用的所述查询样本集q
train
中，随机选择一个样本x
q
，组成一个训练的输入实例重复上述输入实例构造过程，得到模型训练的输入实例集。
53.单样本特征提取步骤s150：从训练用的输入实例集中随机选择若干实例，对其中的每个实例中的样本，包括支撑样本和训练查询样本，运用深度神经网络分别提取实例中每个样本的特征，得到支撑样本的单样本特征：j∈{1,
…
,c}，以及训练查询样本的单样本特征其中为单样本特征提取参数；
54.共性特征提取步骤s160：将实例中每个类别的支撑样本特征利用深度神经网络生成该类别的共性特征其中为共性特征提取参数；
55.度量特征链接步骤s170：将实例中的训练查询样本特征，也就是待分类样本的单样本特征与所述的某类别的共性特征运用链接方法得到待度量特征其中η为特征链接参数；
56.其中，表示的是查询样本，也就是待分类样本x
q
的特征，而表示的是第j类所选支撑样本的特征，满足的是第j类所选支撑样本的特征，满足度量特征是将查询样本特征与支撑样本共性特征连接起来。
57.度量特征评分步骤s180：将所述的待度量特征输入到深度神经网络g
ψ
，得到关系评分，所述关系评分表示训练查询样本x
q
属于第j类的概率值，
其中ψ为度量参数；
58.模型参数更新步骤s190：基于所述关系评分利用损失函数计算所选若干实例的损失总和，利用反向传播机制更新模型的参数，最后完成模型的训练，即根据所述的若干实例集，不断迭代步骤s150
‑
s180，优化单样本特征提取参数共性特征提取参数特征链接参数η和度量参数ψ，直到任意批次实例集的损失函数稳定逼近0。
59.所述应用方法，具体步骤如下：
60.对于给定的待分类高光谱图像按逐像元方法依次推断类别标签，根据待分类像元，构建待分类样本实例，依次运用训练好的相关步骤，包括单样本特征提取步骤、共性特征提取步骤、度量特征链接步骤和度量特征评分步骤，得到待分类样本实例的关系评分集，然后根据最大评分得到待分类像元的类别信息，最后根据逐像元的推断结果，生成分类结果图像。
61.可选的，所述目标类别样本集构建步骤s110具体包括：
62.根据所述高光谱图像中实际的目标类型定义c个类别，所述类别的编号为1～c，c为正整数，对于第i个材质类别分别选取mi个像元作为样本的中心点，按照指定的规则，包括一维、二维或者三维，提取所选像元对应的样本，由所选的目标类别样本组成目标类别样本集x；
63.所述模型支撑样本集构建步骤s120具体包括：
64.将所述的目标类别样本集，按照类别划分成c个子集s
j
,j∈{1,
…
,c},将它们作为集合元素,得到模型的支撑样本集
65.可选的，模型查询样本集构建步骤s130具体包括：
66.将所述的目标类别样本集，按指定比例进行复制扩充，保证每个类别中样本数量一致，保证训练过程中，样本类别均衡，得到模型训练的查询样本集q
train
。
67.可选的，模型输入实例集合构造步骤s140具体包括：
68.在所述的支撑样本集s中，每个类随机选择n次样本，得到每个类别的支撑样本s
j
＝{x
j1
,
…
,x
jn
},j∈{1,
…
,c},并从所述的训练查询样本集q
train
中随机选择一个样本x
q
,所选样本构成的组合为一个输入实例在模型训练阶段，输入实例的标记策略为：如果训练查询样本x
q
的标签为y
q
,那么输入实例的标签也为y
q
。
69.根据所述的训练输入实例标记策略，在训练阶段输入实例集包含的类别数量为c，假设目标样本集x的大小为||x||，且每个类别包含的样本数量相同为所构建的输入实例集的大小为保证在||x||较小的情况下，也能满足深度神经网络对于训练的需求。
70.在训练阶段，按照所述的输入实例构造方法，构造若干个(b个)输入实例，将其作为一个训练批次中模型的训练数据，即一个训练批次的输入实例集。
71.所述单样本特征提取步骤s150具体包括：
72.以深度神经网络作为单样本提取，将某个批次输入实例集中的一个实例
中的样本分别输入到深度神经网络中，得到(c
×
n)+1个单样本特征n)+1个单样本特征其中是所述单样本特征提取参数。
73.所述共性特征提取步骤s160，具体包括：
74.利用深度神经网络进行共性特征提取，将所述实例中每个类别的支撑样本的单样本特征输入到网络中，得到共性特征其中为共性特征提取参数，对于一个输入实例，共性特征提取将分别得到c个共性特征，其代表了c个类别的类别原型。
75.所述度量特征链接步骤s170，具体包括：
76.利用链接函数c
η
，将所述的某类别的共性特征和训练查询样本的单样本特征链接起来，得到度量特征其中η为特征链接参数。
77.所述度量特征评分步骤s180具体包括：
78.利用深度神经网络g
ψ
进行度量特征评分模块，将所述的度量特征输入到深度神经网络g
ψ
中，得到查询样本x
q
和多个支撑样本s
j
的两个样本之间的相似性评分的两个样本之间的相似性评分其中ψ为度量参数，关系评分集r
q
＝[r
q1
,
…
,r
qc
]包含c个值，r
qj
表示训练查询样本x
q
与所选支撑样本s
j
的相似性，代表它属于第j类的概率值，然后根据所述的关系评分集，即训练查询样本与每个类别支撑样本之间的关系评分，利用损失函数计算，得到当前输入实例的损失值。
[0079]
所述模型参数更新步骤s190包括：
[0080]
将某批次所选若干实例，依次利用步骤s150
‑
s180得到单个实例的损失值，利用损失函数计算，得到当前输入实例的损失值，计算批次中所有实例的总体损失，并根据反向传播方法迭代更新所述s150
‑
s180的参数，其中更新的参数包括单样本特征提取参数共性特征提取参数特征链接参数η和度量参数ψ；根据所述的批次若干实例，按照多个批次中的实例集不断迭代所述的单样本特征提取参数共性特征提取参数特征链接参数η和度量参数ψ，计算输入实例的损失值和，然后按照批次实例集总体损失和以及更新参数的步骤，更新参数直到任意实例集的损失函数稳定逼近0，迭代完成后的单样本特征提取参数共性特征提取参数特征链接参数η和度量参数ψ结合在一起就是训练得到的参数。
[0081]
可选的，所述生成分类图像的具体步骤包括：
[0082]
当模型训练完成之后，对待分类的高光谱图像，按一定规则逐像元构建待分类样本集，将所述待分类样本集作为应用阶段的查询样本集q
apply
,并将训练阶段的支撑样本集
s，按照所述的输入实例构造规则，得到应用阶段的输入实例这里x
′
q
是从q
apply
集合中按顺序选择的待分类的样本，s
j
,j∈{1,
…
,c}是从第j类支撑样本集中随机选择的n个样本；将所述的应用阶段的输入实例利用步骤s150
‑
s180和所训练好的单样本特征提取参数共性特征提取参数特征链接参数η和度量参数ψ，得到待分类样本x
′
q
与所选支撑样本的关系评分r
q
，根据r
q
中最大概率值的位置，确定待分类样本对的类别标签，在整个待分类高光谱图像上，逐像元推断类别标签，生成分类结果图像。
[0083]
可选的，在所述模型参数更新步骤s190中，将某批次所选若干输入实例，假定为b，依次利用步骤s150
‑
s180得到单个实例的损失值，利用损失函数计算，得到当前输入实例的损失值，计算批次中所有实例的总体损失，并根据反向传播方法迭代更新所述s150
‑
s180的参数，具体为：
[0084]
利用每个实例计算得到的关系评分集r
q
＝[r
q1
,
…
,r
qc
]，选择均方误差函数作为损失函数，优化过程如公式所述：
[0085][0086]
其中，b表示某个批次中输入实例的个数，c表示类别数量，y
i
是支撑样本s
i
的标签，y
q
是查询样本的标签。
[0087]
该公式表示，当y
i
＝＝y
q
时，损失函数使用的计算式为r
qi
‑
1，否则，损失函数使用r
qi
作为计算项。
[0088]
进一步的，参见图3，本发明还公开了一种样本关系学习高光谱图像分类系统，包括
[0089]
包括两个部分：模型训练部分和模型应用部分，
[0090]
所述模型训练部分，具体如下：
[0091]
目标类别样本集构建模块210：对某传感器的高光谱图像库，选取质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的样本集x，每种样本的数量最少可至100像元；
[0092]
模型支撑样本集构建模块220:将所述的目标类别样本集x中的样本按类别划分成不同的子集，即将类别相同的样本放在一起构成单独的子集，然后将划分好的子集作为元素构成新的集合,成为支撑样本集s；
[0093]
模型查询样本集构建模块230:将所述的目标类别样本集x，按照等比例复制扩充，保证扩充后每个类别样本数量相同，得到查询样本集q
train
，以用于训练；
[0094]
模型输入实例集合构造模块240:在所述的支撑样本集s中，每个类别随机选择n个样本s
j
＝{x
j1
,
…
,x
jn
}，j∈{1,
…
,c}，在训练用的所述查询样本集q
train
中，随机选择一个样本x
p
，组成一个训练的输入实例重复上述输入实例构造过程，得到模型训练的输入实例集。
[0095]
单样本特征提取模块250：从训练用的输入实例集中随机选择若干实例，对其中的每个实例中的样本，包括支撑样本和训练查询样本，运用深度神经网络分别提取
实例中每个样本的特征，得到支撑样本的单样本特征：j∈{1,
…
,c}，以及训练查询样本的单样本特征其中为单样本特征提取参数；
[0096]
共性特征提取模块260：将实例中每个类别的支撑样本特征利用深度神经网络生成该类别的共性特征其中为共性特征提取参数；
[0097]
度量特征链接模块270：将实例中的训练查询样本，也就是待分类样本的单样本特征与所述的某类别的共性特征运用链接方法得到待度量特征其中η为特征链接参数；
[0098]
度量特征评分模块280：将所述的待度量特征输入到深度神经网络g
ψ
，得到关系评分，所述关系评分表示训练查询样本x
q
属于第j类的概率值，其中ψ为度量参数；
[0099]
模型参数更新模块290：基于所述关系评分利用损失函数计算所选若干实例的损失总和，利用反向传播机制更新模型的参数，最后完成模型的训练，即根据所述的若干实例集，不断迭代模块250
‑
280，优化单样本特征提取参数共性特征提取参数特征链接参数η和度量参数ψ，直到任意批次实例集的损失函数稳定逼近0，得到训练好的单样本特征提取模块250、共性特征提取模块260、共性特征提取模块260和度量特征评分模块280。
[0100]
也就是单样本特征提取模块250、共性特征提取模块260、共性特征提取模块260和度量特征评分模块280相当于所需要训练的模型。
[0101]
所述模型应用部分，包括
[0102]
分类结果图像生成模块295：对于给定的待分类高光谱图像按逐像元方法依次进行分类，根据待分类像元，构建待分类样本实例，依次运用训练好的模块，包括训练好的单样本特征提取模块250、共性特征提取模块260、共性特征提取模块260和度量特征评分模块280，得到待分类样本实例的关系评分集，然后根据最大评分得到待分类像元的类别信息，最后根据逐像元的推断结果，生成分类结果图像。
[0103]
实施例：
[0104]
参见图2，示出了一种利用本发明的样本关系学习高光谱图像分类方法进行图像分类，包括如下步骤：
[0105]
a110、对于待分类的高光谱图像，对于图像上的每个像元按照一定规则构建待分类样本集；
[0106]
a120、将所述的待分类样本集作为应用查询样本集，并将所述训练阶段的支撑样本集作为应用阶段的支撑样本集；
[0107]
a130、在所述的支撑样本集中按照一定规则选择支撑样本，在所述的应用查询样本集中依次选择查询样本，将查询样本和支撑样本一起构成应用输入实例；
[0108]
a140、根据所述应用输入实例，运用训练好的模型，得到待分类样本的关系评分
r
q
；
[0109]
a150、根据所述r
k
中最大概率值的位置，确定待分类样本的标签信息；
[0110]
a160、在整个待分类高光谱图像上，逐像元推断类别信息，生成分类结果图像。
[0111]
综上，本发明具有如下优点：
[0112]
1.本发明的深度模型的训练仅需要少量的标注样本，每类可小于100个标注像元，而达到高精度；
[0113]
2.本发明可根据少量样本获得大量训练数据，假设标记样本数量为||x||，包含c个类别，且每个类别包含的样本数量相同为那么所构建的输入实例集(模型的训练数据集)的大小为
[0114]
3.本发明能够学习到待分类样本与每个类别样本之间的关系评分，即多样本之间的差异化学习，具有较为重要的工程应用价值。
[0115]
显然，本领域技术人员应该明白，上述的本发明的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上,可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
[0116]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。