一种基于非监督特征提取的岩性识别方法、装置及介质与流程

1.本发明涉及高光谱技术领域，尤其涉及一种基于非监督特征提取的岩性识别方法、装置及介质。


背景技术：

2.高光谱数据具有空谱合一的特点，在地质领域应用十分广泛。传统基于高光谱开展地质填图的方法大体可以总结为三类：图像增强法，光谱特征识别法，面向对象识别法。图形增强法如最小噪声分离（mnf）、主成分分析（pca）、波段比值等方法简单高效，但以提取目标特征为主，需辅助其他手段实现分类；光谱特征识别方法可细分为光谱特征提取和光谱匹配两种方法，前者物理意义明确但需要较多的专家知识引导，且在复杂场景下应用阈值的设定难以把握，后者实现相对简单但精度有限；面向对象方法，虽然相对于基于象元计算类方法能够避免“椒盐效应”但其精度受限于初始的超像素分割的精度，且对大场景下的应用能力不足，对于小目标识别十分不友好。
3.随着人工智能技术在遥感领域的快速发展，有学者尝试采用支持向量机、随机森林等传统机器学习方法应用于岩性识别，深度学习的兴起更是进一步推动了卷积神经网络在岩性识别方面的应用。然而，上述方法均以监督学习为主，在非监督特征提取方面的研究相对较少，而岩石由于受矿物组成、结构、风化条件、构造环境、蚀变特征等多方面影响，呈现出变化各异的光谱形态，因而很难通过采集足够的样本利用监督学习的方式完成大范围的应用。


技术实现要素：

4.本发明所要解决的技术问题是针对现有技术的不足，提供一种基于非监督特征提取的岩性识别方法、装置及介质。
5.本发明解决上述技术问题的技术方案如下：一种基于非监督岩性特征提取的岩性识别方法，包括：s1，对原始高光谱数据进行预处理，获得第一反射率数据；s2，通过提取出岩性特征的训练数据进行训练后，获得的岩性特征提取网络模型，通过训练后的岩性特征提取网络模型的编码器对所述第一反射率数据进行非监督的岩性特征提取，获得与原始高光谱数据相同分辨率和相同空间范围的预测识别结果数据。
6.本发明的有益效果是：本方案通过训练后的岩性特征提取网络模型的编码器对所述第一反射率数据进行非监督的岩性特征提取，获得与原始高光谱数据相同分辨率和相同空间范围的预测识别结果数据，通过构建岩性特征提取网络模型对岩性识别相关的空谱特征进行非监督提取，增强了岩性空间关联信息的获取能力，提升了光谱维度有效特征的筛选能力，从而改善了岩性特征的提取精度。本方案在小样本条件下依然具有较好的鲁棒性，为实现基于卫星高光谱数据开展大区域岩性填图应用提供了技术基础。
7.进一步地，在s2之前还包括：
对试验区高光谱数据进行预处理获得第二反射率数据；对所述第二反射率数据进行mnf变换，对变换后的数据提取前三个波段生成假彩色图像；参考所述假彩色图像，提取多个端元光谱数据，作为训练目标；通过预设方法对所述第二反射率数据进行切片处理获得训练数据；将所述训练数据和所述训练目标作为输入，对所述岩性特征提取网络模型进行训练，训练通过则获得训练后的岩性特征提取网络模型。
8.采用上述进一步方案的有益效果是：本方案基于专家知识提取多个端元光谱数据，增强了岩性空间关联信息的获取能力，提升了光谱维度有效特征的筛选能力，从而改善了岩性特征的提取精度。
9.进一步地，所述通过预设方法对所述第二反射率数据进行切片处理获得训练数据具体包括：对所述第二反射率数据进行异常值剔除和数据归一化处理；对归一化后的数据进行相同尺寸的随机剪裁，重复多次形成多个光谱数据立方体作为训练数据；将所述训练数据按照预设比例划分成测试集和训练集。
10.采用上述进一步方案的有益效果是：本方案通过对第二反射率数据进行异常值剔除和数据归一化处理，通过测试集和训练集对模型进行训练和精度验证，当模型验证误差较低且趋于平稳后代表模型训练完成，保证了模型的识别精度。
11.进一步地，还包括：将所述训练集和所述训练目标作为输入训练对所述岩性特征提取网络模型进行训练；通过所述测试集对所述岩性特征提取网络模型进行精度验证；当所述岩性特征提取网络模型精度收敛稳定则完成训练。
12.采用上述进一步方案的有益效果是：本方案通过精度验证，并在精度收敛稳定时完成训练，实现模型精度达到任务要求。
13.进一步地，所述通过所述测试集对所述岩性特征提取网络模型进行精度验证具体包括：采用光谱信息散度函数作为损失函数，通过所述测试集对所述岩性特征提取网络模型进行精度验证。
14.进一步地，还包括：在tensorflow环境下搭建lfenet网络，所述lfenet网络主要编码器和解码器；通过所述解码器将所述编码器的最后一层输出的三维特征图进行矩阵展开获得一维张量，通过第一全链接层对所述一维张量进行压缩，再通过第二全链接层进行收敛处理；将收敛处理后的岩性特征提取网络模型的参数设定为多个端元光谱数据；对所述参数进行取绝对值处理，并采用softmax函数进行激活；采用第三全链接层作为所述岩性特征提取网络模型的最后一层，通过relu激活函数输出特征图，则完成所述岩性特征提取网络模型的构建。
15.采用上述进一步方案的有益效果是：本方案通过将模型的参数设定为多个端元光谱数据，使得模型收敛的反向是最大程度接近由专家知识引导下提取的端元；通过对所述参数进行取绝对值处理，并采用softmax函数进行激活，保证生成的数据符合“非负”及“合为一”的约束条件；通过采用第三全链接层作为所述岩性特征提取网络模型的最后一层，通过relu激活函数输出特征图，保证网络生成最终特征图与原始数据维度一致。
16.进一步地，所述预处理包括：对高光谱数据进行辐射定标，几何校正和大气校正。
17.进一步地，还包括：当精度验证未达到预设要求，则通过调节模型训练参数或优化训练样本后，再进行训练直至所述岩性特征提取网络模型的精度验证达到所述预设要求。
18.采用上述进一步方案的有益效果是：本方案通过调节模型训练参数或优化训练样本，来实现提高模型识别精度，降低误差。
19.本发明解决上述技术问题的另一种技术方案如下：一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述任一项方案的一种基于非监督岩性特征提取的岩性识别方法。
20.本发明解决上述技术问题的另一种技术方案如下：一种基于非监督岩性特征提取的岩性识别装置，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序，实现如上述任一项方案的一种基于非监督岩性特征提取的岩性识别方法。
21.本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
22.图1为本发明的实施例提供的一种基于非监督特征提取的岩性识别方法的流程示意图；图2为本发明的其他实施例提供的岩性特征提取网络模型卷积结构及参数示意图；图3为本发明的其他实施例提供的高光谱岩性非监督特征提取的岩性特征提取网络模型的基本框架图；图4为本发明的其他实施例提供的岩性特征提取网络模型与传统方法应用结果对比图；图5为本发明的其他实施例提供的岩性特征提取网络模型与监督类卷积神经网络模型在不同样本比例场景下应用结果对比图。
具体实施方式
23.以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
24.如图1所示，为本发明实施例提供的一种基于非监督特征提取的岩性识别方法，包括：
s1，对原始高光谱数据进行预处理，获得第一反射率数据；在某一实施例中，预处理可以包括：辐射定标，几何校正和大气校正等，通过上述操作获得反射率数据。
25.s2，通过提取出岩性特征的训练数据进行训练后，获得的岩性特征提取网络模型，通过训练后的岩性特征提取网络模型的编码器对第一反射率数据进行非监督的岩性特征提取，获得与原始高光谱数据相同分辨率和相同空间范围的预测识别结果数据。
26.在某一实施例中，在s2之前还可以包括：通过预处理获得第一反射率数据，剔除水汽影响波段后进行mnf变换，并提取前三个波段生成假彩色图像。不同类型地质体在色彩上呈现出较大差异，结合现有地质资料，参考mnf变化后的假彩色影像，基于专家知识选取工作区内拟提取的主要地质体目标，并同时提取n个端元光谱数据endmember，其中n表示端元的数量，该数量是基于专家知识结合mnf变换结果来判定。需要说明的是，专家知识可以表示涉及专业的高光谱知识和地质知识，能够通过mnf变换后的影像结合地质知识解译/辨识出区内主要的地质体目标，为端元的选择提供支持。其中，工作区表示目标数据覆盖范围内的区域，也可以叫示范区、研究区等。
27.在工作区内随机选取若干数量的样本点，数量(n)尽量不少于数据总像元数量量的1/50，以5
×5×
c大小对高光谱反射率数据进行切片形成多个光谱数据立方体作为训练数据，并按照7:3划分为训练集和测试集， c为高光谱波段数。需要说明的是，选择的n个端元是代表区域内最为典型的地质体目标。为了获取整个区域的岩性分类结果，通常需要找出所有与各个端元具有相似特征的像元。选取n个样本点的目的是想通过自编码的方式实现对数据本身特征的学习。
28.通过非监督方法来获得一定数量的样本进行训练，来获得样本中的决定性特征；对于本方案来说，端元是提取目标，n是由专家知识找出全区端元的个数，样本点用于做特征学习，这些样本点可以是由不同端元组合后的结果，或者与某个端元相同。
29.按照图2所示的结构和参数构建岩性特征提取网络模型（即lfenet网络模型），并利用前面构建的样本训练集及端元光谱数据作为输入数据对lfenet进行训练，同时利用样本测试集对模型进行精度验证，验证过程采用光谱信息散度函数作为损失函数，当验证精度收敛到稳定状态即完成训练。
30.在某一实施例中，判断出精度收敛达到稳定状态可以包括：模型训练需要设定一个轮数，可以根据实际精度要求设定轮数，每一轮训练都会对所有训练集数据进行建模并用测试集进行验证，因而会产生1组训练结果数据，包括：训练精度、训练损失、验证精度和验证损失，随着训练的进行，验证精度将越来越高，同时验证损失会越来越低，这既是模型逐渐收敛的过程；当训练到一定轮数，模型学习能力已经饱和，预测损失不回再降低，而是在某一个基准线上平稳浮动，此时则表示模型收敛达到稳定状态。
31.在某一实施例中，根据训练后的lfenet网络模型，利用其encoder部分对反射率数据进行非监督岩性特征提取，可获得与反射率数据相同分辨率和空间范围的预测结果数据，该数据代表岩性识别结果，其波段数与端元个数一致，数值代表对应端元的丰度值，数值范围是0
‑
1，值越大代表预测准确度越高。
32.本方案通过构建岩性特征提取网络模型对岩性识别相关的空谱特征进行非监督提取，增强了岩性空间关联信息的获取能力，提升了光谱维度有效特征的筛选能力，从而改
善了岩性特征的提取精度。本方案在小样本条件下依然具有较好的鲁棒性，为实现基于卫星高光谱数据开展大区域岩性填图应用提供了技术基础。
33.优选地，在上述任意实施例中，在s2之前还包括：对试验区高光谱数据进行预处理获得第二反射率数据；对第二反射率数据进行mnf变换，对变换后的数据提取前三个波段生成假彩色图像；参考假彩色图像，基于专家知识提取多个端元光谱数据，作为训练目标；通过预设方法对第二反射率数据进行切片处理获得训练数据；将训练数据和训练目标作为输入，对岩性特征提取网络模型进行训练，训练通过则获得训练后的岩性特征提取网络模型。
34.在某一实施例中，预设方法可以包括：对第二反射率数据进行异常值剔除和数据归一化处理；对归一化后的数据进行相同尺寸的随机剪裁，重复多次形成多个光谱数据立方体作为训练数据；将训练数据按照预设比例划分成训练集和测试集。其中，预设比例可以为：7:3，用来划分为训练集和测试集。
35.本方案基于专家知识提取多个端元光谱数据，增强了岩性空间关联信息的获取能力，提升了光谱维度有效特征的筛选能力，从而改善了岩性特征的提取精度。
36.优选地，在上述任意实施例中，通过预设方法对第二反射率数据进行切片处理获得训练数据具体包括：对第二反射率数据进行异常值剔除和数据归一化处理；对归一化后的数据进行相同尺寸的随机剪裁，重复多次形成多个光谱数据立方体作为训练数据；将训练数据按照预设比例划分成测试集和训练集。
37.在某一实施例中，获取训练集和测试集可以包括：为了保证应用精度需对高光谱反射率数据进行异常值剔除和数据归一化处理。首先，对高光谱反射率数据进行统计，计算0.05%和0.95%分位数，剔除两分位数之外的异常数据，之后对按照公式1采用最大最小值归一化法将数据归一化至0
‑
1.0范围内。
38.x’=（x
‑
xmin）/（xmax
‑
xmin），其中x’表示归一化后的数据，xmin和xmax分别代表数据的最小和最大值。
39.对归一化后的数据进行随机裁剪，形成若干个5
×5×
b大小的反射率数据立方体，具体方法是在影像中设置一个随机点坐标（a，b），以此点为顶点生成5
×
5的裁剪框，并以此对数据进行裁剪，重复n次可以完成切片操作。随机点坐标a和b的取值范围分别是0至w
‑
5和0至h
‑
5，w和h分别代表原始数据的长和宽。
40.将得到的n个切片作为lx，并取每一个5
×5×
b切片的中心像素值1
×1×
b作为ly，构建数据集d={lx, ly}，对数据集d进行增广处理，方法包括旋转、翻转、色彩抖动、缩放，将原有切片数据扩充为原来的32倍，构成新的数据集e。
41.数据集e可以按照7:3划分为训练集和测试集，用于后续模型的训练。
42.本方案通过对第二反射率数据进行异常值剔除和数据归一化处理，通过测试集和
训练集对模型进行训练和精度验证，当模型验证误差较低且趋于平稳后代表模型训练完成，保证了模型的识别精度。
43.在某一实施例中，如图4所示，岩性特征提取网络模型与传统方法应用结果对比图，图4(a)，图4 (b)展示了基于sid和sam两种传统方法的岩性分类结果，图4（c）为基于本发明得到的岩性分类结果，图4（d）为基于地质图绘制的岩性分类图作为实验的参考真实值。从图中可见sid方法精度最差，本发明方法与参考真实值最为接近，而经典的sam方法在部分岩性识别上存在明显的误判。不仅如此，本发明提去结果相较于参考真实值具有更丰富的细节信息，更好的呈现地质体的分布及边界特征。
44.在某一实施例中，如图5所示，岩性特征提取网络模型与监督类卷积神经网络模型在不同样本比例场景下应用结果对比图，图5展示了本发明的非监督分类方法与监督方法在不同样本比例条件下的应用效果对比，可见随着样本比例的下降，监督类方法识别结果精度变化较大，而本发明提出方法在不同样本比例条件下都具有较好的表现，且即使在1/100这样小样本条件下依然能够保持分类精度，充分说明模型鲁棒性较好。
45.优选地，在上述任意实施例中，还包括：将训练集和训练目标作为输入训练对岩性特征提取网络模型进行训练；通过测试集对岩性特征提取网络模型进行精度验证；当岩性特征提取网络模型精度收敛稳定则完成训练。
46.本方案通过精度验证，并在精度收敛稳定时完成训练，实现模型精度达到任务要求。
47.优选地，在上述任意实施例中，通过测试集对岩性特征提取网络模型进行精度验证具体包括：采用光谱信息散度函数作为损失函数，通过测试集对岩性特征提取网络模型进行精度验证。
48.优选地，在上述任意实施例中，还包括：在tensorflow环境下搭建lfenet网络，lfenet网络主要包括：编码器和解码器；通过解码器将编码器的最后一层输出的三维特征图进行矩阵展开获得一维张量，通过第一全链接层对一维张量进行压缩，再通过第二全链接层进行收敛处理；将收敛处理后的岩性特征提取网络模型的参数设定为多个端元光谱数据；对参数进行取绝对值处理，并采用softmax函数进行激活；采用第三全链接层作为岩性特征提取网络模型的最后一层，通过relu激活函数输出特征图，则完成岩性特征提取网络模型的构建。
49.在某一实施例中，如图3所示，构建岩性特征提取网络模型可以包括：在tensorflow环境下搭建lfenet网络，该网络主要包括：编码器（encoder）和解码器（decoder），其中encoder由两层3
×3×
3的三维卷积和三层1
×1×
3的三维卷积堆叠而成，卷积个数如图2所示，其中激活函数均采用“relu”，其中，c表示高光谱波段数，c
‑
2表示在c的高光谱波段数的基础上减去二，c
‑
4表示在c的高光谱波段数的基础上减去四，c
‑
6表示在c的高光谱波段数的基础上减去六，c
‑
8 表示在c的高光谱波段数的基础上减去八和c
‑
10表示在c的高光谱波段数的基础上减去十。例如，当c的高光谱波段数为700，则c
‑
2=700
‑
2=698。
50.decoder部分首先将encoder最后一层输出的三维特征图进行矩阵展开，从而降维成一维张量，再采用一个具有256个核的全链接层（dense
‑
1）将一维张量进一步压缩，经由一个具有n个核的全链接层（dense
‑
2）进行处理，为了使得模型收敛的方向是最大程度接近由专家知识引导下提取的端元，因而此处将模型参数值设定为endmember，其中，n与前文的n个端元表示的数值相同。此外，为了保证生成的数据符合“非负”及“合为一”的约束条件，对符合“非负”约束条件的结果，进行取绝对值处理；对符合“合为一”约束条件的结果，采用softmax函数进行激活。
51.为了保证网络生成最终特征图与原始数据维度一致，最后一层采用具有c个核的全链接层（dense
‑
3），并由一个relu激活函数最终输出为大小为c的特征图，至此lfenet模型搭建完成。
52.本方案通过将模型的参数设定为多个端元光谱数据，使得模型收敛的反向是最大程度接近由专家知识引导下提取的端元；通过对参数进行取绝对值处理，并采用softmax函数进行激活，保证生成的数据符合“非负”及“合为一”的约束条件；通过采用第三全链接层作为岩性特征提取网络模型的最后一层，通过relu激活函数输出特征图，保证网络生成最终特征图与原始数据维度一致。
53.优选地，在上述任意实施例中，预处理包括：对高光谱数据进行辐射定标，几何校正和大气校正。
54.优选地，在上述任意实施例中，还包括：当精度验证未达到预设要求，则通过调节模型训练参数或优化训练样本后，再进行训练直至岩性特征提取网络模型的精度验证达到预设要求。其中，预设要求可以为任务需求，任务需求可以根据实际应用需求确定模型精度，根据得到的结果判断是否满意，如果不满意认为精度不够，就可以继续调整参数优化。
55.在某一实施例中，根据获得的数据集e对lfenet网络模型进行多个轮次的训练，同时观察模型训练及验证的精度和误差曲线的走势，当模型验证误差较低且趋于平稳后代表模型训练完成，如验证模型精度未达到任务需求则需要调节模型训练的参数或优化训练样本，重新训练直至模型精度达标。在某一实施例中，调节模型训练的参数可以包括：训练的轮数，学习率，或是模型的卷积个数等等参数。在某一实施例中，优化训练样本可以通过增加训练样本的数量，或者重新选择更具有代表性的样本。
56.本方案通过调节模型训练参数或优化训练样本，来实现提高模型识别精度，降低误差。
57.在某一实施例中，一种存储介质，存储介质中存储有指令，当计算机读取指令时，使计算机执行如上述任一实施例的一种基于非监督岩性特征提取的岩性识别方法。
58.在某一实施例中，一种基于非监督岩性特征提取的岩性识别装置，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序，实现如上述任一实施例的一种基于非监督岩性特征提取的岩性识别方法。
59.可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。
60.需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品
实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。
61.读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
62.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
63.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
64.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
65.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read
‑
onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。
66.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。