一种多维数据预处理驱动下的高光谱水质监测方法与流程

本发明属于光谱水质监测，具体涉及一种多维数据预处理驱动下的高光谱水质监测方法。

背景技术：

1、高光谱水质数据反演是指通过高光谱技术获取的水体光谱信息，它包含了水体在不同波长下的反射、透射和散射等信息。这些信息可以反映水体的组成、浓度、形态和分布等特征，是水质监测和评估的重要数据源。现有技术采用人工智能(ai)算法识别高光谱水质数据，从而获取水质信息，但其仍存在以下缺陷：首先，光谱数据可能受到外部环境和仪器运行状态的干扰，产生异常值和噪声，这会影响机器学习模型的稳定性和解释能力，其次，高维度的原始光谱数据特征使得关键信息不易被识别，导致模型难以捕捉数据的核心结构和模式，进而影响模型的泛化性能，不同水质标签值之间差异的悬殊性会打破算法模型内部权重计算的均衡，造成水质反演结果的偏差，为此，我们提出了一种多维数据预处理驱动下的高光谱水质监测方法。

技术实现思路

1、本发明的目的在于提供一种多维数据预处理驱动下的高光谱水质监测方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种多维数据预处理驱动下的高光谱水质监测方法，包括以下步骤：

3、s1：采集光谱数据；

4、s2：对s1中收集的光谱数据进行聚合处理；

5、s3：对s2中聚合处理后的光谱数据进行切割处理；

6、s4：对s3中光谱数据异常值进行剔除；

7、s5：对s4中光谱数据及对应的水质标签数据进行归一化处理；

8、s6：对s5中处理后异常分布的光谱数据进行剔除；

9、s7：对s6中剔除后的光谱数据进行集划分处理；

10、s8：构建基础训练模型；

11、s9：将s7中处理后光谱数据输入到s8中的基础训练模型中，输出对应的水质标签预测结果；

12、s10：评估基础训练模型的整体预测精度。

13、方案中需要说明的是，所述s1中采用高光谱设备进行采集水体的光谱反射信息。

14、进一步值得说明的是，所述s3中切割处理是去除噪声剧烈的光谱数据。

15、更进一步需要说明的是，所述s5中采用sigmoid函数对s4中剔除后的光谱数据光及对应的水质标签数据进行归一化处理。

16、作为一种优选的实施方式，s6步骤中剔除具体过程为对归一化的光谱数据计算z-score，并保留z-score取值范围在0至3的光谱数据。

17、作为一种优选的实施方式，所述s7具体步骤为：

18、s71：按照一一对应的原则，将获取到的光谱数据和真实水质标签数据以9：1的比例划分为算法的训练集和测试集；

19、s72：绘制训练集中真实水质标签数据的各个指标的箱图，计算训练集数据的统计量。

20、作为一种优选的实施方式，所述s8中构建基础训练模型具体步骤为：

21、s81：根据原始光谱数据的维度(即光谱数据的波长数量)、水质标签数据的维度(水质指标的个数)以及光谱数据的数量，根据网格搜索、经验法以及文献参考等方式确定基础模型的层数、激活函数、损失函数、训练轮数和批次大小参数。

22、s82：使用未经处理的光谱数据作为输入，以真实水质数据作为标签来指导基础训练模型的训练，并保存最优的基础训练模型参数；

23、s83：使用经s1-s7步骤处理后的光谱数据作为输入、水质数据作为标签引导基础训练模型训练，并保存最优的基础训练模型参数。

24、作为一种优选的实施方式，所述s9具体步骤如下：

25、s91：加载s82步骤中获得的最优基础训练模型参数，将未经预处理的测试集光谱数据作为输入，进行水质数据反演；

26、s92：加载s83步骤中获得的最优基础训练模型参数，将预处理过的测试集光谱数据作为输入，进行水质数据反演。

27、作为一种优选的实施方式，所述s10具体步骤如下：

28、s101:计算步骤s91所得反演数据与真实数据在每个水质指标上的误差率，对基础训练模型在不同方面的性能进行评估，识别模型在特定指标上的强项或弱点；

29、s102：计算步骤s92所得反演数据与真实数据在每个水质指标上的误差率，对基础训练模型在不同方面的性能进行评估，识别模型在特定指标上的强项或弱点；

30、s103:绘制箱线图比较s101步骤和s102步骤中基础训练模型的反演数据与真实数据。

31、与现有技术相比，本发明提供的多维数据预处理驱动下的高光谱水质监测方法，至少包括如下有益效果：

32、(1)本发明具有数据处理的高效性与精确性，通过采用aquaspec precision方法，本发明对原始光谱数据与水质标签数据进行了全面的清洗、转换、归一化和缺失值处理等操作，这一系列精细化的数据处理步骤极大地提升了数据集的质量与一致性，有效降低了噪音和异常值对模型性能的潜在影响，这样的处理不仅增强了模型的稳健性，还提高了模型的可解释性，使得模型的运作机制更加透明和可信；

33、(2)本发明具有特征优化与模型效率提升，采用aquaspec precision方法进一步通过特征缩放、降维和特征选择等先进技术，对特征空间进行了优化，这些方法不仅减少了不必要的特征维度，避免了维度灾难的发生，还显著提高了模型的训练效率，通过这种方式，模型能够在较短的时间内达到更高的性能，同时保持了良好的泛化能力；

34、(3)本发明具有算法权重的均衡性与结果精准度，本发明通过aquaspecprecision方法对算法模型内部的权重计算进行了均衡处理，这种均衡性确保了模型在处理水质反演问题时能够更加精准地输出结果，通过这种方法，模型能够更准确地捕捉到水质的关键特征，从而提供更为可靠的水质监测数据；

35、(4)本发明通过aquaspec precision方法的应用，不仅在数据处理、特征优化和算法权重均衡等方面展现了卓越的性能，还在提升模型的准确性和效率方面发挥了重要作用。这些优势共同保证了本发明在水质反演领域的应用价值和实用效果，为相关领域的研究和实践提供了强有力的技术支持。

技术特征：

1.一种多维数据预处理驱动下的高光谱水质监测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种多维数据预处理驱动下的高光谱水质监测方法，其特征在于：所述s1中采用高光谱设备进行采集水体的光谱反射信息。

3.根据权利要求1所述的一种多维数据预处理驱动下的高光谱水质监测方法，其特征在于：所述s3中切割处理是去除噪声剧烈的光谱数据。

4.根据权利要求1所述的一种多维数据预处理驱动下的高光谱水质监测方法，其特征在于：所述s5中采用sigmoid函数对s4中剔除后的光谱数据及对应的水质标签数据进行归一化处理。

5.根据权利要求1所述的一种多维数据预处理驱动下的高光谱水质监测方法，其特征在于：所述s6中剔除具体步骤为对归一化的光谱数据计算z-score，保留z-score取值范围在0至3的光谱数据。

6.根据权利要求1所述的一种多维数据预处理驱动下的高光谱水质监测方法，其特征在于：所述s7具体步骤为：

7.根据权利要求1所述的一种多维数据预处理驱动下的高光谱水质监测方法，其特征在于：所述s8中构建基础训练模型具体步骤为：

8.根据权利要求7所述的一种多维数据预处理驱动下的高光谱水质监测方法，其特征在于：所述s9具体步骤如下：

9.根据权利要求8所述的一种多维数据预处理驱动下的高光谱水质监测方法，其特征在于：所述s10具体步骤如下：

技术总结
本发明公开了一种多维数据预处理驱动下的高光谱水质监测方法，属于光谱水质监测技术领域，针对了高维度的原始数据特征使得关键信息不易被识别，导致模型难以捕捉数据的核心结构和模式，进而影响模型的泛化性能，不同水质标签值之间差异的悬殊性会打破算法模型内部权重计算的均衡，造成水质反演结果的偏差的问题，包括以下步骤；本发明通过AquaSpec Precision方法的应用，不仅在数据处理、特征优化和算法权重均衡等方面展现了卓越的性能，还在提升模型的准确性和效率方面发挥了重要作用。这些优势共同保证了本发明在水质反演领域的应用价值和实用效果，为相关领域的研究和实践提供了强有力的技术支持。

技术研发人员：侯守军,张国辉
受保护的技术使用者：上海握蓝航天科技集团有限公司
技术研发日：
技术公布日：2024/10/24