基于Transformer稀疏注意力机制的水质预测方法

本发明属于生态环境保护中的水质预测领域，设计一种基于transformer稀疏注意力机制的水质预测方法。

背景技术：

1、水环境的质量影响着人类的生活以及生态环境的发展，关系到社会长远的发展。随着工业的快速发展，城市化进程的加快，水问题更加复杂，水污染、水短缺和水质恶化等问题也不断浮现。传统的水质污染防控多以设置监测站点，读取水质数据并上传到终端设备为主，不能预测未来水质变化，及时做出应对。水质预测是未来行业发展的趋势，也是水环境防范领域的关键步骤，因此如何提高水质预测模型的精确度和可迁移性，就成了急需解决的重要问题。

2、针对水质预测模型，传统的预测方法存在诸多不足。比如，机理性模型的模型结构和参数依赖人工经验，复杂度偏高，难以动态校正，在随着时间动态变化的河道水体中，还要根据具体场景选择适用的水质机理模型，当影响因素较多、影响机理较为复杂时，可能会出现模型难以建立、相关参数难以获取或水质监测数据量不足等问题。随着人工智能技术的不断发展，水质预测领域也开始运用rnn，lstm，svm等方法进行模拟，然而，这些方法中超参数的选择和优化主要依靠主观经验和不断的尝试，且没有考虑其他水质参数对预测参数贡献强度的差异，因此严重制约了预测的精确度和泛化性能。近年来硬件设备的不断发展，对于长时序预测和模型的可迁移性也有了新的解决方案，越来越多的人将transformer应用于预测领域，但transformer模型多应用于自然语言处理方面，在水质预测领域其精确度和泛化性仍需加强。

技术实现思路

1、根据上述背景技术中提到的技术问题，而提供一种基于transformer稀疏注意力机制的水质预测方法。本发明采用的技术手段如下：

2、基于transformer稀疏注意力机制的水质预测方法，包括以下步骤：

3、步骤1、通过根据采集设备从检测水域获取的水质数据及信息，构建水质数据输入序列；

4、步骤2、当数据传输异常时删除异常数据，并通过多重插值法对缺失的数据进行补齐，然后对补齐后的数据进行均值归一化处理，并将归一化处理后的数据按照8:2的比例划分为训练集和测试集；将所述训练集作为模型的输入数据；

5、步骤3、将时间序列模块输出的训练集数据进行位置编码后，将该数据输入到iutput embedding嵌入式进行位置编码得到稀疏矩阵x1；

6、步骤4、将所述步骤2所得的训练集时间序列数据输入到output embedding层进行位置编码得到稀疏矩阵x2，将稀疏矩阵x2输入到decoder解码器的第一个mask掩码稀疏注意力模块中，对稀疏矩阵x2进行计算提取特征矩阵以得到查询向量；将查询向量经过残差归一化层输入到下一层稀疏注意力模块中，处理后的查询向量和编码器最后一层的输出键向量和值向量输入到第二层稀疏注意力机制层中得到输出序列；得到的输出序列经残差连接与归一化层后输入到前馈神经网络提中取特征向量，再进行一次残差连接与归一化得到结果向量；解码器单元重复计算经过7次，最后一层解码器单元输出数据特征向量；将数据特征向量通过softmax层所得的分数转换为未来水质数据走向的概率，并选择概率最高的数值作为最后输出的水质预测值；

7、步骤5、将训练集数据输入并根据损失函数loss进行迭代更新训练，直至模型预设好的迭代次数，完成最后一次迭代训练之后终止训练；并筛选出训练模型中绝对误差和均标准误差最小的模型保存该模型结构；将测试集数据输入到已保存的模型结构中，验证已保存模型的效果。

8、较现有技术相比，本发明具有以下优点：

9、本发明基于原始水质数据结果进行预测，预测未来可能出现的水污染状况，从而降低因为自然因素所导致的生命财产损失。

10、本发明采用本地化数据，因地制宜。收集到的数据为本地环境监测站采集的数据，具备时效性，所有的参数选项可根据本地水域进行调整，本地化部署价值较高。

11、本发明的模型具备可迁移性，在不同的水域及预测不同指标中均表现出良好的预测效果，使得本模型可以应用在多水域中。

12、本发明解决了长时序预测难题，在提高了预测精确度的情况下降低了运算的时间复杂度，可节省运算资源，为模型的部署降低了成本，提高了经济效益。

技术特征：

1.基于transformer稀疏注意力机制的水质预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于transformer稀疏注意力机制的水质预测方法，其特征在于：获取所述水质数据及信息时，通过预设的采集站点，布置前端plc采集设备，在指定的河流湖泊等水域进行采样，得到水质数据；根据所属水质数据集，构建原始数据库。

3.根据权利要求1或2所述的基于transformer稀疏注意力机制的水质预测方法，其特征在于：所述水质数据包括：cod、bod、总磷量、总氮量以及氨氮量信息。

4.根据权利要求1所述的基于transformer稀疏注意力机制的水质预测方法，其特征在于：通过多重插值法对对缺失的数据进行补齐，然后对完整的数据集进行均值归一化处理，所述均值归一化公式为：

5.根据权利要求1所述的基于transformer稀疏注意力机制的水质预测方法，其特征在于：通过滑动平均滤波法提取数据的周期性特征，其中所述提取方为：

6.根据权利要求1所述的基于transformer稀疏注意力机制的水质预测方法，其特征在于：所述时间序列模块通过滑动平均滤波处理，以获取水质数据的周期性特征；将所述滑动平均滤波处理的序列输入embedding层，将每一时刻的位置编码信息和该时刻对应的嵌入向量相加得到稀疏矩阵；时间位置编码通过以下公式求得，将水质数据位置信息的嵌入向量表示为pe，pe公式为：

7.根据权利要求1所述的基于transformer稀疏注意力机制的水质预测方法，其特征在于：

8.根据权利要求1所述的基于transformer稀疏注意力机制的水质预测方法，其特征在于：所述decoder解码器包括：两个稀疏注意力模块、一个前馈神经网络层和三个残差连接及归一化层，单个系数注意力机制模块包含多个系数注意力机制。

9.根据权利要求8所述的基于transformer稀疏注意力机制的水质预测方法，其特征在于：所述多头注意力机制采用mask掩盖操作；所述多头注意力包括：稀疏注意力机制。

10.根据权利要求1所述的基于transformer稀疏注意力机制的水质预测方法，其特征在于：所述步骤6中将预测值和真实值根据损失函数loss进行迭代更新训练，采取均绝对误差，均标准误差作为评价数值；

技术总结
本发明提供一种基于transformer稀疏注意力机制的水质预测方法，包括以下步骤：通过采集站点获取水质数据进行存储，构建水质数据集；对水质缺失数据进行多重插值法补齐，整体数据集进行均值归一化，并将数据集划分为训练集和测试集，将训练集数据输入时序分解模块，提取时序特征；数据输入Embedding层，为其添加时间位置特征得到稀疏矩阵X1，经编码器将稀疏矩阵X1处理后将得到的特征向量输入到解码器中；数据输入Embedding层，为其添加时间位置特征得到稀疏矩阵X2，解码器对编码器输入的数据和稀疏矩阵X2进行处理得到预测数据；对模型进行训练，并不断迭代更新，从而得到所预测的水质数据。

技术研发人员：李长平,徐鹏,朱报开
受保护的技术使用者：东莞理工学院
技术研发日：
技术公布日：2024/1/12