基于多参数测量与机器学习算法的多沙河流水库排沙实时预测方法与流程

1.本发明涉及基于多参数测量与机器学习算法的多沙河流水库排沙实时预测方法，属于水库泥沙研究领域。


背景技术：

2.在多沙河流上修建水库，会不可避免的面临水库淤积问题。泥沙淤积会阻碍水库调节水流功能的发挥，缩短水库使用年限，对水库的防洪作用和大坝自身安全不利。而水库排沙是目前世界上减轻水库淤积、增加水库寿命普遍采用的方法，实践证明利用汛期洪水或汛前弃水排除库内淤积泥沙，可以取得良好的效果和效益。因此，针对水库排沙预测问题的研究意义重大。
3.目前，国内外关于水库排沙过程的相关研究，采用的研究方法主要包括实测资料分析法、物理模型试验法和数值模拟法。
4.实测资料分析法是建立在大量实测资料数据上的一种基于统计学的分析方法，是利用长系列的水库水文资料对各类水库的淤积及排沙过程进行归纳分析。实测资料分析法是进行水库排沙研究的基础方法，然而其一方面多只是各个单因素的相关分析，难以考察众多影响因素的综合作用；另一方面其针对的是特定水库的泥沙淤积和排沙变化过程的趋势分析，在适用性及其精度方面有限，同时在推广应用方面也存在一些不足。
5.物理模型试验法是按照一定的水流泥沙运动相似理论(几何相似、重力相似、阻力相似、输沙量相似、沉降相似等)，并根据实际工程的边界条件与动力学条件等参数，按照一定的比尺建立水库泥沙河工模型，进而基于所开展的模型试验来模拟分析实际水沙变化过程的方法。物理模型试验法虽然在一定程度上能起到指导工程实际的目的，但其一方面受限于实际工程的复杂性而无法完全模拟真实工况，另一方面则相对成本较高，耗费的时间和财力物力较多。
6.数值模拟方法是基于泥沙运动、水流运动的水动力学原理，在一定的初始条件和边界条件下建立不同维度(一维、二维或三维)的水沙数学模型，进而模拟预测水库泥沙变化的方法。数值模拟方法虽然物理意义明确，但其缺点在于需要满足一定的假设条件，而且存在着过程复杂、计算参数较多、调参困难等不足，因此在水库的实际管理运用中仍有一定的局限性。
7.近年来，以解决大数据分析问题为优势的机器学习算法(machine learning,ml)发展非常迅速，已被广泛应用于空气质量预测、地理信息预测、疾病诊断、故障分析等多个科学领域，而且取得了很好的效果。机器学习算法实际上是一种利用数据自动分析建模并利用模型进行预测的数据分析方法，是对非线性系统进行分类或回归的有效方法。考虑到水库排沙的影响因素众多，其属于多因素、非线性影响关系，因此通过机器学习的方法来进行研究，可以有效地克服多因素复杂关系的建立难题。
8.此外，雷达水位计、多普勒流量计、含沙量测量仪及多波束测深仪等水库泥沙相关
数据采集设备及技术也已经相当的成熟，可以为水库排沙实时预测提供先进的技术支持。
9.综上，为了更有效地解决水库泥沙淤积问题、充分发挥水库效益，有必要提出一种基于水库多参数测量与机器学习算法的多沙河流水库排沙实时预测方法，以进一步满足我国的多沙河流水库的调度运行需要，可以为水库的合理调度及安全运行提供技术支持。


技术实现要素：

10.本发明旨在克服现有研究方法的不足，并进一步为水库的合理调度及安全运行提供技术支持，从而将水库测量与机器学习算法相结合，提出了一种适用于多沙河流水库排沙过程的实时预测方法。
11.为了实现上述目的，本发明所采用的技术方案是：
12.基于多参数测量与机器学习算法的多沙河流水库排沙实时预测方法，包括水库多参数数据采集装置、集成控制器、数据无线发送装置、水库排沙实时预测监控系统、数据库及应用服务器、现场反馈提示装置六部分；
13.所述水库多参数数据采集装置负责采集水库泥沙数据，并由集成控制器实时接收采集到的数据；所述集成控制器中嵌入有基于python语言编写的极限梯度提升xgboost、支持向量机svm、k最邻近算法knn、随机森林rf、高斯过程回归gpr五种机器学习核心算法，基于机器学习核心算法，对采集到的数据进行分析，实现水库排沙的实时预测分析；所述数据无线发送装置负责接收由集成控制器发送过来的数据，并将数据发送到数据库及应用服务器中；所述数据库及应用服务器负责接受并存储由数据无线发送装置发送的数据，并对出库含沙量是否满足标准要求进行判断，判断结果可实时显示在水库排沙实时预测监控系统，并由现场反馈提示装置实时接收。
14.所述水库多参数数据采集装置包括：雷达水位计、多普勒流量计、含沙量测量仪以及多波束测深仪四个部分；各部分设备分别采集不同的水库泥沙数据，其中雷达水位计用于实时采集水库的坝前水位w；多普勒流量计用于实时采集水库的入库流量q1及出库流量q2；含沙量测量仪用于实时采集水库的入库含沙量s1；多波束测深仪用于采集水库的淤积量g。
15.所述集成控制器的主要部件为数据控制器，数据控制器通过rs485接口分别实时获取雷达水位计采集得到的坝前水位w、多普勒流量计采集得到的入库流量q1及出库流量q2、含沙量测量仪采集得到的入库含沙量s1、多波束测深仪采集得到的淤积量g，以及数据的实时采集时间t；同时由坝前水位数据w计算得到坝前水位差δw，并结合机器学习算法预测模型，计算得到实时的预测出库含沙量s
′
。
16.所述实时的预测出库含沙量s
′
的具体计算方法如下：
17.(1)利用现有水沙数据，对现有数据进行预处理以及数据分割，得到训练数据，分别代入编好的五种机器学习算法程序：xgboost、svm、knn、rf、gpr当中，其中：将现有训练数据中w0、q
10
、q
20
、s
10
、g0、δw0这6个变量作为输入变量，将现有训练数据中出库含沙量s0作为唯一输出变量，建立综合考虑各影响因素的五种不同水库排沙预测模型，同时由测试数据代入模型得到预测出库含沙量s
0”；所建立的模型形式如下：
18.s0＝f(q
10
,s
10
,q
20
,g0,w0,δw0)
19.式中，f()为回归函数；s0为现有训练数据中出库含沙量；q
10
为现有训练数据中入
库流量；s
10
为现有训练数据中入库含沙量；q
20
为现有训练数据中出库流量；g0为现有训练数据中淤积量；w0为现有训练数据中坝前水位；δw0为现有训练数据中坝前水位差；
20.(2)接着进行五种不同模型预测结果的误差对比分析，这里以预测出库含沙量s
0”与现有测试数据中出库含沙量s0'，两者间的平均绝对误差mae以及均方根误差rmse作为判断指标，并据此选择误差最小、精度最高的算法模型；平均绝对误差mae以及均方根误差rmse计算式如下：
[0021][0022][0023]
式中，n为测试数据样本数；s
0”为预测出库含沙量；s0'为现有测试数据中出库含沙量；
[0024]
(3)将选好的算法模型输入到集成控制器模块当中，并将实时获取的w、q1、q2、s1、g数据，以及计算得到的变量数据δw代入模型，即得到实时的预测出库含沙量s
′
。
[0025]
所述数据无线发送装置负责接收由集成控制器发送过来的数据，其中包括水库多参数数据采集装置采集得到的坝前水位w、入库流量q1、出库流量q2、入库含沙量s1、淤积量g，以及集成控制器计算得到的坝前水位差δw、预测的出库含沙量s
′
和数据的实时采集时间t；所述采集的数据通过4g或5g网络无线发送到远程的数据库及应用服务器中。
[0026]
所述数据库及应用服务器主要用于接收从数据无线发送装置发送过来的数据，并进行及时存储；
[0027]
同时，数据库及应用服务器根据水库排沙实时预测监控系统输入的出库含沙量标准值[s]，判断当前所计算的预测出库含沙量s
′
是否满足标准要求；其判断依据为：ξ≤[ξ]，其中[ξ]＝10％，为相对误差允许值，ξ计算式如下：
[0028][0029]
式中，ξ为预测出库含沙量与出库含沙量标准值之间相对误差，％；s
′
为预测的出库含沙量；[s]为出库含沙量标准值；
[0030]
如果不满足，则经internet网络向监控系统发送出库含沙量数据不满足标准要求的提示信息；同时向水库现场反馈提示装置发出提示信息，及时给予水库现场管理人员提示，以便采取应对措施。
[0031]
所述水库排沙实时预测监控系统安装在水库现场能连接internet网络的台式机电脑或移动笔记本电脑上；在监控开始前，操作人员通过该系统设定当前水库基本信息、出库含沙量标准，并将这些信息通过internet网络存入数据库及应用服务器当中，供后续应用；在监控过程中，系统界面实时显示实时的预测出库含沙量s
′
随时间t的变化过程线；
[0032]
此外，监控系统接收来自数据库及应用服务器发送的出库含沙量不满足要求的提示信息，并提示给水库现场管理人员以便及时采取应对措施。
[0033]
所述现场反馈提示装置实时接收数据库及应用服务器所发送的出库含沙量不满
足要求的提示信息，水库现场管理人员根据该装置接收到的反馈提示信息，及时采取对应的措施以改变出库含沙量。
[0034]
本发明有益效果：
[0035]
(1)本发明将水库测量与机器学习算法相结合，克服现有研究方法中需要满足一定的假设条件，以及过程复杂、计算参数较多等不足。
[0036]
(2)本发明包括水库多参数数据采集装置、集成控制器、数据无线发送装置、水库排沙实时预测监控系统、数据库及应用服务器、现场反馈提示装置六部分，可实时、自动采集水库泥沙数据，并基于机器学习算法建立综合考虑各影响因素的多沙水库排沙过程预测优异模型，提高预测的准确性和精度。
[0037]
(3)本发明基于python语言编写极限梯度提升、支持向量机、k最邻近算法、随机森林、高斯过程回归五种机器学习核心算法，基于机器学习核心算法，对采集到的数据进行分析，实现水库排沙的实时预测分析，所建立的预测模型可针对于各类多沙河流水库排沙过程，适用性及推广性强。
[0038]
(4)本发明所建立的预测模型可实现不同多沙河流水库排沙过程的实时预测，从而为水库调度方案的比选及优化，提供有力的理论和技术支撑。
附图说明
[0039]
图1本发明方法的各部分组成结构示意图。
[0040]
图2本发明方法的流程示意图。
[0041]
图3本发明方法的集成原理示意图。
[0042]
图4本发明方法中实时预测的出库含沙量s
′
随时间t的变化过程线示意图。
具体实施方式
[0043]
以下结合实施例对本发明的具体实施方式作进一步详细说明。实施例中所涉及的仪器设备如无特别说明，均为常规仪器设备；涉及试剂如无特别说明，均为市售常规试剂；涉及试验方法如无特别说明均为常规方法。
[0044]
实施例
[0045]
针对水库排沙预测研究，实现多沙河流水库排沙过程实时、准确的预测监测，本发明实例提供了一种适用于多沙河流水库排沙过程的实时预测方法，该方法组成结构图、方法流程图及集成原理图，分别参见图1、图2和图3。
[0046]
本方法包括水库多参数数据采集装置、集成控制器、数据无线发送装置、水库排沙实时预测监控系统、数据库及应用服务器、现场反馈提示装置六部分，以及嵌入集成控制器中的基于python语言编写的极限梯度提升(extreme gradient boosting，xgboost)、支持向量机(support vector machines，svm)、k最邻近算法(k nearest neighbor，knn)、随机森林(random forest,rf)、高斯过程回归(gauss progress regression,gpr)五种机器学习核心算法，基于机器学习算法可以实现水库排沙的实时预测分析。
[0047]
一 水库多参数数据采集装置
[0048]
水库多参数数据采集装置包括四个部分：雷达水位计(如采用f-ld100雷达一体化水位计)、多普勒流量计(如采用hq-610型超声波多普勒流量计)、含沙量测量仪(如采用
tkcs2012型含沙量在线测量仪)以及多波束测深仪(如采用em2040c多波束测深仪)。各部分设备分别用于采集不同的水库泥沙数据，其中雷达水位计用于实时采集水库的坝前水位w；多普勒流量计用于实时采集水库的入库流量q1及出库流量q2；含沙量测量仪用于实时采集水库的入库含沙量s1；多波束测深仪用于采集水库的淤积量g。
[0049]
同时，采集装置各部分通过rs485接口向集成控制器提供采集得到的数据。
[0050]
二 集成控制器
[0051]
集成控制器的主要部件为数据控制器(包括微控制器(microcontroller unit，mcu)以及现场可编程逻辑门阵列(field programmable gate array，fpga))，并采用外部供电电源向集成控制器中的数据控制器持续供电。数据控制器通过rs485接口分别实时获取雷达水位计采集得到的坝前水位数据w、多普勒流量计采集得到的入库流量数据q1及出库流量数据q2、含沙量测量仪采集得到的入库含沙量数据s1、多波束测深仪采集得到的淤积量g，以及数据的实时采集时间t；同时由坝前水位数据w计算得到坝前水位差数据δw,并进一步根据以上数据(w、q1、q2、s1、g、δw)，结合优选的机器学习算法预测模型，计算得到实时的预测出库含沙量数据s
′
。具体应用方式如下：
[0052]
(1)事先利用现有的水沙数据，对现有数据进行预处理以及数据分割，将得到的训练数据分别代入编好的五种机器学习算法程序(xgboost、svm、knn、rf、gpr)当中，其中：将现有训练数据中w0、q
10
、q
20
、s
10
、g0、δw0这6个变量作为输入变量，将现有训练数据中出库含沙量s0作为唯一输出变量，建立综合考虑各影响因素的不同水库排沙预测模型，同时由测试数据代入模型得到预测出库含沙量s0'。所建立的模型的形式如下：
[0053]
s0＝f(q
10
,s
10
,q
20
,g0,w0,δw0)
[0054]
式中，f()为回归函数；s0为现有训练数据中出库含沙量；q
10
为现有训练数据中入库流量；s
10
为现有训练数据中入库含沙量；q
20
为现有训练数据中出库流量；g0为现有训练数据中淤积量；w0为现有训练数据中坝前水位；δw0为现有训练数据中坝前水位差。
[0055]
这里需要说明的是：“坝前水位差δw
0”是考虑坝前水位变化对排沙影响的时效性，通过试算当天水位之前n(n＝1,2,3,4,5
…
)天水位的平均值，与当天水位的差值，对于当天排沙的影响所引入的输入变量。
[0056]
(2)接着进行不同模型预测结果的误差对比分析，这里以预测出库含沙量s
0”与现有测试数据中出库含沙量s0'，两者间的平均绝对误差mae以及均方根误差rmse作为判断指标，并据此选择误差最小、精度最高的最优算法模型。平均绝对误差mae以及均方根误差rmse计算式如下：
[0057][0058][0059]
式中，n为测试数据样本数；s
0”为预测出库含沙量；s0'为现有测试数据中出库含沙量。
[0060]
(3)将选好的最优算法模型输入到集成控制器模块当中，并将实时获取以及计算得到的各变量数据(w、q1、q2、s1、g、δw)代入最优模型，即可得到实时的预测出库含沙量数
据s
′
。
[0061]
(4)将上述所有数据及计算结果一并放入flash存储器中进行缓存，并且可由rs485端口将这些数据(w、q1、q2、s1、g、δw、s
′
、t)传输给数据无线发送装置。
[0062]
三 数据无线发送装置
[0063]
数据无线发送装置负责接收由集成控制器发送过来的数据，其中包括：水库多参数数据采集装置采集得到的坝前水位数据w、入库流量数据q1、出库流量数据q2、入库含沙量数据s1、淤积量数据g，以及集成控制器计算得到的坝前水位差数据δw、预测的出库含沙量数据s
′
和实时获取各类数据时的时间t，并首先将上述数据放入flash存储器中，通过缓存再将数据发送给中央处理器(central processing unit，cpu)；然后，cpu对数据进行封装，并根据定制的tcp/ip协议加密相关数据，按一定的时间间隔将上述数据由无线通讯模块通过4g(the 4th generation)或5g(the 5th generation)网络无线发送到远程的数据库及应用服务器中。
[0064]
四 数据库及应用服务器
[0065]
数据库及应用服务器主要用于接收并存储从数据无线发送装置发送过来的数据，包括：坝前水位数据w、入库流量数据q1、出库流量数据q2、入库含沙量数据s1、淤积量数据g，以及计算得到的坝前水位差数据δw、预测的出库含沙量数据s
′
和实时获取各类数据时的时间t在内的所有数据。本发明实施例中可以将工控pc(industrial personal computer，ipc)作为数据库及应用服务器硬件，同时采用如mariadb数据库来支持数据应用，服务器通过光纤连接internet，根据设定的服务器ip地址，接收并存储由数据无线发送装置向该指定ip地址发送的所有数据。
[0066]
同时，数据库及应用服务器可根据水库排沙实时预测监控系统输入的出库含沙量标准值[s]，判断当前所计算的预测出库含沙量数据s
′
是否满足标准要求。其判断依据为：ξ≤[ξ]，其中ξ为预测出库含沙量与出库含沙量标准值之间相对误差，[ξ]为相对误差允许值(如10％)，ξ计算式如下。如果不满足，则经internet网络向监控系统发送出库含沙量数据不满足标准要求的提示信息，该信息主要包括：出库含沙量不满足标准要求的数据获取时间及其对应含沙量值、含沙量标准值和超标情况等；同时还可向水库现场反馈提示装置发出提示短信信息，该短信内容包含出库含沙量不满足标准要求的数据获取时间及其对应含沙量值、含沙量标准值和超标情况等信息，及时给予水库现场管理人员提示，以便采取应对措施。
[0067][0068]
式中，ξ为预测出库含沙量与出库含沙量标准值之间相对误差，％；s
′
为预测的出库含沙量；[s]为出库含沙量标准值。
[0069]
五 水库排沙实时预测监控系统
[0070]
水库排沙实时预测监控系统安装在水库现场能够连接internet网络的台式机电脑或移动笔记本电脑上。在实时预测监控开始前，操作人员可以通过该系统设定当前水库基本信息、出库含沙量标准等，并将这些信息通过internet网络存入数据库及应用服务器当中，供后续应用。在监控过程中，系统界面可实时显示出库含沙量预测结果图，即实时预
测的出库含沙量s
′
随时间t的变化过程线。
[0071]
此外，监控系统还可接收来自数据库及应用服务器发送的出库含沙量不满足要求的提示信息，并且在系统界面上标记显示出库含沙量不满足要求的数据点(称为异常点)，如下图4示意；同时，提示给水库现场管理人员以便及时采取应对措施(如调节闸门开度改变出库流量、降低坝前水位等)，从而改变出库含沙量以满足设定的标准要求。
[0072]
六 现场反馈提示装置
[0073]
现场反馈提示装置由移动终端可实时接收数据库及应用服务器所发送的出库含沙量不满足要求的提示信息，水库现场管理人员则可以根据该装置接收到的反馈提示信息，及时采取对应的措施(如调节闸门开度改变出库流量、降低坝前水位等)以改变出库含沙量。本发明实施例中水库现场反馈提示装置采用智能手机，在实际应用中本发明对此不做具体限制。