基于传感器及智能算法的农田径流总氮总磷快速监测方法

1.本发明属于环境监测与农业面源污染防治领域，具体涉及一种基于传感器及智能算法的农田径流总氮总磷快速监测方法。


背景技术：

2.面源污染，是指溶解的以及固体的污染物从非特定的地点，在降水(或融雪)冲刷作用下，通过径流过程而汇入受纳水体(包括河流、湖泊、水库和海湾等)并引起水体富营养化或其他形式的污染。面源污染发生的分散性、不确定性和时空异质性导致其监测相对于河湖等水量、水质相对稳定的水体而言，更为困难。同时，面源污染发生特点导致地表径流的流量和水质往往在短期内经历快速变化，尤其在降雨初期的前30min时段内，无论是从规律研究和监测预警角度，均对监测频率和实效性等方面提出了更高的要求。
3.总氮、总磷是反映水质和水体富营养化的重要指标。目前常规监测径流总氮、总磷浓度主要借助监测装置人工采样后，在实验室采用化学法进行测试。野外原位监测时，地表径流监测方法包括径流池法、人工模拟降雨产流法、流量计法和堰测法；地下淋溶污水收集方法包括渗滤池法、淋溶盘法、淋溶集水槽法、抽滤管法和模拟土柱法。原位监测的采样和测试过程均以人工操作为主，费时费力，效率较低，且采集样品多以次降雨尺度的总混合样为主。鉴于面源污染地表径流流量和浓度短期内变化快速的特点，现有监测技术限制了面源污染发生过程中地表径流时序数据的快速获取。
4.随着技术的发展，传感器、遥感反演、自动采样进样等技术手段被逐渐应用于面源污染径流水质监测。目前，国内外已有的水质自动监测技术与装置主要有以下两类：
5.1、岸站式水质自动监测站，该系统通过野外自动采样进样、自动测试完成氮磷等水质指标在线监测，虽然精度较高，但是整套系统部署周期长、占地、成本较高、维护复杂且运行过程中会产生大量废液；同时，该方法仍然是采用化学法进行总氮、总磷测试，最高监测频率约为45min一个样品。因此，基于化学法的水质自动监测频率仍不能反映次降雨事件内的径流浓度变化过程。
6.2、水质传感器法，该方法采用传感器对水质进行实时连续监测，最常见的监测指标有ph、水温、电导率、溶解氧、氧化还原电位、氨氮、硝氮等。但目前还没有成熟的、可直接用于总氮、总磷快速监测的传感器。


技术实现要素：

7.本发明的目的是针对现有技术存在的上述问题，提供一种基于传感器及智能算法的农田径流总氮总磷快速监测方法。
8.为实现以上目的，本发明的技术方案如下：
9.基于传感器及智能算法的农田径流总氮总磷快速监测方法，依次包括以下步骤：
10.步骤一、采集总氮/总磷浓度及其对应的、传感器可测的常规水质参数序列数据；
11.步骤二、将采集的序列数据作为样本集、通过智能算法构建反演模型，建立总氮/
总磷浓度与其对应的、传感器可测的常规水质参数之间的响应关系；
12.步骤三、通过传感器实时采集常规水质参数，然后将采集的参数输入构建的反演模型中，即可确定总氮/总磷浓度。
13.所述总氮浓度所对应的、传感器可测的常规水质参数包括ph、电导率、溶解氧、水温、氧化还原电位、氨氮、硝氮；
14.所述总磷浓度所对应的、传感器可测的常规水质参数包括ph、电导率、溶解氧、水温、氧化还原电位、正磷酸盐。
15.所述步骤二通过极端随机树算法构建反演模型。
16.所述步骤二采用基于python的scikit
‑
learn库的极端随机树算法构建反演模型，依次包括以下步骤：
17.s1、将所采集样本集中的水质参数序列数据随机拆分成训练样本(s,a)和测试样本(t,b)，其中，s为训练样本集，a为训练样本数据，t为测试样本集，b为测试样本数据；
18.s2、随机选定均匀切点若则返回树节点的左分支，若则返回树节点的右分支，其中，节点的右分支，其中，分别为训练样本数据最小、最大值；
19.s3、以均方误差mse作为节点分裂评估标准，对节点的所有特征进行遍历，获得全部特征的分裂值，并选取分裂值最大的特征对该节点进行分裂；
20.s4、重复步骤s1
‑
s3迭代v次，建立极端随机树集合；
21.s5、计算反演模型的决定系数r2，若r2大于等于设定的阈值，则判定该模型的预测性能满足要求，若r2小于设定的阈值，则根据mse调整参数后重复s1
‑
s4，直至满足要求。
22.步骤s3中，所述mse通过以下公式计算得到：
[0023][0024]
上式中，n为训练样本集中的样本数量，f(x
i
)为第i个样本的总氮/总磷浓度预测值，y
i
为第i个样本中的总氮/总磷浓度实测值；
[0025]
步骤s5中，所述r2通过以下公式计算得到：
[0026][0027]
上式中，为总氮/总磷浓度实测值的平均值。
[0028]
步骤三中，所述常规水质参数通过便携式多参数水质分析仪采集得到。
[0029]
步骤二中，所述样本集中的样本数量大于等于50。
[0030]
与现有技术相比，本发明的有益效果为：
[0031]
1、本发明基于传感器及智能算法的农田径流总氮总磷快速监测方法先采集总氮/总磷浓度及其对应的、传感器可测的常规水质参数序列数据，再将采集的序列数据作为样本集、通过智能算法构建反演模型，建立总氮/总磷浓度与其对应的、传感器可测的常规水质参数之间的响应关系，然后将实时采集的常规水质参数输入构建的反演模型中即可确定总氮/总磷浓度，该方法不仅能够实现分钟级的测量频率，满足径流过程的动态监测要求，而且在同一区域或类似环境背景下，无需重新构建反演模型。因此，本发明不仅显著提高了
总氮/总磷的测量频率，而且具有普适性。
[0032]
2、本发明基于传感器及智能算法的农田径流总氮总磷快速监测方法通过极端随机树算法构建反演模型，与其它常规算法相比，该算法具有更高的可靠性，在部分参数缺失的情况下仍可实时、不间断地实现总氮/总磷的反演，并保证所需精度，从而弥补野外复杂环境及传感器意外等导致数据缺失或异常的问题。因此，本发明在部分参数缺失的情况下也能保证测量精度，可靠性高。
附图说明
[0033]
图1为本发明的流程图。
具体实施方式
[0034]
下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0035]
参见图1，基于传感器及智能算法的农田径流总氮总磷快速监测方法，依次包括以下步骤：
[0036]
步骤一、采集总氮/总磷浓度及其对应的、传感器可测的常规水质参数序列数据；
[0037]
步骤二、将采集的序列数据作为样本集、通过智能算法构建反演模型，建立总氮/总磷浓度与其对应的、传感器可测的常规水质参数之间的响应关系；
[0038]
步骤三、通过传感器实时采集常规水质参数，然后将采集的参数输入构建的反演模型中，即可确定总氮/总磷浓度。
[0039]
所述总氮浓度所对应的、传感器可测的常规水质参数包括ph、电导率、溶解氧、水温、氧化还原电位、氨氮、硝氮；
[0040]
所述总磷浓度所对应的、传感器可测的常规水质参数包括ph、电导率、溶解氧、水温、氧化还原电位、正磷酸盐。
[0041]
所述步骤二通过极端随机树算法构建反演模型。
[0042]
所述步骤二采用基于python的scikit
‑
learn库的极端随机树算法构建反演模型，依次包括以下步骤：
[0043]
s1、将所采集样本集中的水质参数序列数据随机拆分成训练样本(s,a)和测试样本(t,b)，其中，s为训练样本集，a为训练样本数据，t为测试样本集，b为测试样本数据；
[0044]
s2、随机选定均匀切点若则返回树节点的左分支，若则返回树节点的右分支，其中，节点的右分支，其中，分别为训练样本数据最小、最大值；
[0045]
s3、以均方误差mse作为节点分裂评估标准，对节点的所有特征进行遍历，获得全部特征的分裂值，并选取分裂值最大的特征对该节点进行分裂；
[0046]
s4、重复步骤s1
‑
s3迭代v次，建立极端随机树集合；
[0047]
s5、计算反演模型的决定系数r2，若r2大于等于设定的阈值，则判定该模型的预测性能满足要求，若r2小于设定的阈值，则根据mse调整参数后重复s1
‑
s4，直至满足要求。
[0048]
步骤s3中，所述mse通过以下公式计算得到：
[0049]
[0050]
上式中，n为训练样本集中的样本数量，f(x
i
)为第i个样本的总氮/总磷浓度预测值，y
i
为第i个样本中的总氮/总磷浓度实测值；
[0051]
步骤s5中，所述r2通过以下公式计算得到：
[0052][0053]
上式中，为总氮/总磷浓度实测值的平均值。
[0054]
步骤三中，所述常规水质参数通过便携式多参数水质分析仪采集得到。
[0055]
步骤二中，所述样本集中的样本数量大于等于50。
[0056]
本发明的原理说明如下：
[0057]
本发明提出了一种基于传感器及智能算法的农田径流总氮总磷快速监测方法，该方法将传感器快速监测方法和智能算法相结合，优势互补，实现了地表径流总氮、总磷的实时、快速监测，可用于指导面源污染氮磷流失预警及应急防控等目标。该方法的监测频率可达到小于5min/次，且总氮、总磷的测量精度分别可达0.9、0.7以上。
[0058]
本发明所述智能算法不仅限于极端随机树算法；所采用的用于总氮总磷参数反演的、传感器可测的常规水质参数也不仅限于文中所列参数。
[0059]
实施例1：
[0060]
参见图1，基于传感器及智能算法的农田径流总氮快速监测方法，该方法以位于湖北省安陆市的长江流域典型灌排单元为研究对象，依次按照以下步骤进行：
[0061]
1、采集该试验点2018年同一灌排单元内出水水质监测结果，共包括6个出水水质监测点，192条数据。监测时间为基肥施用后的9天内，于产流后10分钟、20分钟、30分钟、40分钟、50分钟、1小时、1小时20分钟、1小时40分钟、2小时、3小时、4小时进行采样监测，采样监测数据为总氮浓度及其对应的、传感器可测的常规水质数据，其中，传感器可测的常规水质数据包括ph、电导率、溶解氧、水温、氧化还原电位、氨氮、硝氮；
[0062]
2、将采集的序列数据作为样本集、基于python的scikit
‑
learn库的极端随机树算法构建反演模型，建立总氮浓度与其对应的、传感器可测的常规水质参数之间的响应关系，具体为：
[0063]
2.1、将所采集样本集中的水质参数序列数据随机拆分成训练样本(s,a)和测试样本(t,b)，其中，s为训练样本集，a为训练样本数据，t为测试样本集，b为测试样本数据；
[0064]
2.2、随机选定均匀切点若则返回树节点的左分支，若则返回树节点的右分支，其中，节点的右分支，其中，分别为训练样本数据最小、最大值；
[0065]
2.3、以均方误差mse作为节点分裂评估标准，对节点的所有特征进行遍历，获得全部特征的分裂值，并选取分裂值最大的特征对该节点进行分裂，其中，所述mse通过以下公式计算得到：
[0066][0067]
上式中，n为训练样本集中的样本数量，f(x
i
)为第i个样本的总氮浓度预测值，y
i
为第i个样本中的总氮浓度实测值；
[0068]
2.4、重复步骤2.1
‑
2.3迭代100次，建立极端随机树集合；
[0069]
2.5、计算反演模型的决定系数r2，若r2大于等于设定的阈值，则判定该模型的预测性能满足要求，若r2小于设定的阈值，则根据mse调整参数后重复2.1
‑
2.4，直至满足要求；
[0070]
3、先通过便携式多参数水质分析仪实时采集常规水质参数，然后将采集的参数输入构建的反演模型中，即可确定总氮浓度。
[0071]
实施例2：
[0072]
参见图1，基于传感器及智能算法的农田径流总磷快速监测方法，该方法以位于湖北省安陆市的长江流域典型灌排单元为研究对象，依次按照以下步骤进行：
[0073]
1、采集该试验点2018年同一灌排单元内出水水质监测结果，共包括6个出水水质监测点，192条数据。监测时间为基肥施用后的9天，于产流后10分钟、20分钟、30分钟、40分钟、50分钟、1小时、1小时20分钟、1小时40分钟、2小时、3小时、4小时进行采样监测，采样数据为总磷浓度及其对应的、传感器可测的常规水质数据，其中，传感器可测的常规水质数据包括ph、电导率、溶解氧、水温、氧化还原电位、正磷酸盐；
[0074]
2、将采集的序列数据作为样本集、基于python的scikit
‑
learn库的极端随机树算法构建反演模型，建立总磷浓度与其对应的、传感器可测的常规水质参数之间的响应关系，具体为：
[0075]
2.1、将所采集样本集中的水质参数序列数据随机拆分成训练样本(s,a)和测试样本(t,b)，其中，s为训练样本集，a为训练样本数据，t为测试样本集，b为测试样本数据；
[0076]
2.2、随机选定均匀切点若则返回树节点的左分支，若则返回树节点的右分支，其中，节点的右分支，其中，分别为训练样本数据最小、最大值；
[0077]
2.3、以均方误差mse作为节点分裂评估标准，对节点的所有特征进行遍历，获得全部特征的分裂值，并选取分裂值最大的特征对该节点进行分裂，其中，所述mse通过以下公式计算得到：
[0078][0079]
上式中，n为训练样本集中的样本数量，f(x
i
)为第i个样本的总磷浓度预测值，y
i
为第i个样本中的总磷浓度实测值；
[0080]
2.4、重复步骤2.1
‑
2.3迭代100次，建立极端随机树集合；
[0081]
2.5、计算反演模型的决定系数r2，若r2大于等于设定的阈值，则判定该模型的预测性能满足要求，若r2小于设定的阈值，则根据mse调整参数后重复2.1
‑
2.4，直至满足要求；
[0082]
3、先通过便携式多参数水质分析仪实时采集常规水质参数，然后将采集的参数输入构建的反演模型中，即可确定总磷浓度。
[0083]
一、不同算法精度对比
[0084]
为考察本发明所述算法相较于其它算法的优势，将实施例1中采集的192条数据分别采用支持向量回归算法、k近邻算法、决策树算法、轻量级梯度提升机、随机森林算法、梯度提升回归树算法、极端随机树算法进行总氮、总磷浓度反演，在原数据及随机去除1个变量值的情景下对各算法的精度进行比较(选取75％的样本为训练样本，25％的样本为测试样本)，结果如表1、表2所示：
[0085]
表1基于7种不同算法的总氮反演精度对比结果
[0086][0087][0088]
表2基于7种不同算法的总磷反演精度对比结果
[0089][0090]
通过以上对比不难看出，本发明所采用的极端随机树算法不仅在数据完整的条件下对总氮、总磷都具有较高的反演精度，而且在部分数据缺失的情况下也能保持更高的反演精度。
[0091]
二、数据缺失条件下的精度分析
[0092]
在采集的192条数据中，随机选取75％的样本为训练样本，25％的样本为测试样本，通过随机去除样本中变量值的个数n(n＝1,2,3)，模拟野外监测时传感器探头失灵导致的部分数据缺失情景，通过设置缺失样本的比例p(p＝25％,50％,75％,100％)，模拟野外
监测站故障等导致的部分数据缺失情景，分别对实施例1、2所述方法的精度进行考察，结果参见表3：
[0093]
表3不同数据缺失条件下总氮、总磷反演精度对比结果
[0094][0095]
通过以上对比不难看出，本发明所采用的极端随机树算法对缺失值的容忍性较好。在野外复杂环境及传感器意外等导致数据缺失或异常的情景下，本发明所采用基于传感器及智能算法的农田径流总氮总磷快速监测方法仍可实时、不间断地实现仍能实现总氮、总磷较高精度反演，并保证所需精度。