本发明属于水质监测,尤其涉及一种水质监测数据统计审核方法及系统。
背景技术:
1、水是生命之源,是人类生存和发展的基础。然而,随着工业化和城市化的快速发展,水污染问题日益严重,对人类的健康和生态环境造成了巨大的威胁。因此,水质监测成为保障水资源的重要手段。通过对水质的实时监测和分析,可以及时发现和解决水污染问题,保障人民的用水安全,同时也有助于保护和改善生态环境。
2、水质监测技术的发展经历了多个阶段。最早的水质监测主要依靠人工采样和简单的理化分析,这种方法不仅效率低下,而且无法实时反映水质变化。随着科技的发展,自动监测技术逐渐取代了传统的人工监测。自动监测技术可以实时监测水质,提供更准确的数据,并且可以对水质进行长期持续的监测。近年来,随着物联网、大数据等技术的兴起,智能化水质监测成为新的发展趋势。
3、现有的水质监测通过传感器来进行,相较于传统的手工化学方式,可实现对水质的连续监测。而传感器实际上并不是直接对监测指标(例如总磷和总氮)进行感知,而是通过水产生的电信号或者光信号来判断。因此有可能出现的情况就是由其他原因会引起电信号、光信号的持续上升,但又并非监测指标本身的变化。为了避免上述情况的发生导致的监测数据与实际情况不符,需要对传感器获取到的监测数据进行审核。
技术实现思路
1、有鉴于此,本发明提供一种水质监测数据统计审核方法及系统,利用统计方法对监测数据中无效数据予以剔除。
2、为解决以上技术问题,本发明的技术方案为采用一种水质监测数据统计审核方法,包括:
3、对目标水质监测点获取的监测数据进行实时审核,剔除无效数据;
4、对剩余的监测数据设定审核周期,获取审核周期内监测数据的平均值、方差以及标准差;
5、利用审核周期内监测数据以及其方差、均值计算偏离度和峰度;
6、利用偏离度和峰度对监测数据进行判断,剔除无效数据。
7、作为一种改进,对目标水质监测点获取的监测数据进行实时审核的方法包括:
8、设定目标水质监测点的监测指标的考核值tcm;
9、计算时间段d内目标水质监测点获取的监测数据的平均值;
10、若存在,且
11、,k≥1;则将监测数据cmi~cm(i+q)进行留存;其中,cmi~cm(i+q)为监测指标m的第i~i+q个监测数据,k为平均容忍系数;
12、将留存的监测数据分别与从目标水质监测点获取的实验数据进行比较,若留存数据均在实验数据的波动范围内则认为该段留存数据有效,否则将该段留存数据作为无效数据进行剔除。
13、作为一种进一步的改进,利用审核周期内监测数据以及其方差、均值计算偏离度的方法包括:利用公式:
14、;
15、计算偏离度;其中,mskm为偏离度,cmi为监测指标m的第i个监测数据,n 为监测数据的数量,为均值,为方差。
16、作为另一种更进一步的改进,利用公式:
17、;
18、计算峰度;其中kucm为峰度,cmi为监测指标m的第i个监测数据,n 为监测数据的数量,为均值,为方差。
19、作为一种改进,利用偏离度和峰度对监测数据进行判断的方法包括:
20、当偏离度的绝对值大于偏离度阈值且峰度大于或等于峰度阈值,则将审核周期内的监测数据作为无效数据进行剔除;
21、当偏离度的绝对值大于偏离度阈值且峰度处于峰度区间内,则将审核周期内的监测数据分别与从目标水质监测点获取的实验数据进行比较,若审核周期内的监测数据均在实验数据的波动范围内则认为审核周期内的监测数据,否则将审核周期内的监测数据作为无效数据进行剔除。
22、作为一种改进,所述偏离度阈值为0.5,所述峰度阈值为3,所述峰度区间为[1.8,3)。
23、作为一种改进,在进行实时审核之前,对目标水质监测点获取的监测数据进行平滑处理;对监测数据进行平滑的方法包括:
24、对校准周期内的利用浓缩水样进行校准后的监测数据进行平滑处理;所述校准周期为两次校准之间的时间间隔;
25、对校准周期内的监测数据进行平滑处理的方法为利用公式:
26、;
27、对监测数据进行平滑处理;其中,cmt为监测指标m平滑处理后的数据,vmt传感器反馈的监测指标m的监测数据,kmt为监测指标m的变化率,bmt为监测指标m的变化偏移。
28、作为一种改进,变化率的获取方法为利用公式:
29、;
30、获取变化率;其中,kmt为监测指标m的变化率,knowm为监测指标m当前校准周期内的浓缩水样校准斜率,klastm为监测指标m上一校准周期内的浓缩水样校准斜率,n为一个校准周期内产生的监测指标m的监测数据量,t为两个监测指标m的监测数据之间的时间间隔;
31、浓缩水样校准斜率的获取方法为利用公式:
32、;
33、获取浓缩水样校准斜率;其中,km为监测指标m的校准斜率,cm为原始水样的观察值,为浓缩水样的观察值,vm为原始水样的监测值,为原水水样的监测值;
34、变化偏移的获取方法为利用公式:
35、;
36、获取变化偏移;其中,bmt为监测指标m的变化偏移,bnowm为监测指标m当前校准周期内的浓缩水样校准偏移,blastm为监测指标m上一校准周期内的浓缩水样校准偏移,n为一个校准周期内产生的监测指标m的监测数据量,t为两个监测指标m的监测数据之间的时间间隔;
37、浓缩水样校准偏移的获取方法为利用公式:
38、;
39、获取浓缩水样校准偏移;其中,bm为监测指标m的校准偏移,km为监测指标m的校准斜率,cm为原始水样的观察值,vm为原始水样的监测值。
40、作为一种改进,利用浓缩水样校准斜率和浓缩水样校准偏移构建浓缩水样校准模型对监测周期内的监测数据进行校准;所述浓缩水样校准模型为:
41、ym= kmxm+ bm;
42、其中,ym为监测指标m校准后的监测数据,xm为监测指标m监测数据,km为监测指标m的校准斜率,bm为监测指标m的校准偏移。
43、本发明还提供一种水质监测数据统计审核系统,包括:
44、实时审核模块,用于对目标水质监测点获取的监测数据进行实时审核,剔除无效数据;
45、周期审核模块,用于对剩余的监测数据设定审核周期,获取审核周期内监测数据的平均值、方差以及标准差;利用审核周期内监测数据的平均值以及标准差计算变异系数;利用审核周期内监测数据以及其方差、均值计算偏离度和峰度;利用偏离度和峰度对监测数据进行判断,剔除无效数据。
46、本发明的有益之处在于:
47、本发明中,首先通过浓缩水样校准模型对监测数据进行校准,校准后传感器监测值和实际值会更加接近,使得监测结果更加精确。然后再对监测数据进行平滑处理,平滑处理中引入了变化率,变化率的引入主要是考虑到两个校准周期之间由于时间间隔有可能发生水质变化,通过变化率来模拟水质变化的规律从而提高监测结果的精确性。
48、在进行数据审核的过程中,首先通过实时审核对监测数据进行初步筛查,剔除部分无效数据。然后通过统计审核的手段,对监测数据中因异常因素导致的监测数据变化进行判断并剔除,最终保证了公布的数据与实际水质的一致性。