水务流量毛刺数据检测方法、系统、设备及可读介质与流程

本申请涉及水务数据处理领域，尤其涉及一种水务流量毛刺数据检测方法、系统、设备及可读介质。

背景技术：

1、现有的毛刺数据检测方法主要包括结合历史数据对比的箱线图法和基于密度的经典算法——局部异常因子法(lof)。然而，这些方法在特定情况下存在一些缺陷。

2、毛刺数据检测属于时序数据异常值检测的范畴，具体指时间序列中一个数据点的值突变到另一个点的值，然后再恢复到与第一个点相差不多的值。箱线图法使用历史数据对比来确定时序数据的阈值上下限，从而筛选出突出的毛刺数据。但是，该方法的阈值选取可能不准确，导致过多的毛刺被检测出来，而较小的局部毛刺可能会被忽略。

3、局部异常因子法是一种基于密度的算法，用于量化每个数据点的异常程度。它通过计算数据点与其邻近点的相对密度来判断异常程度，适用于不均匀密度的数据分布。然而，当毛刺不是很离散且不是特别突出时，异常程度与毛刺的波动幅度并不呈线性关系。这可能导致一些持续突变的点被错误地判定为毛刺。

技术实现思路

1、本申请的一个目的是提供一种水务流量毛刺数据检测方法、系统、设备及可读介质，至少用以使得该方法可以解决无法准确分析监测数据的问题，找到毛刺数据并针对性进行修复。

2、为实现上述目的，本申请的一些实施例提供了一种水务流量毛刺数据检测方法，所述方法包括：获取水务流量数据，根据所述水务流量数据按照时间序列进行处理，得到所述水务流量数据的变化值数据，根据所述变化值数据得到平均波动系数；根据所述水务流量数据和所述平均波动系数，按照时间序列进行处理，得到所述水务流量数据的波动倍数；根据所述波动倍数确定流量毛刺数据。

3、进一步地，所述根据所述变化值数据得到平均波动系数包括：所述变化值数据包括多个时间点的变化值，根据所有时间点的变化值进行求和平均，得到平均波动系数。

4、进一步地，所述得到所述水务流量数据的波动倍数包括：目标时间点x的波动倍数multi＝numerator/denominator；当numerator<avg时，将numerator赋值为avg；numerator＝|y(x)-y(x-1)|+|y(x+1)-y(x)|；当denominator<avg时，将denominator赋值为avg；denominator＝|y(x+10-y(x-10|；其中，avg是所述平均波动系数，y(x)是目标时间点x的流量值，y(x+1)为目标时间点x下一个采集周期的时间点的流量值，y(x-1)目标时间点x上一个采集周期的时间点的流量值。

5、进一步地，所述根据所述波动倍数确定流量毛刺数据包括：根据所述水务流量数据的采集时间和采集位置，确定毛刺阈值；当目标时间点的所述波动倍数超过所述毛刺阈值时，将所述目标时间点的数据标记为流量毛刺数据。

6、进一步地，所述方法还包括：通过预先训练好的毛刺检测模型对所述流量毛刺数据进行检测。

7、进一步地，所述毛刺检测模型根据所述水务流量数据和所述波动倍数，采用lightbgm二分类算法进行训练。

8、本申请的一些实施例还提供了一种水务流量毛刺数据检测系统，所述系统包括：数据处理模块，用于获取水务流量数据，根据所述水务流量数据按照时间序列进行处理，得到所述水务流量数据的变化值数据，根据所述变化值数据得到平均波动系数；波动倍数模块，用于根据所述水务流量数据和所述平均波动系数，按照时间序列进行处理，得到所述水务流量数据的波动倍数；流量毛刺模块，用于根据所述波动倍数确定流量毛刺数据。

9、本申请的一些实施例还提供了一种水务流量毛刺数据检测设备，所述设备包括：一个或多个处理器；以及存储有计算机程序指令的存储器，所述计算机程序指令在被执行时使所述处理器执行如上所述的方法。

10、本申请的一些实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现所述的水务流量毛刺数据检测方法。

11、相较于现有技术，本申请实施例提供的方案中，从水务监测点收集流量数据，这些数据按照时间顺序排列；对水务流量数据进行时间序列处理，计算每个时间点的变化值数据，即每个数据点与其前一个数据点之间的差值；利用变化值数据计算水务流量数据的平均波动系数，波动系数可以反映数据的波动幅度；再次按照时间序列处理水务流量数据，并根据平均波动系数计算每个时间点的波动倍数，波动倍数是通过比较当前数据点与其左右邻近数据点的波动幅度得出的；根据波动倍数，判断哪些数据点是流量毛刺数据。并使用lightbgm算法进行二分类预测模型的训练，以筛选出毛刺数据点。总体而言，该方法通过对水务流量数据进行时间序列处理和波动倍数计算，可以检测出管网流量、压力、水质设备时序数据中的毛刺数据，准确率高。找到毛刺数据并针对性进行修复，大幅度降低监测点误报率。

技术特征：

1.一种水务流量毛刺数据检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述检测方法，其特征在于，所述根据所述变化值数据得到平均波动系数包括：

3.根据权利要求2所述检测方法，其特征在于，所述得到所述水务流量数据的波动倍数包括：

4.根据权利要求1-3任意一项所述检测方法，其特征在于，所述根据所述波动倍数确定流量毛刺数据包括：

5.根据权利要求1-3任意一项所述检测方法，其特征在于，所述方法还包括：

6.根据权利要求5所述检测方法，其特征在于，所述毛刺检测模型根据所述水务流量数据和所述波动倍数，采用lightbgm二分类算法进行训练。

7.一种水务流量毛刺数据检测系统，其特征在于，所述系统包括：

8.一种水务流量毛刺检测设备，其特征在于，所述设备包括：

9.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现如权利要求1-6任意一项所述的方法。

技术总结
本申请提供了一种水务流量毛刺数据检测方法、系统、设备及介质，方法包括获取水务流量数据，根据所述水务流量数据按照时间序列进行处理，得到所述水务流量数据的变化值数据，根据所述变化值数据得到平均波动系数；根据所述水务流量数据和所述平均波动系数，按照时间序列进行处理，得到所述水务流量数据的波动倍数；根据所述波动倍数确定流量毛刺数据。本申请通过对水务流量数据进行时间序列处理和波动倍数计算，可以检测出管网流量、压力、水质设备时序数据中的毛刺数据，准确率高。找到毛刺数据并针对性进行修复，大幅度降低监测点误报率。

技术研发人员：李琦,薛浩,袁丹,秦琪,曹治
受保护的技术使用者：上海威派格智慧水务股份有限公司
技术研发日：
技术公布日：2024/1/15