数据库的时序数据异常检测方法以及其装置与流程

本申请涉及数据处理领域，具体而言，涉及一种数据库的时序数据异常检测方法、数据库的时序数据异常检测装置、计算机可读存储介质和电子设备。

背景技术：

1、数据库系统的架构逐渐转向分部署架构，为了满足业务快速增长的需要，集群数量迅速扩大为之前的数倍、数十倍。在这样的规模下，即使每个节点的可靠性很高，并且尽量考虑了容灾，但是偶发的故障也是不可避免的，快速、准确的故障发现能力是处理故障的基础。

2、目前常见的自动故障发现手段是基于监控指标的告警，由运维工程师提取各类可能用到的监控指标，在指标上配置告警规则(检测阈值)，当指标取值超过阈值时发送告警通知。这类告警规则的效果强依赖资深运维的经验，容易出现两类问题：(1)告警规则配置成本高，需要资深运维逐个服务分析在哪些服务上配置告警，尝试各个告警阈值；(2)告警精确度偏低，误报之后调松阈值，漏报之后调紧阈值，阈值往往不够精确。

3、因此，亟需一种数据库监控指标的分析方法，来解决人工配置告警成本高、精确度低的问题。

技术实现思路

1、本申请的主要目的在于提供一种数据库的时序数据异常检测方法、数据库的时序数据异常检测装置、计算机可读存储介质和电子设备，以至少解决现有技术中数据库的时序数据异常检测的精度较低且人力成本高的问题。

2、为了实现上述目的，根据本申请的一个方面，提供了一种数据库的时序数据异常检测方法，包括：获取初始数据样本，并至少采用预训练的波形分类模型对所述初始数据样本进行处理，得到与所述初始数据样本的数据变化趋势相匹配的至少一种异常判断算法，所述初始数据样本包括正常时序数据和异常时序数据，所述异常判断算法用于判断所述初始数据样本中各时序数据是否异常；根据至少一种所述异常判断算法对所述初始数据样本中各所述时序数据进行判断，确定多个正常数据和多个异常数据；选取预定数量比的所述正常数据和所述异常数据构成目标数据样本，并基于所述目标数据样本对初始异常检测模型进行训练，得到目标异常检测模型；采用所述目标异常检测模型对待检测的所述时序数据进行异常检测。

3、可选地，根据至少一种所述异常判断算法对所述初始数据样本中各所述时序数据进行判断，确定多个正常数据和多个异常数据，包括：在有多种所述异常判断算法的情况下，分别采用各所述异常判断算法对所述初始数据样本中各所述时序数据进行判断，得到多个判断结果组，每个所述判断结果组中包括多个判断结果；在多个所述判断结果组中，确定存在所述判断结果为异常的所述时序数据为所述异常数据；在多个所述判断结果组中，确定各所述判断结果均为正常的所述时序数据为所述正常数据。

4、可选地，所述方法还包括：采用所述预训练的波形分类模型对所述初始数据样本进行处理，确定多种异常预测算法，所述异常预测算法用于根据已有的所述时序数据预测之后的所述时序数据是否异常；确定满足预定条件的所述异常预测算法为目标异常预测算法，所述预定条件包括所述异常预测算法的回归评价指标在预定范围内；根据所述目标异常预测算法与所述初始数据样本，确定目标异常预测模型；采用所述目标异常预测模型对待检测的所述时序数据进行异常预测。

5、可选地，所述异常预测算法包括回归算法。

6、可选地，所述回归评价指标包括mae(mean absolute error，平均绝对误差)、rmse(root mean squared error，均方根误差)以及r squared(r平方)分值中至少之一。

7、可选地，所述异常判断算法的类型包括以下至少之一：统计判别、离群点检测以及神经网络。

8、可选地，获取初始数据样本，包括：获取预定时间段内的历史时序数据和人工时序数据，所述人工时序数据为采用时序生成器生成的所述时序数据，所述历史时序数据和所述人工时序数据构成所述初始数据样本。

9、根据本申请的另一方面，提供了一种数据库的时序数据异常检测装置，包括获取单元、第一确定单元、训练单元以及检测单元，其中，所述获取单元用于获取初始数据样本，并至少采用预训练的波形分类模型对所述初始数据样本进行处理，得到与所述初始数据样本的数据变化趋势相匹配的至少一种异常判断算法，所述初始数据样本包括正常时序数据和异常时序数据，所述异常判断算法用于判断所述初始数据样本中各时序数据是否异常；所述第一确定单元，用于根据至少一种所述异常判断算法对所述初始数据样本中各所述时序数据进行判断确定多个正常数据和多个异常数据；所述训练单元用于选取预定数量比的所述正常数据和所述异常数据构成目标数据样本，并基于所述目标数据样本对初始异常检测模型进行训练，得到目标异常检测模型；所述检测单元用于采用所述目标异常检测模型对待检测的所述时序数据进行异常检测。

10、根据本申请的再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任一种所述的数据库的时序数据异常检测方法。

11、根据本申请的另一方面，提供了一种电子设备，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任一种所述的数据库的时序数据异常检测方法。

12、应用本申请的技术方案，所述数据库的时序数据异常检测方法中，首先，获取初始数据样本，并至少采用预训练的波形分类模型对所述初始数据样本进行处理，得到与所述初始数据样本的数据变化趋势相匹配的至少一种异常判断算法，所述初始数据样本包括正常时序数据和异常时序数据，所述异常判断算法用于判断所述初始数据样本中各时序数据是否异常；之后，根据至少一种所述异常判断算法对所述初始数据样本中各所述时序数据进行判断，确定多个正常数据和多个异常数据；之后，选取预定数量比的所述正常数据和所述异常数据构成目标数据样本，并基于所述目标数据样本对初始异常检测模型进行训练，得到目标异常检测模型；最后，采用所述目标异常检测模型对待检测的所述时序数据进行异常检测。该方法至少采用预训练的波形分类模型对初始数据样本进行处理，确定至少一种异常判断算法，再用异常判断算法对初始数据样本进行判断，得到多个正常数据和异常数据，选取预定数量比的正常数据和异常数据构成目标数据样本，采用基于目标数据样本训练的目标异常检测模型对待检测的时序数据进行异常检测，能够大大提高异常检测的精度且减少人力成本，进而解决了现有技术中数据库的时序数据异常检测的精度较低且人力成本高的问题。

技术特征：

1.一种数据库的时序数据异常检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，根据至少一种所述异常判断算法对所述初始数据样本中各所述时序数据进行判断，确定多个正常数据和多个异常数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述异常预测算法包括回归算法。

5.根据权利要求3所述的方法，其特征在于，所述回归评价指标包括mae、rmse以及rsquared分值中至少之一。

6.根据权利要求1所述的方法，其特征在于，所述异常判断算法的类型包括以下至少之一：统计判别、离群点检测以及神经网络。

7.根据权利要求1至6中任一项所述的方法，其特征在于，获取初始数据样本，包括：

8.一种数据库的时序数据异常检测装置，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的数据库的时序数据异常检测方法。

10.一种电子设备，其特征在于，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至7中任意一项所述的数据库的时序数据异常检测方法。

技术总结
本申请提供了一种数据库的时序数据异常检测方法以及其装置。该方法包括：首先，获取初始数据样本，并至少采用预训练的波形分类模型对初始数据样本进行处理，得到与初始数据样本的数据变化趋势相匹配的至少一种异常判断算法；之后，根据至少一种异常判断算法对初始数据样本中各时序数据进行判断，确定多个正常数据和多个异常数据；之后，选取预定数量比的正常数据和异常数据构成目标数据样本，并基于目标数据样本对初始异常检测模型进行训练，得到目标异常检测模型；最后，采用目标异常检测模型对待检测的时序数据进行异常检测。该方法解决了现有技术中数据库的时序数据异常检测的精度较低且人力成本高的问题。

技术研发人员：朱峰,何佳佳,张博超,刘畅,郭雁,蒋之皓
受保护的技术使用者：中国邮政储蓄银行股份有限公司
技术研发日：
技术公布日：2024/1/14