数据链路状态监测方法、装置、监测系统及存储介质与流程

本发明涉及数据监控，尤其涉及一种数据链路状态监测方法、装置、监测系统及存储介质。

背景技术：

1、随着大数据时代的来临，越来越多的数据被产生，对于具有较多业务系统的企业来说，通常通过数据中台集成存储数据。而随着企业高价值数据在数据中台的不断汇集沉淀，各业务系统对数据中台在数据共享、数据交互等数据服务支撑能力方面的要求也日益提高。

2、然而，随着数据中台建设的不断推进，数据资源不断丰富，数据链路的建设规模也逐渐变得庞大和复杂，而庞大和复杂的数据链路不利于数据中台中数据质量的稳定，从而影响数据中台的数据服务支撑能力。因此，准确监测数据链路的异常状态，对提高数据中台的数据服务支撑能力至关重要。

技术实现思路

1、本发明实施例提供了一种数据链路状态监测方法、装置、监测系统及存储介质，以解决对于具有庞大和复杂的数据链路的数据中台，难以准确检测数据链路的异常状态的问题。

2、第一方面，本发明实施例提供了一种数据链路状态监测方法，包括：

3、根据数据中台的数据链路的类型，通过埋点获得指示每条数据链路的运行状态的指标数据；

4、在根据各条数据链路的指标数据和预设异常判断模型，确定某条数据链路异常时，根据该数据链路对应的指标数据和预设异常定位模型，获得该数据链路的异常类型初始定位结果；

5、获取该数据链路所传输的数据在数据中台各层之间流转时对应的质量指标数据；

6、根据所述质量指标数据，对所述异常类型初始定位结果进行复核，确定该数据链路的异常类型最终定位结果。

7、在一种可能的实现方式中，所述数据链路的类型包括定时传输的数据链路和实时传输的数据链路；

8、所述根据数据中台的数据链路的类型，通过埋点获得指示每条数据链路的运行状态的指标数据，包括：

9、若数据中台的数据链路的类型为定时传输的数据链路，通过埋点获得数据传输的时间间隔、数据传输的数据量和数据链路的响应及时性；

10、若数据中台的数据链路的类型为实时传输的数据链路，通过埋点获得数据链路的连通状态、数据链路的畅通状态、链路资源利用率、网络延迟信息、数据传输的完整性信息和丢包率。

11、在一种可能的实现方式中，所述预设异常判断模型的训练过程包括：

12、获取指示数据链路的运行状态正常的正常指标数据和指示数据链路的运行状态异常的异常指标数据；

13、按照每条数据链路的来源，将所述正常指标数据和所述异常指标数据分组；

14、计算每组中的正常指标数据的数量与异常指标数据的数量的比值，记为该组中的异常指标数据的复制倍数；

15、根据每组中的异常指标数据的复制倍数对该组中的异常指标数据进行复制，以根据所有正常指标数据和复制后的所有异常指标数据构成训练样本集；

16、根据所述训练样本集对异常判断模型进行训练，获得预设异常判断模型。

17、在一种可能的实现方式中，所述根据该数据链路对应的指标数据和预设异常定位模型，获得该数据链路的异常类型初始定位结果，包括：

18、对所述指标数据进行无量纲化，获得第一无量纲数据，并对所述指标数据对应的标准指标数据进行无量纲化，获得第二无量纲数据；

19、根据所述第一无量纲数据和所述第二无量纲数据，计算所述指标数据与所述标准指标数据的第一相似度；

20、将所述第一相似度输入预设异常定位模型中，确定该数据链路的异常类型初始定位结果。

21、在一种可能的实现方式中，所述根据所述第一无量纲数据和所述第二无量纲数据，计算所述指标数据与所述标准指标数据的第一相似度，包括：

22、根据计算所述指标数据与所述标准指标数据的第一相似度；

23、其中，s为所述指标数据与所述标准指标数据的第一相似度，y为所述第一无量纲数据，ymax为所述指标数据对应的标准指标数据中的最大值对应的第二无量纲数据，ymin为所述指标数据对应的标准指标数据中的最小值对应的第二无量纲数据。

24、在一种可能的实现方式中，所述预设异常定位模型的训练过程包括：

25、获取指示数据链路的运行状态异常的多条异常指标数据；

26、对每条异常指标数据进行无量纲化，获得第三无量纲数据，并对每条异常指标数据对应的标准指标数据进行无量纲化，获得第四无量纲数据；

27、根据所述第三无量纲数据和所述第四无量纲数据，计算得到每条异常指标数据与所述标准指标数据的第二相似度，以构成异常定位训练样本集；

28、根据所述异常定位训练样本集对异常定位模型进行训练，获得预设异常定位模型。

29、在一种可能的实现方式中，所述根据所述质量指标数据，对所述异常类型初始定位结果进行复核，确定该数据链路的异常类型最终定位结果，包括：

30、根据所述质量指标数据，确定该数据链路为各种异常类型的第一概率；

31、根据各个所述第一概率和所述异常类型初始定位结果，确定该数据链路的异常类型最终定位结果。

32、第二方面，本发明实施例提供了一种数据链路状态监测装置，包括：

33、第一获取模块，用于根据数据中台的数据链路的类型，通过埋点获得指示每条数据链路的运行状态的指标数据；

34、处理模块，用于在根据各条数据链路的指标数据和预设异常判断模型，确定某条数据链路异常时，根据该数据链路对应的指标数据和预设异常定位模型，获得该数据链路的异常类型初始定位结果；

35、第二获取模块，用于获取该数据链路所传输的数据在数据中台各层之间流转时对应的质量指标数据；

36、状态监测模块，用于根据所述质量指标数据，对所述异常类型初始定位结果进行复核，确定该数据链路的异常类型最终定位结果。

37、第三方面，本发明实施例提供了一种监测系统，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

38、第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

39、本发明实施例提供一种数据链路状态监测方法、装置、监测系统及存储介质，通过根据数据中台的数据链路的类型，通过埋点获得指示每条数据链路的运行状态的指标数据，可以针对不同类型的数据链路获取不同的指标数据，从而有利于准确确定某条数据链路是否异常以及某条数据链路的异常类型初始定位结果。在此基础上，通过在根据各条数据链路的指标数据和预设异常判断模型，确定某条数据链路异常时，根据该数据链路对应的指标数据和预设异常定位模型，获得该数据链路的异常类型初始定位结果，并获取该数据链路所传输的数据在数据中台各层之间流转时对应的质量指标数据，根据质量指标数据，对异常类型初始定位结果进行复核，确定该数据链路的异常类型最终定位结果，可以基于数据链路对应的指标数据和质量指标数据，共同确定数据链路的异常类型最终定位结果，进而准确监测数据链路的异常状态，从而有利于提高数据中台的数据服务支撑能力，更有利于数据中台价值的发挥。