一种数据监控方法、装置、设备及介质与流程

1.本发明涉及数据监控技术领域，尤其是涉及一种数据监控方法、装置、设备及介质。


背景技术：

2.随着大数据技术的发展，一个数据链路会包括多个组件。例如数据链路1 可以是：组件1-组件2-组件3，其表示组件1的数据传输给组件2，组件2的数据传输给组件3，以完成数据链路1；再例如数据链路2可以是：组件1
‑ꢀ
组件4-组件5，其表示组件1的数据传输给组件4，组件4的数据传输给组件5，以完成数据链路2。其中，组件可以是kafka，hbase等软件。
3.在上述数据链路1和数据链路2均进行时，组件1需要被组件2和组件4 共用，即组件2和组件4均依赖组件1。若组件1中的数据出现异常后，将会导致组件2和组件4中的数据均出现异常，进而导致数据链路1和数据链路2 均出现异常。
4.可见，如何在数据链路中的数据出现异常后，及时发现数据流量出现异常，是业界重点关注的问题。


技术实现要素：

5.本技术的目的在于提供一种数据监控方法、装置、设备及介质，能够及时发现数据流量出现异常。
6.第一方面，本技术提供了一种数据监控方法，包括：
7.读取日志的数据状态；若所述日志的数据状态指示所述日志的数据流量出现异常变化，将所述日志的异常状态写入到监控状态表中；否则，
8.读取分布式发布-订阅消息系统kafka的数据状态；若所述kafka的数据状态指示所述kafka的数据流量出现异常变化，将所述kafka的异常状态写入到所述监控状态表中；否则，
9.读取抽取-交互转换-加载etl的数据状态；若所述etl的数据状态指示所述etl的数据流量出现异常变化，将所述etl的异常状态写入到所述监控状态表中；否则，
10.读取应用的数据状态；若所述应用的数据状态指示所述应用的数据流量出现异常变化，将所述应用的异常状态写入到所述监控状态表中；
11.其中，所述监控状态表用于提醒业务人员对所述监控状态表中的异常状态进行修复。
12.作为一种可能的实现方式，所述方法还包括：
13.若所述日志的数据状态指示所述日志的数据流量正常变化，将所述日志的正常状态写入到所述监控状态表中；
14.若所述kafka的数据状态指示所述kafka的数据流量正常变化，将所述 kafka的正常状态写入到所述监控状态表中；
15.若所述etl的数据状态指示所述etl的数据流量正常变化，将所述etl 的正常状态
写入到所述监控状态表中；
16.若所述应用的数据状态指示所述应用的数据流量正常变化，将所述应用的正常状态写入到所述监控状态表中。
17.作为一种可能的实现方式，所述数据流量出现异常变化为所述数据流量的变化大于预设阈值。
18.作为一种可能的实现方式，所述数据流量出现异常变化包括所述数据流量的增加量大于所述预设阈值或所述数据流量的减少量大于所述预设阈值。
19.作为一种可能的实现方式，所述监控状态表包括节点字段、状态字段、作业处理人字段、任务类型字段、依赖上游节点字段和处理时间字段。
20.第二方面，本技术提供了一种数据监控装置，包括：读取单元和写入单元；
21.所述读取单元，用于读取日志的数据状态；所述写入单元，用于若所述日志的数据状态指示所述日志的数据流量出现异常变化，将所述日志的异常状态写入到监控状态表中；否则，
22.所述读取单元，还用于读取kafka的数据状态；所述写入单元，还用于若所述kafka的数据状态指示所述kafka的数据流量出现异常变化，将所述kafka 的异常状态写入到所述监控状态表中；否则，
23.所述读取单元，还用于读取etl的数据状态；所述写入单元，还用于若所述etl的数据状态指示所述etl的数据流量出现异常变化，将所述etl 的异常状态写入到所述监控状态表中；否则，
24.所述读取单元，还用于读取应用的数据状态；所述写入单元，还用于若所述应用的数据状态指示所述应用的数据流量出现异常变化，将所述应用的异常状态写入到所述监控状态表中；
25.其中，所述监控状态表用于提醒业务人员对所述监控状态表中的异常状态进行修复。
26.作为一种可能的实现方式，所述写入单元，还用于若所述日志的数据状态指示所述日志的数据流量正常变化，将所述日志的正常状态写入到所述监控状态表中；以及，
27.若所述kafka的数据状态指示所述kafka的数据流量正常变化，将所述 kafka的正常状态写入到所述监控状态表中；以及，
28.若所述etl的数据状态指示所述etl的数据流量正常变化，将所述etl 的正常状态写入到所述监控状态表中；以及，
29.若所述应用的数据状态指示所述应用的数据流量正常变化，将所述应用的正常状态写入到所述监控状态表中。
30.作为一种可能的实现方式，所述数据流量出现异常变化为所述数据流量的变化大于预设阈值。
31.作为一种可能的实现方式，所述数据流量出现异常变化包括所述数据流量的增加量大于所述预设阈值或所述数据流量的减少量大于所述预设阈值。
32.作为一种可能的实现方式，所述监控状态表包括节点字段、状态字段、作业处理人字段、任务类型字段、依赖上游节点字段和处理时间字段。
33.第三方面，本技术提供了一种电子设备，所述电子设备包括处理器和存储器；
34.所述处理器用于执行所述存储器中存储的指令，以使得所述电子设备执行如第一方面中任一项所述的方法。
35.第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行第一方面中任一项所述的方法。
36.相对于现有技术，本技术上述技术方案的优点在于：
37.本技术提供了一种数据监控方法，该方法先读取日志的数据状态，若日志的数据状态指示日志的数据流量出现异常变化，则将日志的异常状态写入到监控状态表中，否则接着读取kafka的数据状态，若kafka的数据状态指示kafka的数据流量出现异常变化，将kafka的异常状态写入到监控状态表中；否则接着读取etl的数据状态；若etl的数据状态指示etl的数据流量出现异常变化，将etl的异常状态写入到监控状态表中；否则接着读取应用的数据状态；若应用的数据状态指示应用的数据流量出现异常变化，将应用的异常状态写入到监控状态表中；如此该方法实现了对数据在数据链路的传输过程中的监控，并实时将数据在不同节点处的数据状态记录到监控状态表中，以便提醒业务人员对监控状态表中的异常状态进行修复。可见，该方法能够及时发现数据流量出现异常，并对异常状态进行及时修复。
附图说明
38.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
39.图1为本技术实施例提供的一种数据监控方法的流程图；
40.图2为本技术实施例提供的一种数据监控架构的示意图；
41.图3为本技术实施例提供的一种数据监控装置的示意图；
42.图4为本技术实施例提供的一种电子设备的示意图。
具体实施方式
43.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
44.下面先对本技术所涉及的技术术语进行介绍。
45.数据链路是指数据传输过程中所经过的节点组成的链路，例如数据从组件1到组件2再到组件3，则组件1-组件2-组件3可称为一条数据链路，再例如，组件1-组件4-组件5也可以称为一条数据链路。数据在数据链路上传输过程中，可能会出现异常。举例说明，当组件1中的数据出现异常后，将会同时影响组件4、组件5、组件2和组件3，如此将会导致后续最终输出的数据出现错误或者异常。
46.有鉴于此，本技术实施例提供了一种数据监控方法。该方法可以由处理设备执行，处理设备读取日志的数据状态；若所述日志的数据状态指示所述日志的数据流量出现异常
变化，将所述日志的异常状态写入到监控状态表中；否则，读取分布式发布-订阅消息系统kafka的数据状态；若所述kafka的数据状态指示所述kafka的数据流量出现异常变化，将所述kafka的异常状态写入到所述监控状态表中；否则，读取抽取-交互转换-加载etl的数据状态；若所述etl的数据状态指示所述etl的数据流量出现异常变化，将所述etl 的异常状态写入到所述监控状态表中；否则，读取应用的数据状态；若所述应用的数据状态指示所述应用的数据流量出现异常变化，将所述应用的异常状态写入到所述监控状态表中；其中，所述监控状态表用于提醒业务人员对所述监控状态表中的异常状态进行修复。
47.一方面，该方法实现了对数据在数据链路传输过程中的监控，例如对日志节点、kafka节点、etl节点和应用节点等进行实时监控，当出现数据流量异常后，实时写入异常状态到监控状态表中。
48.另一方面，该方法还可以将该监控状态表呈现给业务人员，如此业务人员可以从该监控状态表中得知处于异常状态的节点，以便业务人员对处于异常状态的节点进行修复，以保证数据传输前后的一致性。
49.为了使得本技术的技术方案更加清楚、易于理解，下面结合附图对本技术实施例提供的数据监控方法进行介绍。
50.参见图1，该图为本技术实施例提供的一种数据监控方法的流程图，该方法包括以下步骤：
51.s101：处理设备读取日志的数据状态；若所述日志的数据状态指示所述日志的数据流量出现异常变化，将所述日志的异常状态写入到监控状态表中；若否，处理设备则执行s102。
52.日志的数据流量出现异常变化是指该日志的数据流量的变化大于预设阈值。在一些实例中，日志的数据流量的变化可以是日志的数据流量变大，也可以是日志的数据流量变小。当日志的数据流量变大或者变小超过预设阈值时，则表明日志的数据状态为异常状态。处理设备确定日志的数据状态为异常状态后，将该日志的异常状态写入到监控状态表中，以便业务人员根据监控状态表对处于异常状态的日志进行修复。
53.在一些实施例中，所述日志的数据状态指示所述日志的数据流量正常变化，将所述日志的正常状态写入到所述监控状态表中，然后执行s102，以便对后续节点的数据进行监控。
54.s102：处理设备读取分布式发布-订阅消息系统kafka的数据状态；若所述kafka的数据状态指示所述kafka的数据流量出现异常变化，将所述kafka 的异常状态写入到所述监控状态表中；若否，处理设备执行s103。
55.kafka的数据流量出现异常变化是指该kafka的数据流量的变化大于预设阈值。在一些实例中，kafka的数据流量的变化可以是kafka的数据流量变大，也可以是kafka的数据流量变小。当kafka的数据流量变大或者变小超过预设阈值时，则表明kafka的数据状态为异常状态。处理设备确定kafka的数据状态为异常状态后，将该kafka的异常状态写入到监控状态表中，以便业务人员根据监控状态表对处于异常状态的kafka进行修复。
56.在一些实施例中，所述kafka的数据状态指示所述kafka的数据流量正常变化，将所述kafka的正常状态写入到所述监控状态表中，然后执行s103，以便对后续节点的数据进行监控。
57.s103：处理设备读取抽取-交互转换-加载etl的数据状态；若所述etl 的数据状态指示所述etl的数据流量出现异常变化，将所述etl的异常状态写入到所述监控状态表中；若否，处理设备则执行s104。
58.其中，etl用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
59.etl的数据流量出现异常变化是指该etl的数据流量的变化大于预设阈值。在一些实例中，etl的数据流量的变化可以是etl的数据流量变大，也可以是etl的数据流量变小。当etl的数据流量变大或者变小超过预设阈值时，则表明etl的数据状态为异常状态。处理设备确定etl的数据状态为异常状态后，将该etl的异常状态写入到监控状态表中，以便业务人员根据监控状态表对处于异常状态的etl进行修复。
60.在一些实施例中，所述etl的数据状态指示所述etl的数据流量正常变化，将所述etl的正常状态写入到所述监控状态表中，然后执行s104，以便对后续节点的数据进行监控。
61.s104：处理设备读取应用的数据状态；若所述应用的数据状态指示所述应用的数据流量出现异常变化，将所述应用的异常状态写入到所述监控状态表中。
62.应用的数据流量出现异常变化是指该应用的数据流量的变化大于预设阈值。在一些实例中，应用的数据流量的变化可以是应用的数据流量变大，也可以是应用的数据流量变小。当应用的数据流量变大或者变小超过预设阈值时，则表明应用的数据状态为异常状态。处理设备确定应用的数据状态为异常状态后，将该应用的异常状态写入到监控状态表中，以便业务人员根据监控状态表对处于异常状态的应用进行修复。
63.在一些实施例中，所述应用的数据状态指示所述应用的数据流量正常变化，将所述应用的正常状态写入到所述监控状态表中。
64.在一些实施例中，所述监控状态表包括节点字段、状态字段、作业处理人字段、任务类型字段、依赖上游节点字段和处理时间字段。处理设备可以根据如下表所示的数据结构写入异常状态或正常状态。
65.表1：数据结构
[0066][0067]
[0068]
参见图2，该图为本技术实施例提供的一种数据监控的架构图。从图中可以看出，处理设备210可以读取日志221的数据状态、读取kafka 222的数据状态、读取etl 223的数据状态和读取应用224的数据状态。若处理设备210 确定日志221的数据流量出现变化异常后，则写入日志221的异常状态到监控状态表中；类似的，若处理设备210确定kafka 222的数据流量出现变化异常后，则写入kafka 222的异常状态到监控状态表中；若处理设备210确定etl 223的数据流量出现变化异常后，则写入etl 223的异常状态到监控状态表中；若处理设备210确定日应用224的数据流量出现变化异常后，则写入应用224的异常状态到监控状态表中。
[0069]
基于上述内容描述，本技术实施例提供了一种数据监控方法。该方法实现了对数据在数据链路传输过程中的监控，例如对日志节点、kafka节点、etl 节点和应用节点等进行实时监控，当出现数据流量异常后，实时写入异常状态到监控状态表中；并且该方法还可以将该监控状态表呈现给业务人员，如此业务人员可以从该监控状态表中得知处于异常状态的节点，以便业务人员对处于异常状态的节点进行修复，以保证数据传输前后的一致性。
[0070]
本技术实施例还提供了一种数据监控装置，该数据监控装置可以实现上述处理设备的功能，参见图3该数据监控装置包括：读取单元301和写入单元302；
[0071]
所述读取单元301，用于读取日志的数据状态；所述写入单元302，用于若所述日志的数据状态指示所述日志的数据流量出现异常变化，将所述日志的异常状态写入到监控状态表中；否则，
[0072]
所述读取单元301，还用于读取kafka的数据状态；所述写入单元302，还用于若所述kafka的数据状态指示所述kafka的数据流量出现异常变化，将所述kafka的异常状态写入到所述监控状态表中；否则，
[0073]
所述读取单元301，还用于读取etl的数据状态；所述写入单元302，还用于若所述etl的数据状态指示所述etl的数据流量出现异常变化，将所述 etl的异常状态写入到所述监控状态表中；否则，
[0074]
所述读取单元301，还用于读取应用的数据状态；所述写入单元302，还用于若所述应用的数据状态指示所述应用的数据流量出现异常变化，将所述应用的异常状态写入到所述监控状态表中；
[0075]
其中，所述监控状态表用于提醒业务人员对所述监控状态表中的异常状态进行修复。
[0076]
作为一种可能的实现方式，所述写入单元302，还用于若所述日志的数据状态指示所述日志的数据流量正常变化，将所述日志的正常状态写入到所述监控状态表中；以及，
[0077]
若所述kafka的数据状态指示所述kafka的数据流量正常变化，将所述 kafka的正常状态写入到所述监控状态表中；以及，
[0078]
若所述etl的数据状态指示所述etl的数据流量正常变化，将所述etl 的正常状态写入到所述监控状态表中；以及，
[0079]
若所述应用的数据状态指示所述应用的数据流量正常变化，将所述应用的正常状态写入到所述监控状态表中。
[0080]
作为一种可能的实现方式，所述数据流量出现异常变化为所述数据流量的变化大于预设阈值。
[0081]
作为一种可能的实现方式，所述数据流量出现异常变化包括所述数据流量的增加量大于所述预设阈值或所述数据流量的减少量大于所述预设阈值。
[0082]
作为一种可能的实现方式，所述监控状态表包括节点字段、状态字段、作业处理人字段、任务类型字段、依赖上游节点字段和处理时间字段。
[0083]
本技术实施例还提供一种电子设备，如图4所示，该所述电子设备包括处理器401和存储器402；
[0084]
所述处理器401用于执行所述存储器402中存储的指令，以使得所述电子设备执行上述实施例中任意一项所述的方法。
[0085]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述实施例中任意一项所述的方法。
[0086]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0087]
以上所述仅是本技术的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。