一种ODS的实时旁路监测方法、装置、设备及介质与流程

本技术涉及数据监控，具体而言，涉及一种ods的实时旁路监测方法、装置、设备及介质。

背景技术：

1、数据仓库(data warehouse，缩写dw)是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合，它是基于出于分析性报告和决策支持目的而创建的，为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。而ods(operational data store)是数据仓库中的一种数据存储模式，它的目的是为了支持企业的日常运营，它可以存储实时数据、历史数据、源数据等各种类型的数据，具备快速访问、数据整合、数据清洗和去重等功能。

2、随着产品和业务人员对实时数据需求的不断增多，新的挑战也随之发生。ods数据的实时性是整个实时数据仓库的基础，且ods的实时性直接影响到dw的相关应用体验。当下已经有多个实时ods的方案，但是针对实时性监测方案上是缺失的，ods提供第三方的监测，导致无法提前发现ods中数据存在的问题，无法避免数据问题导致的危机出现，基于ods监测我们也能更好的排查和优化ods实时性。

技术实现思路

1、有鉴于此，本技术的目的在于提供一种ods的实时旁路监测方法、装置、设备及介质，该一种ods的实时旁路监测方法、装置、设备及介质，有效地解决了当前的实时ods的方案无法实现对ods的实时性进行监测的问题。

2、第一方面，本技术实施例提供了一种ods的实时旁路监测方法，应用于数据仓库，所述数据仓库包括源端模块、ods模块、流处理模块、redis模块、主机，所述主机包括采集模块和比对模块，所述方法包括：

3、所述主机基于所述流处理模块接收的所述源端模块推送的目标操作信息生成旁路流时间，以发送所述旁路流时间至所述redis模块，并转发所述目标操作信息至所述ods模块；所述目标操作信息包括目标操作；

4、所述主机基于所述ods模块读取所述目标操作信息并执行所述目标操作产生的对应的ods操作信息生成旁路ods时间，并将所述旁路ods时间发送至redis模块；

5、所述主机基于所述采集模块采集到的所述redis模块中的最新的旁路流时间和旁路ods时间，生成比对指令，并将所述比对指令发送至所述比对模块；

6、所述比对模块响应所述比对指令比对所述最新的旁路流时间与所述旁路ods时间得到比对结果，以基于所述比对结果确认所述ods模块的实时状态。

7、结合第一方面，本技术实施例提供了第一方面的第一种可能的实施方式，其中，所述比对模块响应所述比对指令比对所述最新的旁路流时间与所述旁路ods时间得到比对结果，以基于所述比对结果确认所述ods模块的实时状态，包括：

8、所述比对模块基于所述比对指令调用预置比对方式比对所述旁路流时间与所述旁路ods时间，生成比对结果；

9、所述比对模块基于所述比对结果判断所述ods模块的实时状态，并生成实时状态结果。

10、结合第一方面，本技术实施例提供了第一方面的第二种可能的实施方式，其中，所述主机还包括计算模块；

11、所述比对模块基于所述比对结果判断所述ods模块的实时状态，并生成实时状态结果之后，包括：

12、所述比对模块基于所述比对结果生成延迟计算指令，并基于所述延迟计算指令调用计算模块；

13、所述计算模块基于所述延迟计算指令调用对应的延迟计算方式计算所述实时状态结果对应的延迟时间。

14、结合第一方面，本技术实施例提供了第一方面的第三种可能的实施方式，其中，所述主机还包括预警模块；

15、所述计算模块基于所述延迟计算指令调用对应的延迟计算方式计算所述实时状态结果对应的延迟时间之后，包括：

16、所述主机判断所述延迟时间与所述实时状态结果是否满足预设预警条件；

17、若至少一个满足所述预设预警条件，则所述主机生成预警信号并基于所述预警信号调用所述预警模块。

18、结合第一方面，本技术实施例提供了第一方面的第四种可能的实施方式，其中，所述主机基于所述流处理模块接收的所述源端模块推送的目标操作信息生成旁路流时间，以发送所述旁路流时间至所述redis模块，并转发所述目标操作信息至所述ods模块之后，包括：

19、所述流处理模块基于所述目标操作信息中目标操作的执行顺序确定所述目标操作信息的转发顺序；

20、所述ods模块基于所述转发顺序执行所述目标操作信息中的目标操作。

21、结合第一方面，本技术实施例提供了第一方面的第五种可能的实施方式，其中，所述主机基于所述ods模块读取所述目标操作信息并执行所述目标操作产生的对应的ods操作信息生成旁路ods时间，包括：

22、所述ods模块接收到所述目标操作信息后生成读取指令，并基于所述读取指令调用预置的读取工具；

23、所述ods模块基于读取指令控制所述读取工具读取所述目标操作信息。

24、结合第一方面，本技术实施例提供了第一方面的第六种可能的实施方式，其中，所述比对模块响应所述比对指令比对所述最新的旁路流时间与所述旁路ods时间得到比对结果，以基于所述比对结果确认所述ods模块的实时状态之后，还包括：

25、所述主机记录所述ods模块执行目标操作的当前执行时间，并基于所述当前执行时间与所述旁路流时间与所述旁路ods时间建立旁路表；

26、所述主机确认所述ods模块的实时状态后，同步最新的所述旁路流时间与所述旁路ods时间至所述旁路表。

27、第二方面，本技术实施例提供了一种ods的实时旁路监测装置，应用于数据仓库，所述数据仓库包括源端模块、ods模块、流处理模块、redis模块、主机，所述主机包括采集模块和比对模块，所述装置包括：

28、推送模块，用于所述主机基于所述流处理模块接收的所述源端模块推送的目标操作信息生成旁路流时间，以发送所述旁路流时间至所述redis模块，并转发所述目标操作信息至所述ods模块；所述目标操作信息包括目标操作；

29、执行模块，用于所述主机基于所述ods模块读取所述目标操作信息并执行所述目标操作产生的对应的ods操作信息生成旁路ods时间，并将所述旁路ods时间发送至redis模块；

30、生成模块，用于所述主机基于所述采集模块采集到的所述redis模块中的最新的旁路流时间和旁路ods时间，生成比对指令，并将所述比对指令发送至所述比对模块；

31、比对模块，用于所述比对模块响应所述比对指令比对所述最新的旁路流时间与所述旁路ods时间得到比对结果，以基于所述比对结果确认所述ods模块的实时状态。

32、第三方面，本技术实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行任意一项所述的一种ods的实时旁路监测方法的步骤。

33、第四方面，本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行任意一项所述的一种ods的实时旁路监测方法的步骤。

34、本技术实施例提供的一种ods的实时旁路监测方法，应用于数据仓库，所述数据仓库包括源端模块、ods模块、流处理模块、redis模块、主机，所述主机包括采集模块和比对模块，所述方法首先通过所述主机基于所述流处理模块接收的所述源端模块推送的目标操作信息生成旁路流时间，以发送所述旁路流时间至所述redis模块，并转发所述目标操作信息至所述ods模块；所述目标操作信息包括目标操作；其次所述主机基于所述ods模块读取所述目标操作信息并执行所述目标操作产生的对应的ods操作信息生成旁路ods时间，并将所述旁路ods时间发送至redis模块；然后所述主机基于所述采集模块采集到的所述redis模块中的最新的旁路流时间和旁路ods时间，生成比对指令，并将所述比对指令发送至所述比对模块；最后所述比对模块响应所述比对指令比对所述最新的旁路流时间与所述旁路ods时间得到比对结果，以基于所述比对结果确认所述ods模块的实时状态，从而基于旁路监测的方式实现了对ods模块的实时状态监测的效果，且并不影响源端模块与流处理模块、redis模块对数据的处理，有效地解决了当前的实时ods的方案无法实现对ods的实时性进行监测的问题。