本发明涉及数据处理,尤其涉及一种作业时效告警方法、装置、系统及介质。
背景技术:
1、目前,在银行的大数据平台运行着成千上万的作业,很多重点作业对时效都有要求,所以一般平台都会集成时效监控告警组件,让平台用户都能很方便的对相应的作业直接配置时效监控告警,当告警触达时,通知相应人员处理。
2、然而,现有的方式通常维单一的监控告警,例如某个作为要求9点完成,则仅配置一个9点的监控告警,告警触达时,已经很滞后了;或者还有采用将所有上游作业都纳入监控范围,给每个作为都配置一个基准时效的方式,但是这种方式开发和运维成本高,且每个作为配置的基准时间固定,往往导致误报警,例如某个作业a依赖上游作业b,作业b的基准时间是凌晨1点,作业a的时效为8点,如果作业b的时效某天变成2点,此时会触发告警,那这个告警对于作业a而言则为误报。
3、因此,现有的作业失效告警方式还难以精准确定作业时效的告警阈值,降低了作业时效告警的可靠性。
技术实现思路
1、鉴于上述现有技术的不足,本发明的目的在于提供可应用于金融科技或其它相关领域的一种作业时效告警方法、装置、系统及介质,旨在实现对作业时效告警阈值的精准确认,提高作业时效告警的可靠性。
2、本发明的技术方案如下:
3、一种作业时效告警方法,包括:
4、获取待配置时效的作业项目以及所述作业项目的目标达成时间,所述作业项目中包括多个作业;
5、根据所述多个作业的执行链路,确认各个作业之间的上下游关联关系;
6、获取所述作业项目的历史执行数据;
7、根据所述目标达成时间和历史执行数据,按各个作业之间的上下游关联关系进行时效迭代计算,得到每个作业的时效配置;
8、根据所述时效配置对应设置每个作业的告警时效,并进行作业时效告警。
9、在一个实施例中,所述根据所述多个作业的执行链路,确认各个作业之间的上下游关联关系,具体包括:
10、获取所述作业项目的全链路信息,分析得到所述多个作业的执行链路;
11、根据所述执行链路确认所述作业项目中每个作业的上游作业和下游作业。
12、在一个实施例中,所述获取所述作业项目的历史执行数据,包括:
13、获取所述作业项目中每个作业的历史执行数据,所述历史执行数据包括作业开始时间和作业结束时间;
14、按预设统计指标得到每个作业的历史执行时长。
15、在一个实施例中,所述根据所述目标达成时间和历史执行数据,按各个作业之间的上下游关联关系进行时效迭代计算,得到每个作业的时效配置,包括:
16、将所述目标达成时间作为最后一个作业的结束时间告警阈值;
17、根据每个作业的历史执行时长,依次向上迭代计算上游作业的时效配置,得到每个作业的开始时间告警阈值和结束时间告警阈值。
18、在一个实施例中,所述根据每个作业的历史执行时长,依次向上迭代计算上游作业的时效配置,得到每个作业的开始时间告警阈值和结束时间告警阈值,包括:
19、根据最后一个作业的历史执行时长,计算得到最后一个作业的开始时间告警阈值;
20、将最后一个作业的开始时间告警阈值作为其上游作业的结束时间告警阈值;
21、根据上游作业的历史执行时长,计算得到上游作业的开始时间告警阈值,以此类推,向上迭代计算得到每个作业的开始时间告警阈值和结束时间告警阈值。
22、在一个实施例中,所述根据所述时效配置对应设置每个作业的告警时效,并进行作业时效告警,包括:
23、根据所述时效配置对应设置每个作业的开始时间告警阈值和结束时间告警阈值;
24、在所述开始时间告警阈值到达时作业未开始执行,或所述结束时间告警阈值到达时作业未执行结束,则输出作业时效告警信息。
25、在一个实施例中,所述在所述开始时间告警阈值到达时作业未开始执行,或所述结束时间告警阈值到达时作业未执行结束,则输出作业时效告警信息之后,方法还包括:
26、根据所述作业时效告警信息进行问题作业定位。
27、一种作业时效告警装置,包括:
28、获取模块,用于获取待配置时效的作业项目以及所述作业项目的目标达成时间,所述作业项目中包括多个作业;
29、关联确认模块,用于根据所述多个作业的执行链路,确认各个作业之间的上下游关联关系;
30、历史数据获取模块,用于获取所述作业项目的历史执行数据;
31、时效计算模块,用于根据所述目标达成时间和历史执行数据,按各个作业之间的上下游关联关系进行时效迭代计算,得到每个作业的时效配置;
32、告警配置模块,用于根据所述时效配置对应设置每个作业的告警时效,并进行作业时效告警。
33、一种作业时效告警系统,所述系统包括至少一个处理器;以及,
34、与所述至少一个处理器通信连接的存储器;其中,
35、所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述作业时效告警方法。
36、一种非易失性计算机可读存储介质,所述非易失性计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行时,可使得所述一个或多个处理器执行上述的作业时效告警方法。
37、有益效果:本发明公开了一种作业时效告警方法、装置、系统及介质,相比于现有技术,本发明实施例通过确认多个作业之间的关联关系以及历史执行数据,依次迭代计算出每个作业准确的时效配置,使得对每个作业配置的告警时间更加精准有效,有效提高作业时效告警的可靠性。
1.一种作业时效告警方法,其特征在于,包括:
2.根据权利要求1所述的作业时效告警方法,其特征在于,所述根据所述多个作业的执行链路,确认各个作业之间的上下游关联关系,具体包括:
3.根据权利要求1所述的作业时效告警方法,其特征在于,所述获取所述作业项目的历史执行数据,包括:
4.根据权利要求3所述的作业时效告警方法,其特征在于,所述根据所述目标达成时间和历史执行数据,按各个作业之间的上下游关联关系进行时效迭代计算,得到每个作业的时效配置,包括:
5.根据权利要求4所述的作业时效告警方法,其特征在于,所述根据每个作业的历史执行时长,依次向上迭代计算上游作业的时效配置,得到每个作业的开始时间告警阈值和结束时间告警阈值,包括:
6.根据权利要求1所述的作业时效告警方法,其特征在于,所述根据所述时效配置对应设置每个作业的告警时效,并进行作业时效告警,包括:
7.根据权利要求6所述的作业时效告警方法,其特征在于,所述在所述开始时间告警阈值到达时作业未开始执行,或所述结束时间告警阈值到达时作业未执行结束,则输出作业时效告警信息之后,方法还包括:
8.一种作业时效告警装置,其特征在于,包括:
9.一种作业时效告警系统,其特征在于,所述系统包括至少一个处理器;以及,
10.一种非易失性计算机可读存储介质,其特征在于,所述非易失性计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行时,可使得所述一个或多个处理器执行权利要求1-7任一项所述的作业时效告警方法。