作业时效的预警方法、装置、存储介质及电子设备与流程

本发明涉及金融科技领域或其他相关领域，具体而言，涉及一种作业时效的预警方法、装置、存储介质及电子设备。

背景技术：

1、传统的数据加工作业时效分析方法主要是基于固定阈值的判定，随着集群和作业规模越来越大，作业调度跑批的情况也越来越多。固定阈值判定法无法适应各式各样的要求，基于固定阈值只能做事后追溯，难以形成提前预警。另外，对于数据加工而言，加工时效情况也与其整体加工链路有关，脱离上下游单独分析，缺乏可信度，难以适应当前的需求。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种作业时效的预警方法、装置、存储介质及电子设备，以至少解决现有技术中基于固定阈值判断数据加工作业的时效是否异常，存在滞后性，无法进行异常预警的技术问题。

2、根据本发明实施例的一个方面，提供了一种作业时效的预警方法，包括：获取数据加工作业的历史执行数据，并依据历史执行数据对目标平台的调度作业进行实时监控，其中，历史执行数据包括以下至少之一：平均启动时刻、平均结束时刻、前序作业最晚调取时刻、前序作业最晚结束时刻，前序作业是依据作业之间的数据血缘关系确定的，调度作业用于调度数据加工作业执行数据加工任务；在对调度作业进行实时监控的过程中，依据历史执行数据和当前执行数据判断数据加工作业的时效是否异常，得到判断结果，其中，当前执行数据包括以下至少之一：作业调取时刻、作业结束时刻；若判断结果表征数据加工作业的时效异常，则依据数据血缘关系确定目标数据加工作业，并基于目标数据加工作业的作业信息向目标对象发送预警信息，其中，目标数据加工作业为数据加工作业的后序作业。

3、进一步地，在对调度作业进行实时监控的过程中，依据历史执行数据和当前执行数据判断数据加工作业的时效是否异常，得到判断结果，包括：在监控到调度作业调取数据加工作业的情况下，获取数据加工作业的作业调取时刻；对数据加工作业的作业调取时刻与数据加工作业对应的平均启动时刻进行比较，得到第一比较结果；对数据加工作业的作业调取时刻与目标数据加工作业的最晚调取时刻进行比较，得到第二比较结果；依据第一比较结果和第二比较结果确定判断结果。

4、进一步地，依据第一比较结果和第二比较结果确定判断结果，包括：计算数据加工作业的作业调取时刻与数据加工作业对应的平均启动时刻的第一差值；若第一比较结果表征数据加工作业的作业调取时刻晚于数据加工作业对应的平均启动时刻，且第一差值大于第一阈值，或者，若第二比较结果表征数据加工作业的作业调取时刻晚于目标数据加工作业的最晚调取时刻，则将数据加工作业的时效异常作为判断结果。

5、进一步地，在对调度作业进行实时监控的过程中，依据历史执行数据和当前执行数据判断数据加工作业的时效是否异常，得到判断结果，包括：在数据加工作业执行完数据加工任务的情况下，获取数据加工作业的作业结束时刻；对数据加工作业的作业结束时刻与数据加工作业对应的平均结束时刻进行比较，得到第三比较结果；对数据加工作业的作业结束时刻与目标数据加工作业的最晚结束时刻进行比较，得到第四比较结果；依据第三比较结果和第四比较结果确定判断结果。

6、进一步地，依据第三比较结果和第四比较结果确定判断结果，包括：计算数据加工作业的作业结束时刻与数据加工作业对应的平均结束时刻的第二差值；若第三比较结果表征数据加工作业的作业结束时刻晚于数据加工作业对应的平均结束时刻，且第二差值大于第二阈值，或者，若第四比较结果表征数据加工作业的作业结束时刻晚于目标数据加工作业的最晚结束时刻，则将数据加工作业的时效异常作为判断结果。

7、进一步地，在获取数据加工作业的历史执行数据之前，该方法还包括：获取多个数据加工作业对应的调度信息，并对调度信息进行解析，得到多个数据加工作业之间的执行顺序；依据执行顺序确定多个数据加工作业之间的依赖关系，得到作业之间的数据血缘关系。

8、进一步地，在得到作业之间的数据血缘关系之后，该方法还包括：获取多个数据加工作业的历史跑批数据；依据每个数据加工作业的历史跑批数据计算得到每个数据加工作业的历史执行数据。

9、根据本发明实施例的另一方面，还提供了一种作业时效的预警装置，包括：获取模块，用于获取数据加工作业的历史执行数据，并依据历史执行数据对目标平台的调度作业进行实时监控，其中，历史执行数据包括以下至少之一：平均启动时刻、平均结束时刻、前序作业最晚调取时刻、前序作业最晚结束时刻，前序作业是依据作业之间的数据血缘关系确定的，调度作业用于调度数据加工作业执行数据加工任务；判断模块，用于在对调度作业进行实时监控的过程中，依据历史执行数据和当前执行数据判断数据加工作业的时效是否异常，得到判断结果，其中，当前执行数据包括以下至少之一：作业调取时刻、作业结束时刻；确定模块，用于若判断结果表征数据加工作业的时效异常，则依据数据血缘关系确定目标数据加工作业，并基于目标数据加工作业的作业信息向目标对象发送预警信息，其中，目标数据加工作业为数据加工作业的后序作业。

10、根据本发明实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述的作业时效的预警方法。

11、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的作业时效的预警方法。

12、根据本发明实施例的另一方面，还提供了一种电子设备，该电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述的作业时效的预警方法。

13、在本发明实施例中，采用依据由数据血缘关系计算出的历史执行数据对调度作业进行实时监控的方式，首先获取数据加工作业的历史执行数据，并依据历史执行数据对目标平台的调度作业进行实时监控，其中，历史执行数据包括以下至少之一：平均启动时刻、平均结束时刻、前序作业最晚调取时刻、前序作业最晚结束时刻，前序作业是依据作业之间的数据血缘关系确定的，调度作业用于调度数据加工作业执行数据加工任务；在对调度作业进行实时监控的过程中，依据历史执行数据和当前执行数据判断数据加工作业的时效是否异常，得到判断结果，其中，当前执行数据包括以下至少之一：作业调取时刻、作业结束时刻；若判断结果表征数据加工作业的时效异常，则依据数据血缘关系确定目标数据加工作业，并基于目标数据加工作业的作业信息向目标对象发送预警信息，其中，目标数据加工作业为数据加工作业的后序作业。

14、在上述过程中，依据历史执行数据和当前执行数据判断数据加工作业的时效是否异常，并在数据加工作业的时效异常的情况下，依据数据血缘关系确定出目标数据加工作业，实现了基于数据血缘的全面数据加工作业时效分析诊断，克服了数据加工作业单独分析的弊端，提高了时效分析的准确性，从而能够及时向后序作业进行提前预警。

15、由此可见，通过本发明的技术方案，达到了基于数据血缘全面分析数据加工作业的时效情况的目的，从而实现了及时向后序作业进行提前预警的技术效果，进而解决了现有技术中基于固定阈值判断数据加工作业的时效是否异常，存在滞后性，无法进行异常预警的技术问题。