一种批量作业调度处理方法、设备及存储介质与流程

本发明涉及数据批处理，尤其是涉及一种批量作业调度处理方法。

背景技术：

1、随着国内商业银行信息化建设的快速发展和企业应用集成技术的广泛应用，往往需要面对各种客群覆盖广、业务规模大、数据质量优、推广价值高的供应链等应用场景，这些场景的业务表数量多、数据量较大，而且由于业务系统是面向对公客户，银行的业务人员处理业务时只能操作其名下客户，且联机操作以客户为维度，无法进行大规模客户操作，所以在不影响业务功能的前提下，现有技术往往需要在夜间根据统一客户特征进行批量数据操作，运行大量worker，而且很多worker依赖其他业务系统的数据文件传输，一旦源系统文件由于某些原因无法在夜间到达时，将导致整个批量作业无法按时结束而影响整体业务功能，不利于作业及时可靠的执行完成。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种批量作业调度处理方法、设备及存储介质，在源系统文件未及时传输的情况下，能够自动跳过未完成作业，并且进行数据补处理，确保作业能够及时可靠完成。

2、本发明的目的可以通过以下技术方案来实现：一种批量作业调度处理方法，包括以下步骤：

3、s1、建立数据库作业状态表及补跑作业备份表，其中，数据库作业状态表用于更新记录所有作业的相关数据；

4、s2、按照第一设定时间，定时从数据库作业状态表查找未完成作业，并将未完成作业的相关数据插入补跑作业备份表；

5、之后跳过未完成作业，完成整体批量作业；

6、s3、按照第二设定时间，定时查询补跑作业备份表中是否存在其他系统文件加载作业，若存在，则进行数据补处理、之后开始整体批量作业；

7、否则直接开始整体批量作业。

8、进一步地，所述步骤s1中作业的相关数据包括作业id、运行日期和运行状态，所述运行状态具体为“已完成”或“未完成”。

9、进一步地，所述步骤s2具体是将未完成作业的作业id及运行日期插入补跑作业备份表。

10、进一步地，所述步骤s2中跳过未完成作业具体是将查找到的未完成作业强制置为“已完成状态”。

11、进一步地，所述步骤s2中第一设定时间具体为白天营业时间之前的设定时间。

12、进一步地，所述步骤s3中第二设定时间具体为夜间执行整体批量作业之前的设定时间。

13、进一步地，所述步骤s3具体是从补跑作业备份表中查询运行日期为前一日的未完成作业是否存在其他系统文件加载作业，若存在，则进行前一日数据文件的数据补处理，待数据补处理完成后再开始当日的整体批量作业；

14、否则直接开始当日的整体批量作业。

15、进一步地，所述步骤s2具体是采用oracle定时job的方式，以定时从数据库作业状态表查找未完成作业。

16、一种批量作业调度处理设备，包括处理器，所述处理器与存储器通信连接，所述存储器存储有计算机可读程序，所述处理器执行所述计算机可读程序时实现上述的批量作业调度处理方法。

17、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述批量作业调度处理方法的步骤。

18、与现有技术相比，本发明具有以下优点：

19、一、本发明通过建立数据库作业状态表及补跑作业备份表，利用数据库作业状态表更新记录所有作业的相关数据，利用补跑作业备份表记录未完成作业，再通过定时从数据库作业状态表查找未完成作业、定时从补跑作业备份表查询是否存在加载作业，以判断是否进行数据补处理。由此在源系统文件未及时传输的情况下，能够自动跳过未完成作业，避免影响业务功能，并且能够进行数据补处理，从而避免发生数据丢失，确保作业能够及时可靠完成。

20、二、本发明将第一设定时间设置在白天营业时间之前，将第二设定时间设置在夜间执行整体批量作业之前，从而能够在当日的白天营业时间前定时检查作业是否运行完成，并将未完成作业跳过、避免影响当日的业务功能；在当日的夜间开始整体批量作业之前先将前一日跳过的未完成作业进行补跑后、再进行整体作业运行。从而实现一种配置化定时跳过未完成作业并自动补运行的方案，能够灵活地进行数据补处理，既不会影响当日的业务正常运行，也避免了数据丢失。

技术特征：

1.一种批量作业调度处理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种批量作业调度处理方法，其特征在于，所述步骤s1中作业的相关数据包括作业id、运行日期和运行状态，所述运行状态具体为“已完成”或“未完成”。

3.根据权利要求2所述的一种批量作业调度处理方法，其特征在于，所述步骤s2具体是将未完成作业的作业id及运行日期插入补跑作业备份表。

4.根据权利要求2所述的一种批量作业调度处理方法，其特征在于，所述步骤s2中跳过未完成作业具体是将查找到的未完成作业强制置为“已完成状态”。

5.根据权利要求1所述的一种批量作业调度处理方法，其特征在于，所述步骤s2中第一设定时间具体为白天营业时间之前的设定时间。

6.根据权利要求1所述的一种批量作业调度处理方法，其特征在于，所述步骤s3中第二设定时间具体为夜间执行整体批量作业之前的设定时间。

7.根据权利要求1所述的一种批量作业调度处理方法，其特征在于，所述步骤s3具体是从补跑作业备份表中查询运行日期为前一日的未完成作业是否存在其他系统文件加载作业，若存在，则进行前一日数据文件的数据补处理，待数据补处理完成后再开始当日的整体批量作业；

8.根据权利要求1所述的一种批量作业调度处理方法，其特征在于，所述步骤s2具体是采用oracle定时job的方式，以定时从数据库作业状态表查找未完成作业。

9.一种批量作业调度处理设备，其特征在于，包括处理器，所述处理器与存储器通信连接，所述存储器存储有计算机可读程序，所述处理器执行所述计算机可读程序时实现如权利要求1～8任一所述的一种批量作业调度处理方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～8任一所述的一种批量作业调度处理方法的步骤。

技术总结
本发明涉及一种批量作业调度处理方法、设备及存储介质，该方法包括以下步骤：建立数据库作业状态表及补跑作业备份表，其中，数据库作业状态表用于更新记录所有作业的相关数据；按照第一设定时间，定时从数据库作业状态表查找未完成作业，并将未完成作业的相关数据插入补跑作业备份表；之后跳过未完成作业，完成整体批量作业；按照第二设定时间，定时查询补跑作业备份表中是否存在其他系统文件加载作业，若存在，则进行数据补处理、之后开始整体批量作业；否则直接开始整体批量作业。与现有技术相比，本发明在源系统文件未及时传输的情况下，能够自动跳过未完成作业，并且进行数据补处理，确保作业能够及时可靠完成。

技术研发人员：贾红蕾
受保护的技术使用者：中银金融科技有限公司
技术研发日：
技术公布日：2024/1/13