银行系统中文件调度方法及装置与流程

本发明涉及计算机技术领域，特别涉及一种银行系统中文件调度方法及装置。

背景技术：

对于银行业务及系统的复杂性来说，工作人员对于各个系统的数据文件进行统计计算是一件繁杂的工作，如何既能保证数据的准确性，又能保证统计的时效性，是一个很大的问题。而现有技术中，需要工作人员对来自各个系统的数据文件进行处理，但由于数据文件的数量庞大，导致人工对银行系统中数据文件进行处理变得很困难，人工处理工作量巨大，工作效率低下。

技术实现要素：

本发明实施例提供了一种银行系统中文件调度方法，用以提升银行系统中数据文件的处理效率，该方法包括：

根据多个数据文件中每一数据文件预定的调度日期，确定每一调度日期需执行的数据文件；

根据数据文件的类型，以及驱动任务列表中任务的预设执行顺序，对每一日期需执行的数据文件进行调度处理；所述驱动任务列表中每一任务包括处理一类数据文件。

本发明实施例还提供了一种银行系统中文件调度装置，用以提升银行系统中数据文件的处理效率，该装置包括：

数据文件确定模块，用于根据多个数据文件中每一数据文件预定的调度日期，确定每一调度日期需执行的数据文件；

数据文件调度模块，用于根据数据文件的类型，以及驱动任务列表中任务的预设执行顺序，对每一日期需执行的数据文件进行调度处理；所述驱动任务列表中每一任务包括处理一类数据文件。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。

本发明实施例中，根据多个数据文件中每一数据文件预定的调度日期，可以确定每一调度日期需执行的数据文件；然后根据数据文件的类型，以及驱动任务列表中任务的预设执行顺序，对每一日期需执行的数据文件进行调度处理；其中，驱动任务列表中每一任务包括处理一类数据文件；从而以数据文件类型和驱动任务列表为依据，对数据文件进行调度，并在调度过程中，以任务的形式实现了对同类数据文件的批量调度，提升了银行系统中数据文件的处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种银行系统中文件调度方法的流程示意图；

图2是本发明实施例提供的一实例的结构示意图；

图3是本发明实施例提供的一种银行系统中文件调度装置的结构示意图；

图4是本发明实施例提供的一实例中守护进程工作的流程示意图；

图5是本发明实施例提供的一实例的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有技术中，需要工作人员对来自各个系统的数据文件进行处理，但由于数据文件的数量庞大，导致人工对银行系统中数据文件进行处理变得很困难，人工处理工作量巨大，工作效率低下。而本发明实施例以数据文件类型和驱动任务列表为依据，对数据文件进行调度，并在调度过程中，以任务的形式实现了对同类数据文件的批量调度，提升了银行系统中数据文件的处理效率。

在本发明实施例中，提供了一种银行系统中文件调度方法，如图1所示，该方法包括：

步骤101：根据多个数据文件中每一数据文件预定的调度日期，确定每一调度日期需执行的数据文件；

步骤102：根据数据文件的类型，以及驱动任务列表中任务的预设执行顺序，对每一日期需执行的数据文件进行调度处理；所述驱动任务列表中每一任务包括处理一类数据文件。

本发明实施例中，根据多个数据文件中每一数据文件预定的调度日期，可以确定每一调度日期需执行的数据文件；然后根据数据文件的类型，以及驱动任务列表中任务的预设执行顺序，对每一日期需执行的数据文件进行调度处理；其中，驱动任务列表中每一任务包括处理一类数据文件；从而以数据文件类型和驱动任务列表为依据，对数据文件进行调度，并在调度过程中，以任务的形式实现了对同类数据文件的批量调度，提升了银行系统中数据文件的处理效率。

具体实施时，首先根据多个数据文件中每一数据文件预定的调度日期，确定每一调度日期需执行的数据文件，下面给出具体实施例。

在一实施例中，首先需要获取多个数据文件中每一数据文件预定的调度日期，可在接收数据文件时，一并获取该调度日期，并将此调度日期存储在一数据表中，例如该数据表可以命名为ftpfilectl表。其次，根据多个数据文件中每一数据文件预定的调度日期，按照调度日期的先后顺序将全部的数据文件进行筛选，确定了每一日期需执行的数据文件，并将每一日期需执行的数据文件存储在另一数据表中，例如该数据表可以命名为jobrunsta表。在本实施例中，在将调度日期存储在ftpfilectl表中时，还可将这些数据文件的到达日期同样存入ftpfilectl表中，可便于工作人员的数据文件的巡检。

在上述实施例中，还可以包括：根据多个数据文件中每一数据文件预定的调度周期，如月度或年度等，确定每一调度日期需执行的数据文件。例如可根据一数据表，如命名为jobdrvrel表，设置的月、季度周期进一步确定每一调度日期需执行的数据文件。

具体实施时，在确定每一调度日期需执行的数据文件后，还需根据数据文件的类型，以及驱动任务列表中任务的预设执行顺序，对每一日期需执行的数据文件进行调度处理，下面给出具体的实施例。

在一实施例中，所述驱动任务列表中每一任务包括处理一类数据文件；而所述驱动任务列表中每一任务，均预设有如下信息之一或组合：文件名，前置任务，任务的类型，文件来源，需处理频率。

在上述实施例中，首先需定义一或多个驱动任务列表(例如可命名为obdrvrel表，包括文件名，前置任务，任务的类型，系统来源、处理频率(每日/每月/每季度)等)，用于根据驱动任务列表中的任务的预设执行顺序，对每一日期需执行的数据文件再次进行数据文件的排列，以此排序进行调度处理。

具体实施时，在确定每一调度日期需执行的数据文件之前，从多个数据库中获取所述多个数据文件，下面给出具体实施例。

在一实施例中，每一数据库存储一类数据文件，在上述实施例中，多个数据文件可以包括来自各个系统的数据文件，而数据文件可以包括增全量数据文件、全机构统一的数据文件，以及各个分机构的数据文件(分机构的数据文件为多份文件后缀相同的不同文件)等上千个数据文件。此外还需要根据数据文件的类型，设置数据文件对应的数据库。在实施例中，因为数据文件的来源系统多，而各个系统下传输数据文件的类型又全然不同，需单独定义各个数据文件的数据库，以便对不同的数据文件进行不同处理。

具体实施时，对每一日期需执行的数据文件进行调度处理之后，将处理结果存入与数据文件相应的数据库。

在上述实施例中，将处理结果存入与数据文件相应的数据库，可以实现的数据文件处理结果的有序存储，通过将数据文件处理结果有序地加载至不同的数据库中，可有序且便捷地进入下一步的操作：按照预定的规则对存入不同数据库的数据文件处理结果进行进一步的处理。在一实施例中，还可以包括：对存入不同数据库的数据文件处理结果，由于数据库中存在大量数据，数据之间是存在关联性的，通过大数据分析技术手段可对数据进行价值挖掘和采集，为业务提供有价值的信息。

具体实施时，在确定每一调度日期需执行的数据文件之前，还可以对所述多个数据文件进行筛选。

在一实施例中，通过对所述多个数据文件进行筛选，可以判断其中的数据文件是否存在重复文件、异常文件或为不需接收的文件等，实现了对数据文件的初步筛选，提升了文件调度时的准确率。

在上述实施例中，还可以包括：在对数据文件进行调度处理的过程中进行校验的步骤。由于数据的繁杂，有些数据需要按照一定的规则进行数据清理后，才能得到想要入库的数据，因此还可以单独设置一些顺序校验、主从表校验、是否重复、以及类型校验等规则，在对数据文件进行调度处理的过程中进行校验，并将校验结果记录到数据分类日志中，以便更方便直观的查看维护数据。

本发明实施例还提供了一具体实例，如图2所示，图2是本发明实施例提供的一具体实例的流程示意图：

首先，接收多个数据文件，在此过程中可以监控且记录有关的文件信息，当缺少文件或者接收重复的文件时，就会影响后续数据的准确性，缺少的文件可根据记录后续进行自动补跑，而无异常的数据将会进行后续处理。

其次，设置驱动任务列表，驱动任务列表中每一任务均预设有如下信息之一或组合：文件名，前置任务，任务的类型，文件来源，需处理频率等，还需要定义好每个数据文件的类型以及对应的数据库，因为系统比较多，各个系统文件的类型又完全不同，需要定义进行不同处理，在维护好这两项的前提下，可进行下一步骤。

然后，可根据多个数据文件中每一数据文件预定的调度日期，确定每一调度日期需执行的数据文件；再根据数据文件的类型，以及驱动任务列表中任务的预设执行顺序，对每一日期需执行的数据文件进行调度处理。实施时，当某一日期的数据文件到达齐全时，可自动进行对数据文件的调度处理。在处理过程中，除了属性为前置任务的任务需提前执行的情况以外，其余驱动任务列表中任务不会因为顺序而等待，也不会因为文件太多而阻塞，数据会根据设置的任务类型日/月/季去执行。

在本实例中，数据文件的处理结果存入数据库后，还可以根据预设的月、季度任务进一步进行数据加工，生成统一的数据集，便于工作人员进行直观的观察。

在本实例中，因为数据文件的处理结果汇集了多个系统的相关数据，数据之间是存在关联性的，且数据量比较大，因此，通过大数据进行数据分析和数据挖掘，可以提供给业务有价值的信息。

本发明实施例中，根据多个数据文件中每一数据文件预定的调度日期，可以确定每一调度日期需执行的数据文件；然后根据数据文件的类型，以及驱动任务列表中任务的预设执行顺序，对每一日期需执行的数据文件进行调度处理；其中，驱动任务列表中每一任务包括处理一类数据文件；从而以数据文件类型和驱动任务列表为依据，对数据文件进行调度，并在调度过程中，以任务的形式实现了对同类数据文件的批量调度，提升了银行系统中数据文件的处理效率。

本发明实施例可通过这种文件调度处理流程或方法，降低维护人员的成本和业务手工操作时长，同时也便于维护，在停止任务启停时尤其方便，且不会干扰上次任务执行，整个流程都无需人工干预，即使是进行铺底和数据补跑时，也很方便，使整个批量调度过程平稳有序的进行，有效提升了工作效率。

基于同一发明构思，本发明实施例中还提供了一种银行系统中文件调度装置，如下面的实施例所述。由于银行系统中文件调度装置解决问题的原理与银行系统中文件调度方法相似，因此银行系统中文件调度装置的实施可以参见银行系统中文件调度方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是本发明实施例的银行系统中文件调度装置的一种结构框图，如图3所示，包括：

数据文件确定模块01，用于根据多个数据文件中每一数据文件预定的调度日期，确定每一调度日期需执行的数据文件；

数据文件调度模块02，用于根据数据文件的类型，以及驱动任务列表中任务的预设执行顺序，对每一日期需执行的数据文件进行调度处理；所述驱动任务列表中每一任务包括处理一类数据文件。

在一实施例中，所述驱动任务列表中每一任务，均预设有如下信息之一或组合：文件名，前置任务，任务的类型，文件来源，需处理频率。

在一实施例中，还包括，数据文件获取模块，用于：

在确定每一调度日期需执行的数据文件之前，从多个数据库中获取所述多个数据文件；其中每一数据库存储一类数据文件。

在一实施例中，还包括，数据文件保存模块，用于：

对每一日期需执行的数据文件进行调度处理之后，将处理结果存入与数据文件相应的数据库。

在一实施例中，还包括，数据文件筛选模块，用于：

在确定每一调度日期需执行的数据文件之前，对所述多个数据文件进行筛选。

下面对该结构进行说明：

具体实施时，数据文件获取模块可以包括守护进程，例如可为命名为mtdsdaemon的守护进程，用于监控文件到达情况和文件内容的正确情况，尤其是准备做手工补跑或者停止服务更新版本时，如在没有接收数据文件时，可以暂停整个调度服务，进行一些其他的操作，且不会影响整个流程的进行，同样也不会影响下次装置的启动，如图4所示，显示了本发明实施例提供的守护进程工作的流程示意图。

在图4中，首先启动守护进程，用来监督接收数据文件的过程，以及对需要接收的文件在到达后进行处理；其次根据预先设置好的文件规则，对已到达的数据文件，进行筛选并记录筛选结果，将符合规则的文件记录到数据表(例如该数据表可为ftpfilectl表)中，不符合规则的文件将记录到错误日志中，最终，根据筛选结果将数据文件移动到指定的目录下。

具体实施时，数据文件确定模块可以用于作为总调度程序(例如该总调度程序可命名为jobcontrol)的子调度，进而控制每个任务(例如命名为jobdrvrel的任务)的执行，用于完成数据文件的校验(重复性、正确性、一致性)，加载和处理。

具体实施时，数据文件调度模块可以用于：根据callstp算法来实现总调度程序的功能，数据文件调度模块可以作为是每个jobdrvrel任务的监控者，可以用来监控每日所有任务的执行，从而可以自动处理加载文件并记录每一日期需执行的数据文件存储在另一数据表中，例如该数据表可以命名为jobrunsta表(例如可命名为jobrunsta)和总调度的过程，使得文件调度处理平稳、有序、高效。如图5所示，是本发明实施例提供的一实例的流程示意图。

在图5中，首先启动总调度程序(例如该总调度程序可命名为jobcontrol)，获取当前需要处理的数据文件的日期(例如最新会计日)，其次根据定义好的控制每个任务(例如命名为jobdrvrel的任务)，检查需要处理的文件是否已到达指定的处理路径下，然后将定好的任务驱动列表(jobdrvrel，可为驱动关系表)，加载进每一日期需执行的数据文件中等待处理，可以后台方式运行调度的作业，该每一日期需执行的数据文件存储在另一数据表中，例如该数据表可以命名为jobrunsta表。只要数据表(例如该数据表可为ftpfilectl表)中文件到达，就会进行处理，除了前置任务的数据文件，不会因为顺序而等待，也不会因为文件太多而阻塞，数据会根据jobdrvrel中设置的任务类型(日/月/季)去执行；最后当jobdrvrel中所有子任务都成功处理完毕，则将更新每日总任务表(例如该表可为sys_param表，记录了每一数据文件的运行状态以及批量数据文件的批量状态)的处理结果信息。

具体实施时，本发明实施例还可以包括：数据文件处理模块，用于对数据文件处理结果进行大数据分析挖掘，不管是通过错误日志信息，还是各个系统的关联数据，都可通过预设置的业务规则，去发掘出有利于业务发展的有效信息，比如当出现错误日志信息时，可对这种数据的量级、来源、与哪些系统有关等信息进行分析，为后续系统的优化，以及与工作的操作处理上，都能提供更多有效的信息。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。

本发明实施例中，根据多个数据文件中每一数据文件预定的调度日期，可以确定每一调度日期需执行的数据文件；然后根据数据文件的类型，以及驱动任务列表中任务的预设执行顺序，对每一日期需执行的数据文件进行调度处理；其中，驱动任务列表中每一任务包括处理一类数据文件；从而以数据文件类型和驱动任务列表为依据，对数据文件进行调度，并在调度过程中，以任务的形式实现了对同类数据文件的批量调度，提升了银行系统中数据文件的处理效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。