批处理的方法及装置、非易失性存储介质、批处理系统与流程

本申请涉及数据处理，具体而言，涉及一种批处理的方法及装置、非易失性存储介质、批处理系统。

背景技术：

1、批处理(batch processing)即数据的离线加工，用于处理大规模的离线任务；目前，在应用系统的数据库上完成的批处理任务是通过人工的方式开发的；由用户编写代码创建批处理作业、批处理作业中的每一个步骤，以及对作业中的步骤进行编排。因此，存在自动化程度低，开发效率低、资源占用高以及高成本的问题。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种批处理的方法及装置、非易失性存储介质、批处理系统，以至少解决由于相关技术通过人工的方法开发在应用系统的数据库上完成的批处理任务造成的开发效率低的技术问题。

2、根据本申请实施例的一个方面，提供了一种批处理的方法，包括：获取目标配置信息，其中，目标配置信息存储在数据库中，目标配置信息的信息类别包括以下至少之一：目标组件配置信息、目标步骤配置信息、目标步骤流配置信息和目标作业配置信息；根据目标配置信息创建批处理作业，其中，批处理作业用于同时实现数据库的多个任务；根据批处理作业对数据库进行批处理。

3、可选地，获取目标配置信息，包括：依据数据库中的配置信息的信息类别，确定配置信息对应的读取顺序；依据读取顺序从数据库中读取配置信息，其中，信息类别包括：组件配置信息、步骤配置信息、步骤流配置信息和作业配置信息；对读取到配置信息进行解析，得到每条配置信息中的多个目标字段，其中，目标字段为用于校验配置信息的合法性的字段；对每条配置信息中的多个目标字段进行校验，得到校验结果，其中，对多个目标字段进行校验至少包括：对目标字段的长度进行检验，对目标字段指示的网络地址进行校验；将校验结果为校验合格的配置信息确定为目标配置信息。

4、可选地，依据读取顺序从数据库中读取配置信息，包括：读取组件配置信息，在确定读取到全部组件配置信息之后，再读取步骤配置信息；在确定读取到全部步骤配置信息之后，再读取步骤流配置信息；在确定读取到全部步骤流配置信息之后，再读取作业配置信息。

5、可选地，批处理的方法还包括：记录校验结果为校验不合格的配置信息；并向目标对象发送提示信息，其中，提示信息用于提醒目标对象更改校验结果为校验不合格的配置信息。

6、可选地，根据目标配置信息创建批处理作业，包括：依据目标配置信息的信息类别确定创建顺序，并依据创建顺序为目标配置信息创建资源对象，得到多个资源对象，其中，资源对象用于执行批处理作业，资源对象包括：组件对象、步骤对象、步骤流对象和作业对象；将多个资源对象发送到容器，基于容器创建批处理作业。

7、可选地，依据创建顺序为目标配置信息创建资源对象，包括：为目标组件配置信息创建组件对象，在确定为全部目标组件配置信息均创建了组件对象之后，再为目标步骤信息创建步骤对象；在确定为全部目标步骤配置信息均创建了步骤对象之后，再为目标步骤流配置信息创建步骤流对象；在确定为全部目标步骤流配置信息均创建了步骤流对象之后，再为目标作业配置信息创建作业对象。

8、可选地，基于容器创建批处理作业，包括：基于容器中的资源对象为容器中的每个步骤流对象创建多个流对象；在确定容器中的多个步骤流对象均创建了流对象后，基于多个流对象为容器中的每个作业对象创建批处理作业。

9、可选地，为容器中的每个步骤流对象创建多个流对象，包括：确定步骤流对象的层级；从最低层级开始依次获取步骤流对象在每一层级的第一步骤列表，其中，第一步骤列表用于记录步骤流对象中的步骤对象，以及步骤对象之间的依赖关系，依赖关系至少包括：顺序关系、条件分支关系和并行关系；在每一层级依据第一步骤列表为述步骤流对象创建的多个流对象。

10、可选地，为容器中的每个作业对象创建批处理作业，包括：确定作业对象的层级；从最低层级开始依次获取作业对象在每一层级的第二步骤列表，其中，第二步骤列表用于记录作业对象中的步骤流以及步骤流之间的依赖关系；在每一层级依据第二步骤列表为作业对象创建多个批处理对象，其中，批处理作业由多个批处理对象组成。

11、根据本申请实施例的另一方面，还提供了一种批处理系统，包括：总控模块、配置模块、创建模块和编排模块，其中，配置模块，与数据库连接，用于获取目标配置信息，并对配置信息进行解析和校验，其中，目标配置信息存储在数据库中；创建模块，与配置模块连接，用于为校验合格的配置信息创建资源对象；编排模块，与创建模块连接，用于基于资源对象创建批处理作业；总控模块，与配置模块、创建模块和编排模块连接，用于控制配置模块、创建模块和编排模块；总控模块，还用于设置批处理系统的参数，其中，批处理系统的参数至少包括：分页大小、并行度、线程池和数据库连接池。

12、根据本申请实施例的另一方面，还提供了一种批处理的装置，包括：获取模块，用于获取目标配置信息，其中，目标配置信息存储在数据库中，目标配置信息的信息类别包括以下至少之一：目标组件配置信息、目标步骤配置信息、目标步骤流配置信息和目标作业配置信息；创建模块，用于根据目标配置信息创建批处理作业，其中，批处理作业用于同时实现数据库的多个任务；处理模块，用于根据批处理作业对数据库进行批处理。

13、根据本申请实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质中存储有计算机程序，其中，在非易失性存储介质所在设备通过运行计算机程序执行上述的批处理的方法。

14、根据本申请实施例的另一方面，还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为通过计算机程序执行上述的批处理的方法。

15、在本申请实施例中，采用获取目标配置信息，其中，目标配置信息存储在数据库中，目标配置信息的信息类别包括以下至少之一：目标组件配置信息、目标步骤配置信息、目标步骤流配置信息和目标作业配置信息；根据目标配置信息创建批处理作业，其中，批处理作业用于同时实现数据库的多个任务；根据批处理作业对数据库进行批处理的方式，通过对现有的批处理框架(springbatch)进一步封装，在springbatch提供的现有功能的基础上，结合自定义的配置表和编排算法实现了批处理作业的动态创建，达到了使批处理系统基于输入的配置信息自动创建批处理任务的目的，从而实现了提高批处理任务的开发效率的技术效果，进而解决了由于相关技术通过人工的方法开发在应用系统的数据库上完成的批处理任务造成的开发效率低技术问题。

技术特征：

1.一种批处理的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，获取目标配置信息，包括：

3.根据权利要求2所述的方法，其特征在于，依据所述读取顺序从所述数据库中读取配置信息，包括：

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，根据所述目标配置信息创建批处理作业，包括：

6.根据权利要求5所述的方法，其特征在于，依据所述创建顺序为所述目标配置信息创建资源对象，包括：

7.根据权利要求5所述的方法，其特征在于，基于所述容器创建批处理作业，包括：

8.根据权利要求7所述的方法，其特征在于，为所述容器中的每个步骤流对象创建多个流对象，包括：

9.根据权利要求7所述的方法，其特征在于，为所述容器中的每个作业对象创建批处理作业，包括：

10.一种批处理系统，其特征在于，包括：总控模块、配置模块、创建模块和编排模块，其中，

11.一种批处理的装置，其特征在于，包括：

12.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储有计算机程序，其中，在所述非易失性存储介质所在设备通过运行所述计算机程序执行权利要求1至9中任意一项所述的批处理的方法。

13.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至9中任意一项所述的批处理的方法。

技术总结
本申请公开了一种批处理的方法及装置、非易失性存储介质、批处理系统。其中，该方法包括：获取目标配置信息，其中，目标配置信息存储在数据库中，目标配置信息的信息类别包括以下至少之一：目标组件配置信息、目标步骤配置信息、目标步骤流配置信息和目标作业配置信息；根据目标配置信息创建批处理作业，其中，批处理作业用于同时实现数据库的多个任务；根据批处理作业对数据库进行批处理。本申请解决了由于相关技术通过人工的方法开发在应用系统的数据库上完成的批处理任务造成的开发效率低的技术问题。

技术研发人员：曾幸彬,刘绍源,徐鹿,黄海洲,李恺
受保护的技术使用者：广发银行股份有限公司
技术研发日：
技术公布日：2024/3/24