技术特征：
1.一种基于mq和关系型数据库的数据流实现方法，其特征在于，该方法包括以下步骤：步骤s1、作业触发模块发起新任务，将配置好的作业计划表中的第一个任务对应的mq消息写入任务队列；步骤s2、作业调度模块中的父进程实时监听所述任务队列，从任务队列读取mq消息，找到所述mq消息任务在作业计划表中的位置后，写执行mq消息到执行队列，并根据执行状态更新登记新任务，发起下一个任务mq；步骤s3、任务执行模块从执行队列读取mq消息，执行结束后，同步或异步回复执行结果。2.根据权利要求1所述的一种基于mq和关系型数据库的数据流实现方法，其特征在于，所述步骤s2包括以下子步骤：步骤s21、作业调度模块中的父进程实时监听所述任务队列，从任务队列读取mq消息，并fork子进程处理；步骤s22、子进程按照作业调度接口解析读取到的mq消息，并对任务执行记录表中的任务id进行空值判断；若任务id为空，则根据作业编号在作业计划表查询对应作业的第一项任务各项信息后，转步骤s26，否则，转步骤s23；步骤s23、判断任务执行记录表是否存在相应任务，若不存在则视为无效mq消息，转步骤s27；若任务执行记录表存在相应任务，则转步骤s24；步骤s24、判断回复项内容是否为回复消息，若是，转步骤s25；若否，按照任务执行接口在执行队列中写入mq消息，此时，若从作业计划表中查询任务为同步执行任务，则从回复队列中读取回复消息，按照作业调度接口解析mq消息后，转步骤s25，否则转步骤s27；步骤s25、更改该项任务的状态，并依据当前状态从作业计划表中查询下一项任务信息或失败跳转任务信息，转步骤s26；步骤s26、为新任务生成任务id，将新任务插入任务执行记录表，按照作业调度接口在任务队列中写入mq消息；步骤s27、退出子进程。3.根据权利要求2所述的一种基于mq和关系型数据库的数据流实现方法，其特征在于，所述作业计划表的字段包括作业编号、任务编号、任务名称、同异步标志、失败跳转任务编号；其中，“作业编号+任务编号”为主键。4.根据权利要求2所述的一种基于mq和关系型数据库的数据流实现方法，其特征在于，所述任务执行记录表的字段包括任务id、操作对象名、作业编号、任务编号、任务名称、开始时间、结束时间和任务执行状态；其中，任务id为主键。5.根据权利要求2所述的一种基于mq和关系型数据库的数据流实现方法，其特征在于，所述作业调度接口对应的字段包括操作对象名、任务id、作业编号以及回复内容；所述任务id由作业调度模块序列生成，每个任务的任务id唯一，若任务id为空值，则该任务为作业流中的第一项任务；所述回复内容为成功、失败和新任务。6.根据权利要求2所述的一种基于mq和关系型数据库的数据流实现方法，其特征在于，所述作业调度接口对应的字段包括操作对象名、任务id、交易码和触发时间。7.根据权利要求1所述的一种基于mq和关系型数据库的数据流实现方法，其特征在于，所述步骤s2中任务队列读取的mq消息包括作业触发模块写入的第一mq消息、作业调度模块
写入的第二mq消息以及任务执行模块写入的第三mq消息；所述第一mq消息为触发作业流的第一项任务；所述第二mq消息为触发已记录还尚未执行的新任务；所述第三mq消息为异步任务回复消息。8.根据权利要求1所述的一种基于mq和关系型数据库的数据流实现方法，其特征在于，所述任务执行模块执行的具体交易包括可扩展的c、java和shell脚本。9.根据权利要求1所述的一种基于mq和关系型数据库的数据流实现方法，其特征在于，如果出现作业流异常中断，通过外部程序在所述任务队列中重新写入mq消息，重新执行相应任务。10.一种基于mq和关系型数据库的作业流调度系统，其特征在于，包括：作业触发模块，用于发起新任务，将作业计划表中的第一个任务mq消息写入任务队列；作业调度模块，用于从任务队列读取mq消息，找到该mq消息任务在作业计划表中的位置后，写执行mq消息到执行队列，并根据执行状态更新登记新任务，发起下一个任务mq；任务执行模块，用于从执行队列读取mq消息，执行结束后，同步或异步回复执行结果。
技术总结
本发明涉及一种基于MQ和关系型数据库的作业流实现方法及调度系统，该方法包括以下步骤：步骤S1、作业触发模块发起新任务，将配置好的作业计划表中的第一个任务对应的MQ消息写入任务队列；步骤S2、作业调度模块中的父进程实时监听所述任务队列，从任务队列读取MQ消息，找到所述MQ消息任务在作业计划表中的位置后，写执行MQ消息到执行队列，并根据执行状态更新登记新任务，发起下一个任务MQ；步骤S3、任务执行模块从执行队列读取MQ消息，执行结束后，同步或异步回复执行结果。与现有技术相比，本发明可通过简单配置顺序执行的各项任务，实现作业流自动运行，且具有同时支持同异步、失败跳转以及异常断点续做的优点。败跳转以及异常断点续做的优点。败跳转以及异常断点续做的优点。
技术研发人员：牛丽敏
受保护的技术使用者：中银金融科技有限公司
技术研发日：2022.04.21
技术公布日：2022/9/13