分布式消息的处理方法、系统、设备及存储介质与流程

本发明涉及任务处理，尤其涉及一种分布式消息的处理方法、系统、设备及存储介质。

背景技术：

1、随着企业在业务领域的创新和多元化发展，各业务领域都加快了信息化建设的步伐，业务系统数量越来越多，系统之间待办数据交互需求也越来越多。目前，统一信息平台的日常使用过程中，集成的业务系统越来越多，统一信息平台的业务数据库和待办数据库未进行物理隔离，当待办任务数量较多时会让数据库卡死，导致待办任务处理效率降低。

技术实现思路

1、本申请实施例通过提供一种分布式消息的处理方法、系统、设备及存储介质，旨在提高待办任务处理效率。

2、本申请实施例提供了一种分布式消息的处理方法，所述分布式消息的处理方法包括：

3、根据关键路径对应的待办任务的持续时间，确定所述关键路径对应的任务持续时长；

4、根据所述任务持续时长对所述关键路径进行分组处理，其中，同一分组内的各个所述关键路径对应的所述任务持续时长之间的差值，小于预设阈值；

5、在接收到任务执行请求时，根据所述任务执行请求对应的可用算力资源，确定支持所述任务执行请求的目标持续时长；

6、确定与所述目标持续时长匹配的关键路径分组，并通过待办平台进行处理所述关键路径分组对应的待办任务。

7、可选地，所述根据关键路径对应的待办任务的持续时间，确定所述关键路径对应的任务持续时长的步骤之前，还包括：

8、根据待办平台发送的待办任务，确定待办任务序列；

9、从所述待办任务序列选取关键任务，并根据所述关键任务生成关键路径；

10、将所述关键路径发送至分布式数据库。

11、可选地，所述根据待办平台发送的待办任务，确定待办任务序列包括：

12、获取待办排序优先级影响因子和所述待办排序优先级影响因子对应的权重，所述待办排序优先级影响因子至少包括业务类型重要度、业务量级、待办任务已等待时间和待办任务剩余时长；

13、根据所述待办排序优先级影响因子和所述权重，确定所述待办平台发送的每个待办任务对应的优先级；

14、基于所述优先级对各个所述待办任务进行排序，得到所述待办任务序列。

15、可选地，所述从所述待办任务序列选取关键任务，并根据所述关键任务生成关键路径的步骤包括：

16、确定所述待办任务序列中各个待办任务的最早开始时间和获取各个所述待办任务对应的时间余量；

17、根据所述最早开始时间和所述时间余量，确定各个所述待办任务对应的最晚开始时间；

18、将所述最早开始时间和所述最晚开始时间相同时对应的待办任务，确定为所述关键任务；

19、确定各个所述关键任务的连接顺序，并基于所述连接顺序连接各个所述关键任务，得到所述关键路径。

20、可选地，所述从所述待办任务序列选取关键任务，并根据所述关键任务生成关键路径的步骤包括：

21、基于所述待办任务序列中各个待办任务对应的优先级，对各个待办任务对应的持续时间进行调节，得到调节后的待办任务序列，其中，所述待办任务的优先级越高，所述待办任务对应的持续时间越小；

22、从所述调节后的待办任务序列中选取关键任务，并根据所述关键任务生成关键路径。

23、可选地，所述将所述关键路径发送至分布式数据库的步骤包括：

24、获取所述关键路径中各个关键任务的持续时间；

25、将持续时间大于预设时间的关键任务单独发送至所述分布式数据库；

26、和，将持续时间小于或等于所述预设时间的关键任务与所述关键路径中的其他关键任务一起发送至所述分布式数据库，所述其他关键任务为所述关键路径中除所述持续时间大于所述预设时间的关键任务。

27、可选地，所述分布式消息的处理方法，还包括：

28、确定所述待办任务序列中，各个待办任务的最短耗时、最长耗时和正常耗时；

29、根据各个待办任务的所述最短耗时、所述最长耗时和所述正常耗时，分别确定各个所述待办任务对应的平均耗时；

30、根据各个所述待办任务对应的平均耗时之和，确定目标待办任务的预测开始执行时间，以在所述预测开始执行时间到达时，调度所述目标待办任务进行执行。

31、此外，为实现上述目的，本发明还提供了一种分布式消息的处理系统，所述分布式消息的处理系统包括待办平台、信息平台和分布式数据库，所述信息平台包括消息订阅模块和算法处理模块，所述分布式消息的处理系统包括：

32、所述算法处理模块用于根据待办平台发送的待办任务，确定待办任务序列；从所述待办任务序列选取关键任务，并根据所述关键任务生成关键路径；

33、所述消息订阅模块用于将所述关键路径发送至分布式数据库；

34、所述分布式数据库，用于根据关键路径对应的待办任务的持续时间，确定所述关键路径对应的任务持续时长；根据所述任务持续时长对所述关键路径进行分组处理，其中，同一分组内的各个所述关键路径对应的所述任务持续时长之间的差值，小于预设阈值；在接收到任务执行请求时，根据所述任务执行请求对应的可用算力资源，确定支持所述任务执行请求的目标持续时长；确定与所述目标持续时长匹配的关键路径分组，并通过待办平台进行处理所述关键路径分组对应的待办任务。

35、此外，为实现上述目的，本发明还提供了一种分布式消息的处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的分布式消息的处理程序，所述分布式消息的处理程序被所述处理器执行时实现上述的分布式消息的处理方法的步骤。

36、此外，为实现上述目的，本发明还提供了一种计算机可读存储介质，其上存储有分布式消息的处理程序，所述分布式消息的处理程序被处理器执行时实现上述的分布式消息的处理方法的步骤。

37、本申请实施例中提供的一种分布式消息的处理方法、系统、设备及存储介质的技术方案，将持续时长比较接近的关键路径划分到同一关键路径分组中，以便从分布式数据库中获取待办任务执行时，可以一次性取出若干持续时长比较接近的关键路径，将这些关键路径上的关键任务在比较相近的时间执行完毕后，可通过访问分布式数据库，取出待执行的下一批持续时长比较接近的关键路径。从而控制任务的调度与执行节奏，避免频繁与分布式数据库交互获取任务。由于分布式数据库利用自身高可靠性和大吞吐量高效接收巨量待办信息，采用分布式数据库对任务进行存储，支持高并发业务场景，与业务数据进行了物理隔离，有效减轻系统原有业务数据库的压力，提高待办任务处理效率。

技术特征：

1.一种分布式消息的处理方法，其特征在于，所述分布式消息的处理方法包括：

2.如权利要求1所述的分布式消息的处理方法，其特征在于，所述根据关键路径对应的待办任务的持续时间，确定所述关键路径对应的任务持续时长的步骤之前，还包括：

3.如权利要求2所述的分布式消息的处理方法，其特征在于，所述根据待办平台发送的待办任务，确定待办任务序列的步骤包括：

4.如权利要求2所述的分布式消息的处理方法，其特征在于，所述从所述待办任务序列选取关键任务，并根据所述关键任务生成关键路径的步骤包括：

5.如权利要求2所述的分布式消息的处理方法，其特征在于，所述从所述待办任务序列选取关键任务，并根据所述关键任务生成关键路径的步骤包括：

6.如权利要求2所述的分布式消息的处理方法，其特征在于，所述将所述关键路径发送至分布式数据库的步骤包括：

7.如权利要求2所述的分布式消息的处理方法，其特征在于，所述分布式消息的处理方法，还包括：

8.一种分布式消息的处理系统，其特征在于，所述分布式消息的处理系统包括待办平台、信息平台和分布式数据库，所述信息平台包括消息订阅模块和算法处理模块，所述分布式消息的处理系统包括：

9.一种分布式消息的处理设备，其特征在于，所述分布式消息的处理设备包括：存储器、处理器及存储在所述存储器的分布式消息的处理程序，所述分布式消息的处理程序被所述处理器执行时实现如权利要求1-7中任一项所述的分布式消息的处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有分布式消息的处理程序，所述分布式消息的处理程序被处理器执行时实现权利要求1-7中任一项所述的分布式消息的处理方法的步骤。

技术总结
本发明公开了分布式消息的处理方法、系统、设备及存储介质，该方法包括：将具有相同任务持续时长的关键路径划分至同一关键路径分组中，所述关键路径根据待办平台发送的待办任务连接得到；在接收到任务执行请求时，根据所述任务执行请求确定当前用于执行待办任务的算力资源能够支持的目标持续时长；确定与所述目标持续时长匹配的关键路径分组，并通过待办平台进行处理所述关键路径分组对应的待办任务。提高待办任务处理效率。

技术研发人员：程倩颖,王谱新,乔栋,陈熠,宋伟华
受保护的技术使用者：中国移动通信集团内蒙古有限公司
技术研发日：
技术公布日：2024/1/15