一种计算任务处理方法、装置、设备及介质与流程

本发明涉及数据处理，尤其涉及一种计算任务处理方法、装置、设备及介质。

背景技术：

1、随着用户的业务需求种类和需求数量的不断增长，业务系统的架构变得愈发庞大，软硬件资源也愈发不足，影响了计算任务的处理效率。

2、现有技术中，主要采用将业务系统拆分为多个子系统的方法，使多个子系统之间进行协同处理，以提高处理效率，但此技术方案对于庞大复杂的计算任务，仍存在处理效率较低的缺陷。

技术实现思路

1、本发明提供了一种计算任务处理方法、装置、设备及介质，以提高计算任务的处理效率。

2、第一方面，本发明提供了一种计算任务处理方法，包括：

3、根据目标计算任务的运算逻辑和预设逻辑粒度，对目标计算任务进行拆分，得到至少一个子目标计算任务，并确定各子目标计算任务的需求计算单元数量；

4、根据分布式系统中计算单元的空闲数量、各子目标计算任务的需求计算单元数量和至少一个子候选计算任务的需求计算单元数量，确定各子目标计算任务的可用计算单元数量；其中，子候选计算任务是通过对候选计算任务进行拆分得到；候选计算任务是拆分次序在目标计算任务之前，且未进行计算的计算任务；

5、根据各子目标计算任务的可用计算单元数量，将各子目标计算任务发送至分布式系统的从节点中，并对从节点反馈的子目标计算任务的计算结果进行融合，得到目标计算任务的计算结果。

6、第二方面，本发明还提供了一种计算任务处理装置，包括：

7、计算任务拆分模块，用于根据目标计算任务的运算逻辑和预设逻辑粒度，对目标计算任务进行拆分，得到至少一个子目标计算任务，并确定各子目标计算任务的需求计算单元数量；

8、可用数量确定模块，用于根据分布式系统中计算单元的空闲数量、各子目标计算任务的需求计算单元数量和至少一个子候选计算任务的需求计算单元数量，确定各子目标计算任务的可用计算单元数量；其中，子候选计算任务可以通过对未候选计算任务进行拆分得到；候选计算任务可以是拆分次序在目标计算任务之前，且未进行计算的计算任务；

9、计算结果确定模块，用于根据各子目标计算任务的可用计算单元数量，将各子目标计算任务发送至分布式系统的从节点中，并对从节点反馈的子目标计算任务的计算结果进行融合，得到目标计算任务的计算结果。

10、第三方面，本发明实施例还提供了一种电子设备，包括：

11、至少一个处理器；以及

12、与至少一个处理器通信连接的存储器；其中

13、存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例所提供的计算任务处理方法。

14、第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的计算任务处理方法。

15、本发明实施例通过根据目标计算任务的运算逻辑和预设逻辑粒度，对目标计算任务进行拆分，得到至少一个子目标计算任务，并确定各子目标计算任务的需求计算单元数量；根据分布式系统中计算单元的空闲数量、各子目标计算任务的需求计算单元数量和至少一个子候选计算任务的需求计算单元数量，确定各子目标计算任务的可用计算单元数量；其中，子候选计算任务是通过对候选计算任务进行拆分得到；候选计算任务是拆分次序在目标计算任务之前，且未进行计算的计算任务；根据各子目标计算任务的可用计算单元数量，将各子目标计算任务发送至分布式系统的从节点中，并对从节点反馈的子目标计算任务的计算结果进行融合，得到目标计算任务的计算结果。本发明实施例的技术方案，相较于现有技术中对业务逻辑进行拆分并协同处理的方法，能够对计算任务进行更细粒度的拆分，实现多个子计算任务进行并行处理，提高了计算任务的处理效率；根据分布式系统中计算单元的空闲情况和各子计算任务对计算单元的需求情况，为子计算任务分配计算单元，相较于现有技术中串行处理计算任务的方式，能够为子计算任务分配一定数量的计算单元，以提高各子计算任务的处理效率，从而进一步提高了计算任务的处理效率。

16、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种计算任务处理方法，其特征在于，由分布式系统的主节点执行，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述分布式系统中计算单元的空闲数量、各子目标计算任务的需求计算单元数量和至少一个子候选计算任务的需求计算单元数量，确定各所述子目标计算任务的可用计算单元数量，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述分布式系统中计算单元的空闲数量、所述待处理子任务的数量和各所述待处理子任务的需求计算单元数量，确定各所述待处理子任务的可用计算单元数量，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据各所述待处理子任务的需求计算单元数量，对所述平均计算单元数量进行校验，得到第一校验结果，并根据所述第一校验结果，确定各所述子目标计算任务的可用计算单元数量，包括：

5.根据权利要求2所述的方法，其特征在于，所述根据所述分布式系统中计算单元的空闲数量、所述待处理子任务的数量和各所述待处理子任务的需求计算单元数量，确定各所述子目标计算任务的可用计算单元数量，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据各所述待处理子任务的需求计算单元数量和各待处理子任务的辅助计算单元数量，对各所述待处理子任务进行校验，得到第二校验结果，并根据所述第二校验结果，确定各所述子目标计算任务的可用计算单元数量，包括：

7.根据权利要求1所述的方法，其特征在于，所述目标计算任务为图像生成任务；

8.一种计算任务处理装置，其特征在于，配置于分布式系统的主节点，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的计算任务处理方法。

技术总结
本发明公开了一种计算任务处理方法、装置、设备及介质，涉及数据处理技术领域。包括：根据目标计算任务的运算逻辑和预设逻辑粒度，对目标计算任务进行拆分，得到至少一个子目标计算任务，并确定子目标计算任务所需的计算单元数量；根据分布式系统中计算单元的空闲数量、各子目标计算任务的需求计算单元数量和至少一个子候选计算任务的需求计算单元数量，确定各子目标计算任务的可用计算单元数量；根据各子目标计算任务的可用计算单元数量，将各子目标计算任务发送至分布式系统的从节点中，并对从节点反馈的子目标计算任务的计算结果进行融合，得到目标计算任务的计算结果。本方案为子计算任务分配计算单元进行处理，提高了计算任务的处理效率。

技术研发人员：刘少平,谭犁
受保护的技术使用者：太平金融科技服务（上海）有限公司
技术研发日：
技术公布日：2024/3/17