数据协同计算方法、装置、系统、电子装置和存储介质与流程

本申请涉及大数据处理，特别是涉及一种数据协同计算方法、装置、系统、电子装置和存储介质。

背景技术：

1、随着科技的不断发展，云服务日渐发展成熟，越来越多的企业和组织通过部署云服务集群解决海量增长的数据问题。在很多应用场景中，需要对分布在不同地域不同集群中的大数据进行处理。

2、目前，针对分布在不同地域不同集群中的大数据进行处理时，大都采用集中式的处理方式，即将分布在不同地域不同集群中的数据上传至集中式服务器中，进一步地，再由集中式服务器分阶段进行处理。大量的数据上传至集中式服务器中不仅会产生大量的数据迁移成本，而且，在数据处理过程中，需要集中式服务器分阶段地进行处理，严重地影响数据处理效率。

3、针对相关技术中存在跨域数据的处理效率低的问题，目前还没有提出有效的解决方案。

技术实现思路

1、在本实施例中提供了一种数据协同计算方法、装置、系统、电子装置和存储介质，以解决相关技术中跨域数据的处理效率低的问题。

2、第一个方面，在本实施例中提供了一种数据协同计算方法，应用于数据协同计算系统中的主控制云，所述数据协同计算系统包括所述主控制云以及多个单域云，所述方法包括：

3、获取目标任务，以及所述目标任务的配置文件，所述配置文件包括执行所述目标任务所需的配置信息；

4、根据所述目标任务、所述配置文件以及多个所述单域云的资源信息，确定多个子任务以及每一子任务的执行单域云；

5、将多个所述子任务分配至对应的执行单域云中。

6、在其中的一些实施例中，所述根据所述目标任务、所述配置文件以及多个所述单域云的资源信息，确定多个子任务以及每一子任务的执行单域云，包括：

7、根据所述配置文件将所述目标任务划分为多个子任务；

8、根据所述配置文件以及多个所述单域云的资源信息，确定每一子任务的执行单域云。

9、在其中的一些实施例中，所述根据所述配置文件以及多个所述单域云的资源信息，确定每一子任务的执行单域云，包括：

10、根据所述配置文件确定每一子任务的至少一个备选单域云；

11、根据所述资源信息在每一子任务的备选单域云中确定每一子任务对应的执行单域云。

12、在其中的一些实施例中，所述根据所述资源信息在每一子任务的备选单域云中确定每一子任务对应的执行单域云，包括：

13、根据所述资源信息确定每一子任务在对应的所有备选单域云中执行时所需的执行成本；

14、根据每一子任务的最小执行成本确定每一子任务的执行单域云。

15、在其中的一些实施例中，所述资源信息至少包括数据资源以及算力资源，所述根据所述资源信息确定每一子任务在对应的所有备选单域云中执行时所需的执行成本，包括：

16、根据所述数据资源确定每一子任务在对应的所有备选单域云中执行时所需的数据迁移成本；

17、根据所述算力资源确定每一子任务在对应的所有备选单域云中执行时所需的算力成本；

18、根据所述数据迁移成本以及所述算力成本确定所述执行成本。

19、在其中的一些实施例中，在所述将多个所述子任务分配至对应的执行单域云中之后，还包括：

20、接收各执行单域云发送的子任务的执行信息；

21、根据所有子任务的执行信息生成反馈信息；

22、将所述反馈信息发送至用户端，以使所述用户端根据所述反馈信息对所述目标任务进行后续操作，所述后续操作至少包括发送停止计算指令或重新计算指令。

23、在其中的一些实施例中，所述获取目标任务，以及所述目标任务的配置文件，包括：

24、接收用户端发送的所述目标任务，所述目标任务中包括所述用户端的跨域参数，所述跨域参数与所述配置文件绑定，所述跨域参数用于所述用户端与所述主控制云的跨域数据传输；

25、对所述跨域参数进行解析，得到所述配置文件。

26、第二个方面，在本实施例中提供了一种数据协同计算装置，包括：

27、获取模块，用于获取目标任务，以及所述目标任务的配置文件，所述配置文件包括执行所述目标任务所需的配置信息；

28、确定模块，用于根据所述目标任务、所述配置文件以及多个所述单域云的资源信息，确定多个子任务以及每一子任务的执行单域云；

29、任务分配模块，用于将多个所述子任务分配至对应的执行单域云中。

30、第三个方面，在本实施例中提供了一种数据协同计算系统，包括：主控制云以及多个单域云；

31、所述主控制云，用于获取目标任务，以及所述目标任务的配置文件，所述配置文件包括执行所述目标任务所需的配置信息；根据所述目标任务、所述配置文件以及多个所述单域云的资源信息，确定多个子任务以及每一子任务的执行单域云；将多个所述子任务分配至对应的执行单域云中；

32、多个所述单域云，用于分别接收所述主控制云发送的子任务，并对接收的子任务进行协同计算。

33、第四个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的数据协同计算方法。

34、第五个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的数据协同计算方法。

35、与相关技术相比，在本实施例中提供的数据协同计算方法，通过获取目标任务，以及目标任务的配置文件，并根据目标任务、配置文件以及多个单域云中的资源信息，确定多个子任务以及每一子任务对应的执行单域云，进一步地，将多个子任务分配至对应的执行单域云中，便于执行单域云根据自身的资源信息执行接收的子任务，从而无需将任务所需的数据都上传至集中式处理器中，有效地节约了数据迁移成本，也无需由集中式处理器分阶段进行处理，提高了数据处理效率。

36、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

技术特征：

1.一种数据协同计算方法，其特征在于，应用于数据协同计算系统中的主控制云，所述数据协同计算系统包括所述主控制云以及多个单域云，所述方法包括：

2.根据权利要求1所述的数据协同计算方法，其特征在于，所述根据所述目标任务、所述配置文件以及多个所述单域云的资源信息，确定多个子任务以及每一子任务的执行单域云，包括：

3.根据权利要求2所述的数据协同计算方法，其特征在于，所述根据所述配置文件以及多个所述单域云的资源信息，确定每一子任务的执行单域云，包括：

4.根据权利要求3所述的数据协同计算方法，其特征在于，所述根据所述资源信息在每一子任务的备选单域云中确定每一子任务对应的执行单域云，包括：

5.根据权利要求4所述的数据协同计算方法，其特征在于，所述资源信息至少包括数据资源以及算力资源，所述根据所述资源信息确定每一子任务在对应的所有备选单域云中执行时所需的执行成本，包括：

6.根据权利要求1所述的数据协同计算方法，其特征在于，在所述将多个所述子任务分配至对应的执行单域云中之后，还包括：

7.根据权利要求1所述的数据协同计算方法，其特征在于，所述获取目标任务，以及所述目标任务的配置文件，包括：

8.一种数据协同计算装置，其特征在于，包括：

9.一种数据协同计算系统，其特征在于，包括：主控制云以及多个单域云；

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求7中任一项所述的数据协同计算方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的数据协同计算方法的步骤。

技术总结
本申请涉及一种数据协同计算方法、装置、系统、电子装置和存储介质，其中，该数据协同计算方法包括：获取目标任务，以及目标任务的配置文件，配置文件包括执行目标任务所需的配置信息；根据目标任务、配置文件以及多个单域云的资源信息，确定多个子任务以及每一子任务的执行单域云；将多个子任务分配至对应的执行单域云中。通过本申请，解决了跨域数据的处理效率低的问题，提高了数据协同计算的效率。

技术研发人员：孙铭鸽,毛良献,陈旭东,高丰
受保护的技术使用者：之江实验室
技术研发日：
技术公布日：2024/1/11