多域环境下网络社交平台大规模任务处理方法与流程

本发明属于社交网络数据处理，具体涉及一种多域环境下网络社交平台大规模任务处理方法。

背景技术：

1、近些年来，随着移动互联网、物联网以及云计算技术的迅猛发展，移动云时代的序幕已经拉开。而数据驱动型决策的前景正在获得越来越多的认可。随着网络社交平台如某音、某手等的数据量以惊人的速度日益扩增，大量云计算应用服务不断涌现，使得云计算下大规模任务处理成为云计算下大数据分析处理的重要问题之一。面对来自用户的源源不断的、类型繁多的海量任务，如何克服数据非确定性、分布异构性、海量、动态变化等特点所带来的任务处理成本、可靠性、并发性等问题。随着大数据规模不断扩大以及数据类型不断增多，大规模任务调度系统的稳定性成文整个集群稳定的关键因素。当前常用任务调度系统往往着重于提升准确性而牺牲了其他方面性能。例如容器调度的复杂性使得准确性和效率间的平衡点难以寻找，特别是在交互式调度场景下，很难提出有效的解决方案。此外大规模任务处理系统规模较大，运行环境复杂，许多相关信息无法全面掌握，传统方法面对这种大规模任务处理系统时难以解决问题。

技术实现思路

1、本发明的目的在于提供一种通过实现多域内负载均衡，提高资源利用率，促进各工作节点进行协调的多域环境下网络社交平台大规模任务处理方法。

2、本发明的目的是这样实现的：

3、一种多域环境下网络社交平台大规模任务处理方法，包括如下步骤：

4、(1)为要处理的多域环境下的网络社交平台的大规模任务定义输入参数；

5、(2)构造虚拟网络映射；

6、(3)进行种群初始化，并以指定的参数优化结果；

7、(4)评估种群中的粒子，计算每个虚拟节点的目标函数的值，并计算粒子适应度值；

8、(5)在粒子适应度内，搜索优化的最佳节点组合，完成网络任务处理；

9、具体包括，通过粒子群最优算法，搜索最佳节点组合，调整虚拟节点位置，通过调整的虚拟节点完成任务处理；

10、(6)确定大规模任务处理的结果；根据结果，在多域环境下的网络社交平台中，对大规模任务处理的内容进行更新。

11、所述的输入参数包括：接收到任务请求的时间窗δg、任务部署的起始时间g、虚拟节点数a、可用的虚拟节点ca、在时间窗δg内来自用户的任务请求集合gf、ca中a个虚拟节点当前剩余的cpu资源集合pcpu、ca中a个虚拟节点当前剩余的内存资源集合pzrz。

12、所述的构造虚拟网络映射，包括如下步骤：

13、(2.1)确定相关物理节点的集合af，底层网络物理链路集合yf，用加权无向图tf＝(af,yf)表示底层网络；

14、(2.2)确定虚拟节点集合ai和虚拟链路集合yi，用加权无向图ti＝(ai,yi)表示虚拟网络请求；

15、(2.3)将虚拟网络请求映射到底层网络的过程为：

16、

17、所述的步骤(3)包括：

18、(3.1)为每个虚拟节点定义对应粒子；

19、(3.2)将粒子构成的种群进行初始化，最大迭代次数设置为zt，初始化种群中每个粒子位置向量c[i]，初始化每个粒子的速度向量i[i]。

20、所述的步骤(4)包括：

21、(4.1)确认集合中的任意一个映射c，c∈{1,2,3,…,j}，j为映射数量，虚拟节点的数量a，多域中可用物理节点数量z；随任务部署自增的整数d和任务自增时间t(d)；构建任务到处理节点的映射：

22、tm[a,z,c,g(d)]

23、(4.2)采集物理链路权重jt,u，当物理节点t和物理节点u属于同一个域时，jt,u设为ξ，当物理节点t和物理节点u不再同一个域时，jt,u设为ο；

24、(4.3)采集完成任务部署后的第v个虚拟节点的cpu资源的利用率和内存资源的利用率

25、(4.4)计算在虚拟网络映射完成所有任务请求的部署后，域内的第v个虚拟节点的负载：

26、

27、(4.5)采集第v个虚拟节点的cpu资源总量和内存资源总量

28、(4.6)计算第v个虚拟节点的资源利用率：

29、

30、(4.7)计算平均资源利用率：

31、

32、(4.8)计算第v个虚拟节点多域环境下的负载均衡度μ，作为虚拟节点对应粒子的目标函数：

33、

34、(4.9)计算多域协作处理大规模任务过程中所需总带宽资源成本作为粒子适应度：

35、

36、y(v,v')为虚拟链路，当它成功映射到物理链路并分配到所需的带宽资源时，st,u＝1，否则st,u＝0；oj(a,a')是多域中虚拟节点a与其相邻虚拟节点a'之间通信的带宽资源代价集合。

37、本发明的有益效果在于：本发明有效利用虚拟节点来处理多域环境下网络社交平台大规模任务，提供一个可扩展的编程环境，可以更有效和更具可读性地完成复杂的任务。虚拟节点可以提供一个分布式系统，允许多个节点共同处理任务，从而加快任务处理速度。通过运用节点适应度处理，可以调整参数，实现更好的性能，以及更准确的数据可视化，从而提高可视化的效果。同时，本方法可以满足多种任务处理的要求，比如采用机器学习优化等。通过虚拟节点粒子适应度处理网络平台的任务能够有效地提高网络性能和可靠性，更好地满足不同业务需求。

技术特征：

1.一种多域环境下网络社交平台大规模任务处理方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种多域环境下网络社交平台大规模任务处理方法，其特征在于，所述的输入参数包括：接收到任务请求的时间窗δg、任务部署的起始时间g、虚拟节点数a、可用的虚拟节点ca、在时间窗δg内来自用户的任务请求集合gf、ca中a个虚拟节点当前剩余的cpu资源集合pcpu、ca中a个虚拟节点当前剩余的内存资源集合pzrz。

3.根据权利要求1所述的一种多域环境下网络社交平台大规模任务处理方法，其特征在于，所述的构造虚拟网络映射，包括如下步骤：

4.根据权利要求1所述的一种多域环境下网络社交平台大规模任务处理方法，其特征在于，所述的步骤(3)包括：

5.根据权利要求1所述的一种多域环境下网络社交平台大规模任务处理方法，其特征在于，所述的步骤(4)包括：

技术总结
本发明属于社交网络数据处理技术领域，具体涉及一种多域环境下网络社交平台大规模任务处理方法。本发明包括：为要处理的多域环境下的网络社交平台的大规模任务定义输入参数；构造虚拟网络映射；进行种群初始化，并以指定的参数优化结果；评估种群中的粒子，计算每个虚拟节点的目标函数的值，并计算粒子适应度值；在粒子适应度内，搜索优化的最佳节点组合，完成网络任务处理等。本发明有效利用虚拟节点来处理多域环境下网络社交平台大规模任务，提供一个可扩展的编程环境，可以更有效和更具可读性地完成复杂的任务。虚拟节点可以提供一个分布式系统，允许多个节点共同处理任务，从而加快任务处理速度。

技术研发人员：石帅
受保护的技术使用者：石帅
技术研发日：
技术公布日：2024/2/1