一种组件进程数的弹性伸缩方法及系统与流程

本发明属于云计算领域，特别是涉及一种组件进程数的弹性伸缩方法及系统。

背景技术：

1、云计算是一种按量付费、按需购买的新型商业模式，尤其是在计算机、互联网的大数据信息时代下，云计算数据中心的规模也发展得越来越壮大。其核心是基于互联网的计算方式，用户可以通过浏览器或者web等方式来按需购买计算机和其他设备，以及购买所需的数据存储服务。iaas(infrastructure as a service)，即基础设施即服务。用户通过使用iaas这种基础设施即服务的模型，可以根据自己对资源的实际使用量或者占用量从提供商处获得服务器、存储和网络等服务。这种方式非常便捷，用户无需提前自己购买大型设备，只需根据自己所需随时随地在提供商处进行租赁。提供商可提供多种规格的资源，如云主机、云服务器，同时可提供用户所需操作操作系统以及存储和网络服务。

2、在iaas云平台超融合架构下，随着worker数的增加，不同规模的宿主机下，最大并发能力有提升。但随着规模的提升，即使调大worker数收益也会趋于持平。公有云对应设置的worker数和进程数比较大，而一旦设置的worker数和进程数过大就会占用很大的内存。反观私有云和融合部署资源池，不像公有云的资源那么充足，如果还是按照公有云的规模进行部署的话，则服务资源就会消耗过多。随着worker数的增加，不同规模宿主机下，最大并发有提升，随着规模提升，有可能是因为业务锁导致，worker数调大收益会趋于持平。

技术实现思路

1、为解决上述问题，本发明提供了如下方案：一种组件进程数的弹性伸缩方法，包括：

2、采集不同api_worker数下并发能力的相关信息，根据所述相关信息，利用保序回归算法动态分析获得最理想的worker数量；

3、基于所述最理想的worker数量，利用虚拟机、port和进程之间的关系动态调整iaas云平台超融合架构下的组件进程数；

4、将所述组件进程数导入到配置调整的脚本中，通过所述脚本将当前环境中的worker数量设置为最优值。

5、优选地，采集不同api_worker数下并发能力的相关信息的过程包括，

6、对云平台的运行情况进行多次测试，把创建port请求作为测试对象，以api_worker和并发连接数作为输入条件，把请求超时时间作为限制，测试出不同api_worker数下并发能力，获得不同api_worker数下并发能力的相关信息。

7、优选地，所述虚拟机、port和进程之间的关系包括，

8、在创建虚拟机的同时会创建一个port，根据对应关系，得到并发创建虚拟机的数量等于并发创建port数量；

9、所述并发创建虚拟机的能力和资源池中计算节点数量的关系为：

10、并发创建虚拟机的数量＝α×计算节点数量，其中，α为系数；

11、tps＝并发创建虚拟机的数量÷10＝α×计算节点数量÷10。

12、优选地，利用保序回归算法动态分析获得最理想的worker数量的过程包括，

13、给定一个有限的实数集合，训练一个模型来最小化方程；

14、根据不同api_worker数下并发能力的相关信息，假设并发连接数为数组x，tps为数组y，y不是一个单调函数；通过保序回归算法，不改变x的排列顺序，求得y的平均值状况；

15、在worker数固定的情况下，根据并发连接数求得每秒处理请求数的理想值。

16、优选地，所述方程的表达式为

17、

18、其中，所述方程满足下列约束条件：

19、

20、优选地，所述获得最理想的worker数量之后还包括，

21、根据保序回归算法获得的最理想的worker数量，得到当计算节点的数量为理想tps值×10时，worker数设置为当前tps对应的worker数量。

22、优选地，所述利用虚拟机、port和进程之间的关系动态调整iaas云平台超融合架构下的组件进程数的过程包括，

23、根据创建虚拟机时调用创建port和更新port两次请求，同时还存在从平台发出的各种api请求的情况，将实际api_worker值设置为测试理论api_worker值的2倍；

24、根据到达neutron-server之后，未使用rpc通信，通过rest方式调用控制器的请求，将rpc_worker设置为api_worker的1/2；

25、rpc worker＝rpc_state_report_worker＝1/2api_worker。

26、本发明还提供一种组件进程数的弹性伸缩系统，包括：

27、信息收集模块，用于采集不同api_worker数下并发能力的相关信息；

28、调度算法模块，与所述信息收集模块连接，用于根据所述相关信息，利用保序回归算法动态分析获得最理想的worker数量；

29、配置调整模块，与所述调度算法模块连接，用于基于所述最理想的worker数量，利用虚拟机、port和进程之间的关系动态调整iaas云平台超融合架构下的组件进程数；并将所述组件进程数导入到配置调整的脚本中，通过所述脚本将当前环境中的worker数量设置为最优值。

30、优选地，所述组件包括nova、glance、cinder、neutron。

31、本发明具有以下技术效果：

32、本发明提供的一种组件进程数的弹性伸缩方法及系统，相较于静态数据提出算法，预先利用信息收集模块进行实验测试更加利于算法在真实环境中的运用。

33、利用虚拟机、port和进程之间的关系来动态调整iaas云平台超融合架构下的组件进程数。

34、考虑组件性能及资源占用情况下，根据调度算法模块中的保序回归算法可以更好更快地得到tps的理想值，进而降低相关组件的worker数，无需再占用太大内存就可以完成环境的部署。

35、配置调整模块中根据自动化脚本能够快速地完成worker数配置规范化。

技术特征：

1.一种组件进程数的弹性伸缩方法，其特征在于，包括：

2.根据权利要求1所述的组件进程数的弹性伸缩方法，其特征在于，采集不同api_worker数下并发能力的相关信息的过程包括，

3.根据权利要求1所述的组件进程数的弹性伸缩方法，其特征在于，所述虚拟机、port和进程之间的关系包括，

4.根据权利要求1所述的组件进程数的弹性伸缩方法，其特征在于，利用保序回归算法动态分析获得最理想的worker数量的过程包括，

5.根据权利要求4所述的组件进程数的弹性伸缩方法，其特征在于，

6.根据权利要求1所述的组件进程数的弹性伸缩方法，其特征在于，所述获得最理想的worker数量之后还包括，

7.根据权利要求1所述的组件进程数的弹性伸缩方法，其特征在于，所述利用虚拟机、port和进程之间的关系动态调整iaas云平台超融合架构下的组件进程数的过程包括，

8.一种组件进程数的弹性伸缩系统，其特征在于，包括：

9.根据权利要求8所述的组件进程数的弹性伸缩系统，其特征在于，所述组件包括nova、glance、cinder、neutron。

技术总结
本发明公开了一种组件进程数的弹性伸缩方法及系统，包括：采集不同api_worker数下并发能力的相关信息，根据相关信息，利用保序回归算法动态分析获得最理想的worker数量；基于最理想的worker数量，利用虚拟机、port和进程之间的关系动态调整IAAS云平台超融合架构下的组件进程数；将组件进程数导入到配置调整的脚本中，通过脚本将当前环境中的worker数量设置为最优值。本发明能够在最高限度提升系统的性能，利用宿主机的资源，减少内存的消耗。

技术研发人员：叶臣,淦飞
受保护的技术使用者：天翼云科技有限公司
技术研发日：
技术公布日：2024/1/13