服务器的容量调整方法及装置、存储介质及电子设备与流程

文档序号:29813693发布日期:2022-04-27 09:06阅读:132来源:国知局
服务器的容量调整方法及装置、存储介质及电子设备与流程

1.本发明涉及数据处理技术领域,特别涉及一种服务器的容量调整方法及装置、存储介质及电子设备。


背景技术:

2.云计算系统是一种由多个服务器组成的大型计算系统,可以用于执行大规模数据的分析处理任务。云计算服务在应用系统运行时会产生不必要的资源浪费,如何高效地利用云计算服务资源是当前云计算发展的重点研究对象之一。
3.现有技术中,云计算系统通常会采用动态负载均衡算法在对服务器的容量进行调节,在动态负载均衡算法在服务器长时间运行过程中,自身的负载状态会产生较大的差异,对于突发的流量请求,仍会造成云计算系统的服务器集群的负载不均衡,从而给服务器集群带来较大的并发请求压力,会出现因服务器负载过高而产生资源占用,导致对外提供计算服务的质量下降。


技术实现要素:

4.本发明所要解决的技术问题是提供一种服务器的容量调整方法,能够准确合理的对服务器的容量资源进行调度。
5.本发明还提供了一种服务器的容量调整装置,用以保证上述方法在实际中的实现及应用。
6.一种服务器的容量调整方法,包括:
7.响应于容量分析指令,获取每个待分析的服务器的聚类参数,每个所述服务器的聚类参数包括以下至少一种:所述服务器在预设时段内的cpu使用率峰值、磁盘利用率峰值以及所述服务器所属的应用系统的实例的容量正常率;
8.应用每个所述服务器的聚类参数对应的聚类模型对每个所述服务器的聚类参数进行聚类分析,获得每个所述服务器对应的聚类分析结果;
9.对于每个所述服务器,根据所述服务器的聚类分析结果确定所述服务器是否满足预设的第一容量调整条件,若所述服务器满足所述第一容量调整条件,则对所述服务器执行所述聚类分析结果对应的第一容量调整操作,以更新所述服务器的容量资源配置;计算出更新后的服务器的资源使用评分,并根据所述资源使用评分判断所述服务器是否满足预设的第二容量调整条件,若所述服务器满足预设的第二容量调整条件,则对所述服务器执行所述资源使用评分对应的第二容量调整操作,以再次更新所述服务器的容量资源配置。
10.上述的方法,可选的,所述应用每个所述服务器的聚类参数对应的聚类模型对每个所述服务器的聚类参数进行聚类分析,获得每个所述服务器对应的聚类分析结果,包括:
11.在所述服务器的聚类参数包括所述cpu使用率峰值的情况下,应用所述cpu使用率峰值对应的第一聚类模型,对所述cpu使用率峰值进行聚类分析,得到第一聚类分析结果;
12.在所述服务器的聚类参数包括所述磁盘利用率峰值的情况下,应用所述磁盘利用
率峰值对应的第二聚类模型,对所述磁盘利用率峰值进行聚类分析,得到第二聚类分析结果;
13.在所述服务器的聚类参数包括所述容量正常率的情况下,应用所述容量正常率对应的第三聚类模型对所述容量正常率进行聚类分析,得到第三聚类分析结果。
14.上述的方法,可选的,所述根据所述服务器的聚类分析结果确定所述服务器是否满足预设的第一容量调整条件,包括:
15.若所述服务器的至少一种聚类分析结果表征所述服务器容量不足,或容量过剩,则确定所述服务器满足预设的第一容量调整条件。
16.上述的方法,可选的,所述计算更新后的服务器的资源使用评分,包括:
17.监测所述更新后的服务器在预设的观测时长内的资源使用率,以确定出第一异常时段的数量和第二异常时段的数量;所述第一异常时段为所述观测时长内所述服务器的资源使用率小于预设的第一阈值的时段;所述第二异常时段为所述观测时长内所述服务器的资源使用率大于预设的第二阈值的时段;
18.根据所述第一异常时段的数量占所述观测时长的总时段数量的比例,计算出所述服务器的第一资源使用评分;
19.根据所述第二异常时段的数量占所述观测时长的总时段数量的比例,计算出所述服务器的第二资源使用评分。
20.上述的方法,可选的,所述根据所述资源使用评分判断所述服务器是否满足预设的第二容量调整条件,包括:
21.判断所述资源使用评分是否小于预设的评分阈值;
22.在所述资源使用评分小于预设的评分阈值的情况下,确定所述服务器满足所述第二容量调整条件;
23.在所述资源使用评分大于或等于预设的评分阈值的情况下,确定所述服务器不满足所述第二容量调整条件。
24.一种服务器的容量调整装置,包括:
25.获取单元,用于响应容量分析指令,获取每个待分析的服务器的聚类参数,每个所述服务器的聚类参数包括以下至少一种:所述服务器在预设时段内的cpu使用率峰值、磁盘利用率峰值以及所述服务器所属的应用系统的实例的容量正常率;
26.聚类单元,用于应用每个所述服务器的聚类参数对应的聚类模型对每个所述服务器的聚类参数进行聚类分析,获得每个所述服务器对应的聚类分析结果;
27.调整单元,用于对于每个所述服务器,根据所述服务器的聚类分析结果确定所述服务器是否满足预设的第一容量调整条件,若所述服务器满足所述第一容量调整条件,则对所述服务器执行所述聚类分析结果对应的第一容量调整操作,以更新所述服务器的容量资源配置;计算出更新后的服务器的资源使用评分,并根据所述资源使用评分判断所述服务器是否满足预设的第二容量调整条件,若所述服务器满足预设的第二容量调整条件,则对所述服务器执行所述资源使用评分对应的第二容量调整操作,以再次更新所述服务器的容量资源配置。
28.上述的装置,可选的,所述聚类单元,包括:
29.第一聚类单元,用于在所述服务器的聚类参数包括所述cpu使用率峰值的情况下,
应用所述cpu使用率峰值对应的第一聚类模型,对所述cpu使用率峰值进行聚类分析,得到第一聚类分析结果;
30.第二聚类单元,用于在所述服务器的聚类参数包括所述磁盘利用率峰值的情况下,应用所述磁盘利用率峰值对应的第二聚类模型,对所述磁盘利用率峰值进行聚类分析,得到第二聚类分析结果;
31.第三聚类单元,用于在所述服务器的聚类参数包括所述容量正常率的情况下,应用所述容量正常率对应的第三聚类模型对所述容量正常率进行聚类分析,得到第三聚类分析结果。
32.上述的装置,可选的,所述调整单元,包括:
33.执行子单元,用于若所述服务器的至少一种聚类分析结果表征所述服务器容量不足,或容量过剩,则确定所述服务器满足预设的第一容量调整条件。
34.上述的装置,可选的,所述调整单元,包括:
35.监测子单元,用于监测所述更新后的服务器在预设的观测时长内的资源使用率,以确定出第一异常时段的数量和第二异常时段的数量;所述第一异常时段为所述观测时长内所述服务器的资源使用率小于预设的第一阈值的时段;所述第二异常时段为所述观测时长内所述服务器的资源使用率大于预设的第二阈值的时段;
36.第一计算子单元,用于根据所述第一异常时段的数量占所述观测时长的总时段数量的比例,计算出所述服务器的第一资源使用评分;
37.第二计算子单元,用于根据所述第二异常时段的数量占所述观测时长的总时段数量的比例,计算出所述服务器的第二资源使用评分。
38.上述的装置,可选的,所述调整单元,包括:
39.判断子单元,用于判断所述资源使用评分是否小于预设的评分阈值;
40.第一确定子单元,用于在所述资源使用评分小于预设的评分阈值的情况下,确定所述服务器满足所述第二容量调整条件;
41.第二确定子单元,用于在所述资源使用评分大于或等于预设的评分阈值的情况下,确定所述服务器不满足所述第二容量调整条件。
42.一种存储介质,所述存储介质包括存储指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如上述的服务器的容量调整方法。
43.一种电子设备,包括存储器,以及一个或者一个以上的指令,其中一个或一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行如上述的服务器的容量调整方法。
44.基于上述本发明实施提供的一种服务器的容量调整方法及装置、存储介质及电子设备,该方法包括:响应于容量分析指令,获取每个待分析的服务器的聚类参数,每个所述服务器的聚类参数包括以下至少一种:所述服务器在预设时段内的cpu使用率峰值、磁盘利用率峰值以及所述服务器所属的应用系统的实例的容量正常率;应用每个所述服务器的聚类参数对应的聚类模型对每个所述服务器的聚类参数进行聚类分析,获得每个所述服务器对应的聚类分析结果;对于每个所述服务器,根据所述服务器的聚类分析结果确定所述服务器是否满足预设的第一容量调整条件,若所述服务器满足所述第一容量调整条件,则对所述服务器执行所述聚类分析结果对应的第一容量调整操作,以更新所述服务器的容量资
源配置;计算出更新后的服务器的资源使用评分,并根据所述资源使用评分判断所述服务器是否满足预设的第二容量调整条件,若所述服务器满足预设的第二容量调整条件,则对所述服务器执行所述资源使用评分对应的第二容量调整操作,以再次更新所述服务器的容量资源配置。能够采用聚类模型对服务器的容量进行分析,进而对服务器的容量进行调整,并通过负反馈调节的方式对容量调整不合理的服务器进行再次调节,能够准确合理的对服务器的容量资源进行调整。
附图说明
45.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
46.图1为本发明提供的一种服务器的容量调整方法的方法流程图;
47.图2为本发明提供的一种计算更新后的服务器的资源使用评分的过程的流程图;
48.图3为本发明提供的一种云计算系统的容量分析模型的架构图;
49.图4为本发明提供的一种容量评估的过程的流程图;
50.图5为本发明提供的一种负反馈调节容量的过程的流程图;
51.图6为本发明提供的一种服务器的容量调整装置的结构示意图;
52.图7为本发明提供的一种电子设备的结构示意图。
具体实施方式
53.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
54.在本技术中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
55.本发明实施例提供了一种服务器的容量调整方法,该方法可以应用于电子设备中,所述方法的方法流程图如图1所示,具体包括:
56.s101:响应于容量分析指令,获取每个待分析的服务器的聚类参数,每个所述服务器的聚类参数包括以下至少一种:所述服务器在预设时段内的cpu使用率峰值、磁盘利用率峰值以及所述服务器所属的应用系统的实例的容量正常率。
57.在本实施例中,在预设时段可以为第一时间点与第一时间点之前的历史时刻之间的时间段,第一时间点可以为接收到容量分析指令的时间点。cpu使用率峰值可以是预设时段内的cpu使用率的最大值,磁盘利用率峰值可以是预设时段内的磁盘利用率的最大值,容量正常率可以是服务器所属应用系统中容量正常实例的数量与总实例的数量的比值,应用
系统可以是云计算应用系统。
58.可选的,该预设时段内的cpu使用率峰值和磁盘利用率峰值可以是近三个月内的cpu使用率峰值和磁盘利用率峰值。
59.在一些实施例中,待分析的服务器可以是云计算系统中的服务器,云计算系统中的服务器可以包括网络服务器、数据库服务器、联机应用服务器、非联机应用服务器和数据分析服务器。云计算系统中的服务器具体包括网络代理,应用和数据库三种用途,因此可以将云计算系统中的服务器划分为网络(web)服务器,应用(application,ap)服务器和数据库(database,db)服务器三种,其中,应用服务器又可以进一步划分为联机应用服务器,非联机应用服务器和数据分析服务器三种,不同用途的服务器对cpu和磁盘存储空间的使用情况不尽相同。
60.在一些实施例中,还可以按服务器的文件系统的大小,对服务器进行分类,具体的,可以将总存储空间的大小划分出四个档位,分别是小于2tb,2tb至5tb,5tb至10tb,大于10tb。
61.s102:应用每个所述服务器的聚类参数对应的聚类模型对每个所述服务器的聚类参数进行聚类分析,获得每个所述服务器对应的聚类分析结果。
62.在本实施例中,服务器对应的聚类分析结果可以表征服务器的容量状况,容量状况可以包括容量不足、容量正常以及容量过剩等以上其中的一种。
63.可选的,聚类模型可以基于预设的聚类算法构建得到,该聚类算法可以为具有噪声的基于密度聚类算法(density-based spatial clustering of applications with noise,dbscan);可以适用于凸样本集,也可以适用非凸样本集。通过将紧密相连的样本划为一类,可以得到一个聚类类别,将所有各组紧密相连的样本划分为各个不同的类别,得到最终的聚类结果。
64.s103:对于每个所述服务器,根据所述服务器的聚类分析结果确定所述服务器是否满足预设的第一容量调整条件,若所述服务器满足所述第一容量调整条件,则对所述服务器执行所述聚类分析结果对应的第一容量调整操作,以更新所述服务器的容量资源配置;计算出更新后的服务器的资源使用评分,并根据所述资源使用评分判断所述服务器是否满足预设的第二容量调整条件,若所述服务器满足预设的第二容量调整条件,则对所述服务器执行所述资源使用评分对应的第二容量调整操作,以再次更新所述服务器的容量资源配置。
65.在本实施例中,在聚类分析结果为容量不足或容量过剩的情况下,可以确定服务器满足第一容量调整条件,然后对所述服务器执行所述聚类分析结果对应的第一容量调整操作。
66.可选的,在聚类分析结果为容量不足的情况下,所述聚类分析结果对应的第一容量调整操作可以是第一扩容操作,即,对服务器进行扩容。在聚类分析结果为容量过剩的情况下,所述聚类分析结果对应的第一容量调整操作可以是第一容量回收操作,即,对服务器进行容量回收。
67.可选的,资源使用评分可以表征执行第一容量调整操作后的服务器的资源使用效果。
68.应用本发明实施例提供的方法,能够采用聚类模型对服务器的容量进行分析,进
而对服务器的容量进行调整,并通过负反馈调节的方式对容量调整不合理的服务器进行再次调节,能够准确合理的对服务器的容量资源进行调整。
69.在本发明提供的一实施例中,基于上述的实施过程,可选的,所述应用每个所述服务器的聚类参数对应的聚类模型对每个所述服务器的聚类参数进行聚类分析,获得每个所述服务器对应的聚类分析结果,包括:
70.在所述服务器的聚类参数包括所述cpu使用率峰值的情况下,应用所述cpu使用率峰值对应的第一聚类模型,对所述cpu使用率峰值进行聚类分析,得到第一聚类分析结果;
71.在所述服务器的聚类参数包括所述磁盘利用率峰值的情况下,应用所述磁盘利用率峰值对应的第二聚类模型,对所述磁盘利用率峰值进行聚类分析,得到第二聚类分析结果;
72.在所述服务器的聚类参数包括所述容量正常率的情况下,应用所述容量正常率对应的第三聚类模型对所述容量正常率进行聚类分析,得到第三聚类分析结果。
73.在本实施例中,聚类分析结果可以由聚类模型对聚类参数进行聚类分析得到,具体可以包括第一聚类分析结果、第二聚类分析结果和第三聚类分析结果中的至少一种。第一聚类分析结果可以表征服务器的容量正常、容量过剩或容量不足;第二聚类分析结果可以表征服务器的容量正常、容量过剩或容量不足;第三聚类分析结果可以表征服务器的容量正常、容量过剩或容量不足。
74.可选的,第一聚类模型、第二聚类模型和第三聚类模型可以根据dbscan算法构建得到,dbscan是基于一组邻域来描述样本集的紧密程度,参数(∈,minpts)用来描述邻域的样本分布紧密程度。其中,∈描述了某一样本的邻域距离阈值,minpts描述了某一样本距离为∈的邻域中样本个数的阈值。
75.假设样本集是d=(x1,x2,

,xn),dbscan的密度定义如下:
76.1.∈-邻域:对于xj∈d,其∈-邻域包含样本集d中与xj的距离不大于∈的子样本集,即n

(xj)={xi∈d|distance(xi,xj)≤∈},子样本集的个数记为|n

(xj)|。
77.2.核心对象:对于任一样本xj∈d,如果其∈-邻域对应的n

(xj)至少包含minpts个样本,即如果|n

(xj)|≥minpts,则xj是核心对象。
78.3.密度直达:如果xi位于xj的∈-邻域中,且xj是核心对象,则称xi由xj密度直达。
79.4.密度可达:对于xi和xj,如果存在样本序列p1,p2,

,p
t
,满足p1=xi,p
t
=xj,且p
t+1
由p
t
密度直达,则称xj由xi密度可达。密度可达满足传递性,但是不满足对称性。
80.5.密度相连:对于xi和xj,如果存在核心对象样本xi和xj均由xk密度可达,则称xi和xj密度相连。其中,密度相连满足对称性。
81.聚类过程如下:
82.输入:样本集d=(x1,x2,

,xn),邻域参数(∈,minpts)。
83.输出:簇划分c。
84.(1)初始化核心对象集合初始化聚类簇数k=0,初始化未访问样本集合γ=d,簇划分
85.(2)对于j=1,2,

,m,按照如下步骤找出所有核心对象:
86.(a)通过距离度量方式,找到样本xj的∈-邻域子样本集n

(xj)。
87.(b)若子样本集个数满足|n

(xj)|≥minpts,将样本xj加入核心对象样本集合ω=
ω∪{xj}。
88.(3)如果核心对象集合则算法结束,否则转入步骤(4)。
89.(4)在核心对象集合ω中,随机选择一个核心对象o,初始化当前簇核心对象队列ω
cur
={o},初始化类别序号k=k+1,初始化当前簇样本集合ck={o},更新未访问样本集合γ=γ-{o}。
90.(5)如果当前簇核心对象队列则当前聚类簇ck生成完毕,更新簇划分c={c1,c2,

,ck},更新核心对象集合ω=ω-ck,转入步骤(3)。否则更新核心对象集合ω=ω-ck。
91.(6)在当前簇核心对象队列ω
cur
中取出一个核心对象o

,通过邻域距离阈值∈找出所有的∈-邻域子样本集n

(o

),令δ=n

(o

)∩γ,更新当前簇样本集合ck=ck∪δ,更新未访问集合γ=γ-δ,更新ω
cur
=ω
cur
∪(δ∩ω)-o

,转入步骤(5)。
92.输出结果:簇划分c={c1,c2,

,ck}。
93.在一些实施例中,聚类算法的评价指标可以如下:
[0094][0095]
其中,dismean
in
为该点与本类其他点的平均距离,dismean
out
为该点与非本类点的平均距离。取值范围为[-1,1],越接近1则说明分类越精确。
[0096]
可选的,在sklearn中函数silhouette_score()计算所有点的平均轮廓系数,silhouette_samples()返回每个点的轮廓系数。
[0097]
在本发明提供的一实施例中,基于上述的实施过程,可选的,所述根据所述服务器的聚类分析结果确定所述服务器是否满足预设的第一容量调整条件,包括:
[0098]
若所述服务器的至少一种聚类分析结果表征所述服务器容量不足,或容量过剩,则确定所述服务器满足预设的第一容量调整条件。
[0099]
在本发明实施例中,服务器的cpu使用率峰值、磁盘利用率峰值以及服务器所属应用系统的实例的正常率,可以反应服务器的容量状况,正常情况下,服务器的cpu使用率峰值、磁盘利用率峰值以及服务器所属应用系统的实例的正常率通常处于正常区间,而当这些参数中的部分参数处于正常区间,而另一部分参数偏高;或者全部参数偏高时,可以反应出服务器的容量紧缺;当这些参数中的部分参数处于正常区间,而另一部分参数偏低;或者全部参数偏低时,可以反应出服务器的容量剩余。因此,可以采用聚类算法对服务器的cpu使用率峰值、磁盘利用率峰值以及服务器所属应用系统的实例的正常率等其中的至少一种进行聚类分析,从而可以根据聚类分析结果确定服务器的容量状况,若服务器的容量状况为容量不足或容量过剩,确定服务器满足第一容量调整条件,即可以对服务器进行容量调整。
[0100]
在本发明提供的一实施例中,基于上述的实施过程,可选的,所述计算更新后的服务器的资源使用评分,如图2所示,包括:
[0101]
s201:监测所述更新后的服务器在预设的观测时长内的资源使用率,以确定出第一异常时段的数量和第二异常时段的数量;所述第一异常时段为所述观测时长内所述服务器的资源使用率小于预设的第一阈值的时段;所述第二异常时段为所述观测时长内所述服
务器的资源使用率大于预设的第二阈值的时段。
[0102]
在本发明实施例中,观测时长可以划分为多个时段,可以将每个时段的资源使用率与预设的第一阈值和第二阈值进行比较,对于每个时段,若该时段内的资源使用率小于第一阈值,则确定该时段为第一异常时段;若该时段的资源使用率大于第二阈值,则确定该时段为第二异常时段;若该时段的资源使用率处于第一阈值和第二阈值之间,确定确定该时段为正常时段。
[0103]
可选的,第一阈值小于第二阈值,第一阈值可以设置为20%,第二阈值可以设置为95%,观测时长可以为一个月,时段可以为一天。
[0104]
s202:根据所述第一异常时段的数量占所述观测时长的总时段数量的比例,计算出所述服务器的第一资源使用评分。
[0105]
在一些实施例中,第一资源使用评分的计算方式如下:
[0106][0107]
其中,score1为第一资源使用评分,n1为第一异常时段的数量,n为观测时长中的各时段的总数量。
[0108]
s203:根据所述第二异常时段的数量占所述观测时长的总时段数量的比例,计算出所述服务器的第二资源使用评分。
[0109]
在一些实施例中,第二资源使用评分的计算方式如下:
[0110][0111]
其中,score2为第一资源使用评分,n2为第二异常时段的数量,n为观测时长中的各时段的总数量。
[0112]
可选的,资源使用评分包括第一资源使用评分和第二资源使用评分中的至少一种。
[0113]
在本发明提供的一实施例中,基于上述的实施过程,可选的,所述根据所述资源使用评分判断所述服务器是否满足预设的第二容量调整条件,包括:
[0114]
判断所述资源使用评分是否小于预设的评分阈值;
[0115]
在所述资源使用评分小于预设的评分阈值的情况下,确定所述服务器满足所述第二容量调整条件;
[0116]
在所述资源使用评分大于或等于预设的评分阈值的情况下,确定所述服务器不满足所述第二容量调整条件。
[0117]
在本实施例中,资源使用评分可以包括第一资源使用评分和第二资源使用评分中的至少一种,评分阈值可以包括第一评分阈值和第二评分阈值。
[0118]
在一些实施例中,在资源使用评分包括第一资源使用评分的情况下,可以将第一资源使用评分与第一评分阈值进行比较;若第一资源使用评分小于第一评分阈值,则可以确定服务器满足第二容量调整条件,在此情况下,可以对服务器执行相应的第二容量调整操作,具体可以是对服务器进行容量回收,即,可以确定当前服务器的容量配置,将服务器的容量配置缩荣至当前容量配置的1/2。
[0119]
在一些实施例中,在资源使用评分包括第二资源使用评分的情况下,可以将第二
资源使用评分与第二评分阈值进行比较;若第二资源使用评分大于第二评分阈值,则可以确定服务器满足第二容量调整条件,在此情况下,可以对服务器执行相应的第二容量调整操作,具体可以是对服务器进行扩容,确定当前服务器的容量配置,将服务器的容量配置扩容为当前容量配置的2倍。
[0120]
可选的,第一评分阈值和第二评分阈值可以相同,具体可以为80%。
[0121]
参见图3,为本发明实施例提供的一种云计算系统的容量分析模型架构图,云计算系统的容量分析模型中包括数据处理模块、聚类算法模块、后评估模块和负反馈模块。其中,数据处理模块包括数据收集、数据清洗、数据可视化。聚类算法模块包含服务器模块(计算资源、存储资源)、应用系统模块。后评估模块包括结果接收、数据整合、综合评估、资源实施。负反馈模块包括资源实施结果、系统评分、资源调整。
[0122]
在一些实施例中,数据处理模块是聚类算法的基础模块,提供服务器cpu和磁盘利用率的峰值数据,并对数据进行分析和处理。具体的,可以通过对应用系统所在服务器集群发送请求,利用相关shell脚本命令和可视化监控看板,获取当前三个月内应用系统服务器cpu和磁盘利用率的峰值数据。将数据收集过程获取的数据存储到数据库中,提供数据操作的相关接口,对数据进行清洗和统一管理。将数据清洗后的服务器cpu和磁盘利用率峰值数据进行分析,包括数据降维、数据可视化,对得到的标准化数据进行容量分析。
[0123]
在一些实施例中,聚类算法模块包括服务器模块和应用系统模块,其中,服务器模块包括计算资源和存储资源两部分。计算资源按照用途分为web代理服务器、ap应用服务器、db数据库服务器三种类型,其中,ap应用服务器分为联机、非联机、数据分析三种部署单元。存储资源根据文件系统的大小分为小于2t、2t到5t之间、5t到10t之间、大于10t四种类型。采用dbscan聚类算法对资源利用率数据进行容量分析,将聚类结果分为容量过剩、容量正常、容量不足三种类别,在二维、三维实现服务器级别可视化聚类。应用系统模块可以将应用系统所辖服务器资源传入应用系统模块,同样采用dbscan聚类算法进行聚类分析,将容量正常的实例在已取到数据实例总数中的百分比作为正常率,小于60%的称为容量差、在60%到70%之间的称为容量中、在70%到80%之间的称为容量良、大于80%的称为容量优。
[0124]
在一些实施例中,如图4所示,为本发明实施例提供的一种容量评估的过程的流程图,后评估模块可以接收聚类算法容量分析结果,并进行初步分析。根据容量分析结果对容量过剩、容量不足的情况进行判断。根据容量判断结果给出评估意见。对容量不足、容量过剩的服务器资源扩容和回收。
[0125]
在一些实施例中,如图5所示,为本发明实施例提供的一种负反馈调节容量的过程的流程图,负反馈模块可以将后评估模块资源实施结果作为输入,包括计算资源和存储资源。对一个月内系统运行情况进行评分,分为高于和低于80%两部分。对评分低于80%的系统资源配置进行调整,始终保持系统容量最优。
[0126]
在采集不同应用系统服务器三个月内cpu和磁盘利用率峰值数据的基础上,通过数据处理、聚类算法、后评估、负反馈四个模块对计算资源和存储资源进行容量分析,根据后评估调整资源分配,实现对服务器计算资源和存储资源的管理。结果表明,利用该容量分析模型,可以有效地实现多应用系统、多服务器集群的资源调整,能够适应任务集的大小动态提高云计算平台资源利用率和降低能耗。
[0127]
本专利能够准确、快速地提供容量分析方案,在不同业务场景下对服务器的资源进行合理分配。不仅能够提高日常运维操作的效率,而且可以有效地保障云计算平台的稳定性和高可用性,为多应用系统安全、稳定运行奠定了坚实的基础。
[0128]
与图1所述的方法相对应,本发明实施例还提供了一种服务器的容量调整装置,用于对图1中方法的具体实现,本发明实施例提供的服务器的容量调整装置可以应用于电子设备中,其结构示意图如图6所示,具体包括:
[0129]
获取单元601,用于响应容量分析指令,获取每个待分析的服务器的聚类参数,每个所述服务器的聚类参数包括以下至少一种:所述服务器在预设时段内的cpu使用率峰值、磁盘利用率峰值以及所述服务器所属的应用系统的实例的容量正常率;
[0130]
聚类单元602,用于应用每个所述服务器的聚类参数对应的聚类模型对每个所述服务器的聚类参数进行聚类分析,获得每个所述服务器对应的聚类分析结果;
[0131]
调整单元603,用于对于每个所述服务器,根据所述服务器的聚类分析结果确定所述服务器是否满足预设的第一容量调整条件,若所述服务器满足所述第一容量调整条件,则对所述服务器执行所述聚类分析结果对应的第一容量调整操作,以更新所述服务器的容量资源配置;计算出更新后的服务器的资源使用评分,并根据所述资源使用评分判断所述服务器是否满足预设的第二容量调整条件,若所述服务器满足预设的第二容量调整条件,则对所述服务器执行所述资源使用评分对应的第二容量调整操作,以再次更新所述服务器的容量资源配置。
[0132]
在本发明提供的一实施例中,基于上述的方案,可选的,所述聚类单元,包括:
[0133]
第一聚类单元,用于在所述服务器的聚类参数包括所述cpu使用率峰值的情况下,应用所述cpu使用率峰值对应的第一聚类模型,对所述cpu使用率峰值进行聚类分析,得到第一聚类分析结果;
[0134]
第二聚类单元,用于在所述服务器的聚类参数包括所述磁盘利用率峰值的情况下,应用所述磁盘利用率峰值对应的第二聚类模型,对所述磁盘利用率峰值进行聚类分析,得到第二聚类分析结果;
[0135]
第三聚类单元,用于在所述服务器的聚类参数包括所述容量正常率的情况下,应用所述容量正常率对应的第三聚类模型对所述容量正常率进行聚类分析,得到第三聚类分析结果。
[0136]
在本发明提供的一实施例中,基于上述的方案,可选的,所述调整单元,包括:
[0137]
执行子单元,用于若所述服务器的至少一种聚类分析结果表征所述服务器容量不足,或容量过剩,则确定所述服务器满足预设的第一容量调整条件。
[0138]
在本发明提供的一实施例中,基于上述的方案,可选的,所述调整单元,包括:
[0139]
监测子单元,用于监测所述更新后的服务器在预设的观测时长内的资源使用率,以确定出第一异常时段的数量和第二异常时段的数量;所述第一异常时段为所述观测时长内所述服务器的资源使用率小于预设的第一阈值的时段;所述第二异常时段为所述观测时长内所述服务器的资源使用率大于预设的第二阈值的时段;
[0140]
第一计算子单元,用于根据所述第一异常时段的数量占所述观测时长的总时段数量的比例,计算出所述服务器的第一资源使用评分;
[0141]
第二计算子单元,用于根据所述第二异常时段的数量占所述观测时长的总时段数
量的比例,计算出所述服务器的第二资源使用评分。
[0142]
在本发明提供的一实施例中,基于上述的方案,可选的,所述调整单元,包括:
[0143]
判断子单元,用于判断所述资源使用评分是否小于预设的评分阈值;
[0144]
第一确定子单元,用于在所述资源使用评分小于预设的评分阈值的情况下,确定所述服务器满足所述第二容量调整条件;
[0145]
第二确定子单元,用于在所述资源使用评分大于或等于预设的评分阈值的情况下,确定所述服务器不满足所述第二容量调整条件。
[0146]
上述本发明实施例公开的服务器的容量调整装置中的各个单元和模块具体的原理和执行过程,与上述本发明实施例公开的服务器的容量调整方法相同,可参见上述本发明实施例提供的服务器的容量调整方法中相应的部分,这里不再进行赘述。
[0147]
本发明实施例还提供了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述服务器的容量调整方法。
[0148]
本发明实施例还提供了一种电子设备,其结构示意图如图7所示,具体包括存储器701,以及一个或者一个以上的指令702,其中一个或者一个以上指令702存储于存储器701中,且经配置以由一个或者一个以上处理器703执行所述一个或者一个以上指令702进行以下操作:
[0149]
响应于容量分析指令,获取每个待分析的服务器的聚类参数,每个所述服务器的聚类参数包括以下至少一种:所述服务器在预设时段内的cpu使用率峰值、磁盘利用率峰值以及所述服务器所属的应用系统的实例的容量正常率;
[0150]
应用每个所述服务器的聚类参数对应的聚类模型对每个所述服务器的聚类参数进行聚类分析,获得每个所述服务器对应的聚类分析结果;
[0151]
对于每个所述服务器,根据所述服务器的聚类分析结果确定所述服务器是否满足预设的第一容量调整条件,若所述服务器满足所述第一容量调整条件,则对所述服务器执行所述聚类分析结果对应的第一容量调整操作,以更新所述服务器的容量资源配置;计算出更新后的服务器的资源使用评分,并根据所述资源使用评分判断所述服务器是否满足预设的第二容量调整条件,若所述服务器满足预设的第二容量调整条件,则对所述服务器执行所述资源使用评分对应的第二容量调整操作,以再次更新所述服务器的容量资源配置。
[0152]
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0153]
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0154]
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本
发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0155]
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0156]
以上对本发明所提供的一种服务器的容量调整方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
当前第1页1 2 
网友询问留言 已有1条留言
  • 访客 来自[中国] 2023年05月04日 09:33
    讲的蜻蜓点水
    0
1