技术特征：
1.一种分布式云存储平台性能参数的智能调优系统，其特征在于,该系统包括服务端和客户端两部分；所述服务端为多参数系统；所述客户端包括场景识别模块、数据训练模块和数据交互模块，其中：所述场景识别模块自动识别业务场景，获取当前业务场景的业务参数，并根据识别的业务场景生成特定的测试命令，实现自动化监测；所述数据训练模块选用svr算法构建系统参数及对应参数的性能模型，选用拟牛顿算法计算性能模型的极值点，获取当前最优的参数配置；所述数据交互模块实现客户端和服务端的数据交互，首先利用数据训练模块得到的最优参数在服务端自动构建系统可调节模块，随后将场景识别模块根据业务场景生成的特定测试命令发送至服务端，服务端执行该测试命令，并将执行结果反馈至数据训练模块，数据训练模块利用svr算法进行参数寻优，最终实现性能参数的自动调优。2.根据权利要求1所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，所述数据训练模块选用拟牛顿算法获取当前最优的参数配置后，继续选用cvt算法在性能模型的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次使用svr算法获取性能模型，并使用拟牛顿算法获取性能模型的极值点；所述数据训练模块多次迭代获取性能模型极值点的过程，并在前后两次迭代的性能极值点比值达到设定阈值时，将最后一次构建的性能模型和取得的极值点作为最优的参数配置。3.根据权利要求2所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，所述系统对ceph集群的cache tier池参数进行智能调优，具体调优过程如下：(1)使用场景识别模块自动识别ceph集群的业务场景，获取当前业务场景的block size参数，并针对当前业务场景生成特定的fio测试命令，实现自动化监测；(2)数据交互模块根据ceph集群的多组cache tier参数x1(x
11
,x
12
…
x
1i
)
…
x
n
(x
n1
,x
n2
…
x
ni
)，分别在服务端自动构建n个存储池作为系统可调节模块，并配置cache tier池，使用场景识别模块生成的fio测试命令分别测得n个存储池对应的io性能值y1…
y
n
；(3)数据训练模块根据cache tier参数x1…
x
n
和对应的集群性能y1…
y
n
，应用svr算法计算集群io参数的性能模型f(x)；(4)数据训练模块采用拟牛顿法计算性能模型f(x)的极值点y
h
以及对应的集群参数x
h
；(5)数据训练模块选用cvt算法在性能模型f(x)的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次应用svr算法计算集群io参数的性能模型f(x)，并返回执行步骤(4)，直至前后两个极值点处的性能比值达到设定阈值时，认为集群性能达到最优，取该点处的参数来配置集群cache tier池。4.根据权利要求3所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，数据训练模块选用cvt算法在性能模型f(x)的极值点周围重新取点的过程中，新的取样点会逐渐向性能模型f(x)的极值点y
h
移动。5.根据权利要求3所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，执行步骤(3)，数据训练模块应用svr算法计算集群io参数的性能模型f(x)，具体流程如下：(3.1)数据训练模块在cache tier参数可选范围q∈r2中预选n个观测点，表示为x
i
＝
[x
i1
,x
i2
…
x
im
]，各参数对应的集群io性能点表示为y
i
；(3.2)引入非线性映射x
→
φ(x)，将数据映射到高维空间，那么，在精度ε下，集群io参数的性能模型f(x)的非线性拟合函数可表示为：其中，w表示函数的影响因子，b表示函数的偏移量；(3.3)引入rbf高斯核函数：支持向量为svs，在计算过程中，假设在i个观测点中共有k个支持向量，则根据svr算法的最优回归方程：可得出集群io参数的性能模型为：其中，x代表cache tier参数选择(x1,x2…
x
m
)，σ参数控制函数的宽度，可选取cache tier参数设置的最大值，α
i
和α
i*
为拉格朗日函数的参数，为svr算法推导的过程参数，svr算法采用工具箱实现，并不需要对其人工赋值，b表示函数的偏移量。6.根据权利要求5所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，执行步骤(4)，数据训练模块采用拟牛顿法计算性能模型f(x)的极值点y
h
以及对应的集群参数x
h
，具体流程如下：(4.1)数据训练模块首先利用性能模型f(x)当前两次迭代之间的位移和目标函数的梯度差构造hessen矩阵近似阵的逆矩阵；(4.2)数据训练模块随后使用拟牛顿法求解性能模型f(x)的极值点y
h
以及对应的集群参数x
h
。7.根据权利要求6所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，执行步骤(4.1)，数据训练模块构造hessen矩阵近似阵的逆矩阵，具体操作为：(4.1.1)将f(x)在x
k+1
处展成taylor级数，取二阶近似，得到：(4.1.2)两边关于x求梯度，得到：(4.1.3)令x＝x
k
，s
k
＝x
k+1-x
k
，且j
k
＝g
k+1-g
k
则有：其中，为hessen矩阵；(4.1.4)通过bfgs法构造hessen矩阵的近似阵b
k+1
，并计算近似阵b
k+1
的逆矩阵h
k+1
，如
下：逆矩阵h
k+1
满足方程：s
k
＝h
k+1
j
k
，该方程即为拟牛顿方程，利用拟牛顿方程沿拟牛顿方向d
k
＝-h
k g
k
进行搜索即可产生新的迭代点。8.根据权利要求7所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，执行步骤(4.2)，数据训练模块使用拟牛顿法求解性能模型f(x)的极值点y
h
以及对应的集群参数x
h
，具体操作为：(4.2.1)令k＝0，h0为单位矩阵i，给定初始点x0＝(x0，y0)，设定收敛阈值为τ，迭代次数为n；(4.2.2)计算性能模型f(x)的梯度确定搜索方向d
k
＝-h
k
g
k
；(4.2.3)从x
k
出发沿d
k
搜索，满足令x
k+1
＝x
k
+λ
k
d
k
；(4.2.4)若
║
f(x
k+1
)
║
≤τ，则停止迭代，得到最优解x＝x
k+1
，进行步骤(4.2.6)，否则进行步骤(4.2.5)；(4.2.5)若k＝n，则令x＝x
k+1
，进行步骤(4.2.6)，否则令k＝k+1，返回步骤(4.2.2)；(4.2.6)输出最优解x和最优解处的性能模型f(x)，即求得最优cache tier参数x
h
以及极值点y
h
。
技术总结
本发明公开一种分布式云存储平台性能参数的智能调优系统，涉及系统参数调节技术领域，包括服务端和客户端；服务端为多参数系统；客户端包括场景识别模块、数据训练模块和数据交互模块；场景识别模块自动识别业务场景，获取当前业务参数，并生成特定的测试命令，实现自动化监测；数据训练模块选用SVR算法构建系统参数及对应的性能模型，选用拟牛顿算法计算模型的极值点，获取当前最优的参数配置；数据交互模块首先利用最优参数在服务端自动构建系统可调节模块，随后将生成的特定测试命令发送至服务端，服务端执行测试命令，并反馈执行结果至数据训练模块，数据训练模块利用SVR算法进行参数寻优，实现性能参数的自动调优。本发明可以提高调优效率。发明可以提高调优效率。发明可以提高调优效率。
技术研发人员：王迎彬 高传集 王腾飞 李超
受保护的技术使用者：浪潮云信息技术股份公司
技术研发日：2022.01.18
技术公布日：2022/5/17