一种资源需求确定模型的训练方法及装置与流程

1.本技术涉及数据处理领域，特别是涉及一种资源需求确定模型的训练方法及装置。


背景技术：

2.分析和预估资源需求是运维工作中非常重要的一部分。比如通过多个网关入口的流量来推测集群所需要的中央处理器(central processing unit，cpu)数量，或者是通过行为特征数据确定需要部署的设备数量。
3.目前，可以训练资源需求确定模型的方式，确定资源需求。但是，采用这种方式，往往只能得到多个特征的资源总需求，而不能准确的确定每一个特征的资源需求对资源总需求的具体贡献。
4.因此，急需一种方案，能够解决上述问题。


技术实现要素：

5.为了解决或者至少部分解决上述技术问题，本技术实施例提供了一种资源需求确定模型的训练方法及装置。
6.第一方面，本技术实施例提供了一种资源需求确定模型的训练方法，所述方法包括：
7.获取训练特征和训练资源需求，所述训练资源需求为所述训练特征所包括的多个特征的资源总需求；
8.基于所述训练特征和训练资源需求，训练资源需求确定模型，所述资源需求确定模型用于确定多个特征的资源总需求；其中：
9.在训练所述资源需求确定模型时，通过第一损失函数和第二损失函数，更新所述多个特征中各个特征对应的权重，所述第一损失函数根据所述训练资源需求和所述资源需求确定模型输出的预测资源需求确定，所述第二损失函数根据所述多个特征中各个特征对应的权重确定，在所述多个特征中各个特征对应的权重为正数时，所述第二损失函数的值为0，在所述多个特征中各个特征对应的权重为负数时，所述第二损失函数的值不为0。
10.可选的，所述第一损失函数为平方差损失函数。
11.可选的，所述第二损失函数，根据所述各个特征中每个特征的损失项确定，所述多个特征包括第一特征，所述第一特征的损失项，根据所述第一特征的权重的绝对值与所述第一特征的权重的差值确定。
12.可选的，所述第二损失函数，根据所述每个特征的损失项的和确定。
13.可选的，所述资源需求确定模型为线性模型。
14.可选的，所述方法还包括：
15.获取待分析特征，根据所述待分析特征和所述待分析特征对应的权重，确定所述待分析特征对应的资源需求贡献量，所述多个特征包括所述待分析特征。
16.第二方面，本技术实施例提供了一种资源需求确定模型的训练装置，所述装置包括：
17.第一获取单元，用于获取训练特征和训练资源需求，所述训练资源需求为所述训练特征所包括的多个特征的资源总需求；
18.训练单元，用于基于所述训练特征和训练资源需求，训练资源需求确定模型，所述资源需求确定模型用于确定多个特征的资源总需求；其中：
19.在训练所述资源需求确定模型时，通过第一损失函数和第二损失函数，更新所述多个特征中各个特征对应的权重，所述第一损失函数根据所述训练资源需求和所述资源需求确定模型输出的预测资源需求确定，所述第二损失函数根据所述多个特征中各个特征对应的权重确定，在所述多个特征中各个特征对应的权重为正数时，所述第二损失函数的值为0，在所述多个特征中各个特征对应的权重为负数时，所述第二损失函数的值不为0。
20.可选的，所述第一损失函数为平方差损失函数。
21.可选的，所述第二损失函数，根据所述各个特征中每个特征的损失项确定，所述多个特征包括第一特征，所述第一特征的损失项，根据所述第一特征的权重的绝对值与所述第一特征的权重的差值确定。
22.可选的，所述第二损失函数，根据所述每个特征的损失项的和确定。
23.可选的，所述资源需求确定模型为线性模型。
24.可选的，所述装置还包括：
25.第二获取单元，用于获取待分析特征；
26.确定单元，用于根据所述待分析特征和所述待分析特征对应的权重，确定所述待分析特征对应的资源需求贡献量，所述多个特征包括所述待分析特征。
27.第三方面，本技术实施例提供了一种设备，所述设备包括处理器和存储器；
28.所述处理器用于执行所述存储器中存储的指令，以使得所述设备执行以上第一方面任一项所述的方法。
29.第四方面，本技术实施例提供了一种计算机可读存储介质，包括指令，所述指令指示设备执行以上第一方面任一项所述的方法。
30.第五方面，本技术实施例提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行以上第一方面任一项所述的方法。
31.与现有技术相比，本技术实施例具有以下优点：
32.本技术实施例提供了一种资源需求确定模型的训练方法，在一个示例中，所述方法包括：获取训练特征和训练资源需求，所述训练资源需求为所述训练特征所包括的多个特征的资源总需求。基于所述训练特征和所述训练资源需求，训练资源需求确定模型。资源需求确定模型用于确定多个特征的资源总需求。其中，在训练所述资源需求确定模型时，可以通过第一损失函数和第二损失函数来更新所述多个特征中各个特征对应的权重。所述第一损失函数可以根据所述训练资源需求和所述资源需求确定模型输出的预测资源需求确定，基于所述第一损失函数，可以使得在训练过程中，所述资源需求确定模型输出的预测结果接近于训练资源需求。所述第二损失函数根据所述多个特征中各个特征对应的权重确定，在所述多个特征中各个特征对应的权重为正数时，所述第二损失函数的值为0，在所述多个特征中各个特征对应的权重为负数时，所述第二损失函数的值不为0。通过所述第二损
失函数可以使得所述各个特征对应的权重为正数，相应的，所述各个特征对应的权重为正数，则可以基于所述各个特征对应的权重来确定各个特征对资源总需求的具体贡献。由此可见，利用本技术实施例的方案，可以准确的确定每一个特征的资源需求对资源总需求的具体贡献。
附图说明
33.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本技术实施例提供的一种资源需求确定模型的训练方法的流程示意图；
35.图2为本技术实施例提供的一种资源需求确定模型的训练方法的流程示意图
。
具体实施方式
36.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
37.本技术的发明人经过研究发现，可以训练资源需求确定模型的方式，确定资源需求。但是，采用这种方式，往往只能得到多个特征的资源总需求，而不能准确的确定每一个特征的资源需求对资源总需求的具体贡献。这是因为对于所述训练资源需求确定模型而言，部分特征的权重可能是负数。
38.为了解决上述问题，本技术实施例提供了一种资源需求确定模型的训练方法及装置。
39.下面结合附图，详细说明本技术的各种非限制性实施方式。
40.示例性方法
41.参见图1，该图为本技术实施例提供的一种资源需求确定模型的训练方法的流程示意图。在本实施例中，所述方法例如可以由服务器执行。
42.在一个示例中，所述方法例如可以包括以下步骤：s101-s102。
43.需要说明的是，模型训练的过程是一个多次迭代计算的过程，每一次迭代都可以对模型的参数进行调整，调整后的参数参与下一轮迭代计算。
44.图1以某一训练样本(包括训练特征和训练资源需求)的处理方式为例，对训练资源需求确定模型的某一轮迭代过程进行介绍。可以理解的是，训练所述资源需求确定模型所使用的训练样本有很多组，在训练所述资源需求确定模型时，每组训练样本的处理方式类似。在经过多组训练样本训练之后，即可得到准确度符合要求的资源需求确定模型。
45.s101：获取训练特征和训练资源需求，所述训练资源需求为所述训练特征所包括的多个特征的资源总需求。
46.在一个示例中，所述训练特征和训练资源需求，例如可以是服务端(例如服务集群)在实际运行过程中的实际数据。对于这种情况，s101在具体实现时，可以采集所述训练
特征和所述训练资源需求。
47.本技术实施例不具体限定所述训练特征，所述训练特征例如可以包括网关入口的流量，所述训练特征又如可以包括应用的访问行为，等等，此处不一一列举说明。
48.本技术实施例也不具体限定所述训练资源需求，所述训练资源需求，例如可以包括对cpu数量的需求，又如可以是需要部署的设备数量，等等，此处不一一列举说明。
49.在本技术实施例中，所述训练特征可以包括至少一个特征，每个特征均具备资源需求，所述资源总需求，可以是各个特征的资源需求之和。
50.s102：基于所述训练特征和训练资源需求，训练资源需求确定模型，所述资源需求确定模型用于确定多个特征的资源总需求。其中：在训练所述资源需求确定模型时，通过第一损失函数和第二损失函数，更新所述多个特征中各个特征对应的权重，所述第一损失函数根据所述训练资源需求和所述资源需求确定模型输出的预测资源需求确定，所述第二损失函数根据所述多个特征中各个特征对应的权重确定，在所述多个特征中各个特征对应的权重为正数时，所述第二损失函数的值为0，在所述多个特征中各个特征对应的权重为负数时，所述第二损失函数的值不为0。
51.获得所述训练特征和训练资源需求之后，可以基于所述训练特征和训练资源需求，训练资源需求确定模型。该资源需求确定模型，可以用于确定所述训练特征中的各个特征与所述训练资源需求之间的数量关系。
52.采用本方案，基于所述第一损失函数，可以使得在训练过程中，所述资源需求确定模型输出的预测结果接近于训练资源需求。通过所述第二损失函数可以使得所述各个特征对应的权重为正数，相应的，所述各个特征对应的权重为正数，则可以基于所述各个特征对应的权重来确定各个特征对资源总需求的具体贡献。由此可见，利用本技术实施例的方案，可以准确的确定每一个特征的资源需求对资源总需求的具体贡献。
53.本技术实施例不具体限定所述资源需求确定模型，在一个示例中，考虑到线性模型能够较为清晰的表达所述训练特征中的各个特征与所述训练资源需求之间的数量关系，且对于线性模型而言，可以根据各个特征对应的权重来确定各个特征的资源需求对资源总需求的具体贡献。因此，在一个示例中，所述资源需求确定模型，可以是线性模型。
54.在一个示例中，所述线性模型通过如下公式(1)理解。
[0055][0056]
在公式(1)中：
[0057]
k为训练特征中包括的特征数量；
[0058]
wi为第i个特征的权重；
[0059]
xi为第i个特征；
[0060]
y为k个特征的训练资源需求。
[0061]
在本技术实施例中，所述资源需求确定模型的参数，可以包括前述多个特征中各个特征的权重。在一个示例中，考虑到若特征的权重存在负值，则基于特征的权重，不能准确的确定每一个特征的资源需求对资源总需求的具体贡献。为了解决这个问题，在本技术实施例中，在训练所述资源需求确定模型时，采用通过第一损失函数和第二损失函数，更新所述多个特征中各个特征对应的权重。其中：
[0062]
所述第一损失函数根据所述训练资源需求和所述资源需求确定模型输出的预测
资源需求确定。通过所述第一损失函数，使得在模型训练的过程中，所述资源需求确定模型输出的预测结果接近于训练资源需求，从而保证在模型训练结束之后，所述资源需求确定模型能准确的基于输入的特征确定特殊的资源总需求。
[0063]
本技术实施例不具体限定所述第一损失函数，在一个示例中，考虑到平方差损失函数可以使得在模型训练的过程中，所述资源需求确定模型输出的预测结果(即预测资源需求)接近于训练资源需求，因为损失函数接近于0则模型收敛，而平方差损失函数在模型输出的预测结果接近于训练资源需求时接近0。因此，所述第一损失函数可以是平方差损失函数。
[0064]
所述平方差损失函数，可以参考以下公式(2)进行理解。
[0065][0066]
在公式(2)中：
[0067]
l1为第一损失函数；
[0068]
y为训练资源需求；
[0069]
为预测资源需求。
[0070]
在本技术实施例中，所述第二损失函数可以根据所述多个特征中各个特征对应的权重确定，在所述多个特征中各个特征对应的权重为正数时，所述第二损失函数的值为0，在所述多个特征中各个特征对应的权重为负数时，所述第二损失函数的值不为0。由于随着模型训练过程的进行，模型的损失函数接近0时可以认为模型已经收敛，因此，所述多个特征中各个特征对应的权重为正数时，所述第二损失函数的值为0，从而使得模型更加容易收敛，因此，采用第二损失函数，可以使得所述各个特征对应的权重为正数。
[0071]
本技术实施例不具体限定所述第二损失函数，在一个示例中，所述第二损失函数可以根据各个特征中每个特征的损失项确定。作为一个示例，所述第二损失函数，根据所述每个特征的损失项的和确定，例如，所述第二损失函数可以是所述每个特征的损失项的和与第一参数的乘积。作为又一个示例，所述第二损失函数可以是对所述每个损失项进行加权求和计算得到。
[0072]
关于所述每个特征的损失项，现以所述多个特征中的第一特征为例进行说明。在一个示例中，所述第一特征的损失项，可以根据所述第一特征的权重的绝对值与所述第一特征的权重的差值确定。例如，所述第一特征的损失项，可以根据等于第一特征的权重的绝对值与所述第一特征的权重的差值，又如，所述第一特征的损失项，可以根据等于所述差值和预设参数的乘积。
[0073]
关于所述第二损失函数，可以参考以下公式(3)进行理解。
[0074][0075]
在公式(3)中：
[0076]
l2为第二损失函数；
[0077]
k为训练特征中包括的特征数量；
[0078]
wi为第i个特征的权重；
[0079]
c为预设参数，可以为常数。
[0080]
在一个示例中，训练得到所述训练资源需求确定模型之后，即得到了各个特征对
应的权重。进一步地，可以基于所述各个特征对应的权重，确定某一特征的资源需求对于资源总需求的具体贡献。例如：
[0081]
在一个示例中，可以获取待分析特征，根据所述待分析特征和所述待分析特征对应的权重，确定所述待分析特征对应的资源需求贡献量，所述待分析特征，可以是前述训练特征所包括的多个特征中的任意一个特征。例如，所述待分析特征可以是网关的入口流量。在一个具体的示例中，若所述待分析特征为特征x1，则可以根据w1*x1，确定所述待分析特征对应的资源需求贡献量。其中，待分析特征对应的资源需求贡献量，可以是待分析特征的资源需求相对于资源总需求的具体贡献。
[0082]
示例性设备
[0083]
基于以上实施例提供的方法，本技术实施例还提供了对应的装置，以下结合附图介绍该装置。
[0084]
参见图2，该图为本技术实施例中一种资源需求确定模型的训练装置的结构示意图。所述装置200例如可以具体包括：第一获取单元201和训练单元202。
[0085]
第一获取单元201，用于获取训练特征和训练资源需求，所述训练资源需求为所述训练特征所包括的多个特征的资源总需求；
[0086]
训练单元202，用于基于所述训练特征和训练资源需求，训练资源需求确定模型，所述资源需求确定模型用于确定多个特征的资源总需求；其中：
[0087]
在训练所述资源需求确定模型时，通过第一损失函数和第二损失函数，更新所述多个特征中各个特征对应的权重，所述第一损失函数根据所述训练资源需求和所述资源需求确定模型输出的预测资源需求确定，所述第二损失函数根据所述多个特征中各个特征对应的权重确定，在所述多个特征中各个特征对应的权重为正数时，所述第二损失函数的值为0，在所述多个特征中各个特征对应的权重为负数时，所述第二损失函数的值不为0。
[0088]
可选的，所述第一损失函数为平方差损失函数。
[0089]
可选的，所述第二损失函数，根据所述各个特征中每个特征的损失项确定，所述多个特征包括第一特征，所述第一特征的损失项，根据所述第一特征的权重的绝对值与所述第一特征的权重的差值确定。
[0090]
可选的，所述第二损失函数，根据所述每个特征的损失项的和确定。
[0091]
可选的，所述资源需求确定模型为线性模型。
[0092]
可选的，所述装置还包括：
[0093]
第二获取单元，用于获取待分析特征；
[0094]
确定单元，用于根据所述待分析特征和所述待分析特征对应的权重，确定所述待分析特征对应的资源需求贡献量，所述多个特征包括所述待分析特征。
[0095]
由于所述装置200是与以上方法实施例提供的方法对应的装置，所述装置200的各个单元的具体实现，均与以上方法实施例为同一构思，因此，关于所述装置200的各个单元的具体实现，可以参考以上方法实施例的描述部分，此处不再赘述。
[0096]
本技术实施例还提供了一种设备，所述设备包括处理器和存储器；
[0097]
所述处理器用于执行所述存储器中存储的指令，以使得所述设备执行以上方法实施例任一项所述的资源需求确定模型的训练方法。
[0098]
本技术实施例提供了一种计算机可读存储介质，包括指令，所述指令指示设备执
行以上方法实施例任一项所述的资源需求确定模型的训练方法。
[0099]
本技术实施例提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行以上方法实施例任一项所述的资源需求确定模型的训练方法。
[0100]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
[0101]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。
[0102]
以上所述仅为本技术的较佳实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。