业务模型训练方法及业务模型训练装置与流程

本说明书实施例通常涉及人工智能领域，尤其涉及业务模型训练方法及业务模型训练装置。

背景技术：

1、业务模型在应用于应用场景时，随着应用场景发生变化，需要使用新训练数据样本来重新训练业务模型以适应应用场景的变化。例如，在比如计算资源预测模型的业务模型应用于云服务平台中的自动缩放预测(autoscaling predictation)时，如果由于异常事件而发生异常流量，比如商务促销活动或应用重新配置，则需要使用新训练数据样本来重新训练计算资源预测模型。

技术实现思路

1、本说明书实施例提供业务模型训练方法及业务模型训练装置。利用该业务模型训练方案，在每次业务模型训练时，从上一模型训练过程所使用的训练数据样本集中获取作为历史训练数据样本集的代表性训练数据样本集的当前记忆训练数据样本集，并使用当前新训练数据样本和所获取的当前记忆训练数据样本集来执行业务模型重训练。按照上述业务模型训练方案，由于所获取的当前记忆训练数据样本集可以保持与历史训练数据样本集一致的数据样本特性，将该当前记忆训练数据样本集和新训练数据样本组合进行业务模型重训练，可以使得所训练出的业务模型不仅可以获得基于新训练数据样本训练出的新模型能力，而且可以继承基于历史训练数据样本集训练出的旧有模型能力，从而避免模型重新训练过程中的历史知识遗忘问题。

2、根据本说明书的实施例的一个方面，提供一种业务模型训练方法，包括：从业务模型的上一模型训练过程所使用的上一训练数据样本集中获取当前记忆训练数据样本集，所述上一训练数据样本集包括上一新训练数据样本和上一记忆训练数据样本集，所获取的当前记忆训练数据样本集是历史训练数据样本集的代表性训练数据样本集；以及使用当前新训练数据样本和所述当前记忆训练数据样本集作为当前训练数据样本集来执行当前模型训练过程。

3、可选地，在上述方面的一个示例中，所述当前记忆训练数据样本集相对于所述上一记忆训练数据样本集保持集合大小不变。

4、可选地，在上述方面的一个示例中，所述业务模型包括适用于处理回归任务的业务模型。从业务模型的上一模型训练过程所使用的上一训练数据样本集中获取当前模型训练过程的当前记忆训练数据样本集可以包括：使用基于核密度的数据采样方法来从所述上一训练数据样本集中采样当前模型训练过程的当前记忆训练数据样本集。

5、可选地，在上述方面的一个示例中，使用基于核密度的数据采样方法来从所述上一训练数据样本集中采样当前模型训练过程的当前记忆训练数据样本集可以包括：确定所述上一训练数据样本集中的各个训练数据样本的样本核密度；确定所述上一训练数据样本集相对于所述上一记忆训练数据样本集的数据分布偏移度；根据所述上一训练数据样本集相对于所述上一记忆训练数据样本集的数据分布偏移度以及训练数据样本的样本核密度，确定所述上一训练数据样本集中的各个训练数据样本的样本采样权重；以及使用所确定的样本采样权重，从所述上一训练数据样本集中采样所述当前记忆训练数据样本集。

6、可选地，在上述方面的一个示例中，确定所述上一训练数据样本集中的各个训练数据样本的样本核密度可以包括：使用所述上一记忆训练数据样本集拟合出样本核密度确定函数；以及使用所拟合的样本核密度确定函数确定所述上一训练数据样本集中的各个训练数据样本的样本核密度。

7、可选地，在上述方面的一个示例中，所述上一训练数据样本集中的各个训练数据样本的核密度包括经过平滑处理后的核密度得分。

8、可选地，在上述方面的一个示例中，根据所述上一训练数据样本集相对于所述上一记忆训练数据样本集的数据分布偏移度以及训练数据样本的样本核密度，确定所述上一训练数据样本集中的各个训练数据样本的样本采样权重可以包括：根据所述上一训练数据样本集相对于所述上一记忆训练数据样本集的数据分布偏移度以及训练数据样本的样本核密度，按照样本均衡及新分布样本整合的折中策略确定所述上一训练数据样本集中的各个训练数据样本的样本采样权重。

9、可选地，在上述方面的一个示例中，根据所述上一训练数据样本集相对于所述上一记忆训练数据样本集的数据分布偏移度以及训练数据样本的样本核密度，按照样本均衡及新分布样本整合的折中策略确定所述上一训练数据样本集中的各个训练数据样本的样本采样权重可以包括：根据所述上一训练数据样本集相对于所述上一记忆训练数据样本集的数据分布偏移度、训练数据样本的样本核密度以及所述上一新训练数据样本和上一记忆训练数据样本集上的有偏系数，按照样本均衡及新分布样本整合的折中策略确定所述上一训练数据样本集中的各个训练数据样本的样本采样权重。

10、可选地，在上述方面的一个示例中，所述业务模型包括适用于处理回归任务的业务模型，以及所述当前模型训练过程通过使用基于提示的网络学习方法实现，所述网络学习方法所使用的提示包括经由所述业务模型在先验模型参数下得到的中间表示。

11、可选地，在上述方面的一个示例中，所述当前模型训练过程所使用的损失函数包括提示损失函数和预测结果损失函数，所述提示损失函数包括根据当前新训练数据样本经由上一业务模型和当前业务模型输出的中间表示确定的第一提示损失函数，以及所述预测损失函数包括根据当前新训练数据样本经由当前业务模型输出的预测结果确定的预测损失函数。

12、可选地，在上述方面的一个示例中，所述提示损失函数还包括在当前记忆训练数据样本集上根据经由上一业务模型和当前业务模型输出的当前记忆训练数据样本的中间表示以及经由当前业务模型输出的当前记忆训练数据样本的预测结果确定的第二提示损失函数。

13、根据本说明书的实施例的另一方面，提供一种业务模型训练装置，包括：记忆训练数据样本获取单元，从业务模型的上一模型训练过程所使用的上一训练数据样本集中获取当前记忆训练数据样本集，所述上一训练数据样本集包括上一新训练数据样本和上一记忆训练数据样本集，所获取的当前记忆训练数据样本集是历史训练数据样本集的代表性训练数据样本集；以及模型训练单元，使用当前新训练数据样本和所述当前记忆训练数据样本集作为当前训练数据样本集来执行当前模型训练过程。

14、可选地，在上述方面的一个示例中，所述记忆训练数据样本获取单元使用基于核密度的数据采样方法来从所述上一训练数据样本集中采样所述当前记忆训练数据样本集。

15、可选地，在上述方面的一个示例中，所述记忆训练数据样本获取单元包括：样本核密度确定模块，确定所述上一训练数据样本集中的各个训练数据样本的样本核密度；数据分布偏移度确定模块，确定所述上一训练数据样本集相对于所述上一记忆训练数据样本集的数据分布偏移度；样本采样权重确定模块，根据所述上一训练数据样本集相对于所述上一记忆训练数据样本集的数据分布偏移度以及训练数据样本的样本核密度，确定所述上一训练数据样本集中的各个训练数据样本的样本采样权重；以及样本采样模块，使用所确定的样本采样权重，从所述上一训练数据样本集中采样所述当前记忆训练数据样本集。

16、可选地，在上述方面的一个示例中，所述样本核密度确定模块使用所述上一记忆训练数据样本集拟合出样本核密度确定函数，并且使用所拟合的样本核密度确定函数确定所述上一训练数据样本集中的各个训练数据样本的样本核密度。

17、可选地，在上述方面的一个示例中，所述样本核密度确定模块对所述上一训练数据样本集中的各个训练数据样本的核密度进行平滑处理得到各个训练数据样本的核密度得分。

18、可选地，在上述方面的一个示例中，所述样本采样权重确定模块根据所述上一训练数据样本集相对于所述上一记忆训练数据样本集的数据分布偏移度以及训练数据样本的样本核密度，按照样本均衡及新分布样本整合的折中策略确定所述上一训练数据样本集中的各个训练数据样本的样本采样权重。

19、可选地，在上述方面的一个示例中，所述样本采样权重确定模块根据所述上一训练数据样本集相对于所述上一记忆训练数据样本集的数据分布偏移度、训练数据样本的样本核密度以及所述上一新训练数据样本和上一记忆训练数据样本集上的有偏系数，按照样本均衡及新分布样本整合的折中策略确定所述上一训练数据样本集中的各个训练数据样本的样本采样权重。

20、可选地，在上述方面的一个示例中，所述业务模型包括适用于处理回归任务的业务模型，以及所述模型训练单元通过使用基于提示的网络学习方法实现所述当前模型训练过程，所述网络学习方法所使用的提示包括经由所述业务模型在先验模型参数下得到的中间表示。

21、可选地，在上述方面的一个示例中，所述当前模型训练过程所使用的损失函数包括提示损失函数和预测结果损失函数，所述提示损失函数包括根据当前新训练数据样本经由上一业务模型和当前业务模型输出的中间表示确定的第一提示损失函数，以及所述预测损失函数包括根据当前新训练数据样本经由当前业务模型输出的预测结果确定的预测损失函数。

22、可选地，在上述方面的一个示例中，所述提示损失函数还包括在当前记忆训练数据样本集上根据经由上一业务模型和当前业务模型输出的当前记忆训练数据样本的中间表示以及经由当前业务模型输出的当前记忆训练数据样本的预测结果确定的第二提示损失函数。

23、根据本说明书的实施例的另一方面，提供一种业务模型训练装置，包括：至少一个处理器；与所述至少一个处理器耦合的存储器；以及存储在所述存储器中的计算机程序，所述至少一个处理器执行所述计算机程序来实现如上所述的业务模型训练方法。