使用加权训练数据的机器学习模型的多阶段训练技术的制作方法

本公开概括而言涉及用于训练机器学习模型的改进技术，更具体而言，根据各种实施例，涉及在至少一个阶段中使用加权训练数据来训练机器学习模型的多阶段训练技术。

背景技术：

1、服务器系统利用各种技术来检测其系统和其提供的服务的风险。许多风险检测问题可以被表征为“分类问题”，其中基于观察的特征来将该观察分类为多个类别中的一个。作为一个非限制性示例，“垃圾邮件”(不想要的电子邮件)检测的问题可以被认为是一个二元分类问题，对于这个问题，分类模型可以被用来生成概率值，指示入站的电子邮件应当被分类为“垃圾邮件”(或者“非垃圾邮件”)的可能性。

2、用于生成分类模型的一种技术是在先前观察(例如，在当前示例中，是电子邮件)的训练数据集上训练人工神经网络，这样，一旦经过训练，该模型就能够对新的观察进行分类。例如，现有的训练技术在“全局”上优化分类模型，使得模型的准确性在预测概率值的整个分布中是相对一致的。然而，这种训练技术存在各种技术缺陷。例如，如下文更详细描述的，现有的训练技术可能会限制模型对新的观察进行准确分类的能力，从而降低了分类模型的性能。

技术实现思路

技术特征：

1.一种方法，包括：

2.如权利要求1所述的方法，其中，所述相应的多个加权值的生成使得具有第一模型得分的第一训练样本被赋予比具有较低的第二模型得分的第二训练样本更高的加权值。

3.如权利要求1所述的方法，其中，所述执行额外的训练包括：

4.如权利要求3所述的方法，其中，所述特定损失函数包括二元交叉熵损失函数。

5.如权利要求1所述的方法，其中，所述第一训练阶段使用第一学习率来训练所述机器学习分类模型的初始版本，并且其中，所述第二训练阶段使用较低的第二学习率来训练所述机器学习分类模型的更新版本。

6.如权利要求1所述的方法，其中，对于所述多个训练样本中的具有第一相应模型得分的第一训练样本，所述执行一个或多个变换包括：

7.如权利要求1所述的方法，其中，所述机器学习分类模型是使用人工神经网络(ann)实现的。

8.如权利要求1所述的方法，其中，所述机器学习分类模型是二元分类模型。

9.如权利要求1所述的方法，其中，所述多个训练样本对应于多个先前电子交易，并且其中，与所述多个先前电子交易中的第一先前电子交易相对应的第一训练样本指示出：

10.如权利要求9所述的方法，还包括：

11.一种非暂态计算机可读介质，其上存储有可由计算机系统执行来执行操作的指令，所述操作包括：

12.如权利要求11所述的非暂态计算机可读介质，其中，所述优化算法使用特定损失函数来为所述多个训练样本中的给定训练样本评估所述机器学习分类模型的性能，并且其中，对于所述给定训练样本，利用所述特定损失函数生成的相应损失值被基于与所述给定训练样本相关联的给定加权值来加权。

13.如权利要求11所述的非暂态计算机可读介质，其中，所述机器学习分类模型是使用ann实现的；并且

14.如权利要求11所述的非暂态计算机可读介质，其中，对于所述给定训练样本，生成相应加权值包括：

15.如权利要求11所述的非暂态计算机可读介质，其中，所述机器学习分类模型是二元分类模型；并且

16.一种系统，包括：

17.如权利要求16所述的系统，其中，执行所述额外的训练操作包括：

18.如权利要求16所述的系统，其中，对于所述多个训练样本中的具有第一相应模型得分的第一训练样本，确定相应的第一加权值包括：

19.如权利要求16所述的系统，其中，所述多个训练样本对应于多个先前电子交易，并且其中，与所述多个先前电子交易中的第一先前电子交易相对应的第一训练样本指示出：

20.如权利要求19所述的系统，其中，所述指令还可执行来使得所述系统：

技术总结
公开了涉及使用加权训练数据的机器学习模型的多阶段训练的技术。在一些实施例中，计算机系统可以在至少两个阶段中训练机器学习分类模型。在初始训练阶段期间，计算机系统可以基于训练数据集来训练分类模型的初始版本，向训练数据集中的训练样本应用同等权重。计算机系统随后可以利用分类模型的初始版本来为训练样本生成模型得分。基于这些模型得分，计算机系统可以为训练样本生成相应的加权值。计算机系统随后可以执行后续训练阶段以生成分类模型的更新版本，其中，在这个后续训练阶段期间，至少一些训练样本被使用其各自的加权值来加权。

技术研发人员：陈实,王硕渊,张家琪
受保护的技术使用者：贝宝公司
技术研发日：
技术公布日：2024/1/13