一种模型增量学习方法、装置、设备及存储介质与流程

本发明涉及模型训练，特别涉及一种模型增量学习方法、装置、设备及存储介质。

背景技术：

1、随着人工智能的不断普及，机器学习中的模型训练已经广泛运用至各行各业，然而在模型训练的过程中，可能会出现概念漂移导致模型检测性能下降的问题。概念漂移分为真概念漂移和假概念漂移。假概念漂移为一次训练的数据无法涵盖到数据总体，新的数据来临需要对模型进行重新训练。真概念漂移为已有的训练数据的映射经过一段时间后发生了改变，从y＝f(x)变为y＝g(x)，从而导致原有模型需要重新训练。参见图1所示，存在数据集d1，训练得到模型m1。经过一定时间，出现了数据d2。d2中的c代表新的数据出现，则模型m1无法对c进行预测；数据d1和d2的交叉部分a，如果存在数据映射函数发生变化，由y＝f(x)变为y＝g(x)，则模型m1同样无法对a正确预测。

2、现有技术存在缓解概念漂移的方法，例如使用g-mean进行动态加权、使用k-means聚类算法确定数据之间的相似度以进行重训练等，前述方法虽然可以在一定程度上缓解冲突数据对模型的影响，但需要人工标注数据并且产生的虚拟数据会对模型产生负面影响陷入局部问题等，因此解决概念漂移问题，学习到数据c中的新知识和解决存在b中的冲突数据仍是现阶段需要关注的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种模型增量学习方法、装置、设备及存储介质，能够利用集成模型对数据和模型进行更新学习，从而在一定程度上缓解甚至解决概念漂移问题使模型的预测效果更加平滑稳定。其具体方案如下：

2、第一方面，本技术公开了一种模型增量学习方法，包括：

3、获取若干历史预测结果作为当前待训练数据集，并基于预设数据更新规则对所述当前待训练数据集进行数据更新操作，以得到相应的更新后待训练数据集；

4、利用所述更新后待训练数据集进行模型训练以得到相应的当前训练模型，并基于预设模型添加规则将所述当前训练模型放入预设集成模型以更新所述预设集成模型；所述预设集成模型用于存储全部参与类别预测的所述训练模型；

5、对更新后的所述预设集成模型中每一所述训练模型进行权重更新操作以对预设权重调整器进行更新，利用更新后的所述预设集成模型和更新后的所述权重调整器进行类别预测操作以得到若干预测结果，并跳转至所述获取若干历史预测结果作为当前待训练数据集的步骤以进行下一轮模型迭代学习。

6、可选的，所述获取若干历史预测结果作为当前待训练数据集之前，还包括：

7、利用初始待训练数据集进行模型训练得到第一训练模型，并创建所述预设集成模型以将所述第一训练模型放入所述预设集成模型中。

8、可选的，所述获取若干历史预测结果作为当前待训练数据集之后，还包括：

9、计算本轮模型迭代学习的所述当前待训练数据集与上一轮的待训练数据集之间的相似度，并判断所述相似度是否小于预设相似度阈值；

10、若否，则确定所述当前待训练数据集中的保留数据，并直接利用所述预设集成模型和所述权重调整器进行类别预测操作以得到若干预测结果；所述保留数据用于在下一轮模型迭代学习时加入至下一轮的待训练数据集中。

11、可选的，所述基于预设数据更新规则对所述当前待训练数据集进行数据更新操作，以得到相应的更新后待训练数据集，包括：

12、若所述相似度小于所述预设相似度阈值，则基于预设数据更新规则对本轮模型迭代学习的所述当前待训练数据集进行数据更新操作以得到相应的更新后待训练数据集。

13、可选的，所述基于预设模型添加规则将所述当前训练模型放入预设集成模型以更新所述预设集成模型中，包括：

14、判断所述预设集成模型中全部所述训练模型的数量是否达到预设数量阈值；

15、若否，则直接将所述当前训练模型放入所述预设集成模型以更新所述预设集成模型；

16、若是，则利用预设模型剔除规则从所述预设集成模型中剔除一个训练模型，并将所述当前训练模型放入所述预设集成模型以更新所述预设集成模型。

17、可选的，所述对更新后的所述预设集成模型中每一训练模型进行权重更新操作以对预设权重调整器进行更新，包括：

18、基于预设数据选取规则从历史数据集中选取待预测数据集，并将所述待预测数据集输入至所述预设集成模型的每一所述训练模型中，以得到每一所述训练模型对应的第一预测值；

19、将每一所述训练模型的所述第一预测值拼接为数组并输入至所述预设权重调整器进行训练得到每一所述训练模型对应的权重，以对所述预设权重调整器进行更新。

20、可选的，所述利用更新后的所述预设集成模型和更新后的所述权重调整器进行类别预测操作以得到若干预测结果，包括：

21、获取预设数据集并将所述预设数据集输入至更新后的所述预设集成模型的每一所述训练模型中，以得到每一所述训练模型对应的第二预测值；

22、将每一所述训练模型对应的所述第二预测值拼接为数组并输入至更新后的所述权重调整器中进行类别预测操作，以得到若干预测结果。

23、第二方面，本技术公开了一种模型增量学习装置，包括：

24、数据更新模块，用于获取若干历史预测结果作为当前待训练数据集，并基于预设数据更新规则对所述当前待训练数据集进行数据更新操作，以得到相应的更新后待训练数据集；

25、模型更新模块，用于利用所述更新后待训练数据集进行模型训练以得到相应的当前训练模型，并基于预设模型添加规则将所述当前训练模型放入预设集成模型以更新所述预设集成模型；所述预设集成模型用于存储全部参与类别预测的所述训练模型；

26、权重更新模块，用于对更新后的所述预设集成模型中每一所述训练模型进行权重更新操作以对预设权重调整器进行更新；

27、预测结果确定模块，用于利用更新后的所述预设集成模型和更新后的所述权重调整器进行类别预测操作以得到若干预测结果，并跳转至所述获取若干历史预测结果作为当前待训练数据集的步骤以进行下一轮模型迭代学习。

28、第三方面，本技术公开了一种电子设备，包括：

29、存储器，用于保存计算机程序；

30、处理器，用于执行所述计算机程序以实现前述的模型增量学习方法。

31、第四方面，本技术公开了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的模型增量学习方法。

32、可见，本技术通过获取若干历史预测结果作为当前待训练数据集，并基于预设数据更新规则对所述当前待训练数据集进行数据更新操作，以得到相应的更新后待训练数据集；利用所述更新后待训练数据集进行模型训练以得到相应的当前训练模型，并基于预设模型添加规则将所述当前训练模型放入预设集成模型以更新所述预设集成模型；所述预设集成模型用于存储全部参与类别预测的所述训练模型；对更新后的所述预设集成模型中每一所述训练模型进行权重更新操作以对预设权重调整器进行更新，利用更新后的所述预设集成模型和更新后的所述权重调整器进行类别预测操作以得到若干预测结果，并跳转至所述获取若干历史预测结果作为当前待训练数据集的步骤以进行下一轮模型迭代学习。由此可见，本技术通过周期性对数据和模型进行更新训练，根据每次训练得到的训练模型汇集得到集成模型，并确定出所述集成模型中每一训练模型的权重，这样一来，通过对数据进行更新操作提取有效数据，减少冗余数据参与模型训练，加快模型训练迭代的速度，并在一定程度上减少人工标注工作的参与，另外，本技术通过使用集成思想选取含有不同知识体系的训练模型汇集得到集成模型，通过对集成模型中每一训练模型的权重进行调整，凸显每一训练模型在当前时间段的作用，从而降低概念漂移问题对模型的类别预测造成的负面影响，在实现模型快速迭代更新的同时还可以使模型的预测效果更加精确平稳。