使用监督和无监督机器学习模型的基于时间的聚合学习的系统、方法和计算机程序产品与流程

本公开大体上涉及机器学习，并且在一些非限制性实施例或方面，涉及用于使用监督和无监督技术基于聚合学习方法生成机器学习模型的系统、方法和计算机程序产品。

背景技术：

1、机器学习可以是计算机科学的领域，其使用统计技术为计算机系统提供使用数据学习任务(例如，逐渐提高性能)的能力，而无需对计算机系统进行明确编程以执行任务。在一些情况下，可以针对数据集开发机器学习模型，使得机器学习模型可以执行关于所述数据集的任务(例如，与预测相关联的任务)。

2、在一些情况下，机器学习模型，例如预测性机器学习模型，可用于基于大量数据(例如，大规模数据集)作出与风险或机会相关的预测。预测性机器学习模型可用于分析基于与单元相关联的大规模数据集的单元性能与单元的一个或多个已知特征之间的关系。预测性机器学习模型的目的可以是评估类似单元将展现与单元相同或相似的性能的可能性。为了生成预测性机器学习模型，可以将大规模数据集分段，使得可以针对适当的数据训练预测性机器学习模型。

3、在一些情况下，多类别分类(例如，多项式分类)可以指将实例分类为三个或更多个类别中的一个的问题，而将实例分类为两个类别中的一个可被称为二元分类。

4、深度学习(例如，深度结构化学习)可以指基于具有表示学习的人工神经网络的机器学习算法的类别，其中表示学习可以被监督、半监督和/或无监督。用于深度学习的机器学习架构可包括深度神经网络(dnn)、深度信念网络、深度强化学习、重复神经网络和卷积神经网络。

5、在深度学习领域中，机器学习模型通常擅长于在给定大数据集的情况下学习以执行特定任务。随着数据集的增长和不断改变，学习较旧数据集上特定任务的机器学习模型变得过时，并且需要对更新的数据集进行训练，以便模型可以相同的准确性或更好的给定新数据来执行。模型性能随着数据集改变和扩展的这种改变被称为模型新鲜度退化。

6、开发机器学习模型非常耗时并且需要大量数据。如果使用特定数据集构建分类模型，则在分类模型未用新数据更新和训练的情况下其准确性可能随时间推移退化。当由于市场或技术的突然改变(例如，技术改变、领域改变、市场改变)而出现新的数据模式时，模型退化甚至可能更快。此类机器学习模型将需要使用新的和新兴数据进行持续训练和更新，以随时间推移维持或提高模型的准确性。

7、在某些环境中，例如在线深度学习模型，深度学习模型经常面临问题，例如训练期间的数据延迟和模型扰动。与离线模型不同，在线模型容易受到数据实时改变和不完整数据集的影响。如果模型性能在很大程度上取决于用于训练的数据的完整性，则这种实时数据改变会对模型准确性产生负面影响。例如，关于图像数据的分类模型训练可以接收许多类似图像作为输入，这些图像几乎没有不同。即使是权重较大的特征中具有微小差异的单个图像也会扰动模型并对其训练产生负面影响。另外，如果输入图像数据是按时间排序的，则一些图像可以与其它图像的序列不一致地被输入到模型中，并且可能对模型训练产生负面影响。

8、鉴于所描述的问题，显而易见需要一种基于机器学习/深度学习聚合的训练系统、方法和计算机程序产品，以使用不太容易受模型退化、数据延迟和模型扰动影响的监督和无监督技术来生成机器学习模型。

技术实现思路

1、因此，所公开的是用于使用监督和无监督技术基于聚合学习方法生成机器学习模型的系统、方法和计算机程序产品。

2、根据一些非限制性实施例或方面，提供一种用于利用机器学习模型聚合学习以防止模型性能退化的方法。所述系统包括至少一个处理器，所述至少一个处理器被编程和/或被配置成接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列。所述至少一个处理器还被编程和/或配置成将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集。所述至少一个处理器还被编程和/或配置成选择第一多个监督机器学习模型以及选择第二多个无监督机器学习模型。所述至少一个处理器被进一步编程和/或配置成基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型。所述至少一个处理器被进一步编程和/或配置成基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型。所述至少一个处理器被进一步编程和/或配置成基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

3、在一些非限制性实施例或方面，当将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供所述经扩增的训练数据集时，所述至少一个处理器被进一步编程和/或配置成将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例。所述至少一个处理器被进一步编程和/或配置成将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例。所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

4、在一些非限制性实施例或方面，所述至少一个处理器被进一步编程和/或配置成基于所述聚合机器学习模型的所述运行时输出执行动作。

5、在一些非限制性实施例或方面，当生成所述聚合机器学习模型时，所述至少一个处理器被编程和/或配置成基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出。所述至少一个处理器被进一步编程和/或配置成基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

6、在一些非限制性实施例或方面，所述至少一个处理器被进一步编程和/或配置成将扰动添加到所述多个数据实例中的一个或多个额外数据实例。所述至少一个处理器被进一步编程和/或配置成将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

7、在一些非限制性实施例或方面，当选择所述第一多个监督机器学习模型时，所述至少一个处理器被编程和/或配置成基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量。所述至少一个处理器被进一步编程和/或配置成基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集。在一些非限制性实施例或方面，当选择所述第二多个无监督机器学习模型时，所述至少一个处理器被编程和/或配置成基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量。所述至少一个处理器被进一步编程和/或配置成基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。

8、在一些非限制性实施例或方面，监督机器学习模型对时间延迟的所述灵敏度度量包括所述监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。在一些非限制性实施例或方面，无监督机器学习模型对时间延迟的所述灵敏度度量包括所述无监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。

9、根据一些非限制性实施例或方面，提供一种用于利用机器学习模型聚合学习以防止模型性能退化的计算机实施的方法。所述方法包括接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列。所述方法还包括将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集。所述方法进一步包括选择第一多个监督机器学习模型以及选择第二多个无监督机器学习模型。所述方法进一步包括基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型。所述方法进一步包括基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型。所述方法进一步包括基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

10、在一些非限制性实施例或方面，将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供所述经扩增的训练数据集包括：将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例。所述方法进一步包括将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例。所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

11、在一些非限制性实施例或方面，所述方法进一步包括基于所述聚合机器学习模型的所述运行时输出执行动作。

12、在一些非限制性实施例或方面，生成所述聚合机器学习模型包括：基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出。所述方法进一步包括基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

13、在一些非限制性实施例或方面，所述方法进一步包括将扰动添加到所述多个数据实例中的一个或多个额外数据实例。所述方法进一步包括将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

14、在一些非限制性实施例或方面，选择所述第一多个监督机器学习模型包括基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量。所述方法还包括基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集。在一些非限制性实施例或方面，选择所述第二多个无监督机器学习模型包括基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量。所述方法还包括基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。

15、在一些非限制性实施例或方面，监督机器学习模型对时间延迟的所述灵敏度度量包括所述监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。在一些非限制性实施例或方面，无监督机器学习模型对时间延迟的所述灵敏度度量包括所述无监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。

16、根据一些非限制性实施例或方面，提供一种用于利用机器学习模型聚合学习以防止模型性能退化的计算机程序产品。所述计算机程序产品包括至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括一个或多个指令，所述一个或多个指令在由至少一个处理器执行时使所述至少一个处理器接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列。所述一个或多个指令还使所述至少一个处理器将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集。所述一个或多个指令进一步使所述至少一个处理器选择第一多个监督机器学习模型以及选择第二多个无监督机器学习模型。所述一个或多个指令进一步使所述至少一个处理器基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型。所述一个或多个指令进一步使所述至少一个处理器基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型。所述一个或多个指令进一步使所述至少一个处理器基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

17、在一些非限制性实施例或方面，使所述至少一个处理器将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例的所述一个或多个指令使所述至少一个处理器将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例。所述一个或多个指令进一步使所述至少一个处理器将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例。在一些非限制性实施例或方面，所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

18、在一些非限制性实施例或方面，所述一个或多个指令进一步使所述至少一个处理器基于所述聚合机器学习模型的所述运行时输出执行动作。

19、在一些非限制性实施例或方面，使所述至少一个处理器生成所述聚合机器学习模型的所述一个或多个指令使所述至少一个处理器基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出。所述一个或多个指令进一步使所述至少一个处理器基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

20、在一些非限制性实施例或方面，所述一个或多个指令进一步使所述至少一个处理器将扰动添加到所述多个数据实例中的一个或多个额外数据实例。所述一个或多个指令进一步使所述至少一个处理器将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

21、在一些非限制性实施例或方面，使所述至少一个处理器选择所述第一多个监督机器学习模型的所述一个或多个指令使所述至少一个处理器基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量。所述一个或多个指令进一步使所述至少一个处理器基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集。在一些非限制性实施例或方面，使所述至少一个处理器选择所述第二多个无监督机器学习模型的所述一个或多个指令使所述至少一个处理器基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量。所述一个或多个指令进一步使所述至少一个处理器基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。

22、在以下编号条款中阐述其它实施例：

23、条款1：一种用于利用机器学习模型聚合学习以防止模型性能退化的系统，所述系统包括：至少一个处理器，其被编程或配置成：接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列；将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集；选择第一多个监督机器学习模型；选择第二多个无监督机器学习模型；基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型；基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型；以及基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

24、条款2：根据条款1所述的系统，其中当将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供所述经扩增的训练数据集时，所述至少一个处理器被进一步编程或配置成：将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例；以及将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例；并且其中所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

25、条款3：根据条款1或2所述的系统，其中所述至少一个处理器被进一步编程或配置成：基于所述聚合机器学习模型的所述运行时输出执行动作。

26、条款4：根据条款1至3中任一项所述的系统，其中当生成所述聚合机器学习模型时，所述至少一个处理器被编程或配置成：基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出；以及基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

27、条款5：根据条款1至4中任一项所述的系统，其中所述至少一个处理器被进一步编程或配置成：将扰动添加到所述多个数据实例中的一个或多个额外数据实例；以及将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

28、条款6：根据条款1至5中任一项所述的系统，其中当选择所述第一多个监督机器学习模型时，所述至少一个处理器被编程或配置成：基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量；以及基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集；并且其中当选择所述第二多个无监督机器学习模型时，所述至少一个处理器被编程或配置成：基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量；以及基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。

29、条款7：根据条款1至6中任一项所述的系统，其中监督机器学习模型对时间延迟的所述灵敏度度量包括所述监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量；并且其中无监督机器学习模型对时间延迟的所述灵敏度度量包括所述无监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。

30、条款8：一种用于利用机器学习模型聚合学习以防止模型性能退化的方法，所述方法包括：利用至少一个处理器接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列；利用至少一个处理器将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集；利用至少一个处理器选择第一多个监督机器学习模型；利用至少一个处理器选择第二多个无监督机器学习模型；利用至少一个处理器基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型；利用至少一个处理器基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型；以及利用至少一个处理器基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

31、条款9：根据条款8所述的系统，其中将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供所述经扩增的训练数据集包括：将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例；以及将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例；并且其中所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

32、条款10：根据条款8或9所述的方法，还包括基于所述聚合机器学习模型的所述运行时输出执行动作。

33、条款11：根据条款8至10中任一项所述的方法，其中生成所述聚合机器学习模型包括：基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出；以及基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

34、条款12：根据条款8至11中任一项所述的方法，还包括：将扰动添加到所述多个数据实例中的一个或多个额外数据实例；以及将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

35、条款13：根据条款8至12中任一项所述的方法，其中选择所述第一多个监督机器学习模型包括：基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量；以及基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集；并且其中选择所述第二多个无监督机器学习模型包括：基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量；以及基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。

36、条款14：根据条款8至13中任一项所述的方法，其中监督机器学习模型对时间延迟的所述灵敏度度量包括所述监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量；并且其中无监督机器学习模型对时间延迟的所述灵敏度度量包括所述无监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。

37、条款15：一种用于利用机器学习模型聚合学习以防止模型性能退化的计算机程序产品，所述计算机程序产品包括至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括一个或多个指令，所述一个或多个指令在由至少一个处理器执行时使所述至少一个处理器：接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列；将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集；选择第一多个监督机器学习模型；选择第二多个无监督机器学习模型；基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型；基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型；以及基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

38、条款16：根据条款15所述的计算机程序产品，其中使所述至少一个处理器将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例的所述一个或多个指令使所述至少一个处理器：将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例；以及将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例；并且其中所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

39、条款17：根据条款15或16所述的计算机程序产品，其中所述一个或多个指令进一步使所述至少一个处理器：基于所述聚合机器学习模型的所述运行时输出执行动作。

40、条款18：根据条款15至17中任一项所述的计算机程序产品，其中使所述至少一个处理器生成所述聚合机器学习模型的所述一个或多个指令使所述至少一个处理器：基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出；以及基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

41、条款19：根据条款15至18中任一项所述的计算机程序产品，其中所述一个或多个指令进一步使所述至少一个处理器：将扰动添加到所述多个数据实例中的一个或多个额外数据实例；以及将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

42、条款20：根据条款15至19中任一项所述的计算机程序产品，其中使所述至少一个处理器选择所述第一多个监督机器学习模型的所述一个或多个指令使所述至少一个处理器：基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量；以及基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集；并且其中使所述至少一个处理器选择所述第二多个无监督机器学习模型的所述一个或多个指令使所述至少一个处理器：基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量；以及基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。

43、在参考附图考虑以下描述和所附权利要求书之后，本公开的这些和其它特征和特性以及相关结构元件和各部分的组合的操作方法和功能以及制造经济性将变得更加显而易见，所有附图形成本说明书的部分，其中相似附图标号在各图中标示对应部分。然而，应明确地理解，图式仅用于说明及描述的目的，且不希望作为对本公开的限制的定义。除非上下文另外明确规定，否则在本说明书和权利要求书中使用时，单数形式“一”和“所述”包括多个指示物。