用于机器学习架构中的分层训练的系统和方法
【技术领域】
[0001]本说明书涉及机器学习，以及更具体地涉及用于在机器学习架构中使用分层训练的方法和系统。
【背景技术】
[0002]在线机器学习的已知方法接收流送数据来训练模型以符合流送数据。此外，机器学习的其他已知方法接收批量数据来训练模型以符合接收的批量数据。至少一些已知系统基于与之相关联的时间来区分流送数据。因此，当流送数据晚到达时，可能在缺少该数据的情况下已训练了模型。因此，在至少一些已知系统中，流送数据到达的延迟要求重构、重新校准或重新学习模型。这样的延迟可以进一步导致不稳定性，因为晚到达的数据可能导致模型的重大调整。在至少一些已知系统中，在训练前，系统等待所有晚到达的数据可能低效或不实际。
【发明内容】
[0003]在一个方面中，提供了一种用于机器学习架构的分层训练的计算机实现方法。该方法由耦接到存储器的训练计算设备实现。该方法包括接收多个数据元素，其中每个数据元素与时间戳相关联;确定用于分层模型层栈的每个模型层的训练窗口；通过利用于每个训练窗口相对应的时间戳来识别数据元素，确定用于每个训练窗口的多个训练数据元素；如果用于每个模型层的在前检查点存在，识别用于每个模型层的在前检查点，其中由父模型层生成用于每个模型层的在前检查点；利用确定的用于每个模型层的训练数据元素，以及如果有的话，利用识别的用于每个模型层的在前检查点，训练每个模型层;生成多个当前检查点，其中多个当前检查点中的每个当前检查点与模型层相关联，以及将多个当前检查点存储在存储器处。
[0004]在另一个方面中，提供了一种用于机器学习架构的分层训练的训练计算设备。该训练计算设备包括用于存储数据的存储器，以及与存储器通信的处理器。处理器被配置为接收多个数据元素，其中每个数据元素与时间戳相关联;确定用于分层模型层栈的每个模型层的训练窗口；通过利用与每个训练窗口相对应的时间戳来识别数据元素，确定用于每个训练窗口的多个训练数据元素；如果用于每个模型层的在前检查点存在，识别用于每个模型层的在前检查点，其中由父模型层生成用于每个模型层的在前检查点；利用确定的用于每个模型层的训练数据元素，以及如果有的话，利用识别的用于每个模型层的在前检查点，训练每个模型层;生成多个当前检查点，其中多个当前检查点中的每个当前检查点与模型层相关联，以及将多个当前检查点存储在存储器处。
[0005]在另一方面，提供了一种用于机器学习架构的分层训练的计算机可读存储介质，在其上实现有处理器可执行指令，当被计算设备执行时，处理器可执行指令使计算设备接收多个数据元素，其中，每个数据元素与时间戳相关联;确定用于分层模型层栈的每个模型层的训练窗口；通过利用与每个训练窗口相对应的时间戳来识别数据元素，确定用于每个训练窗口的多个训练数据元素；如果用于每个模型层的在前检查点存在，识别用于每个模型层的在前检查点，其中由父模型层生成用于每个模型层的在前检查点；利用确定的用于每个模型层的训练数据元素，以及如果有的话，利用识别的用于每个模型层的在前检查点，训练每个模型层;生成多个当前检查点，其中多个当前检查点中的每个当前检查点与模型层相关联，以及将多个当前检查点存储在存储器处。
[0006]在一个方面中，提供了一种用于机器学习架构的分层训练的系统。该系统包括用于接收多个数据元素的装置，其中每个数据元素与时间戳相关联；用于确定用于分层模型层栈的每个模型层的训练窗口的装置;用于通过利用与每个训练窗口相对应的时间戳来识别数据元素，确定用于每个训练窗口的多个训练数据元素的装置；用于如果用于每个模型层的在前检查点存在，识别用于每个模型层的在前检查点的装置，其中，由父模型层生成用于每个模型层的在前检查点；用于利用确定的用于每个模型层的训练数据元素，以及如果有的话，利用识别的用于每个模型层的在前检查点，训练每个模型层的装置;用于生成多个当前检查点的装置，其中多个当前检查点中的每个当前检查点与模型层相关联，以及用于将多个当前检查点存储在存储器处的装置。
[0007]在另一方面中，提供了上面描述的系统，其中，该系统进一步包括用于通过应用至少一个机器学习算法，使每个模型层适应对每个模型层确定的训练数据元素的装置。
[0008]在另一方面中，提供了上面描述的系统，其中，该系统进一步包括用于确定每个模型层的层深的装置；用于检索训练模型配置的装置，其中训练模型配置指定与每个层深相关联的训练延迟记录；用于基于训练模型配置来识别与每个模型层的层深相关联的训练延迟的装置；以及用于基于用于每个模型层的训练延迟来计算训练窗口的装置。
[0009]在另一方面中，提供了上面描述的系统，其中，该系统进一步包括用于使外部服务器和与至少一个模型层相关联的至少一个当前检查点同步的装置，其中，外部服务器至少部分地基于同步的当前检查点服务。
[0010]在另一方面中，提供了上面描述的系统，其中，该系统进一步包括用于确定用于每个模型层的层深的装置;用于检索训练模型配置的装置，其中训练模型配置指定与每个层深相关联的训练持续时间；用于基于训练模型配置来识别与每个模型层的层深相关联的训练持续时间的装置;用于在识别的训练持续时间内训练模型层的装置；以及用于将每个模型层处理为当前检查点的装置。
[0011]在另一方面中，提供了上面描述的系统，其中，该系统进一步包括用于清除用于每个模型层的在前检查点的装置;以及用于重新训练每个模型层的装置。
[0012]在另一方面中，提供了上面描述的系统，其中，该系统进一步包括用于相对于多个数据元素来验证多个当前检查点中的每个检查点的装置；以及用于将多个当前检查点中的验证过的检查点存储在存储器处的装置。
[0013]在另一方面中，提供了上面描述的系统，其中，该系统进一步包括用于接收多个转化数据的装置，其中转化数据表示与派发在线广告相关联的转化活动。
[0014]在此所述的特征、功能和优点可以在本公开的各个实例中单独地实现，或可以在其他实施例中组合，参考下述描述和附图，可以了解进一步的细节。
【附图说明】
[0015]图1是描绘示例性广告环境的图；
[0016]图2是如在图1的广告环境中所示，用于机器学习架构的分层训练的计算设备的框图；
[0017]图3是用于训练不使用在此所述的系统和方法的机器学习架构的典型训练系统的已知过程；
[0018]图4是在图1所示的广告环境中将分层训练用于图1的计算设备上的机器学习架构的训练系统的示例性数据流程图；
[0019]图5是包括晚到达数据的处理的图4的训练系统的示例性数据流程图；
[0020]图6是使用图1的广告环境用于机器学习架构的分层训练的示例性方法；以及
[0021]图7是可以用在图1所示的环境中的一个或多个示例性计算设备的部件的图。
[0022]尽管在一些图中可能示出了各个实施例的特定特征而在其他图中未示出，但这仅是为了方便。任一图的任何特征可以与任何其他图的任何特征结合被引用和/或要求保护。
【具体实施方式】
[0023]实现的下述详细描述参考附图。不同图中的相同参考数字可以识别相同或类似的元件。而且，下面的详细描述不限制权利要求。
[0024]在此所述的主题通常涉及机器学习架构，诸如梯度下降机器学习架构的训练。如在此所使用的，机器学习系统是能基于应用分析法、数值法或这些方法的任意组合从数据学习的系统。具体地，在此所述的方法和系统使得能够接收多个数据元素，其中每个数据元素与时间戳相关联，对模型层的分层栈的每个模型层，确定训练窗口，通过利用与每个训练窗口相对应的时间戳识别数据元素，确定用于每个训练窗口的多个训练数据元素，识别用于每个模型层的在前检查点，其中由父模型层生成用于每个模型层的在前检查点，利用对每个模型层确定的训练数据元素和识别的用于每个模型层的在前检查点，训练每个模型层，生成多个当前检查点，其中多个当前检查点中的每个当前检查点与模型层相关联，并且将多个当前检查点存储在存储器处。
[0025]在许多示例中，机器学习系统能基于其他数据的在前分析来学习进行有关新数据的推断。机器学习架构可以用来基于包括例如转化数据的数据来创建自适应模型。转化数据可以指示在线广告主(“用户”)的潜在客户的行动或不行动。更具体地，转化数据可以包括有关转化行动(包括点击、购买和与在线广告主的其他交互)的信息。在许多示例中，转化数据可以包括与用户、广告主、转化的上下文、转化的位置和时间的信息。可以分析这样的转化数据来确定用于未来在线广告的转化的可能模式。
[0026]尽管机器学习系统可以用于纯分析目的，但是至少一些机器学习系统用来做出运营决定。例如，在在线广告的情况下，了解转化数据的机器学习系统能帮助派发和管理在线广告活动。有关用于未来在线广告的转化的可能模式的提高的知识能帮助增强派发和管理在线广告活动。
[0027]不管机器学习系统是否用来进行运营决定，期望机器学习系统平衡将用在运营或分析能力中的至少三个不同考虑。首先，用来便于机器学习或“训练”的数据集尽可能完整很重要。在数据不可用于机器学习系统的程度，由这样的系统开发的模型比可能基于机器学习随更广泛数据提高的假定更不准确。因此，当数据异步到达时，可能期望在处理一系列训练数据以训练该模型前，等待晚到达的数据。
[0028]其次，由机器学习系统产生的模型稳定以便可用在运营环境中很重要。任何到达的数据将使模型被重新训练和改变。如果数据异步到达，晚到达的数据会导致训练模型改变。这对这样的训练系统带来问题，因为模型在特定时间范围训练然后由于晚到达的数据而重新训练。如果该模型用于做出运营决定，影响是该模型可能指示基于特定数据集的一个决定，然后，在接收晚到达的数据并且训练后，可能指示不同决定。
[0029]第三，模型尽可能最新并且响应环境很重要。在一些情况下，机器学习系统学习的数据的特征能够明显改变。在对转化数据的机器学习的示例中，广告、客户行为或可用产品和服务的特定改变会显著地变更转化数据，因此，导致对转化数据训练的模型的改变。
[0030]通过在机器学习系统处理数据前应用延迟时段将适应数据的稳定性和完整性的考虑。换句话说，通过等待基本上所有训练数据到达，可以适应数据的稳定性和完整性的考虑。然而，这样的延迟时段不适应最新的考虑。这是因为在至少一些情况下，等待基本上所有训练数据到达会妨碍对环境的变化的响应性。换句话说，在这样的延迟时段期间，环境的条件会改变，但模型在一些间隔或持续时间内未检测该变化。
[0031]在此所述的方法和系统通过使用分层训练模型训练机器学习架构来解决这三个顾虑。分层训练模型包括具有不同的延迟时段的模型栈。模型栈中的每个模型与父-子关系中的至少一个其他模型有关。
[0032]在机器学习架构中，区分事件时间很重要。导致生成训练数据的事件发生的时间可以被称为“事件时间”。在一些数据包括转化数据的情况下，事件可能与参考事件(诸如显示广告)有关。参考事件的时间可以被称为“参考时间”。机器学习系统接收数据的时间可以