自动生成传感器数据的时间序列的训练数据的制作方法

自动生成传感器数据的时间序列的训练数据
1.本公开涉及辅助设备和方法，用于自动生成传感器数据的时间序列的训练数据，进一步称为时间传感器数据，其被应用于训练用于检测技术系统的反常行为的人工智能系统。
2.在各种技术领域中，需要监测技术系统的操作。例如，在石油或天然气生产、重工业、运输和自动化系统的领域中，大量的机器、驱动器以及还有控制器被监测，以检测或者甚至预测反常操作，并且从而使能例如进行预防性维护，以确保技术系统的高可用性。
3.合期望的是利用至少部分基于人工智能(进一步缩写为ai)的监测机制来高效地监测大量机器。这样的基于ai的机制分析由监测机器的多个参数的各种传感器获得的数据的时间序列，自动标识异常行为，并触发措施以解决引起异常行为的问题，例如通过向操作者发出警告。
4.ep3706048a1公开了另一种基于ai的异常检测和预测方法。
5.用于检测异常的人工智能模型(例如机器学习模型或神经网络)通过表征被监测机器的操作数据的传感器数据的时间序列来训练。这些应用的人工智能模型的性能和输出的质量主要取决于用于训练人工智能模型的选定数据。
6.为了训练这样的ai模型，通常需要提供手动标记的训练数据。在这样的标记数据中，标记标识时间窗，在该时间窗中时间序列数据表现出特定类型的动态，即相似的数据分布，其指示异常或规则的行为。手动标记是繁琐的过程。另外，时间窗宽度的手动设置通常是不准确的，并且通常解决了将时间窗设置得太宽，因此不仅覆盖了感兴趣的行为，而且还覆盖了其他数据。
7.ep3671576al公开了一种在系统组件的时间序列数据中确定时间窗的方法，该时间窗进一步被称为分段。从至少一个组件或从至少一个传感器接收的时间序列数据被划分成时间序列的分段。通过使用隐马尔可夫模型，示出相似特征(即数据分布)的分段被分配给若干聚类的相同聚类。聚类是基于预定义的概率描述模型构建的。
8.在许多应用领域中，对用于训练ai系统的合适数据的选择已经手动完成，或者基于随机原则(例如混洗方法)来完成，或者通过选择要监测的机器的数据的可用时间序列的总体数据的部分来完成。在混洗方法中，总体时间序列数据被划分成若干分段，并且这些分段以互换的次序重新组装，以构建与原始的总体时间序列数据相似的新的时间序列数据。
9.us 2017/184643 a1公开了一种用于为电气设备监测系统提供训练数据的训练数据生成设备。电气设备监测系统根据众多不同电气设备的功耗的总和测量来确定单个电气设备的功耗。设置组——即其中确定代表性功率值和特征量的单元，使得当在正常状态下使用电气设备时示出功耗值。针对每个组确定代表性功率值和特征量。没有设置包括当电气设备以正常形式使用时很少示出的功耗值的组，并且没有生成对应于功耗值的训练数据。减少了训练数据片段的数量，但是生成了对应于具有高发生率的功耗值的训练数据。然而，这些过程非常耗时，并且容易受到错误或不合适的数据选择的影响。因此，本技术的目的是以快速且可靠的方式生成数据时间序列的训练数据，该训练数据以高概率表示被监测技术系统的正常行为。
10.该目的通过独立权利要求的特征来解决。从属权利要求包含本发明的进一步发展。
11.第一方面涉及一种辅助设备，用于自动生成传感器数据的时间序列的训练数据，进一步称为时间传感器数据，其被应用于训练用于检测技术系统的异常行为的人工智能系统，该辅助设备包括至少一个处理器，该处理器被配置为执行
[0012]-获得在所述技术系统或相似技术系统处测量的至少一个历史时间传感器数据，
[0013]-将历史时间传感器数据划分成时间分段序列，并将若干不同分段类型当中的一种分段类型分配给每个分段，其中每种分段类型由时间传感器数据的相似数据分布来表征，
[0014]-对于每个分段，迭代地确定分段类型的邻域模式，该邻域模式包括第一数量的相邻在先分段的分段类型、所述(即所考虑的)分段的分段类型和第二数量的相邻后续分段的分段类型，
[0015]-从所有确定的邻域模式中确定最频繁出现的邻域模式作为技术系统正常操作的参考模式，
[0016]-从历史时间传感器数据当中选择根据参考模式排序的分段子序列，以及
[0017]-输出分段子序列以应用为训练数据。
[0018]
人工智能系统(进一步称为ai系统)是运行基于人工智能的模型的设备，例如检测技术系统的反常行为的机器学习模型。技术系统可以是任何机械装置，如泵、涡轮机、压力机、电机、驱动器，但是它也可以是电子装置，如控制设备、现场设备或自动化工厂中的其他设备。历史时间传感器数据反映了在一段时间内(例如几天、几个月或几年)操作中的技术系统，其以常见的、主要正常的操作模式运行。时间分段序列由连续的分段组成，在两个分段之间没有任何时间间隙。如果与历史时间传感器数据中确定的所有邻域模式相关的邻域模式的比率等于或超过预定义阈值，则所述邻域模式被确定为参考模式，即最频繁出现的邻域模式。输出分段子序列以应用为训练数据意味着换句话说，提供分段子序列作为辅助设备的输出，以用作训练ai系统的输入时间传感器数据。
[0019]
从历史时间传感器数据当中选择根据参考模式排序的分段子序列是基于技术系统正绝大部分时间在正常操作中工作的假设。在正常操作中工作的技术系统可以被解释为连续操作模式的总和，其中数据分布改变，但是操作模式以相同的次序且重复出现。因此，确定最频繁出现的邻域模式并从历史时间数据当中选择根据这些参考模式排序的分段子序列很可能是反映正常操作中的技术系统的时间传感器数据。因此，使用这些选定的分段子序列来训练人工智能系统示出反映想要的操作模式的高概率。该设备还具有这样的优点，即正常模式的中断被过滤掉，并且不会出现在被输出并用作训练数据的选定子序列中。这确保人工智能系统在正常模式时间传感器数据上被适当训练，而不会误导破坏性传感器数据分布。
[0020]
根据一实施例，辅助设备进一步包括用户接口，该用户接口被配置为从设备的用户接收第一和第二数量。
[0021]
这允许取决于输入的历史传感器数据和要被经训练的ai系统监测的不同技术系统来调谐和优化训练数据生成。如果正常操作中的技术系统示出很少的不同模式，则第一和第二数量可以被设置为低的数量，而对于示出若干正常操作模式的技术系统，用户可以
输入较高的第一和第二数量。第一和第二数量可以具有相同的值或不同的值。
[0022]
根据本发明，辅助设备被配置为使得邻域模式由至少两种不同的分段类型组成。
[0023]
这允许在历史时间传感器数据中定义简单的邻域模式。因此，第一和第二数量中最多有一个可以具有零值。
[0024]
根据进一步的实施例，通过对历史时间传感器数据应用无监督分段算法来执行将历史时间传感器数据划分成时间分段序列以及将若干不同分段类型当中的一种分段类型分配给每个分段。
[0025]
无监督分段算法基于适用于时间序列数据的无监督聚类算法。无监督分段算法自动确定分段的聚类，该聚类示出分段内相似的数据分布。聚类的类型不是预定义的，而是它们由无监督划分算法本身确定。分段本身由连续的时间传感器数据点组成。作为该特征的结果，历史时间传感器数据由时间传感器数据的连续分段组成，其中邻域分段具有不同的分段类型。
[0026]
根据进一步的实施例，辅助设备被配置为使得通过取决于历史时间传感器数据上的邻域模式应用贪婪算法来执行该分段子序列的选择。
[0027]
贪婪算法是遵循在每个阶段处做出局部最优选择的问题求解启发法的任何算法。贪婪算法根据预定义的模式(这里是参考模式)提供分配序列的快速处理。
[0028]
根据进一步的实施例，每种分段类型的分段可以具有各种时间长度。
[0029]
这考虑到仅分段的分段类型的次序是相关的，而不是每个分段的持续时间如此。
[0030]
根据进一步的实施例，根据相同参考模式排序的若干子序列被连结成扩展序列，并且该扩展子序列作为训练数据输出。
[0031]
这在时间上提供了更长的训练数据，并且包括训练数据相对于分段的时间长度的更多变化。
[0032]
根据进一步的实施例，辅助设备被配置为使得确定至少两个不同的参考模式，并且为每个不同的参考模式选择单独的分段子序列，并且输出这些子序列中的每个，其中每个子序列包括根据相应的参考模式排序的分段。
[0033]
这提供了这样的优点，即在训练数据中包括历史时间传感器数据中的更多变化。这些变化符合不同的正常操作模式，即示出不同数据结构的技术正常操作的子模式。
[0034]
根据进一步的实施例，辅助设备被配置为使得不同参考模式的子序列被连结以形成混合扩展子序列，并且混合扩展子序列作为输出被发布。
[0035]
尤其是在根据一个参考模式的分段在时间上非常短的情况下，长时间的持续时间的子序列可以通过这样的连结来组装。
[0036]
根据进一步的实施例，辅助设备被配置为使得时间传感器数据的混合扩展子序列的两个连结子序列的连接部分被重新采样，以平滑连结的子序列之间的过渡。
[0037]
这防止输出分段(即训练数据)中导致人工智能系统中的错误解释的任何不连续和/或中断。
[0038]
第二方面涉及一种用于训练人工智能系统的训练系统，该人工智能系统用于检测技术系统的异常行为，该训练系统包括：数据提供单元，被配置为准备和提供在所述技术系统或类似技术系统处测量的历史时间传感器数据；具有前述特征的辅助设备；以及人工智能系统，包括至少一个处理器，被配置用于接收分段子序列并应用分段子序列来训练用于
检测异常行为的人工智能功能。
[0039]
第三方面涉及一种用于自动生成传感器数据的时间序列的训练数据的方法，所述训练数据进一步称为时间传感器数据，其被应用于训练用于检测技术系统的异常行为的人工智能系统，包括
[0040]-获得在设置的或相似的技术系统处测量的至少一个历史时间传感器数据，
[0041]-将历史时间传感器数据划分成时间分段序列，并将若干不同分段类型当中的一种分段类型分配给每个分段，其中每种分段类型由时间传感器数据的相似数据分布来表征，
[0042]-对于每个分段，迭代地确定分段类型的邻域模式，该邻域模式包括第一数量的相邻在先分段的分段类型和所述(即所考虑的)分段的分段类型以及第二数量的相邻后续分段的分段类型，
[0043]-从所有确定的邻域模式中确定最频繁出现的邻域模式作为技术系统正常操作的参考模式，
[0044]-从历史时间传感器数据当中选择根据参考模式排序的分段子序列，以及
[0045]-输出用于应用训练数据的分段子序列。
[0046]
第四方面涉及一种可直接加载到数字计算机的内部存储器中的计算机程序产品，包括当该产品在所述数字计算机上运行时用于执行该方法的步骤的软件代码部分。
[0047]
将参考附图更详细地解释本发明。相似的对象将由相同的附图标号来标记。
[0048]
图1示意性地图示了用于自动生成训练数据的应用场景。
[0049]
图2示意性地图示了根据本公开实施例的辅助设备。
[0050]
图3示出了用于图示根据本公开实施例的方法的流程图。
[0051]
图4示意性地图示了根据本公开实施例的分段子序列的选择。
[0052]
图5示出了根据本公开另一个实施例的历史时间传感器数据和选定的子序列；和
[0053]
图6示出了用于图示根据本公开的技术系统的结构的框图。
[0054]
注意，在以下实施例的详细描述中，附图仅是示意性的，并且图示的元件不一定按比例示出。而是，附图意图图示组件的功能和协作。这里，要理解，功能块、设备、组件或其他物理或功能元件的任何连接或耦合也可以通过间接连接或耦合、例如经由一个或多个中间元件来实现。元件或组件的连接或耦合可以例如通过基于有线的、无线连接和/或基于有线的和无线连接的组合来实现。功能块可以由专用硬件、由固件、由软件和/或由专用硬件和固件或软件的组合来实现。
[0055]
图1示出了包括技术系统100、数据提供单元200、辅助设备300和ai系统400的应用场景。技术系统100例如可以是用于石油和天然气生产的泵、发电厂中的涡轮机、重工业或生产工厂中的机械、液压或电气驱动器，或者自动化系统中的电子设备，如控制器或现场设备。技术系统100的物理参数(如压力、温度、振动、吞吐量)通过传感器随时间监测技术系统100来测量。随时间测量的传感器信号进一步被称为传感器数据的时间序列或简称为时间传感器数据。时间传感器数据还可以指示由若干传感器信号的组合产生的导出参数，并且表示技术系统100的导出参数。所得到的传感器数据的一个或若干时间序列被传输并存储在数据提供单元200中，例如数据库中。存储的时间传感器数据被命名为历史时间传感器数据，因为该数据是在过去测量的。历史传感器数据的一个示例在图1中由附图标记201图示。
[0056]
辅助设备300被配置为接收历史传感器数据201，并将历史时间传感器数据201划分成分段，并将不同分段类型集合当中的分段类型分配给每个分段。选择至少一个分段子序列，其包括根据参考模式排序的分段并作为输出发布，以用作训练数据来训练用于检测反常行为的人工智能系统400。这样的经训练的ai系统可以用于监测递送历史时间传感器数据以用于生成训练数据的同一技术系统100，或者它可以用于监测类似于技术系统400的技术系统。
[0057]
历史时间传感器数据201的选定的一个或若干子序列表示示出正常行为的技术系统100。这些子序列是基于技术系统100很经常在正常模式下操作并且表示正常模式的时间传感器数据应该很经常出现在所获得的历史传感器数据201中的假设来选择的。在例如工业机器的技术系统中，正常模式可以被解释为其中数据分布改变的连续子模式的总和，但是子模式以相同的次序且重复地出现。根据该假设，辅助设备确定在所有历史时间传感器数据中出现最频繁的连续分段类型序列的参考模式。每个分段表示时间传感器数据的时间窗，该时间窗示出由若干子模式之一表征的传感器数据分布，并且所分配的分段类型表示子模式的类型。所确定的连续分段类型的序列被称为邻域模式。
[0058]
辅助设备300选择根据参考模式排序的分段子序列，并输出该分段子序列作为训练数据，该训练数据可以输入到ai系统400中，以训练用于检测技术系统100或相似技术系统的异常行为的ai系统。
[0059]
经训练的ai系统400可以监测由虚线箭头标记的技术系统100的操作，因为在技术系统100的当前操作期间检测到的时间传感器数据作为输入被ai系统400获得，其递送指示技术系统100正在正常操作还是反常操作的概率值。
[0060]
图2更详细地示出了辅助设备。辅助设备300包括至少一个处理器，所述处理器被配置为形成数据输入接口301、选择单元302、数据输出接口303和用户接口304。数据输入接口301被配置为获得例如以时间传感器数据的向量序列的形式的历史时间传感器数据201，其中每个向量指的是专用的指向时间，并且向量的元素表示由传感器测量的每个监测参数的传感器值或者从测量参数的组合导出的传感器数据。
[0061]
选择单元302如图3中更详细描述的那样处理历史时间传感器201数据，并且经由数据输出接口303传输历史时间传感器数据201当中的一个或若干选定的分段子序列，以应用为训练数据。
[0062]
为了使选择单元302适应不同技术系统的历史传感器数据，所述不同技术系统示出不同的行为，并且尤其是不同数量的正常行为模式，用户接口304被配置为接收设置，例如被考虑用于评估邻域的第一和/或第二数量分段的值。
[0063]
选择单元302被配置用于通过应用基于ai的功能来执行子序列的分段和选择。
[0064]
由选择单元301执行的步骤和用于自动生成时间传感器数据的训练数据的相应方法在图3中示出。
[0065]
在第一步骤s1中，经由数据输入接口301获得在所述技术系统100或相似技术系统处测量的历史时间传感器数据。
[0066]
在步骤s2中，历史时间传感器数据被划分成时间分段序列。将若干不同分段类型当中的一种分段类型分配给每个分段。每种分段类型由时间传感器数据的相似数据分布来表征。通过对历史时间时间序列数据应用无监督分段算法，执行将历史时间传感器数据划
分成时间分段序列，并将若干不同分段类型当中的一种分段类型分配给每个分段。
[0067]
在无监督分段算法的示例实施例中，该算法将历史传感器数据划分成传感器数据单元，并通过专用特征定义来确定特征，即具有相似数据分布的数据序列。具有相似特征的单元被分配给一聚类。基于预定义的概率描述模型(优选地是隐马尔可夫模型)来构建聚类。在某个连续时间量内示出隐马尔可夫模型的相同状态的那些传感器数据单元被分配为一分段。
[0068]
无监督分段算法的进一步优选实施例应用基于特征的动态网络，其中通过确定多变量概率模型的矩阵来估计对于两个不同传感器的每个组合以及对于每个时间窗的两个不同传感器之间的关系。每个精度矩阵元素表示两个传感器之间的关系。精度矩阵元素的时间过程通过在精度矩阵应是稀疏的(即低秩矩阵)并且精度矩阵元素应随时间平滑改变的约束下求解优化问题来确定。
[0069]
在步骤s3中，选择单元302遍历检测到的分段，以标识被称为邻域模式的分段类型的重复序列。详细地，对于每个分段，确定并存储分段类型的邻域模式，该邻域模式包括第一数量的相邻在先分段的分段类型和实际考虑的分段的分段类型以及第二数量的相邻后续分段的分段类型。换句话说，对于每个分段，确定后继分段或更正确的后继分段的分段类型和处理器分段的分段类型。作为结果，对于每个检测到的分段，存在关于其后继和前任分段类型的历史。邻域模式由至少两种不同的分段类型组成。第一数量的相邻在先分段和第二数量的相邻后续分段可以经由用户接口303预定义和适配。
[0070]
在步骤s4中，来自所有确定的邻域模式的最频繁出现的邻域模式被确定为参考模式。参考模式表示技术系统的正常操作。换句话说，基于历史结果，选择单元302的ai功能遍历检测到的前任和后继的结果，并且寻找以相同次序出现并且频繁出现在历史时间传感器数据201中的分段。检测到的邻域模式被确定，并且不能再从右侧或从左侧手动扩展。
[0071]
在步骤s5中，从历史传感器数据当中选择根据参考模式排序的至少一个分段子序列。优选地，通过取决于历史时间传感器数据上的邻域模式应用贪婪算法来执行分段子序列的选择。贪婪算法求解了最大化问题，并提供历史时间传感器数据作为时间上最大长度的时间传感器数据的子序列的输入，该子序列仅由根据参考模式的分段组成，并且在它们之间没有时间间隙。这意味着选定的子序列由示出参考模式的历史传感器数据分段组成，在这些分段之间没有任何间隙。如果不是参考模式的一部分或者不按照参考模式中规定的次序的分段类型的分段遵循根据参考模式的分段序列，则选定的分段子序列被终止。
[0072]
可以从邻域模式当中检测到若干参考模式。作为参考模式的邻域模式的标准是，例如，所考虑的邻域模式在历史时间数据的所有确定的邻域模式中出现的最小份额的阈值。
[0073]
通过将根据相同参考模式排序的若干子序列连结成扩展的子序列，可以扩展选定的分段子序列的长度，即时间扩展，然后将扩展的子序列作为训练数据输出。在确定若干参考模式的情况下，可以通过连结参考不同参考模式的子序列来扩展子序列的长度。图4中示出了选定的分段子序列的结构和内容的细节。
[0074]
在最后的步骤s6中，输出分段子序列，用于将分段子序列作为训练数据应用于例如如图1中所描绘的ai系统400。
[0075]
以简化的方式，图4示出了被划分成连续分段211，
…
，222的历史时间传感器数据
201的至少一部分。历史时间传感器数据201由例如表示技术系统的不同参数的若干时间传感器数据sd1，
…
，sdn组成。分段类型a、b、c、d当中的分段类型被分配给分段211，
…
，222中的每个。例如，分段类型a被分配给分段211，分段类型b被分配给分段212。
[0076]
通过为每个分段考虑与所考虑的分段相邻并在其之前的第一数量的分段的分段类型、所考虑的分段的分段类型和与所考虑的分段相邻并在其之后的第二数量的分段的分段类型来确定邻域模式。邻域模式中分段类型的最小数量是两个。在提供的示例中，第一数量是零并且第二数量是一。结果，邻域模式由两种分段类型组成，即所考虑的分段的分段类型和相邻后续分段的分段类型。例如，在图4中，对于所考虑的分段211的检测到的邻域模式是邻域模式(a，b)，对于所考虑的分段212，邻域模式是(b，a)，对于所考虑的分段216，邻域模式是(a，c)，对于所考虑的分段217，邻域模式是(c，d)，以此类推。
[0077]
邻域模式(a，b)由分段类型的有序对组成，其中分段类型a在分段类型b之后。该邻域模式(a，b)频繁地被发现并被确定为参考模式。进一步地，由分段类型d、a的有序序列组成的邻域模式(d，a)被确定为频繁出现的参考模式。通过标记根据参考模式排序的那些分段，检测到的参考模式随后被映射回到历史时间传感器数据201。子序列ss 1由参考模式(a，b)产生并包括分段211和212，子序列ss2由参考模式(d，a)产生并包括分段218和219。
[0078]
分段类型的分段可以具有各种长度，例如参见分段类型b的分段211、216、219、221。对应于相同参考模式的相似子序列可以示出不同的时间长度。在一个选项中，贪婪算法可以确定时间上最长的子序列，该子序列仅包括根据参考模式排序的分段的实例，例如ss 1。在第二选项中，贪婪算法选择根据相同参考模式排序的所有相邻子序列的扩展子序列。在图4中，分段211、212、213、214、215被连结成扩展子序列ess1，分段218、219、220、221被连结成扩展子序列ess2。子序列ess 1、ess2作为训练数据输出。
[0079]
作为进一步的选项，不同参考模式的子序列被连结以形成混合扩展子序列，并且该混合扩展子序列作为训练数据输出。在图4中所示的示例中，通过将扩展子序列ess2与根据参考模式(a，b)的包括分段221、222的子序列连结起来，选择混合扩展子序列mess 1，所述扩展子序列ess2包括包含分段类型d、a的参考模式的两个相邻子序列。时间传感器数据的混合扩展连结子序列的两个连结子序列的连接部分被重新组装，以平滑不同子序列之间的过渡。在分段214和215之间的子序列13的末端处，在示例历史时间传感器数据210中执行这样的重新组装。
[0080]
图5示出了历史时间传感器数据202的另一实施例，其包括时间传感器数据sd11、时间传感器数据sd12直到时间传感器数据sdln。历史时间传感器数据202被分段，并且分段类型被分配给由不同阴影指示的每个分段。历史时间传感器数据220的选定子序列203作为训练数据输出。在该实施例中，确定了两个参考模式，第一个包括有序序列类型(a，b)，并且第二个包括有序序列类型(a，c)。根据参考模式(a，b)，子序列ss10包括两个分段。扩展子序列ess10包括示出参考模式(a，b)的若干连续分段。通过将参考模式(a，b)的扩展子序列与参考模式(a，c)的子序列以及与参考模式(a，b)的另一个扩展子序列连结，生成混合扩展子序列mess10。连结子序列的连接部分被重新采样，以平滑子序列的这一部分中的数据分布。
[0081]
子序列ss10、混合扩展子序列mess10或扩展子序列ess10以及标记为选定子序列203的另外子序列中的每个可以被输出并用作训练数据。
[0082]
图6示出了用于训练人工智能系统400的训练系统500的实施例，该人工智能系统
400用于检测技术系统(例如图1中所示的技术系统100)的异常行为。技术系统500包括被配置为准备和提供在技术系统100或相似技术系统处测量的历史时间传感器数据的数据提供单元200、如上面在图2中描述的辅助设备300以及人工智能系统400。人工智能系统400包括至少一个处理器，所述处理器被配置为接收由辅助设备200输出的分段子序列，并应用分段子序列来训练用于检测异常行为的人工智能功能。所得到的异常检测模型学习了技术系统的正常行为。在异常检测模型的测试阶段中，严重偏离建议的训练数据的每个输入时间传感器数据分布将被分类为异常。
[0083]
训练系统500附加地提供了通过用户接口(例如用户接口304)手动选择训练数据的手段。用户可以手动标记所请求的训练数据或者调整如由辅助设备自动获得的提议的子序列。背景中的算法合并这些子序列，并记忆合并分段的组合，并将其应用于稍后的传入数据。
[0084]
要理解，上面对示例的描述意图是说明性的，并且所说明的概念容许进行各种修改。例如，可以应用所说明的概念来为不同类型的机器或机器系统的人工智能系统提供训练数据。历史时间传感器数据可以包括由测量用于监测机器或机器系统的不同参数的不同传感器测量的数据的时间序列。