时序数据无监督异常检测模型训练方法及装置、时序数据无监督异常检测方法及装置

涉及时间序列，具体涉及时序数据异常检测。

背景技术：

1、近几十年来，随着信息化的迅速发展，大量的时间序列数据不断被创建。由于各种目标系统的功能状态，如大型数据中心、云服务器、航天器，甚至人体，这些时间序列数据是一个来源，本发明可以通过识别目标系统的异常状态(即异常)来监测和报警目标系统的潜在故障、威胁和风险。异常检测是数据挖掘和分析的一个重要领域，其目的是发现与大多数数据有显著差异的异常数据观察结果，而大多数数据对实现这一目标起着关键作用。由于在这些实际应用中标记工作的成本和难度，时间序列异常检测通常被定义为一项无监督任务，其中包含未标记的训练数据。

2、无监督时间序列异常检测在没有监督信号指导的情况下，通常依赖于通过一类分类学习数据的正态性。然而，这个学习过程面临两个关键挑战：(1)训练集中存在未知异常，(2)缺乏有关感兴趣异常的知识。具体来说，学习过程可能会因训练集中隐藏的异常(即异常污染)而产生偏差，因为通过直接假设训练集中的所有观察值都是正常的，整个训练集通常被输入到一个分类模型中。异常污染会极大地干扰学习过程，从而导致严重的过拟合。此外，在学习过程中，如果不了解真正的异常，可能会发现不准确的正态边界，因为在这种情况下很难定义正常行为的范围。

技术实现思路

1、为解决现有技术中存在的，无监督时间序列在异常检测方面数据集存在污染的问题，本发明提供的技术方案为：

2、时序数据无监督异常检测模型训练方法，所述方法包括：

3、步骤1：采集单变量时间序列的时序数据集合，并对所述时序数据进行预处理，生成初始时域数据和频域数据；

4、步骤2：根据所述频域数据与所述初始时域数据，训练检测模型。

5、进一步，提供一个优选实施方式，所述步骤1中，所述预处理包括：对所述时序数据进行数据标准化、数据划分和模态转换的操作。

6、进一步，提供一个优选实施方式，所述步骤2中，训练所述检测模型的方法具体为：分别根据所述频域数据与所述初始时域数据，得到两个低维嵌入，根据所述两个低维嵌入训练检测模型。

7、基于同一发明构思，本发明还提供了时序数据无监督异常检测模型训练装置，所述装置包括：

8、模块1：用于采集单变量时间序列的时序数据集合，并对所述时序数据进行预处理，生成初始时域数据和频域数据；

9、模块2：用于根据所述频域数据与所述初始时域数据，训练检测模型。

10、进一步，提供一个优选实施方式，所述模块1中，所述预处理包括：对所述时序数据进行数据标准化、数据划分和模态转换的操作。

11、进一步，提供一个优选实施方式，所述模块2中，训练所述检测模型的具体实现方式为：分别根据所述频域数据与所述初始时域数据，得到两个低维嵌入，根据所述两个低维嵌入训练检测模型。

12、基于同一发明构思，本发明还提供了时序数据无监督异常检测方法，所述方法包括：

13、步骤3：训练检测模型；

14、所述训练检测的方法为所述的时序数据无监督异常检测模型训练方法；

15、步骤4：对所述检测模型进行验证，若验证结果满足预设要求，则进行步骤5；

16、步骤5：根据所述检测模型对所述时序数据集合进行检测。

17、基于同一发明构思，本发明还提供了时序数据无监督异常检测装置，所述装置包括：

18、模块3：用于训练检测模型；

19、所述训练检测的模块为所述的时序数据无监督异常检测模型训练装置；

20、模块4：用于对所述检测模型进行验证，若验证结果满足预设要求，则执行模块5；

21、模块5：用于根据所述检测模型对所述时序数据集合进行检测。

22、基于同一发明构思，本发明还提供了计算机储存介质，用于储存计算机程序，其特征在于，所述介质中储存的计算机程序用于被计算机读取，以执行所述的时序数据无监督异常检测模型训练方法或所述的时序数据无监督异常检测方法。

23、基于同一发明构思，本发明还提供了计算机，包括处理器和储存介质，所述储存介质用于储存计算机程序，其特征在于，当所述处理器读取所述计算机程序时，所述计算机执行所述的时序数据无监督异常检测模型训练方法或所述的时序数据无监督异常检测方法。

24、与现有技术相比，本发明的有益之处在于：

25、本发明提供的时序数据无监督异常检测方法，将非欧式距离的思想迁移到了时间序列上，通过一个数据扰动的方式产生一个模型认为的负样本，将正样本和负样本同时进行训练，这有益于解决模型的训练集有污染的问题，使其拥有更好的训练结果。

26、本发明提供的时序数据无监督异常检测方法，设计了上下两部分同时进行误差修正的一种方式，这种技术也可以看作将下方的分类任务作为一种修正上方样本误差的一种方式，每个样本的权重随bceloss误差而调整。

27、本发明提供的时序数据无监督异常检测方法，解决了现有技术中存在的，在异常检测方面数据集存在污染的问题，解决训练集异常污染的问题，即减少训练集异常污染的负面影响，并在学习过程中引入训练集异常的知识，从而对于模型训练过程中产生的不准确的数据边界进行修正。

28、本发明提供的时序数据无监督异常检测方法，嵌入不确定性概念的新学习目标修正不准确的预测，同时鼓励更自信的预测，以确保有效学习正确样特征。因此，该过程可以区分有害异常，从而在网络优化过程中掩盖异常污染问题。

29、本发明提供的时序数据无监督异常检测方法，通过对原始时间序列数据进行定制的数据扰动操作，模拟真正的异常行为，提供可靠的原始异常示例，通过自适应惩罚不确定预测，消除异常污染的影响，同时增加正确的预测结果的比重，以及通过区分正常样本和生成的自然异常样本，以在原始数据的基础上模拟真实的时间序列异常行为。这两次校准导致了污染容忍、异常通知的一级学习，从而显著改进了正态性建模。

30、适合应用于无监督时间序列异常检测的工作中。

技术特征：

1.时序数据无监督异常检测模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的时序数据无监督异常检测模型训练方法，其特征在于，所述步骤1中，所述预处理包括：对所述时序数据进行数据标准化、数据划分和模态转换的操作。

3.根据权利要求1所述的时序数据无监督异常检测模型训练方法，其特征在于，所述步骤2中，训练所述检测模型的方法具体为：分别根据所述频域数据与所述初始时域数据，得到两个低维嵌入，根据所述两个低维嵌入训练检测模型。

4.时序数据无监督异常检测模型训练装置，其特征在于，所述装置包括：

5.根据权利要求4所述的时序数据无监督异常检测模型训练装置，其特征在于，所述模块1中，所述预处理包括：对所述时序数据进行数据标准化、数据划分和模态转换的操作。

6.根据权利要求4所述的时序数据无监督异常检测模型训练装置，其特征在于，所述模块2中，训练所述检测模型的具体实现方式为：分别根据所述频域数据与所述初始时域数据，得到两个低维嵌入，根据所述两个低维嵌入训练检测模型。

7.时序数据无监督异常检测方法，其特征在于，所述方法包括：

8.时序数据无监督异常检测装置，其特征在于，所述装置包括：

9.计算机储存介质，用于储存计算机程序，其特征在于，所述介质中储存的计算机程序用于被计算机读取，以执行权利要求1-3任意一项所述的时序数据无监督异常检测模型训练方法或权利要求7所述的时序数据无监督异常检测方法。

10.计算机，包括处理器和储存介质，所述储存介质用于储存计算机程序，其特征在于，当所述处理器读取所述计算机程序时，所述计算机执行权利要求1-3任意一项所述的时序数据无监督异常检测模型训练方法或权利要求7所述的时序数据无监督异常检测方法。

技术总结
时间序列数据异常检测模型训练方法及装置、时间序列数据异常检测方法及装置，涉及时间序列技术领域。为解决现有技术中存在的，无监督时间序列在异常检测方面数据集存在污染的问题，本发明提供的技术方案为：时间序列数据异常检测模型训练方法，方法包括：步骤1：采集时间序列数据集合作为原始数据，并对原始数据进行预处理，生成扰动数据；步骤2：根据扰动数据与原始数据，训练检测模型。进一步，步骤1中，预处理包括：对时序数据进行数据划分和随机扰动的操作。进一步，步骤2中，训练检测模型的方法具体为：将扰动数据和原始数据进行特征提取，根据得到的数据对预设模型进行训练。适合应用于无监督时间序列异常检测的工作中。

技术研发人员：张凤斌,邓昊,何东
受保护的技术使用者：哈尔滨理工大学
技术研发日：
技术公布日：2024/1/13