基于深度学习的Dst指数概率预测模型及实时异常检测方法

本发明属于环境数据监测领域，尤其涉及一种基于深度学习的dst指数概率预测模型及实时异常检测方法。

背景技术：

1、磁暴作为一种强烈的空间天气现象，源于太阳风与地球磁场的相互作用，可能对地球的电力系统、通信基础设施及空间技术设备产生显著影响。磁暴不仅引发了国内外学者对于对空间物理学的深入理论研究，还促使工程应用领域对磁暴监测和预测提出了更高的要求。特别是，磁暴的发生可能导致电网故障、变压器损坏，并对卫星通信、导航系统造成严重干扰。因此，如何准确监测和预测磁暴的发生，成为了研究的热点问题。

2、在地球赤道按均匀的经度间隔选取四个地磁台站，四个台站每小时地磁水平强度变化的平均值即为dst指数，其数值在磁暴期间通常为负值，绝对值的大小与地磁强度呈正比。当-50nt<dst≤-30nt时，表示发生小磁暴；当-100nt<dst≤-50nt表示发生中等磁暴；当-200nt<dst≤-100nt表示发生大磁暴；当dst≤-200nt表示发生特大磁暴。因此，磁暴异常检测通常归结为dst指数的异常检测。dst指数的异常变化通常反映出了磁暴事件的强度和影响程度。

3、传统的异常检测方法虽然在某些情况下有效，但在处理复杂和非线性时间序列数据时有一定的不足。早期研究人员大都从磁暴产生的物理机制出发，构建经验模型描述磁暴指数dst的变化。这些方法通常利用太阳风速度、太阳风动压、行星际磁场分量等参数，实时更新dst指数，在预测及异常检测上存在一定的局限性。这促使了对深度学习技术的广泛探索，尤其是在结合不确定性估计的背景下，以提高异常检测的精度和可靠性。

4、深度学习作为近年来在各类数据分析和预测任务中取得显著成果的技术，通过自动学习数据中的复杂特征，能够有效捕捉时间序列数据中的隐含模式。越来越多的学者利用神经网络技术对dst指数进行预测和异常检测。而在磁暴异常检测任务中，深度学习模型尤其是卷积神经网络(cnn)和长短期记忆网络(lstm)等架构，已被应用于处理磁暴时间序列数据，从而提高了对磁暴事件的预测能力。

5、然而，传统的深度学习模型通常只提供点预测结果，而未能充分考虑预测结果的不确定性。需要提出一种更为实用的dst指数异常检测方法。

技术实现思路

1、发明目的：本发明的目的在于提供一种基于深度学习的dst指数概率预测模型及实时异常检测方法。通过添加不确定估计，不仅能够有效地输出预测值，还能够同时量化预测的不确定性，从而为决策过程提供更丰富的信息。

2、技术方案：本发明的一种基于深度学习的dst指数概率预测模型及实时异常检测方法，包括如下步骤：

3、步骤1、获取目标区域的dst指数；

4、步骤2、根据地磁活动，选取较为活跃年份的dst指数为待检测数据即测试集，其余为训练集和验证集，划分完成后，把数据进行归一化处理；

5、步骤3、创建dst指数区间预测模型的输入和输出数据集，利用历史数据预测未来趋势；

6、步骤4、基于cnn和lstm网络特性确定dst指数区间预测模型结构，并进行模型搭建；

7、步骤5、将训练集批次输入搭建好的dst指数区间预测模型中，训练dst指数区间预测模型，获得训练好的dst指数区间预测模型；

8、步骤6、根据模型误差要求分析模型训练结果，当误差值满足模型误差要求，完成模型训练，当误差值不满足模型误差要求，则更新模型参数，并重新执行步骤3-步骤5，再次进行模型训练，直至误差在预计范围内；

9、步骤7、将测试集输入到训练好的dst指数区间预测模型中，获得一维数据序列，同时根据dst指数预测结果进行多次采样，计算模型预测的平均值与方差，并计算预测的两种不确定性，再进一步对两种不确定性进行相加再取平方根合并为总确定性；

10、步骤8、将预测数据进行反归一化处理，得到最终的dst指数预测结果；

11、步骤9、根据dst指数预测结果与真实数据，表示出真实数据、模型预测的均值以及不确定性；使用不确定性作为异常评分，设置置信区间作为阈值，超过此阈值的点将被标记为异常。

12、进一步的，步骤2具体为：根据地磁活动活动程度，选取地磁活动较为频繁的年份为训练集，其余为训练集和验证集；然后对所有训练集、测试集和验证集中的数据统一进行归一化处理，归一化处理的公式如下：

13、

14、其中，xi代表dst指数，x′i代表xi归一化的值，xmax、xmin分别代表最大和最小值，归一化完成后，数据预处理工作完成。

15、进一步的，步骤3具体为：创建dst指数区间预测模型的输入和输出数据集，利用历史数据预测未来趋势，设置一个滞后项，提前6个时间步生成输入数据集，将数据转换为适合cnn和lstm神经网络处理的形式，提高模型的预测性能和准确度。

16、进一步的，步骤4具体为：dst指数区间预测模型的网络设计为8层，具体包括输入层、隐藏层和输出层，输入层的输入数据包含历史dst指数，生成的输入数据集其中每个样本包含连续的6个时间点的值；隐藏层数据包括两层cnn，卷积核数量为64，核大小为1，以及三层lstm，其中两层单元数为64，一层单元数为128；输出层由两个部分组成，两条并行路径通过一次dropout层后连接dense层分别输出均值和方差，均值用于衡量预测误差，对数方差用于衡量预测不确定性。

17、进一步的，步骤5具体为：将训练集批次输入搭建好的dst指数区间预测模型中，训练dst指数区间预测模型，获得训练好的dst指数区间预测模型；

18、dst指数区间预测模型利用前6个时间步的dst指数预测下一时间段的dst指数；dst指数区间预测模型的隐藏层为两层cnn和三层lstm，损失函数为自定义，结合均值和对数方差，用于处理预测的不确定性；

19、将训练数据输入dst指数区间预测模型，数据首先经过cnn，模型中的每一层cnn会进行如下操作：

20、

21、式中，yi，j是是输出特征图的第i个样本，第j个时间步的值，xi，j+k是输入数据的第i个样本，第j+k个时间步的第m个特征，wk，m是卷积核的第k个位置，第m个特征的权重，bm是卷积层的偏置项，f为每个时间步的特征维度，k为卷积核的数量；

22、cnn输出之后输入lstm，每一层lstm会进行如下操作：

23、利用lstm中特有的遗忘门选择忘记过去信息，遗忘门公式为：

24、ft＝σ(wf·[ht-1，xt]+bf) (3)

25、其中，σ为激活函数，wf为权系数矩阵，bf为遗忘门的偏置项，ht-1为上一时刻的输出，xt为当前时刻的输入；

26、利用输入门控制着lstm每个隐藏单元的输入有多少新的信息加入内部状态ct里，输入门函数it和内部状态ct的表达式为：

27、it＝σ(wi[ht-1，xt]+bi) (4)

28、

29、式中，wi为输入门的权系数矩阵，bi为输入门的偏置项，tanh为双曲函数，wc为计算内部状态的权系数矩阵，bc为计算内部状态的偏置项；

30、利用输出门把控lstm每个单元被保留的激活信息和不相关的信息，先运行sigmoid层来确定cell状态中输出部分，再用tanh函数进行处理，其运行函数为：

31、ot＝σ(wo[ht-1，xt]+bo) (7)

32、ht＝ot*tanh(ct) (8)

33、其中，ot表示输出门函数，wo为输出门的权系数矩阵，bo为输出门的偏置项，ht表示当前时刻lstm的输出。

34、进一步的，步骤7中，所述两种不确定性为aleatoric不确定性和epistemic不确定性。aleatoric不确定性源于数据本身的噪声，是数据固有的不可避免的不确定性。为了估计该不确定性，针对测试数据执行了100次前向传递，记录每次预测的输出结果。模型在每次前向传递中同时记录了模型输出的aleatoric不确定性部分，即预测值的不确定性。这部分不确定性由模型在训练过程中直接学习得到，表示为方差的对数值。本发明通过取每次预测中aleatoric不确定性部分的均值并将其指数化，得到了数据噪声引起的实际不确定性。epistemic不确定性是由模型的不完备性引起的，反映了模型在面对不熟悉的输入时的表现稳定性。为了量化这种不确定性，实验同样针对测试数据进行100次前向传递，记录每次预测的输出结果。通过对这些预测结果计算均值和方差，得到模型的epistemic不确定性。

35、进一步的，步骤8具体为：将预测数据进行反归一化处理，得到最终的dst指数预测结果，根据dst指数预测结果和真实数据，利用均方根误差和r2评估dst指数区间预测模型的性能；

36、根据dst预测结果和真实观测数据计算均方根误差和r2，计算公式如下：

37、

38、其中，y′i为dst指数预测值反归一化结果，yi为dst同一时间的真实值，为真实值的平均值，n为样本个数。

39、进一步的，步骤9具体为：根据dst指数预测结果与真实数据，通过折线图表示出真实数据、模型预测的均值以及不确定性；使用不确定性作为异常评分，通过绘制实际数据和模型预测均值来可视化区间预测结果，并通过填充区域展示预测的不确定性，同时，基于预测方差进行异常检测，计算预测的95％置信区间作为阈值，超过此阈值的点将被标记为异常。

40、有益效果：与现有技术相比，本发明具有如下显著优点：与现有的深度学习预测模型进行对比，本发明方法以cnn-lstm模型为基础，通过添加不确定估计，不仅能够有效地输出预测值，还能够同时量化预测的不确定性，从而为决策过程提供更丰富的信息。还能够帮助模型更好地理解输入数据的变化性和复杂性，尤其是在处理异方差性数据时更为有效。由于异常点往往伴随着高不确定性，结合不确定性信息能够帮助更准确地定位这些异常点，可以显著提高对异常点的识别能力。由于在处理极端磁暴事件时，预测模型的挑战显著增加。数据样本稀少，使得准确建立高精度的预测模型变得更加困难。所以本发明提出了区间预测的方法。通过预测区间，不仅可以更好地描述模型的不确定性，还能够为预警和报警机制提供更为可靠的支持。结合不确定性估计的区间预测模型能够更全面地捕捉到数据中的复杂模式，提升了对极端事件的预测能力。同时，模型还可以根据不确定性信息动态调整输出，从而更好地应对数据中的噪声和异常情况，最终提供比普通深度学习模型更加可靠的预测结果。