基于注意力机制的双向GRU台风轨迹智能预测预报系统、计算机设备、存储介质的制作方法

基于注意力机制的双向gru台风轨迹智能预测预报系统、计算机设备、存储介质
技术领域
1.本发明涉及大气海洋数值预报和深度学习领域，特别设计一种基于注意力机制的双向gru台风轨迹智能预测预报系统、计算机设备、存储介质。


背景技术：

2.热带气旋是在热带和亚热带海洋表面产生的中尺度或天气性暖气旋。强烈的热带气旋将成为台风(飓风)，它是最具破坏性和不可预测的自然灾害之一，对台风刮过的地区造成不可估量的生命安全威胁和巨大的财产损失。近年来，强台风的发生频率增加，使得台风路径的预测变得更加重要。
3.准确预测台风轨迹的变化规律在防灾减灾中具有重要的意义，由于台风轨迹的复杂性随机性，台风轨迹预测的准确性一直有待提升。预测台风轨迹的方法现如今主要分为两类，一类是基于微分方程的模式预报方法，另一类是基于数据驱动的方法。
4.模式预报是一个较为复杂的过程，需要大量的计算资源和时间。由于海上数据资料缺乏，为构造真实准确的初始场带来了一定的困难；而且现有模式的空间分辨率相对较低，得出的结果仍存在一定的误差。数据驱动的方法主要集中在统计和机器学习的方法，然后这些办法无法学习序列数据的相关性，需要人工选择时间特征，这可能会导致预测结果不理想。


技术实现要素：

5.基于上述问题，本发明的目的在于提供一种基于注意力机制的双向gru台风轨迹智能预测预报系统、计算机设备、存储介质，可以有效提高台风轨迹的预测准确率。为了对公开实施例的内容有一些基本的了解，下面给出简单的介绍描述。
6.根据本发明实施例的第一方面，提供了一种基于门控循环单元神经网路的海平面高度智能预测预报系统。
7.在一些可选实施例中，所述系统包括带有注意力机制的双向gru模型，所述模型建立包括以下流程：构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先，构建包含台风轨迹经纬度的用于模型训练和测试的数据集，包括联合台风警报中心(jtwc)提供的历史最佳轨迹数据集；然后对数据进行预处理，包括缺失值填补、数值归一化；然后对搭建网络，包括输入层、双向rgu层、注意力机制模块和全连接层；最后对模型进行训练，确定最优参数，得到台风轨迹的预测经纬度输出值。
8.可选地，所述构建包含台风轨迹经纬度的用于模型训练和测试的数据集，其比例为8：2。
9.可选地，所述对数据进行缺失值填补、数值归一化以及对数据进行切分，整合成可以输入到神经网络的形式，具体包括：通过python中pandas库的isnull函数检索海洋历史数据中的缺省值，并将其填补为0；通过离差标准化的方法，对数据进行线性变化，将其映射
到[0,1]之间。
[0010]
可选地，所述搭建台风轨迹预测模型主要包括：输入层、隐含层和输出层。
[0011]
(1)输入层
[0012]
输入层是把台风历史数据处理成神经网络所能够接收并处理的张量形式。具体分割算法如下所示：
[0013]
输入：海平面高度时间序列t＝{x1，x2，
…
，x
n
}
[0014]
输出：h＝{(x1，y1)，(x2，y2)，
…
，(x
n
‑
l
，y
n
‑
l
)}＝{x1，x2，
…
，x
n
}
[0015]
a：置i＝1，
[0016]
b：如果i>n
‑
l，则停止循环，否则输出先前序列x
i
＝{x
i
，x
i+1
，
…
，x
i+l
}以及先前序列x
i
对应目标值y
i
，
[0017]
c：置i＝i+1转b。
[0018]
(2)隐含层
[0019]
隐含层主要包括一个双向gru层和一个注意力机制模块。
[0020]
双向gru的当前隐含层状态由当前的输入x
t
、t
‑
1时刻前向隐层状态的输出值和t
‑
1时刻反向隐层状态的输出值共同决定。因此双向gru可以看作是两个方向相反的gru的结合体，其在t时刻的隐含层状态h
t
可以由和加权求和决定:
[0021][0022][0023][0024]
rgu()表示对非线性激活函数，u
t
、v
t
分别表示t时刻前向隐藏状态和反向隐藏状态所对应的权重参数，b
t
表示t时刻隐含层所对应的偏置。
[0025]
引入注意力机制模块后，隐含层状态会进行改变。初始隐含层状态到新的隐含层状态g是各个隐含层状态在新的隐含层状态所占的比重系数ω
i
和初始隐含层的输入h
i
的乘积的累加和，通过以下公式可以实现从输入的初始状态到新的注意力机制的转换。
[0026][0027][0028]
e
i
＝α
i
att(β
i
h
i
+c
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0029]
其中e
i
分别是第i时刻隐含层h
i
的能量值，α
i
、β
i
是权重系数矩阵，c
i
是偏置系数，att()表示的是激活函数。
[0030]
(3)输出层
[0031]
输出层是一层全连接层。全连接层起到将学到的特征表示映射到样本的标记空间的作用，可以转变张量维度，得到模型想要的输出预测的的维度。
[0032]
可选地，所述激活函数选用relu，损失函数选择mse，隐含层初始参数为随机确定。
[0033]
可选地，所述的对模型进行训练，采用adam算法和反向传播算法进行训练。
[0034]
根据本发明实施例的第二方面，提供一种计算机设备。
[0035]
在一些可选实施例中，所述计算机设备包括：存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序，所述处理器执行所述程序时实现以下步骤：构建带有注意力机制的双向gru模型，所述模型建立包括以下流程：构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先，构建包含台风轨迹经纬度的用于模型训练和测试的数据集，包括联合台风警报中心(jtwc)提供的历史最佳轨迹数据集；然后对数据进行预处理，包括缺失值填补、数值归一化；然后对搭建网络，包括输入层、双向rgu层、注意力机制模块和全连接层；最后对模型进行训练，确定最优参数，得到台风轨迹的预测经纬度输出值。
[0036]
可选地，所述构建包含台风轨迹经纬度的用于模型训练和测试的数据集，其比例为8：2。
[0037]
可选地，所述对数据进行缺失值填补、数值归一化以及对数据进行切分，整合成可以输入到神经网络的形式，具体包括：通过python中pandas库的isnull函数检索海洋历史数据中的缺省值，并将其填补为0；通过离差标准化的方法，对数据进行线性变化，将其映射到[0,1]之间。
[0038]
可选地，所述搭建台风轨迹预测模型主要包括：输入层、隐含层和输出层。
[0039]
(1)输入层
[0040]
输入层是把台风历史数据处理成神经网络所能够接收并处理的张量形式。具体分割算法如下所示：
[0041]
输入：海平面高度时间序列t＝{x1，x2，
…
，x
n
}
[0042]
输出：h＝{(x1，y1)，(x2，y2)，
…
，(x
n
‑
l
，y
n
‑
l
)}＝{x1，x2，
…
，x
n
}
[0043]
a：置i＝1，
[0044]
b：如果i>n
‑
l，则停止循环，否则输出先前序列x
i
＝{x
i
，x
i+1
，
…
，x
i+l
}以及先前序列x
i
对应目标值y
i
，
[0045]
c：置i＝i+1转b。
[0046]
(2)隐含层
[0047]
隐含层主要包括一个双向gru层和一个注意力机制模块。
[0048]
双向gru的当前隐含层状态由当前的输入x
t
、t
‑
1时刻前向隐层状态的输出值和t
‑
1时刻反向隐层状态的输出值共同决定。因此双向gru可以看作是两个方向相反的gru的结合体，其在t时刻的隐含层状态h
t
可以由和加权求和决定:
[0049][0050][0051][0052]
rgu()表示对非线性激活函数，u
t
、v
t
分别表示t时刻前向隐藏状态和反向隐藏状态所对应的权重参数，b
t
表示t时刻隐含层所对应的偏置。
[0053]
引入注意力机制模块后，隐含层状态会进行改变。初始隐含层状态到新的隐含层状态g是各个隐含层状态在新的隐含层状态所占的比重系数ω
i
和初始隐含层的输入h
i
的乘积的累加和，通过以下公式可以实现从输入的初始状态到新的注意力机制的转换。
[0054][0055][0056]
e
i
＝α
i
att(β
i
h
i
+c
i
)
ꢀꢀꢀ
(6)
[0057]
其中e
i
分别是第i时刻隐含层h
i
的能量值，α
i
、β
i
是权重系数矩阵，c
i
是偏置系数，att()表示的是激活函数。
[0058]
(3)输出层
[0059]
输出层是一层全连接层。全连接层起到将学到的特征表示映射到样本的标记空间的作用，可以转变张量维度，得到模型想要的输出预测的的维度。
[0060]
可选地，所述激活函数选用relu，损失函数选择mse，隐含层初始参数为随机确定。
[0061]
可选地，所述的对模型进行训练，采用adam算法和反向传播算法进行训练。
[0062]
根据本发明实施例的第三方面，提供了一种存储介质。
[0063]
在一些可选实施例中，所述存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时实现如下步骤：构建带有注意力机制的双向gru模型，所述模型建立包括以下流程：构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先，构建包含台风轨迹经纬度的用于模型训练和测试的数据集，包括联合台风警报中心(jtwc)提供的历史最佳轨迹数据集；然后对数据进行预处理，包括缺失值填补、数值归一化；然后对搭建网络，包括输入层、双向rgu层、注意力机制模块和全连接层；最后对模型进行训练，确定最优参数，得到台风轨迹的预测经纬度输出值。
[0064]
可选地，所述构建包含台风轨迹经纬度的用于模型训练和测试的数据集，其比例为8：2。
[0065]
可选地，所述对数据进行缺失值填补、数值归一化以及对数据进行切分，整合成可以输入到神经网络的形式，具体包括：通过python中pandas库的isnull函数检索海洋历史数据中的缺省值，并将其填补为0；通过离差标准化的方法，对数据进行线性变化，将其映射到[0,1]之间。
[0066]
可选地，所述搭建台风轨迹预测模型主要包括：输入层、隐含层和输出层。
[0067]
(1)输入层
[0068]
输入层是把台风历史数据处理成神经网络所能够接收并处理的张量形式。具体分割算法如下所示：
[0069]
输入：海平面高度时间序列t＝{x1，x2，
…
，x
n
}
[0070]
输出：h＝{(x1，y1)，(x2，y2)，
…
，(x
n
‑
l
，y
n
‑
l
)}＝{x1，x2，
…
，x
n
}
[0071]
a：置i＝1，
[0072]
b：如果i>n
‑
l，则停止循环，否则输出先前序列x
i
＝{x
i
，x
i+1
，
…
，x
i+l
}以及先前序列x
i
对应目标值y
i
，
[0073]
c：置i＝i+1转b。
[0074]
(2)隐含层
[0075]
隐含层主要包括一个双向gru层和一个注意力机制模块。
[0076]
双向gru的当前隐含层状态由当前的输入x
t
、t
‑
1时刻前向隐层状态的输出值
和t
‑
1时刻反向隐层状态的输出值共同决定。因此双向gru可以看作是两个方向相反的gru的结合体，其在t时刻的隐含层状态h
t
可以由和加权求和决定:
[0077][0078][0079][0080]
rgu()表示对非线性激活函数，u
t
、v
t
分别表示t时刻前向隐藏状态和反向隐藏状态所对应的权重参数，b
t
表示t时刻隐含层所对应的偏置。
[0081]
引入注意力机制模块后，隐含层状态会进行改变。初始隐含层状态到新的隐含层状态g是各个隐含层状态在新的隐含层状态所占的比重系数ω
i
和初始隐含层的输入h
i
的乘积的累加和，通过以下公式可以实现从输入的初始状态到新的注意力机制的转换。
[0082][0083][0084]
e
i
＝α
i
att(β
i
h
i
+c
i
)
ꢀꢀꢀ
(6)
[0085]
其中e
i
分别是第i时刻隐含层h
i
的能量值，α
i
、β
i
是权重系数矩阵，c
i
是偏置系数，att()表示的是激活函数。
[0086]
(3)输出层
[0087]
输出层是一层全连接层。全连接层起到将学到的特征表示映射到样本的标记空间的作用，可以转变张量维度，得到模型想要的输出预测的的维度。
[0088]
可选地，所述激活函数选用relu，损失函数选择mse，隐含层初始参数为随机确定。
[0089]
可选地，所述的对模型进行训练，采用adam算法和反向传播算法进行训练。
[0090]
本发明实施例的有益效果和优点如下：
[0091]
现阶段台风的发生频率增加，带来的破坏性逐渐加大，需要准确的台风路径预测手段来进行预报，从而达到防灾减灾的效果。本发明针对于现有的一些预测方法耗时耗资源且精度不准的现状提供了一种基于门控循环单元神经网络的海平面高度智能预测预报系统、计算机设备、存储介质。利用深度学习中的双向gru和注意力机制等技术，实现了从台风路径的历史数据中挖掘台风路径走向的特征，从而预测台风轨迹的新形式。相对于传统的海洋数值模式和统计等方法，本发明能够充分的挖掘台风路径历史数据的深层次特征，总结台风路径变化的趋势规律，以更少的计算时间和资源来进行更加精准的预测。
附图说明
[0092]
图1是根据一示例性实施例示出的一种基于注意力机制的双向gru台风轨迹智能预测预报系统的总体工作流程示意图
[0093]
图2是根据一示例性实施例示出的台风轨迹预测模型内部示意图
具体实施方式
[0094]
应当提前指出，以下说明的目的是对本申请提供进一步的详细说明，是示例性的。
本发明所用的技术方法和专业术语均与本申请所述领域的技术人员理解一致。在本说明中，使用的术语“包括”、“包含”其指明存在特征、步骤、操作、器件、组件和或者或它们的组合。
[0095]
可选实施例中，所述系统包括带有注意力机制的双向gru模型，所述模型建立包括以下流程：构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先，构建包含台风轨迹经纬度的用于模型训练和测试的数据集，包括联合台风警报中心(jtwc)提供的历史最佳轨迹数据集；然后对数据进行预处理，包括缺失值填补、数值归一化；然后对搭建网络，包括输入层、双向rgu层、注意力机制模块和全连接层；最后对模型进行训练，确定最优参数，得到台风轨迹的预测经纬度输出值。
[0096]
图1是根据一示例性实施例示出的一种基于注意力机制的双向gru台风轨迹智能预测预报系统的总体工作流程示意图。
[0097]
可选地，所述构建包含台风轨迹经纬度的用于模型训练和测试的数据集，其比例为8：2。
[0098]
可选地，所述对数据进行缺失值填补、数值归一化以及对数据进行切分，整合成可以输入到神经网络的形式，具体包括：通过python中pandas库的isnull函数检索海洋历史数据中的缺省值，并将其填补为0；通过离差标准化的方法，对数据进行线性变化，将其映射到[0,1]之间。
[0099]
可选地，所述搭建台风轨迹预测模型主要包括：输入层、隐含层和输出层。
[0100]
(1)输入层
[0101]
输入层是把台风历史数据处理成神经网络所能够接收并处理的张量形式。具体分割算法如下所示：
[0102]
输入：海平面高度时间序列t＝{x1，x2，
…
，x
n
}
[0103]
输出：h＝{(x1，y1)，(x2，y2)，
…
，(x
n
‑
l
，y
n
‑
l
)}＝{x1，x2，
…
，x
n
}
[0104]
a：置i＝1，
[0105]
b：如果i>n
‑
l，则停止循环，否则输出先前序列x
i
＝{x
i
，x
i+1
，
…
，x
i+l
}以及先前序列x
i
对应目标值y
i
，
[0106]
c：置i＝i+1转b。
[0107]
(2)隐含层
[0108]
隐含层主要包括一个双向gru层和一个注意力机制模块。
[0109]
双向gru的当前隐含层状态由当前的输入x
t
、t
‑
1时刻前向隐层状态的输出值和t
‑
1时刻反向隐层状态的输出值共同决定。因此双向gru可以看作是两个方向相反的gru的结合体，其在t时刻的隐含层状态h
t
可以由和加权求和决定:
[0110][0111][0112][0113]
rgu()表示对非线性激活函数，u
t
、v
t
分别表示t时刻前向隐藏状态和反向隐藏状
态所对应的权重参数，b
t
表示t时刻隐含层所对应的偏置。
[0114]
引入注意力机制模块后，隐含层状态会进行改变。初始隐含层状态到新的隐含层状态g是各个隐含层状态在新的隐含层状态所占的比重系数ω
i
和初始隐含层的输入h
i
的乘积的累加和，通过以下公式可以实现从输入的初始状态到新的注意力机制的转换。
[0115][0116][0117]
e
i
＝α
i
att(β
i
h
i
+c
i
)
ꢀꢀꢀ
(6)
[0118]
其中e
i
分别是第i时刻隐含层h
i
的能量值，α
i
、β
i
是权重系数矩阵，c
i
是偏置系数，att()表示的是激活函数。
[0119]
(3)输出层
[0120]
输出层是一层全连接层。全连接层起到将学到的特征表示映射到样本的标记空间的作用，可以转变张量维度，得到模型想要的输出预测的的维度。
[0121]
图2是根据一示例性实施例示出的台风轨迹预测模型内部示意图。
[0122]
可选地，所述激活函数选用relu，损失函数选择mse，隐含层初始参数为随机确定。
[0123]
可选地，所述的对模型进行训练，采用adam算法和反向传播算法进行训练。
[0124]
在上述实施例示例中，还提供了一种包括指令的非临时性计算机可读存储介质，上述指令可由处理器执行以完成以下步骤：建立带有注意力机制的双向gru模型，所述模型建立包括以下流程：构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先，构建包含台风轨迹经纬度的用于模型训练和测试的数据集，包括联合台风警报中心(jtwc)提供的历史最佳轨迹数据集；然后对数据进行预处理，包括缺失值填补、数值归一化；然后对搭建网络，包括输入层、双向rgu层、注意力机制模块和全连接层；最后对模型进行训练，确定最优参数，得到台风轨迹的预测经纬度输出值。
[0125]
上述非临时性计算机可读存储介质可以是只读存储器、随机存取存储器、磁带和光存储设备等。
[0126]
本发明通过深度学习技术来对海平面高度数据进行预测，与传统的海洋数值模式和统计等方法，可减少大量的计算时间和资源，处理速度快，而且有相当精确的准确率，便于集成和大规模的应用。
[0127]
以上所述，虽然将本发明将较佳具体实施方案描述如上，但仅是本发明的较佳实施例之一，并非用以限定本发明。任何熟悉本领域的技术人员在不脱离本发明技术方案内，当可以对上述具体实施方案做出些许更动或修饰为等同变化的实施方案，但但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施内容所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。