融合双注意力机制的多维时序数据预测方法、系统

本发明涉及深度学习，涉及关于数据预测的深度学习，更为具体地，涉及一种融合双注意力机制的多维时序数据预测方法、系统。

背景技术：

1、时间序列数据在电力、金融、交通、气象预警等多个行业中有广泛应用。时间序列预测，能够根据过去一组恒定间隔的数据序列，通过挖掘其潜在的规律，对未来的决策提供前沿性的指导意见。但在上述预测任务中，经常存在一些相互关联的变量，使得不能对其进行准确的预测，因而这类预测任务，也经常被称作多变量的时序预测任务。

2、解决多维时序预测问题的关键在于如何处理好多变量之间的依赖关系，只有准确清晰地表达各个变量之间的相互影响，才能实现好的预测效果。传统的时序预测的一些方法中，仅仅关注单变量对预测结果的影响。最常见的单变量平稳模型是自回归模型(autoregression，ar)、滑动平均模型(moving average，ma)、自回归滑动平均混合模型(autoregressive moving average，arma)。传统的时序预测方法虽然解决了预测中的诸多问题，然而在多维时序预测中，由于其只关注数据的时序特征，所以很难捕捉到多维特征之间存在依赖关系。

3、在深度学习时序预测中，循环神经网络(recurrent neural network,rnn)广泛应用于多维时序预测中，但是由于rnn存在梯度消失或梯度爆炸的问题，为此学者研究出rnn两种常用的变体分别是长短期记忆神经网络lstm和门控循环单元gru，这两个变体引入门机制虽有效的缓解了梯度的问题，但对空间依赖特征较弱。

4、因此，亟需一种通过空间注意力机制计算特征重要程度并为其分配权重，作用到图卷积输出的空间依赖特征，能够提高预测结果的准确性的融合双注意力机制的多维时序数据预测方法、系统。

技术实现思路

1、鉴于上述问题，本发明的目的是提供一种融合双注意力机制的多维时序数据预测，解决传统的时序预测方法虽然解决了预测中的诸多问题，然而在多维时序预测中，由于其只关注数据的时序特征，所以很难捕捉到多维特征之间存在依赖关系，对空间依赖特征较弱导致预测精度不高的问题。

2、本发明提供的一种融合双注意力机制的多维时序数据预测方法，包括：

3、将预获取的已知的多维时序数据输入至预训练的双注意力机制多维时序数据预测模型中的图学习层、时序卷积图卷积层和空间注意力模块中；

4、通过所述图学习层对所述多维时序数据进行相似度计算以获取邻接矩阵；通过所述时序卷积图卷积层中的卷积矩阵输出模块所包括的时序卷积模块对基于所述多维时序数据产生的三维特征矩阵进行特征提取以获取时序卷积特征矩阵，通过所述卷积矩阵输出模块所包括的图卷积模块根据所述时序卷积特征矩阵和与所述时序卷积特征矩阵对应的所述邻接矩阵生成图卷积特征矩阵；并且将最后一组卷积矩阵输出模块所输出的图卷积特征矩阵作为最终图卷积特征矩阵，并根据所述最终图卷积特征矩阵生成时序图卷积特征；通过所述空间注意力模块对所述多维时序数据进行特征提取以获取空间依赖特征；

5、将所述时序图卷积特征和所述空间依赖特征相加以获取最终预测结果。

6、优选地，对所述多维时序数据进行相似度计算以获取邻接矩阵的步骤，包括：

7、采用余弦相似度算法计算所述多维时序数据中任意两个变量的余弦相似度；

8、基于所述余弦相似度对每个变量选择预设数量对相似的邻居节点；

9、根据所述邻居节点的相似度进行归一化处理和矩阵稀疏化处理以形成邻接矩阵。

10、优选地，所述时序卷积图卷积层包括至少两个卷积矩阵输出模块，且各个卷积矩阵输出模块相串联；其中，

11、每个卷积矩阵输出模块包括一个时序卷积模块和一个图卷积模块；在一个卷积矩阵输出模块中，所述时序卷积模块所输出的时序卷积特征矩阵为所述图卷积模块的其中一个输入数据；

12、在所述时序卷积图卷积层中上一个卷积矩阵输出模块中的图卷积模块所输出的图卷积特征矩阵为下一个卷积矩阵输出模块中时序卷积模块的输入数据。

13、优选地，通过所述时序卷积图卷积层中的卷积矩阵输出模块对基于所述多维时序数据产生的三维特征矩阵进行特征提取以获取时序卷积特征矩阵，根据所述时序卷积特征矩阵和与所述时序卷积特征矩阵对应的所述邻接矩阵生成图卷积特征矩阵，并根据最后一组卷积矩阵输出模块所输出的最终图卷积特征矩阵生成时序图卷积特征的步骤，包括：

14、通过所述时序卷积图卷积层中的一维卷积模块对所述多维时序数据进行特征映射处理以将所述多维时序数据映射为三维特征矩阵；

15、将所述三维特征矩阵输入至第一个卷积矩阵输出模块以使所述第一个卷积矩阵输出模块中的时序卷积模块对所述三维特征矩阵进行特征提取以获取第一个时序卷积特征矩阵；

16、将所述第一个时序卷积特征矩阵输入至所述第一个卷积矩阵输出模块中的图卷积模块中，以使所述第一个卷积矩阵输出模块中的图卷积模块根据所述第一个时序卷积特征矩阵和与所述第一个时序卷积特征矩阵对应的邻接矩阵生成第一个图卷积特征矩阵；

17、将所述第一个图卷积特征矩阵输入至下一组卷积矩阵输出模块中使下一组卷积矩阵输出模块的时序卷积模块生成下一组时序卷积特征矩阵，使下一组卷积矩阵输出模块的图卷积模块根据所述下一组时序卷积特征矩阵和与所述下一组时序卷积特征矩阵对应的邻接矩阵生成下一组图卷积特征矩阵，以此类推直至最后一组卷积矩阵输出模块的时序卷积模块生成最后一组时序卷积特征矩阵，使最后一组卷积矩阵输出模块的图卷积模块根据所述最后一组时序卷积特征矩阵和与所述最后一组时序卷积特征矩阵对应的邻接矩阵生成最终图卷积特征矩阵；

18、将所述最终图卷积特征矩阵与预设获取的跳跃连接特征相加以获取时序图卷积特征；其中所述跳跃连接特征为各个时序卷积模块所输出的时序卷积特征矩阵的和。

19、优选地，所述时序卷积模块包括膨胀卷积层、contact层和通道注意力模块；其中，所述时序卷积模块获取时序卷积特征矩阵的过程，包括：

20、将所述三维特征矩阵或上一组卷积矩阵输出模块中的图卷积模块所生成的图卷积特征矩阵作为所述时序卷积模块的输入数据；

21、通过所述膨胀卷积层基于预设的膨胀率对所述时序卷积模块的输入数据进行卷积操作以获取膨胀卷积特征；

22、通过所述contact层对所述膨胀卷积特征进行contact操作以获取中间特征；

23、通过所述通道注意力模块对所述中间特征进行平均池化和最大池化操作以获取通道注意力权重矩阵，并使所述通道注意力权重矩阵与所述时序卷积模块的输入数据相乘以获取时序卷积特征矩阵。

24、优选地，所述图卷积模块包括两个混合跳传播层，其中，所述图卷积模块根据时序卷积特征矩阵和与时序卷积特征矩阵对应的邻接矩阵生成图卷积特征矩阵的步骤，包括：

25、将时序卷积特征矩阵同时输入两个混合跳传播层中，且将与所述时序卷积特征矩阵对应的邻接矩阵输入至一个混合跳传播层中，将所述邻接矩阵的转置矩阵输入至另一个混合跳传播层中，使两个混合跳传播层分别对所述时序矩阵与所述邻接矩阵、所述时序矩阵与所述转置矩阵进行混合传播处理以分别获取第一混合矩阵、第二混合矩阵；

26、对所述第一混合矩阵和所述第二混合矩阵相加以获取图卷积特征矩阵。

27、优选地，混合跳传播层其中对所述时序矩阵与所述邻接矩阵进行混合传播处理以获取第一混合矩阵hgout的步骤，包括：

28、

29、其中，hgout表示第一混合矩阵；k表示所述时序矩阵和所述邻接矩阵所传播的深度；w(k)表示预设的参数矩阵；其中当所述图结构没有空间依赖时，所述w(k)＝0；

30、

31、其中，β为预设的超参数；hin表示当前的混合跳传播层的前一层的输入隐藏状态；所述输入隐藏状态为所述时序矩阵的隐藏状态或为所述时序矩阵经过混合跳传播层之后所输出的隐藏状态；其中h(0)＝hin；所述aij为所述邻接矩阵。

32、优选地，通过所述空间注意力模块对所述多维时序数据进行特征提取以获取空间依赖特征的步骤，包括：

33、通过所述空间注意力模块中的卷积神经网络层岁所述多维时序数据进行卷积处理以获取空间特征；

34、通过所述空间注意力模块中的relu激活函数对所述空间特征进行数据处理以形成空间特征重要程度；

35、通过所述空间注意力模块中的sigmoid激活函数和全连接层根据所述空间特征重要程度和所述空间特征形成对应有权重矩阵的空间依赖特征。

36、本发明还提供一种融合双注意力机制的多维时序数据预测系统，实现如前所述的融合双注意力机制的多维时序数据预测方法，包括双注意力机制多维时序数据预测模型，所述双注意力机制多维时序数据预测模型包括图学习层、时序卷积图卷积层、空间注意力模块和输出组件：

37、所述图学习层用于对预获取的多维时序数据进行相似度计算以获取邻接矩阵；

38、所述时序卷积图卷积层包括卷积矩阵输出模块，所述卷积矩阵输出模块包括时序卷积模块和图卷积模块；其中所述时序卷积模块用于对基于所述多维时序数据产生的三维特征矩阵进行特征提取以获取时序卷积特征矩阵；所述图卷积模块用于根据所述时序卷积特征矩阵和与所述时序卷积特征矩阵对应的所述邻接矩阵生成图卷积特征矩阵；且最后一组卷积矩阵输出模块所输出的图卷积特征矩阵作为最终图卷积特征矩阵，并根据所述最终图卷积特征矩阵生成时序图卷积特征；

39、所述空间注意力模块用于对所述多维时序数据进行特征提取以获取空间依赖特征；

40、所述输出组件用于将所述时序图卷积特征和所述空间依赖特征相加以获取最终预测结果。

41、优选地，所述时序卷积图卷积层包括至少两个卷积矩阵输出模块，且各个卷积矩阵输出模块相串联；其中，

42、每个卷积矩阵输出模块包括一个时序卷积模块和一个图卷积模块；在一个卷积矩阵输出模块中，所述时序卷积模块所输出的时序卷积特征矩阵为所述图卷积模块的其中一个输入数据；

43、在所述时序卷积图卷积层中上一个卷积矩阵输出模块中的图卷积模块所输出的图卷积特征矩阵为下一个卷积矩阵输出模块中时序卷积模块的输入数据。

44、从上面的技术方案可知，本发明提供的融合双注意力机制的多维时序数据预测方法，首先将预获取的已知的多维时序数据输入至预训练的双注意力机制多维时序数据预测模型中的图学习层、时序卷积图卷积层和空间注意力模块中，通过图学习层对多维时序数据进行相似度计算以获取邻接矩阵，再通过时序卷积图卷积层中的卷积矩阵输出模块对基于多维时序数据产生的三维特征矩阵进行特征提取以获取时序卷积特征矩阵，根据时序卷积特征矩阵和与时序卷积特征矩阵对应的邻接矩阵生成图卷积特征矩阵，并根据最后一组卷积矩阵输出模块所输出的最终图卷积特征矩阵生成时序图卷积特征，通过空间注意力模块对多维时序数据进行特征提取以获取空间依赖特征，而后将时序图卷积特征和空间依赖特征相加以获取最终预测结果，如此，提取多维时序数据多通道的时序特征信息后经卷积矩阵输出模块挖掘多维时序数据时序图卷积特征，通过空间注意力模块提取空间依赖特征，最终使时序图卷积特征与空间依赖特征相融合，增强空间依赖性，提高多维数据预测结果的准确性。