一种基于注意力机制与深度学习的变压器性能预测方法与流程

本发明属于变压器性能预测，涉及一种变压器性能预测方法，尤其是一种基于注意力机制与深度学习的变压器性能预测方法。

背景技术：

1、变压器的性能分析是一个典型的多学科问题，通常包含电磁、热、机械、力学等多个物理场。由于工作环境较为复杂下，变压器会经常受到温度、湿度、大气压强等多种环境因素的影响，导致变压器各个部件之间相互作用加剧，很难找到设计参数和目标间存在的相互映射关系。在变压器分析的各个阶段中，研究人员通常只能寻求到单一结构参数最优解，很少考虑不同部件之间的相互影响。按照这种设计模式得到的结果往往只是局部最优，而非全局最优。随着以有限元计算为基础的计算机建模与仿真技术的发展，有限元方法成为了变压器性能分析的重要研究手段。通过对研究对象进行全方位数字化建模与仿真，有限元方法可以对变压器的性能参数进行准确求解。但现代变压器包含机械、电气、控制等多学科知识，设计变量、约束条件和目标函数条件众多，导致有限元方法的计算时间随着数据维度和物理场的增加呈现几何级数的增长。因此，有限元模型在分析现代变压器性能参数时会消耗大量的时间成本，研究影响了变压器问题的计算周期。

2、变压器性能分析问题具有数据维度高、非线性程度大、涉及多学科知识的特点，对研究人员提出严峻的挑战。找到一个既能准确建立起结构和性能之间映射关系，又不需要庞大计算成本的性计算模型成为了重要的研究课题。代理模型技术是一种解决复杂工程问题的高效方法，用简单的数学模型取代原本较为复杂的仿真模型，计算时间远远少于有限元仿真模型，提高了工程问题的计算效率。

3、但传统代理模型处理高维数据问题时难以提取到数据的深层次特征，需要借助降维方法降低原始输入数据的维度。

4、目前，变压器的性能预测主要依靠有限元仿真计算和代理模型方法。现代变压器包含机械、电气、控制等多学科知识，设计变量、约束条件和目标函数条件众多，导致有限元方法会消耗大量的时间成本。并且有限元方法十分依赖设计人员的经验，需要设计人员掌握各学科的知识和有限元建模方法。传统代理模型在计算时间方面远小于有限元方法，但处理高维数据问题时难以提取到数据的深层次特征，需要借降维方法降低原始输入数据的维度，在这个过程中不可避免的造成了数据的缺失，使得预测精度不能令人满意。

5、经检索，未发现与本发明有相同或相似的现有技术的文献。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提出一种基于注意力机制与深度学习的变压器性能预测方法，将深度学习方法引入变压器代理模型中，提高了代理模型在高维数据中的预测性能，同时也缩短了运算周期，节省了计算资源。

2、本发明解决其现实问题是采取以下技术方案实现的：

3、一种基于注意力机制与深度学习的变压器性能预测方法，包括以下步骤：

4、步骤1、选取非晶合金变压器作为研究对象，结合变压器样机的结构尺寸建立有限元三维仿真模型；

5、步骤2、基于步骤1建立的有限元三维仿真模型，建立代理模型的样本数据集；

6、步骤3、建立基于注意力机制与深度学习的变压器性能预测模型，根据样本数据的特点预设一部分结构参数来预测输出结果，调整模型结构参数完成对变压器性能预测模型的训练，获得训练好的变压器性能预测模型；

7、步骤4、将步骤2获得的测试集输入步骤3中训练好的变压器性能预测模型进行测试得到变压器性能预测结果。

8、而且，所述步骤2的具体步骤包括：

9、(1)对步骤1获得的有限元方法建立的非晶合金变压器的三维仿真模型，选取5个结构参数作为输入变量，每个变量各取4个值，变压器铁心体积、振动加速度az为输出变量，采用全面试验设计方法来获取样本数据，经有限元方法计算得到结构参数与目标函数的数据；

10、(2)对原始样本数据集进行预处理，采用0均值归一法方法，将有限元方法得到的样本集输入变量x进行预处理转化为均值为0、方差为1的数据集，归一化处理后的数据集为：

11、

12、式中，x*表示0均值归一化后的数据集，xmean表示原始样本数据集的平均值，xstd表示原始数据集的方差，x表示原始数据集。

13、(3)将变压器性能数据集进行信息标注，包括{x1，x2，x3，x4，x5}结构参数作为输入数据，并将基础数据集中变压器铁心体积v、振动加速度az作为输出结果，按比例分成样本训练集、验证集和测试集。

14、而且，所述步骤3的具体步骤包括：

15、(1)建立lstm性能预测模型；

16、(2)在lstm性能预测模型中引入了attention机制，attention机制作为一个额外的神经网络模块，注意力机制是通过lstm模型中隐藏层的运算结果加权求和，来得到最终的输出y：

17、

18、式中，α为权重系数，表示每个特征同输出结果的关联程度。ci为隐藏层的输出结果，由前一层数据取加权平均得到；

19、通过计算每个隐层向量的si，评估其对输出的影响程度：

20、ei＝tanh(wthi+bi)

21、

22、式中，w和b表示隐藏层的权重和偏置系数，ei表示每个隐藏层的第i时刻向量。

23、si表示hi和yi之间相关联程度，ai表示每个隐藏层最终的权重系数，对隐藏层的向量进行softmax函数归一化得到。

24、(3)选择mape和r2作为attention-lstm模型的性能评价指标；

25、mape的数值可以直观的展示出模型精度的好坏，r2可以表示模型整体的拟合效果：

26、

27、

28、式中，n表示样本点的数量，为代理模型预测值，f(xi)为实际输出结果。为模型在所有n个样本点处输出的平均值。mape的数值越小，表示代理模型的预测精度越高。r2的数值越接近于1，表示代理模型的拟合程度越高。

29、(4)模型结构参数设置，对epoch、优化器、激活函数、隐藏层数、神经元数5类代理模型结构参数进行分析，模型结构参数为5个输入层神经元、2个输出层神经元，epoch为500、优化器为adam、激活函数为relu、神经元为64的三层隐藏层的神经网络。

30、而且，所述lstm性能预测模型的lstm记忆单元模块结构为：

31、表示乘法运算；表示加法运算；σ表示sigmoid函数；tanh表示tanh函数；xt表示外界的输入数据；h(t-1)表示上一个神经元计算后得到的数据；c(t-1)表示上一个神经元计算后得到的历史数据；h(t-1)表示这个神经元计算后得到的数据；同时也表示下一个神经元的输入数据；c(t-1)表示这个神经元计算后得到的记忆数据。

32、lstm网络记忆模块由输入门、输出门、遗忘门和cell组成，其中cell是计算节点核心，用以记录当前时刻状态，根据描述记忆模块中各单元的具体运算关系：

33、遗忘门：使模型有选择性的遗忘一些数据。

34、f(t)＝σ(wfh(t-1)+ufx(t)+bf)

35、输入门：管理模型新输入信号数据。

36、i(t-1)＝σ(wih(t-1)+uαx(t-1)+bα)

37、输出门：使模型可以有选择性的输出结果。

38、o(t)＝σ(w0h(t-1)+u0x(t)+b0)

39、更新神经元的记忆状态：由遗忘门保留的记忆数据和输入门输入的数据组成；

40、c(t)＝c(t-1)×f(t)+i(t)×α(t)

41、模型总输出：分别输出到下个神经元部分和输出到下一层网络对应位置。

42、h(t)＝o(t)×tanh c(t)。

43、本发明的优点和有益效果：

44、1、本发明提出基于注意力机制与深度学习的变压器性能预测方法，所建立的基于注意力机制和长短期记忆网络的变压器代理模型，使用代理模型来代替变压器性能分析中复杂的有限元仿真计算，有效缩短了变压器问题的计算周期。为解决传统代理模型处理高维数据精度不足的缺点，将深度学习方法引入变压器代理模型中，提高了代理模型在高维数据中的预测性能。实例表明，本发明相比其他常见代理模型传统代理模型(bp神经网络、rbf径向基函数、svm支持向量机，不仅提高了预测精度，还缩短了计算时间。

45、2、本发明提供了一种基于注意力机制与深度学习的变压器性能预测方法，已解决目前变压器预测方法中存在的预测周期长，准确率低的问题。尤其在高维数据问题上，有限元计算方法存在计算时间几何倍数增长和依赖建模人员经验的问题上，有效降低了预测时间和人员的依赖。相较于传统代理模型，本发明准确提取高维数据中的关键特征，减少了因降维方法中造成的数据丢失现象，加强了代理模型与实际工程问题的拟合程度，提高性能预测方法的准确程度。