基于时序分解的多分辨率TCN网络的能源消耗预测方法及应用

基于时序分解的多分辨率tcn网络的能源消耗预测方法及应用
技术领域
1.本发明涉及到注意力网络，传统时序分解算法stl分解，多分辨模块，属于自然语言处理(nlp)领域，具体的说是一种基于时序分解的多分辨率tcn网络的能源消耗预测方法及应用。


背景技术：

2.近年来，能源消耗预测一直是研究课题的热点。准确的能源消耗预测可以帮助相关部门制定合理的能源使用计划，节约能源消耗，积极响应当今社会节能减排，可持续发展的理念。基于长序列建模和提取能源消耗数据通道特征进行能源消耗预测，虽然取得了较好的效果，但是实际的能源消耗数据中关联关系复杂，并且在不同分辨率中也蕴含不同的特征信息。因此，首先对能源消耗数据进行复杂关联关系的分解，将不同的部分关系先分离出来，再利用多分辨率建模分析能够得到更好的模型。
3.国内外研究能源消耗预测一般分为四个步骤：
4.(1)准备能源消耗数据集。主要有三类数据集。其一，只包含能源消耗数据的单一特征数据集，这类数据集由于只具备一个特征，不适用复杂网络模型，多使用传统方法。其二，包含了外在影响因素的特征，依据外在特征，预测单一采集设备的能源消耗。其包含多个特征，但是预测结果只有单个输出。其三，包含采集了多台设备的能源消耗数据，其具备很多个特征，而且预测结果与特征数目一一对应。
5.(2)异常数据处理。能源消耗数据采集中，存在着一些异常数据，如果对这些异常数据不处理，会影响整个模型的训练，使预测结果变差。一般，异常数据处理有三类方法，分别为：传统统计方法、机器学习方法和深度学习方法。
6.(3)建立模型。根据方法原理的不同，目前能源消耗预测算法主要分三类：基于统计学习的预测方法，基于机器学习的预测方法和基于深度学习的预测方法。
7.(4)输出结果。为了验证模型的有效性，做多种实验。
8.虽然深度学习模型都取得了一定的效果，但是仍然存在一定的缺陷。首先，能源消耗数据存在趋势关系和周期关系混合的问题。其次，tacn只能提取通道特征，不能提取时间特征的问题。最后，实际的能源消耗数据中关联关系复杂，并且在不同分辨率中也蕴含不同的特征信息，以往的模型不能考虑到能源消耗数据在不同分辨率蕴含不同特征信息的问题。


技术实现要素：

9.发明是为了解决上述现有技术存在的不足之处，提出一种基于时序分解的多分辨率tcn网络的能源消耗预测方法及应用，以期能将不同的部分关系分离出来，再利用多分辨率建模分析法得到更健壮的模型，从而能显著提高能源消耗预测的准确率。
10.本发明为达到上述发明目的，采用如下技术方案：
11.本发明一种基于时序分解的多分辨率tcn网络的能源消耗预测方法的特点在于，包括如下步骤：
12.步骤1、使用滑动窗口对获取的能源消耗数据进行划分，再将划分好的能源消耗数据进行归一化处理，得到归一化后的能源消耗数据序列x＝{xv|v＝1，2，
…
，n}；其中，xv表示第v个归一化后的能源消耗数据，n表示能源消耗数据的数量；
13.步骤2、使用时序分解算法对归一化后的能源消耗数据序列x进行分解，得到能源消耗数据的趋势项trend
x
、季节项seasonal
x
和残差项resid
x
；
14.步骤3、使用所述多分辨率分析法分别将趋势项trend
x
、季节项seasonal
x
和残差项resid
x
分解成不同时间尺度的趋势项序列、季节项序列、残差项序列，然后分别输入改进的tcn网络中并提取三个序列在不同时间尺度的局部特征，再将三个各序列的时间尺度的局部特征分别进行合并，从而得到三个序列的全局特征并融合成多分辨率特征y
nl
；
15.步骤4、使用ar算法对归一化的能源消耗数据序列x进行线性处理，得到能源消耗数据序列x的线性特征y
l
；
16.步骤5、将多分辨率特征y
nl
与所述线性特征y
l
进行融合后，得到能源消耗的预测结果。
17.本发明所述的能源消耗预测方法的特点也在于，所述步骤3中改进的tcn网络是按如下过程对趋势项trend
x
进行处理：
18.步骤3.1、使用二叉树的形式对趋势项trend
x
进行n次分解，得到不同时间尺度的趋势项序列{tn|n＝1，2，
…
，2
n-1}，其中，tn表示分解后的趋势项所在的第n个节点，2
n-1表示二叉树中趋势项的节点数量；
19.步骤3.2、将二叉树的第n个节点tn进行膨胀卷积操作，得到第n个节点tn在c个通道上的特征值上的特征值表示第n个节点的第c个通道的特征值，c表示通道的个数，令hn表示特征值un的序列长度；
20.步骤3.3、利用式(3.1)将第n个节点的第c个通道的特征值进行通道压缩操作，得到第n个节点的第c个通道的全局信息值从而得到压缩后通道特征值的全局信息值从而得到压缩后通道特征值的全局信息值
[0021][0022]
式(3.1)中，f
sq
表示压缩操作，表示第n个节点的第c个通道的第i个序列；
[0023]
步骤3.4、利用式(3.2)将第n个节点的第c个通道的全局信息值依次经过两个全连接层和一个sigmoid激活函数的激励操作后，得到第n个节点的第c个通道的权重从而得到第n个节点的第c个通道的权重
[0024][0025]
式(3.2)中，f
ex
表示激励操作，w表示两个全连接层的权重，w1表示其中一个全连接层的的权重，w2表示另一个全连接层的权重；relu表示非线性激活函数；δ表示sigmoid激活函数；
[0026]
步骤3.5、利用式(3.3)将第n个节点的第c个通道的特征值进行重新标定，得到第n个节点的第c个标定后的特征值从而得到重新标定后的特征值
[0027][0028]
式(3.3)中，f
scale
表示重新标定操作；
[0029]
步骤3.6、依次经过权重归一化层、relu激活函数和dropout层，得到特征值fn；所述特征值fn输入第一个残差块后，利用式(3.4)将所述特征值fn与能源消耗数据序列x进行残差连接后，得到残差连接特征值将前一个残差块的输出作为后一个残差块的输入，并经过m个残差块处理后，利用式(3.5)得到第m个残差块的特征值
[0030][0031][0032]
式(3.4)-式(3.5)中，f表示权重归一化层、relu激活函数和dropout层，表示第n个节点的m-1个残差块的特征值，se表示压缩操作、激励操作和重新标定操作的融合操作；
[0033]
步骤3.7、所述特征值fn经过sigmoid函数的处理后，得到(0，1)之间的映射值，并作为能源消耗数据时间维度的权重；然后，利用式(3.6)将权重与相乘，得到第n个节点的局部特征
[0034][0035]
步骤3.8、将2
n-1个节点的局部特征进行合并，再通过一个全连接层的映射后得到趋势项trend
x
的全局特征trendy。
[0036]
本发明一种电子设备，包括存储器以及处理器，其特点在于，所述存储器用于存储支持处理器执行所述的能源消耗预测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
[0037]
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特点在于，所述计算机程序被处理器运行时执行所述的能源消耗预测方法的步骤。与现有技术相比，本发明的有益效果在于：
[0038]
1、本发明综合传统时序分解算法的优点、注意力机制的特性以及多分辨率分析对序列建模的有效性，提出了时序分解多分辨率tcn(temporal decomposition multi-resolution tcn，tdmrtcn)网络模型。首先，针对能源消耗数据存在趋势关系和周期关系混合的问题，提出了将能够分离出趋势关系和周期关系的传统时序分解算法stl用于能源消耗数据处理。然后，针对tacn只能提取通道特征，不能提取时间特征的问题，提出了将时间维度上的注意力融入tacn。最后，考虑到能源消耗数据在不同分辨率蕴含不同特征信息的问题，将多分辨率分析思想应用到能源消耗预测领域，从而显著地提高了能源消耗预测的准确率。
[0039]
2、本发明综合传统时序分解算法的优点，针对能源消耗数据存在趋势关系和周期关系混合的问题，提出了将能够分离出趋势关系和周期关系的传统时序分解算法stl用于
能源消耗数据处理，从而解决了能源消耗数据存在趋势关系和周期关系混合的问题。
[0040]
3、本发明利用注意力机制在tcn卷积层中构建了一个注意力模块，用于在时间维度上进行权重分配，与senet集合，构成了双阶段注意力datcn，注意力机制通过对编码器中所有时间步的隐藏状态做加权平均来得到下一层的输入变量。针对tacn只能提取通道特征，不能提取时间特征的问题，提出了将时间维度上的注意力融入tacn，增加了从时空注意力网络模型寻找有效信息的能力。
[0041]
4、本发明使用多分辨率分析又称为多尺度分析，将原数据进行逐级分解，考虑到能源消耗数据在不同分辨率蕴含不同特征信息的问题，将多分辨率分析思想应用到能源消耗预测领域，有效的提高了时间序列间的交互能力。
[0042]
5、本发明通过多分辨率分析对序列建模的有效性，将原数据进行逐级分解。在图像处理中，使用低通滤波器平滑图像，对图像进行降采样，从而得到一系列尺寸缩小的图像。其对事物的分析由粗及细。在时域中，尺度由大到小变化，频域中，尺度由小到大变化。多分辨率分析将原始序列分解为不同频率的序列，然后依次对分解后的各个序列进行处理。增加了网络的感受野，可有效使网络模型关注时频域权重大的区域，减少了无效信息的干扰。
附图说明
[0043]
图1为本发明时序分解多分辨率tcn概览图；
[0044]
图2为本发明双阶段注意力时间卷积网络结构图；
[0045]
图3为本发明多分辨率分析示意图；
[0046]
图4为本发明时序分解多分辨率tcn模型结构图；
[0047]
图5为本发明基于tdmrtcn的electricity拟合曲线图。
具体实施方式
[0048]
本实施例中，一种基于时序分解的多分辨率tcn网络的能源消耗预测方法，提出了tdmrtcn模型，如图1所示。是能源消耗数据通过传统时序分解算法stl分解，得到能源消耗数据的趋势项、季节项和残差项；将分解后的数据输入到多分辨率模块中，获取能源消耗数据中不同分辨率蕴含的关系，多分辨模块由多个双阶段注意力tcn(dual-stage attention tcn，datcn)以二叉树的形式搭建而成；datcn以tacn为基础模块，融入了注意力机制，与senet共同形成了双阶段注意力，增强tacn对时空特征的提取；为了增强模型对能源消耗数据线性关系的提取，并行训练了一个传统的ar模块，将多分辨率模块的输出结果与ar模块的输出结果融合，得到最终的预测结果。本发明首先对能源消耗数据进行复杂关联关系的分解，将不同的部分关系先分离出来，再利用多分辨率建模分析能够得到更好的模型，从而能显著提高能源消耗预测的准确率。具体的说，包括如下步骤：
[0049]
步骤1、使用滑动窗口对获取的能源消耗数据进行划分，再将划分好的能源消耗数据进行归一化处理，得到归一化后的能源消耗数据序列x＝{xv|v＝1，2，
…
，n}；其中，xv表示第v个归一化后的能源消耗数据，n表示能源消耗数据的数量；
[0050]
步骤1.1采用最大最小归一化(min-max scaling)的形式，将所有数值映射到(0，1)之间。在所有样本中，选取每个特征的最大值、最小值，分别对每个特征进行最大最小归
一化，
[0051]
步骤1.2为了进一步验证模型在测试集的预测结果，需要构建测试集预测值与真实值的拟合曲线。然而，模型直接输出的结果是经过归一化的数据。所以，需要对输出结果进行反归一化。
[0052]
步骤1.3整个数据集的数值经过最大最小归一化后，再利用滑动窗口对数据集进行划分。
[0053]
步骤2、使用时序分解算法对归一化后的能源消耗数据序列x进行分解，得到能源消耗数据的趋势项trend
x
、季节项seasonal
x
和残差项resid
x
。为了使算法具有足够的鲁棒性，设计了内循环和外循环。其中，内循环主要做了趋势拟合和周期分量的计算；外循环主要用于调节鲁棒权重；
[0054]
步骤3、如图3所示，使用多分辨率分析法分别将趋势项trend
x
、季节项seasonal
x
和残差项resid
x
分解成不同时间尺度的趋势项序列、季节项序列、残差项序列，然后如图2所示，分别输入改进的tcn网络中并提取三个序列在不同时间尺度的局部特征，再将三个各序列的时间尺度的局部特征分别进行合并，从而得到三个序列的全局特征并融合成多分辨率特征y
nl
；
[0055]
步骤3.1、使用二叉树的形式对趋势项trend
x
进行n次分解，得到不同时间尺度的趋势项序列{tn|n＝1，2，
…
，2
n-1}，其中，tn表示分解后的趋势项所在的第n个节点，2
n-1表示二叉树中趋势项的节点数量；
[0056]
步骤3.2、将二叉树的第n个节点tn进行膨胀卷积操作，得到第n个节点tn在c个通道上的特征值上的特征值表示第n个节点的第c个通道的特征值，c表示通道的个数，令hn表示特征值un的序列长度；
[0057]
步骤3.3、利用式(3.1)将第n个节点的第c个通道的特征值进行通道压缩操作，得到第n个节点的第c个通道的全局信息值从而得到压缩后通道特征值的全局信息值从而得到压缩后通道特征值的全局信息值
[0058][0059]
式(3.1)中，f
sq
表示压缩操作，表示第n个节点的第c个通道的第i个序列，
[0060]
步骤3.4、利用式(3.2)将第n个节点的第c个通道的全局信息值依次经过两个全连接层和一个sigmoid激活函数的激励操作后，得到第n个节点的第c个通道的权重从而得到第n个节点的第c个通道的权重
[0061][0062]
式(3.2)中，f
ex
表示激励操作，w表示两个全连接层的权重，w1表示其中一个全连接层的的权重，w2表示另一个全连接层的权重；relu表示非线性激活函数；δ表示sigmoid激活函数；
[0063]
步骤3.5、利用式(3.3)将第n个节点的第c个通道的特征值进行重新标定，得到第n个节点的第c个标定后的特征值从而得到重新标定后的特征值
[0064][0065]
式(3.3)中，f
scale
表示重新标定操作；
[0066]
步骤3.6、依次经过权重归一化层、relu激活函数和dropout层，得到特征值fn；特征值fn输入第一个残差块后，利用式(3.4)将特征值fn与能源消耗数据序列x进行残差连接后，得到残差连接特征值将前一个残差块的输出作为后一个残差块的输入，并经过m个残差块处理后，利用式(3.5)得到第m个残差块的特征值
[0067][0068][0069]
式(3.4)-式(3.5)中，f表示权重归一化层、relu激活函数和dropout层，表示第n个节点的m-1个残差块的特征值，se表示压缩操作，激励操作和重新标定操作。
[0070]
步骤3.7、特征值fn经过sigmoid函数的处理后，得到(0，1)之间的映射值，并作为能源消耗数据时间维度的权重；然后，利用式(3.6)将权重与相乘，得到第n个节点的局部特征
[0071][0072]
步骤3.8、将2
n-1个节点的局部特征进行合并，再通过一个全连接层的映射后得到趋势项trend
x
的全局特征trendy。
[0073]
步骤4、使用ar算法对归一化的能源消耗数据序列x进行线性处理，得到能源消耗数据序列x的线性特征y
l
；
[0074]yl
＝wx+b
ꢀꢀꢀ
(4.1)
[0075]
式(4.1)中，x是能源消耗数据，w是权重矩阵，b是偏置，y
l
是ar模块的线性输出；
[0076]
步骤5、如图4所示，将多分辨率特征ynl与线性特征y
l
进行融合后，得到能源消耗的预测结果。
[0077]
为了验证tdmrtcn的有效性，通过在公开数据集electricity上的实验，绘制了测试集的拟合曲线，查看预测值和真实值的拟合程度。由于测试集特征数目过多、样本数目过多，选取了部分特征的部分样本进行拟合测试。
[0078]
如图5所示，表示时间步长为3的拟合曲线，实验表明随着时间步长增大，模型的拟合效果逐渐变差，这说明了能源消耗的长期预测准确率低于短期预测准确率。
[0079]
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行该能源消耗预测方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
[0080]
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行该能源消耗预测方法的步骤。
[0081]
综上所述，本方法在能源消耗预测上，能综合传统时序分解算法的优点、注意力机制的特性以及多分辨率分析对序列建模的有效性，从而能针对时序注意力网络模型tacn只能提取通道特征，不能提取时间特征的问题，提出了将时间维度上的注意力融入tacn，考虑到能源消耗数据在不同分辨率蕴含不同特征信息的问题，将多分辨率分析思想应用到能源消耗预测领域。