一种多目标优化的1DCNN-GRU-LSTM神经网络隧道掌子面瓦斯浓度预测方法

一种多目标优化的1dcnn-gru-lstm神经网络隧道掌子面瓦斯浓度预测方法
技术领域
1.本发明涉及基于时间序列的瓦斯浓度预测方法，尤其涉及一种多目标优化的1dcnn-gru-lstm神经网络隧道掌子面瓦斯浓度预测方法，属于穿煤隧道工程瓦斯浓度预测领域。


背景技术：

2.瓦斯浓度异常将危害煤矿常态化安全生产，提前预测具有重要意义。目前瓦斯浓度预测上还存在着突出预测准确率不高等问题。瓦斯突出内在机理极为复杂，突出影响因素与突出事件之间相关规律存在一定的不精确性和模糊性，基于经验的传统预测技术和基于数学建模的统计预测方法的应用已受到了很大的限制。目前，一些先进的理论方法如计算机模拟、模糊数学理论、灰色系统理论、神经网络、专家系统、分形理论和非线性理论、流变与突变理论等已开始应用于煤与瓦斯突出的定量评价与分析中，并取得了一定的研究成果。早期学者将瓦斯预测与开采深度单纯成正比关系进行研究，但对于地质环境复杂的煤层，这种观点很快被新方法取缔。随之，不少学者将目光放在人工神经网络等方法上实现瓦斯浓度预测。随着煤矿领域数据的不断增大，基于统计学习方法和机器学习的瓦斯浓度预测无法人为分析出其非线性关系，无法实时连续预测瓦斯浓度的缺点逐渐显露，极大推动了基于深度神经网络的方法用于矿井瓦斯浓度的预测中。前人的研究提高了瓦斯浓度的预测精度，但尚未取得令人满意的结果。究其原因，在于优化算法的选择，部分优化算法存在易于陷入局部最优的缺点，难以确保寻优的有效性。故探索出一种有效的提升瓦斯浓度预测准确率的方法具有较大意义。针对这一问题，本发明提出了一种多目标优化的1dcnn-gru-lstm神经网络隧道掌子面瓦斯浓度预测方法。该方法先对数据进行数据集划分和归一化，接着引入一维cnn(卷积神经网络)细胞、gru(门控循环单元神经网络)细胞和lstm(长短期记忆神经网络)细胞处理具有时序性的历史瓦斯浓度序列数据，设计网络结构学习瓦斯浓度序列内部动态变化规律，通过多目标方式更加有效的对模型进行优化求解，跳出局部极值点，将得到的预测方法用于完成瓦斯浓度预测。


技术实现要素：

3.本发明提供了一种多目标优化的1dcnn-gru-lstm神经网络隧道掌子面瓦斯浓度预测方法，以用于解决传统煤矿瓦斯浓度预测准确率不高的问题。
4.本发明的技术方案是：一种多目标优化的1dcnn-gru-lstm神经网络隧道掌子面瓦斯浓度预测方法，所述方法的具体步骤如下：
5.step1、获取瓦斯浓度数据集；
6.step2、对获取的瓦斯浓度数据集进行缺失值填补；
7.step3、对数据进行数据集划分和归一化处理；
8.step4、根据瓦斯浓度数据集选取符合预定要求的时间窗口长度，根据所选时间窗
口长度，将数据集切片化处理；
9.step5、引入采用多目标优化的1dcnn-gru-lstm神经网络处理具有时序性的历史瓦斯浓度序列数据并设置参数，预测穿煤瓦斯隧道掌子面瓦斯浓度；
10.step6、固定参数循环step1～step5进行下一次预测。
11.作为本发明的进一步方案，所述step2包括：
12.缺失值填补时采用多重填补法，根据数据元组取值的分布情况计算填充值，具体步骤如下:
13.为每个缺失值产生一套可能的填补值，这些值反映了无响应模型的不确定性；每一个值都被用来填补数据集中的缺失值，产生若干个完整数据集；
14.每一个填补数据集都用针对完整数据集的统计方法进行统计分析；对来自于各个填补数据集的结果进行综合，产生最终的统计推断，这一推断考虑到了由于数据填补而产生的不确定性。
15.作为本发明的进一步方案，所述step4中，选取时间窗口长度为20，将序列分成多个输入模式，称为样本，其中以二十个时间步作为输入，一个时间步作为输出，并据此来预测一个时间步的输出值y，将结果数据转化为时间序列数据矩阵，得到1dcnn-gru-lstm模型的输入数据。
16.作为本发明的进一步方案，所述step5的具体步骤包括：
17.step5.1、搭建1dcnn-gru-lstm神经网络的并行模型，并设置参数；
18.step5.2、利用切片处理后的数据集输入到预测模型中对模型进行训练；
19.step5.3、对构建的1dcnn-gru-lstm神经网络预测模型进行多目标优化求解；
20.step5.4、利用优化后的预测模型进行穿煤瓦斯隧道掌子面瓦斯浓度预测。
21.作为本发明的进一步方案，所述step5.1包括：
22.step5.1.1、首先将step4切片后数据集输入一维卷积，通过建立多个滤波器提取输入数据的特征，提取特征公式如下：
[0023][0024]
其中，mj为输入特征矢量；l为第l层网络；k为卷积核；b为网络偏置；为第l层输出，为第l层输入；
[0025]
step5.1.2、将一维cnn的输出数据集cnn
out
输入gru神经网络，gru更新门控制上一个时刻的信息保存到下一时刻的程度，重置门控制当前状态信息与上一时刻信息是否结合；提取特征公式如下：
[0026]zt
＝σ(w
zx
x
t
+u
zhht-1
+bz)
ꢀꢀꢀ
(2)
[0027]rt
＝σ(w
rx
x
t
+u
rhht-1
+br)
ꢀꢀꢀ
(3)
[0028][0029][0030]
其中，x
t
是输入，h
t
是隐藏层的输出，z
t
和r
t
是更新门和重置门，是输入x
t
和上一个时刻输出h
t-1
的汇总，σ是sigmoid函数，w
hx
，w
zx
，w
rx
，u
hh
，u
zh
，u
rh
为权重系数矩阵，bh，bz，br是偏置向量，是z
t
和h
t-1
的符合关系；
[0031]
step5.1.3、将gru的输出数据集gru
out
输入lstm神经网络，lstm输入门控制输入单元信息传递到状态单元，输出门控制状态单元的部分信息作为lstm的输出，遗忘门控制状态单元信息的保存或删除，其内部结构如下：
[0032]it
＝σ(w
ix
x
t
+w
ihht-1
+bi)
ꢀꢀꢀ
(6)
[0033]ft
＝σ(w
fx
x
t
+w
fhht-1
+bf)
ꢀꢀꢀ
(7)
[0034][0035][0036]ot
＝σ(w
ox
x
t
+w
ohht-1
+bo)
ꢀꢀꢀ
(10)
[0037]ht
＝o
t
·
tanh(c
t
)
ꢀꢀꢀ
(11)
[0038]
其中，σ为激活函数sigmoid，x
t
是时刻t的输入向量；w
fx
,w
ix
,w
cx
,w
ox
,w
fh
,w
ih
,w
ch
,w
oh
是权重系数矩阵，i
t
,f
t
,o
t
分别是输入门，遗忘门和输出门的激活函数，c
t
，是状态单元和即时单元的向量，h
t
是lstm当前的输出；
[0039]
将一维cnn、gru和lstm神经网络依次处理后的结果使用全连接层拼接处理，得到1dcnn-gru-lstm预测模型。
[0040]
作为本发明的进一步方案，所述step5.3中，采用基于多目标优化和梯度下降的混合优化方式对预测模型进行多目标优化求解；
[0041]
在此方式下，多目标优化关注全局搜索，梯度下降算法用于局部搜索；多目标优化能帮助梯度下降算法跳出局部极值点，同样梯度下降算法能加快多目标优化的收敛速度，两者相互结合能更加有效的对预测模型进行优化求解；在这个方式下，优化问题首先被分解为多个单目标优化问题，然后使用梯度下降算法对其进行优化求解。
[0042]
作为本发明的进一步方案，多目标问题转化为n个单目标问题优化问题时提取特征公式如下：
[0043][0044]
其中，w＝{w1,w2,...,wc}是每个类别错分率的权重，反应每个类别样本对最终分类的影响程度，fcr为假负例，c表示类别数量，θ是给定分类器的参数；i∈(1，c)，j∈(1，n)；
[0045]
对于一组给定的w，1dcnn-gru-lstm模型的损失函数jm(θ)在反向传播框架下采用梯度下降算法对其优化，损失函数jm(θ)关于θ的偏导数为：
[0046][0047]
权重w优化求解特征公式如下：
[0048]
min1dcnn-gru-lstm(w)＝(fcr1(θ),fcr2(θ),...,fcrc(θ))(w)
ꢀꢀꢀ
(14)
[0049][0050]
对于一个给定的w，1dcnn-gru-lstm模型的参数w使用梯度下降算法优化求解，梯度下降算法能有效的找到局部最优解，进化算法能为梯度下降算法找到一个较好的初始解，通过多目标优化算法和梯度下降算法两种算法结合找到全局最优解。
[0051]
本发明的有益效果是：
[0052]
本发明提出一种引入一维卷积神经网络细胞、门控循环单元神经网络细胞和长短
期记忆神经网络细胞并通过多目标优化的方法处理具有时序性的穿煤瓦斯隧道掌子面历史瓦斯浓度序列数据，设计网络结构学习瓦斯浓度序列内部动态变化规律，以误差损失最小化为目标，能够以高精度预测方法完成瓦斯浓度预测。
附图说明
[0053]
图1实例性地示出了本发明的一种多目标优化的1dcnn-gru-lstm神经网络隧道掌子面瓦斯浓度预测方法的流程图。
具体实施方式
[0054]
实施例1，一种多目标优化的1dcnn-gru-lstm神经网络隧道掌子面瓦斯浓度预测方法，所述方法的具体步骤如下：
[0055]
step1、获取瓦斯浓度数据集；
[0056]
step2、对获取的瓦斯浓度数据集进行缺失值填补；所述step2包括：
[0057]
缺失值填补时采用多重填补法，根据数据元组取值的分布情况计算填充值，具体步骤如下:
[0058]
为每个缺失值产生一套可能的填补值，这些值反映了无响应模型的不确定性；每一个值都被用来填补数据集中的缺失值，产生若干个完整数据集；
[0059]
每一个填补数据集都用针对完整数据集的统计方法进行统计分析；对来自于各个填补数据集的结果进行综合，产生最终的统计推断，这一推断考虑到了由于数据填补而产生的不确定性。
[0060]
step3、对数据进行数据集划分和归一化处理；
[0061]
step4、根据瓦斯浓度数据集选取符合预定要求的时间窗口长度，根据所选时间窗口长度，将数据集切片化处理；
[0062]
作为本发明的进一步方案，所述step4的具体步骤包括：
[0063]
所述step4中，选取时间窗口长度为20，将序列分成多个输入模式，称为样本，其中以二十个时间步作为输入，一个时间步作为输出，并据此来预测一个时间步的输出值y，将结果数据转化为时间序列数据矩阵，得到1dcnn-gru-lstm模型的输入数据。
[0064]
step5、引入采用多目标优化的1dcnn-gru-lstm神经网络处理具有时序性的历史瓦斯浓度序列数据并设置参数，预测穿煤瓦斯隧道掌子面瓦斯浓度；
[0065]
所述step5的具体步骤包括：
[0066]
step5.1、搭建1dcnn-gru-lstm神经网络的并行模型，并设置参数；
[0067]
step5.1.1、首先将step4切片后数据集输入一维卷积，通过建立多个滤波器提取输入数据的特征，提取特征公式如下：
[0068][0069]
其中，mj为输入特征矢量；l为第l层网络；k为卷积核；b为网络偏置；为第l层输出，为第l层输入；
[0070]
step5.1.2、将一维cnn的输出数据集cnn
out
输入gru神经网络，gru更新门控制上一
个时刻的信息保存到下一时刻的程度，重置门控制当前状态信息与上一时刻信息是否结合；提取特征公式如下：
[0071]zt
＝σ(w
zx
x
t
+u
zhht-1
+bz)
ꢀꢀꢀ
(2)
[0072]rt
＝σ(w
rx
x
t
+u
rhht-1
+br)
ꢀꢀꢀ
(3)
[0073][0074][0075]
其中，x
t
是输入，h
t
是隐藏层的输出，z
t
和r
t
是更新门和重置门，是输入x
t
和上一个时刻输出h
t-1
的汇总，σ是sigmoid函数，w
hx
，w
zx
，w
rx
，u
hh
，u
zh
，u
rh
为权重系数矩阵，bh，bz，br是偏置向量，是z
t
和h
t-1
的符合关系；
[0076]
step5.1.3、将gru的输出数据集gru
out
输入lstm神经网络，lstm输入门控制输入单元信息传递到状态单元，输出门控制状态单元的部分信息作为lstm的输出，遗忘门控制状态单元信息的保存或删除，其内部结构如下：
[0077]it
＝σ(w
ix
x
t
+w
ihht-1
+bi)
ꢀꢀꢀ
(6)
[0078]ft
＝σ(w
fx
x
t
+w
fhht-1
+bf)
ꢀꢀꢀ
(7)
[0079][0080][0081]ot
＝σ(w
ox
x
t
+w
ohht-1
+bo)
ꢀꢀꢀ
(10)
[0082]ht
＝o
t
·
tanh(c
t
)
ꢀꢀꢀ
(11)
[0083]
其中，σ为激活函数sigmoid，x
t
是时刻t的输入向量；
[0084]wfx
,w
ix
,w
cx
,w
ox
,w
fh
,w
ih
,w
ch
,w
oh
是权重系数矩阵，i
t
,f
t
,o
t
分别是输入门，遗忘门和输出门的激活函数，c
t
，是状态单元和即时单元的向量，h
t
是lstm当前的输出；
[0085]
将一维cnn、gru和lstm神经网络依次处理后的结果使用全连接层拼接处理，得到1dcnn-gru-lstm预测模型。
[0086]
多目标优化算法是一种基于群智能的启发式搜索算法，然而基于群智能的启发式搜索算法会带来很大的计算负担，深度学习网络本身的计算复杂度就高，本方法使基于pareto占优的神经网络预测算法的复杂度保持在合理的范围，且有效地利用梯度信息辅助进化算法寻优，最终提出了一个基于多目标优化的1dcnn-gru-lstm神经网络预测框架。
[0087]
step5.2、利用切片处理后的数据集输入到预测模型中对模型进行训练；
[0088]
step5.3、对构建的1dcnn-gru-lstm神经网络预测模型进行多目标优化求解；
[0089]
所述step 5.3中，采用基于多目标优化和梯度下降的混合优化方式对预测模型进行多目标优化求解；
[0090]
在此方式下，多目标优化关注全局搜索，梯度下降算法用于局部搜索；多目标优化能帮助梯度下降算法跳出局部极值点，同样梯度下降算法能加快多目标优化的收敛速度，两者相互结合能更加有效的对预测模型进行优化求解；在这个方式下，优化问题首先被分解为多个单目标优化问题，然后使用梯度下降算法对其进行优化求解。多目标问题转化为n个单目标问题优化问题时提取特征公式如下：
[0091]
[0092]
其中，w＝{w1,w2,...,wc}是每个类别错分率的权重，反应每个类别样本对最终分类的影响程度，fcr为假负例，c表示类别数量，θ是给定分类器的参数；i∈(1，c)，j∈(1，n)；
[0093]
对于一组给定的w，1dcnn-gru-lstm模型的损失函数jm(θ)在反向传播框架下采用梯度下降算法对其优化，损失函数jm(θ)关于θ的偏导数为：
[0094][0095]
权重w优化求解特征公式如下：
[0096]
min1dcnn-gru-lstm(w)＝(fcr1(θ),fcr2(θ),...,fcrc(θ))(w)
ꢀꢀꢀ
(14)
[0097][0098]
对于一个给定的w，1dcnn-gru-lstm模型的参数w使用梯度下降算法优化求解，梯度下降算法能有效的找到局部最优解，进化算法能为梯度下降算法找到一个较好的初始解，通过多目标优化算法和梯度下降算法两种算法结合找到全局最优解。
[0099]
step5.4、利用优化后的预测模型进行穿煤瓦斯隧道掌子面瓦斯浓度预测。
[0100]
step6、固定参数循环step1～step5进行下一次预测。
[0101]
上面结合附图对本发明的具体实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。