基于LSTM与深度残差神经网络的基坑灾害预测预警方法与流程

基于lstm与深度残差神经网络的基坑灾害预测预警方法
技术领域
1.本发明涉及人工智能中的时序模型处理与岩土工程灾害预测技术领域，具体为基于lstm与深度残差神经网络的基坑灾害预测预警方法。


背景技术：

2.传统的灰色理论模型如灰色dngm（1,1）、tpgm（1,1）和arima预测模型等，受多方面影响，对于多因素共同影响的基坑灾害预测不够准确；随着神经网络和大数据的发展，利用深度神经网络处理和预测灾害信息的方法渐渐崭露头角。
3.传统bp神经网络对于处理与时间有关的数据的准确度不高，而且神经网络深度越深，其准确率并没有提高太多，也增加了训练模型的时间；循环神经网络能够很好的处理与时间有关的数据，但是其记忆能力不足，不能够处理相隔时间太长的数据，还容易发生梯度爆炸和梯度消失的问题。


技术实现要素：

4.鉴于现有基于lstm与深度残差神经网络的基坑灾害预测预警方法中存在的问题，提出了本发明。
5.因此，本发明的目的是提供基于lstm与深度残差神经网络的基坑灾害预测预警方法，预测数据的不同特性对预测精度的影响，对采集到的每种数据使用不同的神经网络模型进行预测，提高了预测精度；结合lstm与残差网络模型进行基坑灾害预测，相比于单一模型，极大地提高了预测精度，有助于提高基坑监测数据预测，在一定程度上预防和避免基坑灾害的发生，解决了传统bp神经网络对于处理与时间有关的数据的准确度不高，而且神经网络深度越深，其准确率并没有提高太多，也增加了训练模型的时间；循环神经网络能够很好的处理与时间有关的数据，但是其记忆能力不足，不能够处理相隔时间太长的数据，还容易发生梯度爆炸和梯度消失的问题。
6.为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：基于lstm与深度残差神经网络的基坑灾害预测预警方法，包括以下步骤：s1，在所测基坑的关键处，安置测量点位，用于测量所处点位的地下水位、支护支撑轴力、地连墙应力和深层水平位移的数据；s2，收集上述的数据，对其进行预处理；s3，为地下水位数据构建lstm四层神经网络；s4，为支护支撑轴力数据构建lstm两层+gru两层神经网络；s5，为地连墙应力和深层水平位移数据构建lstm三层+gru一层神经网络；s6，训练各个神经网络，得出四种数据的预测结果；s7，构建残差bp神经网络，按数据的情况，将其安全等级分为稳定、预警、失稳、超控；s8，用残差bp网络训练lstm得出的四种数据的权重矩阵和最终预测结果。
7.作为本发明所述的基于lstm与深度残差神经网络的基坑灾害预测预警方法的一种优选方案，其中：所述s1具体包括以下步骤：<1.1>：由于基坑各位置的地下水流动速度，土体土层密集程度不同，故需要在多个点位设置地下水位测量点；<1.2>：在基坑开挖过程中，每个支护结构支撑轴都设置为支撑轴力测量点；<1.3>：在基坑地连墙位置每隔一段水平距离设置一个测量点位，按照基坑深度对在每一个测量点位的垂直方向均匀地安装测量仪器；<1.4>：在基坑外围绕基坑每隔一段水平距离设置一个测量点位，按照基坑深度对每一个测量点位的垂直方向均匀地安装测量仪器。
8.作为本发明所述的基于lstm与深度残差神经网络的基坑灾害预测预警方法的一种优选方案，其中：所述s3具体包括以下步骤：<2.1>：对于每个时间段（每小时）采集的数据，根据施工环境的和事故情况，划分各个时间段对应的数据的安全等级（稳定、预警、失稳、超控）；<2.2>：由于测量仪器的测量特性不同，要对采集到的不同数据做以下处理：<2.2.1>：删除由于仪器异常的原因测得的异常数据；<2.2.2>：取某段间隔时间（24小时），将其平均划分为24个时间段，对于所测得的每个数据进行线性差值，去除该24个时间段外的其余数据，作为24个时间段的数据；<2.2.3>：将线性差值后的数据进行归一化处理。
9.作为本发明所述的基于lstm与深度残差神经网络的基坑灾害预测预警方法的一种优选方案，其中：所述s3具体包括以下步骤：<3.1>：通过lstm单元构建4层lstm网络，最后用全连接层连接；<3.2>：将归一化处理后的地下水位数据分为训练集和测试集；<3.3>：将训练集分batch在模型中训练，得到预测值；<3.4>：将该预测值与真实值比较，计算损失，经过反向传播使损失最小，获得训练模型。
10.作为本发明所述的基于lstm与深度残差神经网络的基坑灾害预测预警方法的一种优选方案，其中：所述s4具体包括以下步骤：<4.1>：构建2层lstm单元和2层gru单元的神经网络，最后用全连接层连接；<4.2>：将归一化处理后的支护支撑轴力数据分为训练集和测试集；<4.3>：将训练集分batch在模型中训练，得到预测值；<4.4>：将该预测值与真实值比较，计算损失，经过反向传播使损失最小，获得训练模型。
11.作为本发明所述的基于lstm与深度残差神经网络的基坑灾害预测预警方法的一种优选方案，其中：所述s5具体包括以下步骤：<5.1>：构建3层lstm单元和1层gru单元的神经网络，最后用全连接层连接；<5.2>：将归一化处理后的数据分为训练集和测试集；<5.3>：将训练集分batch在模型中训练，得到预测值；<5.4>：将该预测值与真实值比较，计算损失，经过反向传播使损失最小，获得训练模型。
12.作为本发明所述的基于lstm与深度残差神经网络的基坑灾害预测预警方法的一种优选方案，其中：所述s6具体包括以下步骤：<6.1>：调整网络的超参数，训练出最优的模型；<6.2>：用训练模型预测所有点位四类数据，并为预测值标记对应数据的真实值的危险等级。
13.作为本发明所述的基于lstm与深度残差神经网络的基坑灾害预测预警方法的一种优选方案，其中：所述s7具体包括以下步骤：<7.1>：构建8层bp神经网络，将每两层设计为一个残差块，最后用一层全连接层连接；<7.2>：全连接层使用sigmoid激活函数，用于处理多分类问题。
14.作为本发明所述的基于lstm与深度残差神经网络的基坑灾害预测预警方法的一种优选方案，其中：所述s8具体包括以下步骤：<8.1>：将lstm网络预测出的四种数据按时间段合并成一维数组后划分，每个时间段的数据对应一个安全等级；<8.2>：将所有数据分为训练集和测试集；<8.3>：将训练集分batch在模型中训练，得到预测值；<8.4>：将该预测值与真实值比较，计算损失，经过反向传播使损失最小，获得训练模型。
15.与现有技术相比：1、通过深度学习技术，提高预测发生基坑灾害的概率和可能性，对可能发生灾害的地方提前预警，降低灾害损失；克服了以往bp神经网络学习难以处理的时间序列多点位多物理量预测；2、本发明选择其中四项时序数据，采用不同的lstm网络同时学习地下水位、支护支撑轴力、地连墙应力和深层水平位移，最后用残差深度神经网络衡量各个物理量的影响系数，在不增加时间复杂度的同时，达到预测预警效果；3、综合考虑了预测数据的不同特性对预测精度的影响，对采集到的每种数据使用不同的神经网络模型进行预测，提高了预测精度；结合lstm与残差网络模型进行基坑灾害预测，相比于单一模型，极大地提高了预测精度，有助于提高基坑监测数据预测，在一定程度上预防和避免基坑灾害的发生。
附图说明
16.图1为本发明提供的网络模型总体框图；图2为本发明提供的算法具体实施步骤图；图3为本发明提供的循环神经网络rnn图；图4为本发明提供的lstm单元图；图5为本发明提供的gru单元图；图6为本发明提供的地下水位数据处理lstm网络结构图；图7为本发明提供的支护支撑轴力数据处理lstm
‑
gru网络结构图；图8为本发明提供的地连墙应力与深层水平位移数据处理lstm
‑
gru网络结构图；
图9为本发明提供的残差块图；图10为本发明提供的深度残差网络结构图。
具体实施方式
17.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式做进一步的详细描述。
18.本发明提供基于lstm与深度残差神经网络的基坑灾害预测预警方法，请参阅图1
‑
10，包括以下步骤：s1，在所测基坑的关键处，安置测量点位，用于测量所处点位的地下水位、支护支撑轴力、地连墙应力和深层水平位移的数据；s2，收集上述的数据，对其进行预处理；s3，为地下水位数据构建lstm四层神经网络；s4，为支护支撑轴力数据构建lstm两层+gru两层神经网络；s5，为地连墙应力和深层水平位移数据构建lstm三层+gru一层神经网络；s6，训练各个神经网络，得出四种数据的预测结果；s7，构建残差bp神经网络，按数据的情况，将其安全等级分为稳定、预警、失稳、超控；s8，用残差bp网络训练lstm得出的四种数据的权重矩阵和最终预测结果；s1具体包括以下步骤：<1.1>：由于基坑各位置的地下水流动速度，土体土层密集程度不同，故需要在多个点位设置地下水位测量点；<1.2>：在基坑开挖过程中，每个支护结构支撑轴都设置为支撑轴力测量点；<1.3>：在基坑地连墙位置每隔一段水平距离设置一个测量点位，按照基坑深度对在每一个测量点位的垂直方向均匀地安装测量仪器；<1.4>：在基坑外围绕基坑每隔一段水平距离设置一个测量点位，按照基坑深度对每一个测量点位的垂直方向均匀地安装测量仪器。
19.s3具体包括以下步骤：<2.1>：对于每个时间段（每小时）采集的数据，根据施工环境的和事故情况，划分各个时间段对应的数据的安全等级（稳定、预警、失稳、超控）；<2.2>：由于测量仪器的测量特性不同，要对采集到的不同数据做以下处理：<2.2.1>：删除由于仪器异常等原因测得的异常数据；<2.2.2>：取某段间隔时间（24小时），将其平均划分为24个时间段，对于所测得的每个数据进行线性差值，去除该24个时间段外的其余数据，作为24个时间段的数据；<2.2.3>：将线性差值后的数据进行归一化处理。
20.s3具体包括以下步骤：<3.1>：通过lstm单元构建4层lstm网络，最后用全连接层连接；<3.2>：将归一化处理后的地下水位数据分为训练集和测试集；<3.3>：将训练集分batch在模型中训练，得到预测值；<3.4>：将该预测值与真实值比较，计算损失，经过反向传播使损失最小，获得训练
模型。
21.s4具体包括以下步骤：<4.1>：构建2层lstm单元和2层gru单元的神经网络，最后用全连接层连接；<4.2>：将归一化处理后的支护支撑轴力数据分为训练集和测试集；<4.3>：将训练集分batch在模型中训练，得到预测值；<4.4>：将该预测值与真实值比较，计算损失，经过反向传播使损失最小，获得训练模型；由于地连墙应力和深层水平位移数据有着类似的变化，故用一种网络进行处理。
22.s5具体包括以下步骤：<5.1>：构建3层lstm单元和1层gru单元的神经网络，最后用全连接层连接；<5.2>：将归一化处理后的数据分为训练集和测试集；<5.3>：将训练集分batch在模型中训练，得到预测值；<5.4>：将该预测值与真实值比较，计算损失，经过反向传播使损失最小，获得训练模型。
23.s6具体包括以下步骤：<6.1>：调整网络的超参数，训练出最优的模型；<6.2>：用训练模型预测所有点位四类数据，并为预测值标记对应数据的真实值的危险等级。
24.s7具体包括以下步骤：<7.1>：构建8层bp神经网络，将每两层设计为一个残差块，最后用一层全连接层连接；<7.2>：全连接层使用sigmoid激活函数，用于处理多分类问题。
25.s8具体包括以下步骤：<8.1>：将lstm网络预测出的四种数据按时间段合并成一维数组后划分，每个时间段的数据对应一个安全等级；<8.2>：将所有数据分为训练集和测试集；<8.3>：将训练集分batch在模型中训练，得到预测值；<8.4>：将该预测值与真实值比较，计算损失，经过反向传播使损失最小，获得训练模型。
26.基坑要素信息经过预处理后，将四种数据分别用四种lstm网络结构进行预测，预测得到的结果，用深度残差网络进行训练，得到权重矩阵和最终预测结果，其中，设地下水位数据有测点个，支撑轴力测点个。地连墙应力和深层水平位移，在每个测点处又根据深度设置个测点，故地连墙应力测点个，深层水平位移测点个。则第i个地下水位测点在时间t测得的数据为。以每小时作为一个处理的时间段，对所采集的数据，根据基坑工程环境及施工现状，标记安全等级，分为稳定、预警、失稳、超控。即当安全等级达到危险时，及时作出预警。本发明根据前24个小时的基坑要素信息预测后一个小时基坑安全等级情况。
27.首先，收集上述数据，将仪器故障等出现的异常值筛除。由于仪器型号问题，采集的数据并不完全按固定时间进行采样。为了方便模型处理，将采集的数据根据公式（1）线性
插值到整点，取整点时的数据。
28.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，（x,y）为整点x时的值y, （x,y）,（x,yx）为离（x,y）最近的两个点。
29.接下来对经过线性插值后的数据用公式（2）进行归化处理。
30.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，x’为归一化后的数据，max （x）指对x所在测点的所有数据取最大值，min （x）指对x所在测点的所有数据取最小值。
31.将归一化后的数据按数量类型分类，分别为地下水位、支护支撑轴力、地连墙应力和深层水平位移数据构建lstm+gru神经网络组合模型。
32.rnn与传统bp神经网络不同，其每个神经元之间存在联系，前一个神经元的输入可以影响到后一个神经元的输出，适合处理时序数据。但神经元个数过多时，位于rnn网络层前面，无法影响到后面较远距离的神经元，同时容易发生梯度爆炸和梯度消失。
33.lstm单元的关键是引入了三个门（遗忘门、更新门和输出门）。遗忘门的作用是限制上个单元对该单元的影响权重，计算公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，σ为sigmoid函数，wf和bf为遗忘门的权重和偏差，为t时间步的隐藏状态。更新门的作用是限制当前单元的输入权重，计算公式如下：
ꢀꢀꢀꢀꢀꢀ
(4)为神经元之间传递的，用于长期记忆的细胞。在lstm中由遗忘门和更新门共同影响，其中更新门的数据要与经过与tanh函数求权后的该单元的输入值相乘，公式如下：
ꢀꢀꢀꢀ
(5)
ꢀꢀꢀꢀ
(6)其中，为上一单元的影响细胞状态。
34.输出门的作用是控制当前单元的输入对输出的影响，计算公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)该单元的最终输出为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)gru单元是lstm单元的简化版本，它将lstm的遗忘门和输出门合成为一个单一的更新门，而且还混合了细胞状态和隐藏状态。gru相对于lstm有以下改动：令
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
ꢀꢀꢀꢀꢀ
(12)为地下水位数据构建lstm四层神经网络，其结构如图6所示。
35.设置第一层为只有最后128个神经元输出，第二层为64个，第三层为32个，第四层为16个，最后一层为全连接层，每层的激活函数都为y=x.该网络采用adam优化器，adam优化算法结合了momentum优化算法与rmsprop优化算法，是通用性最高的优化器之一。
36.损失函数为均方误差（mse），即
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（13）其中，为x的期望。
37.采用mini
‑
batch梯度下降算法，batch大小为64.为支护支撑轴力数据构建lstm两层+gru两层神经网络，其简化结构如图7所示，最后用一层全连接层连接，每层的激活函数都为y=x.为地连墙应力和深层水平位移数据构建lstm三层+gru一层神经网络其简化结构如图8所示，最后用一层全连接层连接，每层的激活函数都为y=x.构建lstm
‑
gru神经网络训练集和测试集，将70%的数据设置为训练集，30%为测试集。每个测点的数据单独输入模型中训练。将每24个数据作为输入，后1个数据作为验证，输入维度为。第一层输出维度为（none,none,128），第二层输出维度为（none,none,64），第三层输出维度为（none,none,32），第四层输出维度为（none,none,16），最后一层输出维度为（none，1）与后1个数据作比较，计算损失，反向传播训练模型。最终训练出模型的权重矩阵和预测结果。综合所有的数据，将每小时预测的所有测点的四种数据（地下水位、支护支撑应力、地连墙应力和深层水平位移）结果贴上该小时的安全等级标签，与该小时的真实值做比较，若准确率达到预期，则进行下一步。否则，可以为更改模型的学习率、增加并调整l2正则化等超参数，重新训练模型。模型训练完成后，该预测结果与标签作为深度残差网络的真实值。
38.若lstm模型训练完成，构建深度残差网络，将预测结果与标签输入网络进行训练。
39.传统网络结构随着层数增加，其训练误差不降反升。残差网络就是利用前面网络层的输出值来修正后面的输出，使得深层网络的学习效果随着层数的增加，训练误差能保持继续降低。
40.残差块的表示方式为
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
其中，为激活函数，为直接映射，为该层网络的输出。
41.本发明构建8层的残差神经网络，将每两层设计为一个残差块，其中每一层都为全连接层，激活函数为tanh，最后一层的激活函数为softmax。在该网络中，第l个残差块的输入会等于当前残差块的输出加上上一个残差块地输出。
42.将lstm网络的预测结果数据进行归一化处理，然后按7:3划分为训练集和测试集，将训练集分batch在模型中训练，得到预测值。将该预测值与真实值比较，计算损失，经过反向传播使损失最小，获得训练模型，并用该模型预测出最终预测结果，即用前24小时各测点数据预测出下一小时的基坑安全等级。
43.虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。