一种基于贝叶斯优化的内在可塑性深度回声状态网络软测量建模方法

本发明涉及一种软测量建模方法，该方法在过程控制与工业生产实时测量领域具有一定的应用可行性。

背景技术：

1、在许多情况下，部分关键变量因为恶劣的环境条件或是昂贵的设备成本而难以或无法直接测量，通常需要通过耗时的实验室分析来获取，这导致了过程控制的滞后，进而影响生产效率和产品质量。在这种情况下，软测量成为了一种可行的替代方案，它能实时监测这些关键变量。通过软测量技术，能获取过程控制的重要信息，以提升生产的效率和产品的质量。因此，软测量技术在现代工业流程中起着关键作用。

2、在软测量建模方面，主要有三种方法：基于物理机理的模型，基于数据驱动的模型，以及结合了物理机理和数据驱动的混合模型。物理机理模型依赖于对工业过程的精确数学描述，这在复杂的工业系统中往往具有局限性。混合模型试图通过利用历史数据来克服基于物理机理的模型的不足，但往往导致模型过于复杂，难以实现工业过程控制所需的实时性和准确性。相比之下，基于数据驱动的模型利用可测量的辅助变量的历史数据来构建质量变量的黑箱模型，这种方法不仅反应迅速，而且维护成本低。值得注意的是，由于工业过程数据通常具有高度的复杂性、高维度、非线性以及时间序列性，传统的静态网络模型难以满足建模的精度需求。因此，已经有更多的基于数据驱动的动态软测量模型被应用于炼油、冶金、化学、废水处理等行业，以实现变量的实时采集、过程监控和故障检测，并已经显示出了积极的成果。

技术实现思路

1、本发明涉及一种基于深度回声状态网络(desn)以及神经元内在可塑性机制的软测量建模方法。工业过程数据通常表现出极大的复杂性、高维度、明显的非线性，并且显示出强烈的时间相关性。回声状态网络是一种递归神经网络，它结合了储备池计算的特性，使其适用于处理动态系统。desn的结构具有显著的优势，特别是在训练方面，它能够简化训练过程并缓解梯度消失问题。

2、传统的基于梯度的训练方法通常用于循环神经网络，但在desn中，储备池计算已被成功证明为一种替代方法。储备池计算的作用可以看作是一种非线性动态滤波器，而分层储备池结构可以有效地处理包括不同时间尺度的复杂时间信息。然而，对于回声状态网络esn来说，使用随机生成的连接权重可能导致模型不稳定性和限制模型性能的提高。为了解决这个问题，引入了神经元内在可塑性的概念，这意味着神经元的响应和输出特性可以根据输入的变化而变化。这种内在可塑性灵感来自于生物神经元，它们常常表现出这种特性。通过在储备池计算中应用内在可塑性，可以显著减少储备池的随机性，从而提高了模型的预测性能。因此，为了解决这些问题，本发明提出了一种基于贝叶斯优化的内在可塑性深度回声状态网络软测量建模方法，这种方法可以有效地处理复杂的工业过程数据并提高模型的预测性能。

3、本发明主要包括六个部分：(1)确定输入辅助变量以及输出质量变量。(2)数据预处理，包括去除异常值与填补缺失值以及数据归一化。(3)构建内在可塑性深度回声状态网络软测量模型。(4)贝叶斯优化算法自动寻求内在可塑性机制适合的超参数。(5)使用实际工业生产过程数据训练基于贝叶斯优化的内在可塑性深度回声状态网络。(6)通过辅助变量对关键变量进行实时预测。

4、下面分别介绍以上六个部分的内容：

5、(1)确定输入辅助变量与输出质量变量。软测量模型训练阶段，需要选择易测量并且与质量变量相关性大的辅助变量，建立辅助变量与质量变量之间的映射关系，从而对质量变量进行预测。

6、(2)数据预处理。由于流程工业过程环境较为恶劣，造成传感器检测异常，收集到的历史数据存在异常值缺失值。针对以上问题，在采用数据训练软测量模型之前，为减小原始数据的质量与量纲对模型训练造成影响，提高模型预测的质量，需要对收集到的数据进行预处理，包括填补缺失值、去除异常值、数据归一化等。

7、(3)建立内在可塑性深度回声状态网络软测量模型。该模型采用深度回声状态网络提高对输入数据的时序特征提取能力。在此基础上，采用内在可塑性机制改造深度回声状态网络内部的神经元的输出，降低模型的随机性。具体过程如下：

8、·深度回声状态网络是由单个储备池顺序链接构成的层次化深度循环神经网络，包括输入层，状态编码层和输出层。经过预处理之后的原始数据通过输入层进行缩放，将输入限制在一个较小的范围内，以提高模型的稳定性，保证循环过程的收敛性并提高训练速度。原始数据经过输入层处理后，通过多层储备池结构获得高维稀疏的状态编码，深层回声状态网络具有更强的特征表达能力，从而可以获得工业数据潜在的非线性特征和时序信息。用于训练的历史数据全部通过数据编码层后，产生的状态矩阵与原始输入一起通过回归层进行输出训练，回归层一般采用线性回归与岭回归，为获得更加稳定的输出矩阵，本发明采用岭回归方法。

9、·基于内在可塑性的预训练阶段。输入矩阵、深度回声状态网络内部的连接矩阵以及输出矩阵均为随机产生，神经元的内在可塑性机制根据输入数据适应性地改变输出分布使其更符合真实生物神经元的输出，最大化传输信息，并且降低模型的随机性。

10、(4)贝叶斯优化算法寻找内在可塑性机制相关的最优超参数。构建基于内在可塑性的软测量建模方法后，通过试错方法和网格搜索方法确定深度回声状态网络的参数，并给定内在可塑性机制相关的超参数的范围，通过贝叶斯优化算法寻找预测效果最好的超参数，从而得到基于内在可塑性的深度回声状态网络软测量模型的具体结构。

11、(5)这种软测量模型的工作方式是：首先通过训练集进行训练，然后通过测试集来进行验证。在验证阶段，将测试集中的数据输入到经过训练的模型中，得到关键变量的预测值，最后将这些预测值与真实的标签进行比较。如果真实值和预测值之间的误差非常小，那么可以得出结论，这个软测量模型是有效的。

12、(6)最后可以使用这个软测量模型进行实时关键变量的预测。通过收集相关的辅助变量作为输入，然后使用已经训练好的模型来实时预测关键变量，从而帮助监测和控制工业过程中的质量和性能。

13、本发明基于贝叶斯优化的内在可塑性深度回声状态网络软测量模型的详细实施步骤如下：

14、步骤1：构建一种确定软测量的输入与输出的方法。以下是确定输入与输出的步骤：首先，确定需要预测或估算的关键变量，这将成为输出。根据工业过程的性质和需求，明确软测量的目标。基于领域知识，选择与关键变量相关的输入变量。这些输入变量可能包括传感器数据、过程参数、操作变量等。领域知识有助于确定与输出相关的输入。进行特征工程以选择和提取输入变量的特征。这些特征应与关键变量的预测或估算相关。特征工程有助于提高模型性能。通过数据分析和统计方法，确定哪些输入变量与关键变量之间存在相关性。这有助于筛选最具信息价值的输入。

15、步骤2：构建内在可塑性的深度回声状态网络软测量模型，包括构建深度回声状态网络模型，构建基于内在可塑性的预处理模型两个部分详细的网络模型构建分为三个步骤，具体构建过程在步骤2.1、2.2中进行说明。

16、步骤2.1：构建深度回声状态网络的软测量模型，包含三个部分：模型初始化、状态编码的更新以及输出训练。

17、步骤2.1.1模型初始化。单个的储备池计算模型如图1所示，输入与储备池之间的连接矩阵在[-scale,scale]随机产生，储备池不同时刻状态的转换矩阵在[-1,1]的范围内随机产生。深度回声状态网络的模型如图1所示，同理，输入与储备池之间的连接矩阵在[-scale,scale]随机产生，储备池不同时刻状态的转移矩阵以及储备池与储备池之间的连接矩阵均在[-1,1]的范围内随机产生。为保证状态更新的过程中模型的稳定性与收敛性，需要将状态转移矩阵的缩放到满足回声状态特性，具体实现如下：

18、

19、为状态转移矩阵，ρl为状态转移矩阵的谱半径。

20、步骤2.1.2状态编码的更新过程。深度回声状态网络采用储备池顺序连接的结构，层次化的结构可以有效提高循环单元的记忆能力。可以增强输入数据按时间顺序依次通过输入层缩放至[-scale,scale]，根据第一个储备池的状态更新规则进行状态编码的更新，其公式为：

21、

22、为避免初始状态对模型的预测效果产生影响，需要去掉一定的初始状态，本发明去掉初始状态的个数为100。其中，f为激活函数，可以选择tanh激活函数和sigmoid激活函数。第一个储备池的输入来源有两个，一个是经过输入层缩放后的原始数据，第二个是储备池本身的前一时刻的状态。深层回声状态网络中当储备池规模大于1时，状态更新的输入来源有两个，一个是前一储备池当前时刻的状态，第二个是当前储备池上一时刻的状态，其更新规则表示为：

23、

24、为模型输入，为状态矩阵，nu表示的时输入数据的维度，nr表示的是每个储备池中神经元的个数，为输入层转换矩阵，为状态转移矩阵。

25、步骤2.1.3输出训练过程。输入数据经过状态编码层后，每个储备池均产生了相对应的状态矩阵，参与输出训练的包括两部分，一个是每个储备池产生的状态矩阵，另一个是原始数据，最终的状态矩阵表示为输出训练的目标是其中y＝[y1,y2,...,yt]为目标质量变量，为需要训练得到的输出矩阵。输出训练采用的方法是岭回归，其计算公式为：

26、wout＝yxt(xxt+βi)-1

27、训练得到的输出矩阵可以直接用于质量变量的预测。

28、步骤2.2：基于内在可塑性机制的预训练阶段。步骤2.1为标准深度回声状态网络的更新训练流程，添加内在可塑性机制的深度回声状态网络在每个储备池状态更新过程初始阶段增加了预训练阶段。基于不同的激活函数，对应不同的内在可塑性更新规则。内在可塑性机制的目标是最大化神经元的信息传输，输出满足相应的输出分布，即满足经过神经元转换后的输出分布与期望输出分布的kl散度趋向于最小。为实际输出分布，p为期望输出分布。kl散度的计算公式为：

29、

30、在推导过程中，引入参数a和b，将输出表示为：

31、y＝xt+1＝f(axt+b)

32、具体来说，基于不同内在可塑性机制的更新规则为：

33、当期望分布为指数分参数a和b的更新规则为：

34、

35、当期望分布为威尔分布参数a和b的更新规则为：

36、

37、当期望分布为高斯分布参数a和b的更新规则为：

38、

39、经过预训练的状态会趋向于期望分布。其中α、β、η、μ、σ等内在可塑性相关的超参数人为寻找最优参数难度较高，在步骤4中需要采用贝叶斯优化算法进行参数寻优。

40、步骤3：贝叶斯优化过程。构建完内在可塑性深度回声状态网络后，采用贝叶斯优化算法对步骤2.2中涉及到的超参数进行寻优，以找到预测效果最好的超参数。

41、步骤3.1：在本发明中，其中一个创新部分就是优化超参数，这是一个典型的黑盒优化问题。首先将超参数优化问题正式定义为以下数学公式，x＝{p1,p2,p3…,pn}。其中x代表超参数的集合，而pn表示该集合中的第n个超参数。这些超参数对于工业预测模型的性能起着关键作用，它们与目标之间的关系隐含在一个隐性函数中。具体而言，在本发明中，我们的目标是最大化模型的r2值，该值反映了模型对工业数据的拟合程度。因此，优化目标可以表述为：f(x)＝r2。为了解决这一问题，本发明引入了高斯代理模型(surrogate model)作为代理模型。高斯代理模型是一种高效的统计模型，用于建模目标函数和超参数之间的关系。通过学习先验概率分布和观测数据，高斯代理模型能够估计目标函数的后验分布，为超参数优化提供了关键信息。

42、步骤3.2：建立了代理模型，下一步是选择下一个采样点的位置。为了实现这一目标，本发明引入了采集函数(acquisition function)，其作用是根据学习到的代理模型、先验分布和观测数据来决定下一次采样的超参数组合。在本发明中选择了上置信边界函数(upper confidence bound,ucb)作为采集函数。ucb函数相对简单，同时能够平衡深度搜索和广度搜索之间的权衡。其数学表达式如下：

43、acucb(x)＝μ(x)+kσ(x)

44、其中，μ(x)表示在代理模型中学习到的目标函数的均值预测，σ(x)表示目标函数的标准差预测，而k是一个调节因子，它影响探索和利用之间的权衡。ucb函数的目标是在已知信息的情况下，找到具有最大不确定性的点，从而鼓励模型在未探索区域进行采样。通过迭代这个过程，最终能够找到适用于实际工业数据的最佳超参数组合，从而优化工业预测模型的性能。下表列出了需要进行自动调参的超参数列表：

45、

46、步骤4：训练模型。完成步骤1、步骤2，步骤3后，可以得到基于贝叶斯优化的内在可塑性深度回声状态网络软测量模型，不需要采用梯度下降算法对模型进行全局梯度训练。在得到状态矩阵后，直接可以通过输出矩阵得到质量变量的预测值。

47、步骤5：模型有效性验证，完成整个软测量模型的训练并存储了所有模块部分的参数后，经过预处理的测试数据将通过该模型进行传播，以获取预测值。本发明的性能将根据rmse、mae和r2指标进行评估。各个公式的定义如下：其各公式定义如下：

48、

49、

50、式中yi，分别为标签值和预测输出值。较小的rmse往往表示更好的预测性能。

51、

52、决定系数r2反应模型的可靠性，为测试数据输出值的均值，r2越大表明软测量模型具有较好的预测性能。