一种基于改进Transformer网络的烧结矿转鼓强度预测模型及其系统

本发明涉及一种烧结转鼓轻度预测模型，具体涉及一种基于改进transformer网络的烧结矿转鼓强度预测模型及其系统，属于铁矿石烧结生产。

背景技术：

1、烧结矿质量指标主要包括化学成分、物理性能和冶金性能。其中，转鼓强度是烧结矿物理性能中的一个重要指标，反映烧结矿在运输、装卸和高炉冶炼过程中抵抗破碎和磨损的能力，因此转鼓强度是衡量烧结矿质量和生产操作水平的一项综合性指标。高转鼓强度的烧结矿在高炉内能够保持较好的粒度分布，减少粉化和熔化现象，保证高炉的稳定运行。目前，烧结矿转鼓强度一般通过机器抓手在成品皮带上进行取样检测，此种方式虽然简单直接，且准确性高，但由于设备的特殊性以及烧结生产过程的时滞性，设备取样周期一般在2h以上，且检测时间距烧结完成时间已经过去2h以上，上述问题严重影响生产现场对烧结矿转鼓强度的感知与控制。

2、烧结过程是一个半封闭的高温反应过程，风箱废气温度等关键变量可以大致反应烧结过程热量水平状态，经验丰富的烧结人员可以根据温度等烧结过程变量及变化趋势估计本批烧结矿的转鼓强度水平。因此，通过开发改进transformer网络的烧结矿转鼓强度预测方法及系统代替人工观察，能够精准测量烧结矿转鼓强度，解决传统转鼓强度检测法的不足，对提高烧结生产操作水平具有重要意义。

技术实现思路

1、针对现有技术存在的问题，本发明的第一个目的在于提供一种基于改进transformer网络的烧结矿转鼓强度预测模型。该模型采用深度学习模型中transformer的encoder结构作为基本框架，可直接以烧结生产过程数据序列作为输入，通过自注意力机制、残差连接等操作提取数据特征，有效避免了过程数据变化趋势信息丢失，在提高预测结果准确率的前提下，大幅提高预测速度，从而有效解决了现有检测方法中存在的时滞性和人工主观性等技术问题。

2、本发明的第二个目的在于提供一种基于改进transformer网络的烧结矿转鼓强度预测系统。基于该模型优异的精度和预测速度，通过该模型所构成的预测系统可实现对人工观察的替代，经测试，采用该模型的预测系统在连续32h预测过程中，相较于检化验结果，其误差绝对误差的绝对值≤0.4%，绝对误差的平均绝对值仅为0.24%，展现出优异的预测精准性。

3、为实现上述技术目的，本发明提供了一种基于改进transformer网络的烧结矿转鼓强度预测模型，包括：

4、步骤s1、获取烧结过程的连续状态数据，经预处理后构建烧结过程变量矩阵m1和变量变化趋势矩阵m2；

5、步骤s2、采用transformer的encoder结构作为基本框架，构建由变量序列特征提取分支-回归块和变量序列变化趋势特征提取分支-回归块组成的改进transformer网络模型；

6、步骤s3、将烧结过程变量矩阵m1和变量变化趋势矩阵m2输入改进transformer网络模型，采用注意力加权层对两分支所提取的特征变量进行加权融合，并将融合后变量z作为回归块输入，输出烧结矿转鼓强度预测值；

7、所述变量序列特征提取分支在第一个transformer编码层之前还有一个占位符嵌入层。

8、作为一项优选的方案，所述烧结过程的连续状态数据包括白云石配比、生石灰配比、燃料配比、返矿配比、混合料水分、混合料配比、混合料槽位、烧结机速、混合料层厚、18~30风箱废气温度、18~30风箱的负压、18~30风箱风门开度和环冷入口烟罩废气温度。

9、作为一项优选的方案，所述预处理的过程为：将所得烧结过程的连续状态数据进行异常值剔除、三次样条插值和数据标准化操作，即得。

10、作为一项优选的方案，所述烧结过程变量矩阵m1的构建过程为：读取分钟级取烧结过程的连续状态数据，以状态数据的时间步长为矩阵行向量，以状态数据的变量序列为矩阵列向量，即得。

11、作为一项优选的方案，所述变量变化趋势矩阵m2的构建过程为：采用大小为5、步长为1的滑动窗口对m1中每列变量进行基于最小二乘拟合的变量特征趋势提取操作，获取变量变化趋势m，经遍历计算后，得到变量变化趋势矩阵m2。

12、作为一项优选的方案，所述变量变化趋势m的计算过程为：

13、式1：；

14、式1中：为窗口内变量子序列，s为时间步长，y为归一化后的变量值。

15、作为一项优选的方案，所述变量序列特征提取分支结构和变量序列变化趋势特征提取分支均由位置嵌入层、位置编码层、transformer编码层、transformer编码层和transformer编码层组成；所述回归块由注意力机制加权层和全连接层组成。

16、作为一项优选的方案，所述注意力机制函数为：

17、式2：；

18、式2中：分别为查询（query）、键（key）和值（value）向量，x为输入向量，和是可训练的投影矩阵，是键向量的维度。

19、作为一项优选的方案，所述变量序列特征提取分支-回归块的构建过程为：采用三层transformer的encoderlayer对特征变量序列特征进行提取，同时在矩阵m1上方新增一行参数可训练行向量，提取输出特征矩阵的首行向量x1作为后续回归块的输入特征。

20、作为一项优选的方案，所述变量序列变化趋势特征提取分支-回归块的构建过程为：采用三层transformer的encoderlayer对特征变量序列特征进行提取，并提取输出矩阵的末行向量x2作为后续回归块的输入特征。

21、作为一项优选的方案，所述加权融合的过程为：

22、式3：；

23、式3中：为融合后变量，为全连接层可训练全连接层权重矩阵，为全连接层可训练全连接层权重矩阵，r为超参数，为两分支中作为回归块输入特征的行向量。

24、本发明还提供了一种基于改进transformer网络的烧结矿转鼓强度预测系统，包括：可编程逻辑控制器（101）、存储器(102)和处理器(103)；所述存储器中存储可实施上述权利要求1~9中任意一项所述预测模型的计算机程序；所述处理器用于读取所述可编程逻辑控制器中的烧结生产过程数据，调取并执行所述存储器中实施预测模型的计算机程序。

25、相对于现有技术，本发明技术方案的有益技术效果为：

26、1）本发明所提供的预测模型采用深度学习模型中transformer的encoder结构作为基本框架，可直接以烧结生产过程数据序列作为输入，通过自注意力机制、残差连接等操作提取数据特征，有效避免了过程数据变化趋势信息丢失，在提高预测结果准确率的前提下，大幅提高预测速度，从而有效解决了现有检测方法中存在的时滞性和人工主观性等技术问题。

27、2）本发明所提供的技术方案中，两提取分支均只采用三层transformer的encoderlayer对特征变量序列特征进行提取，有效提高模型计算效率的同时还降低了模型过拟合的风险，并且，通过在变量序列特征提取分支中在烧结过程变量矩阵m1上方新增一行参数可训练行向量，可获取其自身与当前整个矩阵的变量信息，从而进一步的提高模型的预测精度，经测试，采用该模型的预测系统在连续32h预测过程中，相较于检化验结果，其误差绝对误差的绝对值≤0.4%，绝对误差的平均绝对值仅为0.24%，展现出优异的预测精准性。