基于双重注意力机制和XGBoost的烘丝机水分动态预测方法

本发明属于自动化，尤其涉及一种基于双重注意力机制和xgboost的烘丝机水分动态预测方法。

背景技术：

1、烟丝干燥过程是是制丝工艺流程的后段和关键工序，通过蒸汽筒壁传导和热风对流传热方式干燥烘丝筒内的烟丝脱水,使得烟丝含水率符合卷烟工艺的要求。烟丝出口含水率是制丝生产中对烟丝质量评价的关键指标,然而，干燥过程受来料水分、品种等级、环境温湿度等影响，反应机理极其复杂，由于缺乏可靠的检测仪器，烟丝水分指标难以直接实时在线检测,导致批次质量不稳定，因此，亟需建立高精度烟丝水分预测模型，为干燥过程的稳定控制与操作优化奠定基础。

2、基于数据驱动的建模无需了解复杂的烟丝干燥机理知识，主要依赖工业数据和机器学习等理论方法，构建容易测量过程变量与检测困难变量之间的数学模型，可以实现关键工艺指标或者质量指标的预测难题，因此，吸引学者和技术人员高度关注。在制丝过程领域，例如，王龙柱等人通过建立rbf神经网络模型用于预测叶丝生丝含水率。刘大卫使用mlp神经网络及多元线性回归分析模型预测叶丝切丝含水率。尽管这些模型取得积极研究成果，但仍存在以下问题：一方面，elm、mlp、rbf等均属于浅层神经网络，难以有效挖掘烟草工业数据中隐含的深层结构信息，导致模型泛化能力有限，另一方面，由于原料品质等级差异、蒸汽压力不稳定等因素影响，干燥过程具备显著非稳态特性，传统静态网络结构无法描述烟丝干燥过程的动态变化规律。

技术实现思路

1、本发明的目的在于提供一种基于双重注意力机制和xgboost的烘丝机水分动态预测方法。

2、本发明的技术方案如下：针对烘丝机出口水分准确预测的难题，本发明提出一种双重注意力机制和xgboost的出口水分动态预测方法。首先，采用互信息对过程变量初步特征筛选，选择与出口水分相关性最大的输入，降低特征维数，简化模型复杂度；其次，引入特征注意力机制，捕捉不同过程变量与出口水分之间的非线性关系，突出关键部分权重。其次，在bilstm提取时序特征基础上，引入时间注意力机制挖掘过程变量不同时刻，自主选取历史信息关键时间点，将加过权重的变量放入xgboost。最后，建立基于xgboost的干燥过程模型，实现出口水分精准预测。实验结果验证本文算法的可行性和有效性。自动实现过程变量赋权重信息，以高精度预测烟丝水分的变化趋势。

3、基于双重注意力机制和xgboost的烘丝机水分动态预测方法，包括以下步骤：步骤1：构建数据采集模块；

4、步骤2：建立数据预处理模块；对数据采集模块采集的原始数据进行归一化处理；并进行特征选择剔除对输出影响较弱的冗余变量；

5、步骤3：构建基于双重注意力机制和xgboost的烘丝机水分动态预测模型；

6、步骤3.1：引入特征注意力机制，通过为输入特征动态分配注意力权重，进行自适应动态权重赋值，描述过程变量与烘丝机出口水分之间的非线性关系，突出关键部分权重；

7、步骤3.2：构建bilstm时序特征提取模块；

8、步骤3.3：引入时间注意力机制，挖掘过程变量不同时刻，自主选取历史信息关键时间点，将加过权重的变量放入xgboost；

9、步骤3.4：建立xgboost预测模型；

10、步骤4：对步骤3构建的基于双重注意力机制和xgboost的烘丝机水分动态预测模型进行迭代训练，根据评价指标训练预测模型；

11、所述评价指标为：

12、

13、其中，其中yi为烟丝水分实际值，为预测值，为模型对于测试集所有样本输出结果的平均值，n为验证集中样本数量；rmse指标和mae指标越小，预测效果越好；r2越接近1，预测效果越好。

14、步骤5：利用训练后的烘丝机水分动态预测模型进行烘丝机水分动态预测。

15、优选的，所述构建数据采集模块包括：采集叶丝膨胀-入口物料流量瞬时值、叶丝膨胀-入口物料含水率、叶丝膨胀-蒸汽流量实际值、叶丝膨胀-出口温度、滚筒干燥-筒壁温度实际值、滚筒干燥-蒸汽压力、滚筒干燥-蒸汽阀门开度、滚筒干燥_热风蒸汽流量、滚筒干燥_热风温度实际值、滚筒干燥_排潮风门开度、滚筒干燥_排潮负压、滚筒干燥_出口物料温度实际值；数据集构造如下：

16、y(t)＝f(x(t))；

17、其中x(t)是过程变量，y(t)是烘丝机出口水分，t-τ表示时间序列窗口长度，m是过程变量个数。

18、优选的，所述建立数据预处理模块包括：对数据采集模块采集的原始数据进行归一化处理，归一化公式为：其中x代表该变量归一化前的值，x′代表归一化后的值，xmin，xmax代表该变量归一化前的最小、最大值；由于干燥过程中存在大量生产状态参数控制变量，引入冗余信息容易增加网络结构的复杂度，降低模型的预测精度和时效性，通过计算互信息进行特征选择剔除对输出影响较弱的冗余变量；互信息公式如下：其中p(x,y)为x和y联合概率分布函数，p(x)和p(y)分别x和y的边缘概率密度函数；互信息越大，则代表x包含关于y的信息越多，即两者相关性越强。

19、优选的，所述引入特征注意力机制包括：在t时刻，特征向量采用单层神经网络计算注意力权重at；其中αt为t时刻输入特征的权重系数；

20、特征注意力权重的计算过程为：在单层的全连接层计算完后，输入的特征向量xt通过sigmoid函数激活，然后使用softmax函数进行归一化处理，生成特征向量αt并和特征向量xt进行哈达玛积运算计算出带有权重的输入特征x′t；

21、

22、优选的，所述构建bilstm时序特征提取模块包括：通过bilstm时序建模进一步挖掘动态特征，在lstm单元被计算为：式中，xt表示输入时序数据；ft、it、ot分别表示遗忘门、输入门和输出门的输出；wf、wi、wo为三种门的权重矩阵，bf、bi、bo为对应的三个偏置单元；sigmoid为激活函数；tanh为双曲线正切函数；wc、bc分别对应该层的权重矩阵和偏置单元；ct为细胞状态；ht表示隐藏状态；在bilstm中包含一个前向lstm单元和一个后向lstm单元，每个lstm单元与上述lstm结构一致，前向、后向两个单元之间相互独立。

23、优选的，所述引入时间注意力机制包括：对lstm模型隐含层输出值进行运算，相比于lstm模型，关注以往不同时刻的隐含层输出值与当前时刻隐含层输出值之间的关联，即通过计算两者相关性确定以往隐含层输出值的权值，获得最终隐含层输出值；时间注意力权重计算为：输入是模型迭代到t时lstm网络单元隐层的状态h＝[h1,h2,...,hτ+1]，将其放入relu激活函数映射到0-x的区间，再放入softmax函数进行归一化处理后生成时间注意力权重b，使用注意力权重b和bilstm层输出的状态h进行哈达玛积计算得到h′，其中τ+1为输入序列的时间窗口长度；时间注意力最终输出b为：b＝ta(h′)＝[β1,β2,...,βτ+1]；h′＝he b＝[h1β1,h2β2,...,hτ+1βτ+1]。

24、优选的，所述建立xgboost预测模型包括：xgboost(extreme gradient boosting)能够很好地捕捉数据的非线性关系，预测模型表示为：

25、式中，xi是第i个特征向量，k是树数量；

26、xgboost目标函数为：其中，l是损失函数用于衡量预测值和真实分数的差距，第二项是正则化项，ω为树叶子节点上的分值；t为树叶子节点的总数目，γ和λ分别为l1正则的惩罚项，避免了过拟合现象，降低了模型的复杂度，增强了泛化能力。

27、本发明提供的一种基于双重注意力机制和xgboost的烘丝机水分动态预测方法，具有如下有益效果：1)本文方法无需了解任何专家知识，仅依赖工业过程数据质量，探索和挖掘数据中隐含生产流程运行深层信息，设计一种高精度的实时预测新方法，具有成本低，通用性强优点。

28、2)为了更准确描述烟丝干燥过程动态特性，在bilstm建模基础上，本文先后引入特征注意力和时间注意力机制提高深度网络自学习的抽象特征质量，前者主要负责挖掘干燥过程中不同变量与烟丝水分之间的非线性关系，后者是描述样本的过程变量在不同时刻与烟丝水分之间的动态关系，极大地提高预测水分动态变化趋势的准确性。