一种基于模型离线规划的磨煤机控制优化方法与流程

1.本发明火力发电技术领域，尤其是涉及一种基于模型离线规划的磨煤机控制优化方法。


背景技术：

2.在火力发电厂中，制粉系统作为火电发电系统中重要的辅助系统，承担着磨煤、给粉等功能，其中磨煤机正是主要的制粉设备。通常一个火电机组中包含5至6台磨煤机，其具有体积大、投资高、运行耗电量大等特点，在火电厂中的用能占比很高。如果能针对磨煤机的运行特点与情况，在磨煤机的运行过程中对其进行更加合理有效的控制，提升磨煤机的运行效率，可有效地减少能源消耗与污染排放，对火电机组整体的运行效率也会有极大的促进作用。
3.目前磨煤机系统中常见的控制技术主要有：1)传统的pid(proportional-integral-derivative)控制器，其也是工程上应用最广泛、最稳定的控制技术。pid控制器，即比例-积分-微分控制器，通过将收集到的数据与参考值进行比较得到差别，进而计算新的输入值，使系统数据逐渐达到或保持在参考值；2)先进控制技术，如模型预测控制(mpc)技术。模型预测控制作为一类在工业实践过程中发展起来的控制方法，在石油、电力等工业场景中具有十分成功的应用。模型预测控制通过求解一个有限时域上的最优控制问题来获得当前的控制动作。
4.但是，现有技术存在如下缺点：
5.1)、传统的pid控制器适用于一些简单的被控对象，在面对复杂的控制问题时往往优化效果较差。而火电机组的磨煤机属于多变量、非线性、强耦合对象，且存在不同程度的磨损等情况，导致各磨煤机的工况及特性变得复杂，一般的pid控制难以使磨煤机长期运行在最佳工况，控制优化能力有限；
6.2)、一般的模型预测控制技术依赖于控制系统动态模型的建立，然而火电机组磨煤机系统复杂且工况变化范围大，难以对其建立精准的数学模型。且在进行控制量的求解过程中，面对复杂的非线性系统模型，会出现优化问题求解困难、求解效率低下等问题。
7.公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。


技术实现要素：

8.本发明的目的在于提供一种基于模型离线规划的磨煤机控制优化方法，以解决现有技术中存在的技术问题。
9.为了实现上述目的，本发明采用以下技术方案：
10.本发明提供一种基于模型离线规划的磨煤机控制优化方法，其包括如下步骤：
11.s1、从电厂中收集积累的磨煤机运行相关的历史数据并进行数据处理；
12.s2、基于处理后的数据集进行磨煤机动态模型的学习；
13.s3、使用模型预测控制框架构建磨煤机控制优化模型；
14.s4、求解构建的优化模型得到磨煤机的控制策略。
15.优选地，在所述步骤s1中，从电厂中收集积累的磨煤机运行相关的历史数据并进行数据处理，包括：
16.s11、从电厂系统中收集磨煤机运行相关的历史数据集；
17.s12、挑选与磨煤机运行控制密切相关的特征变量，包括反映磨煤机系统相关状态指标的状态特征和能进行操作调节的动作特征；
18.s13、基于步骤s12挑选的特征对步骤s11收集的原始数据进行处理，形成磨煤机控制离线数据集，数据集中数据按照时间顺序进行排列，每条数据之间具有相同的时间间隔，对于每条数据，其中包含该条数据对应时刻下磨煤机系统的状态特征与动作特征的数值。
19.优选地，所述状态特征包括：磨煤机入口一次风压、磨煤机入口一次风温度、磨煤机入口一次风量、磨煤机出口风温、磨煤机出口风压、磨煤机电流。
20.优选地，所述动作特征包括：磨煤机给煤量、磨煤机热一次风调节阀位反馈、磨煤机冷一次风调节阀位反馈。
21.优选地，在所述步骤s2中，基于处理后的数据集进行磨煤机动态模型的学习，包括：
22.磨煤机动态模型为是磨煤机系统的转移动态函数，如下：
23.s
t+1
＝fm(s
t
,a
t
)
24.式中，t为某一时刻，s
t
为t时刻的状态特征，a
t
为t时刻的动作特征，s
t+1
为t+1时刻的状态特征，表示在某一时刻t下，磨煤机系统处于状态s
t
，执行动作a
t
后，磨煤机系统状态发生变化；磨煤机动态模型的输入为磨煤机当前时刻的状态特征s
t
与动作特征a
t
，输出为磨煤机下一时刻的状态特征s
t+1
。
25.优选地，在所述步骤s3中，使用模型预测控制框架构建磨煤机控制优化模型，包括：
26.基于从磨煤机离线数据训练得到的模型，通过最大化有限时域内的累积奖励，寻找最优的磨煤机控制策略：
[0027][0028]
式中，h为有限时域的长度；r(s,a)表示奖励函数；策略π(s)表示从状态到动作的一个映射；a表示磨煤机系统的动作空间；
[0029]
对于基于模型预测控制的磨煤机控制优化模型的构建，包括磨煤机动态模型的离线训练与奖励函数的定义，磨煤机动态模型的离线训练通过步骤s2完成学习；磨煤机控制的奖励函数的构建采用“磨煤机给煤量”与“磨煤机电流”这两个特征，“磨煤机电流”反映了磨煤机的电量消耗，“磨煤机给煤量”反映了磨煤机在磨煤工作上的运行情况，定义磨煤机的工况特征如下：
[0030][0031]
式中，coal为磨煤机工作状态下的给煤量，current为磨煤机工作状态下的电流，c
值越大，则表示磨煤机的工作状态越良好；
[0032]
此外，考虑磨煤机控制策略输出的变化平稳性，定义推荐动作波动性的代价函数为：
[0033][0034]
将costa纳入奖励函数以使推荐动作更加平滑，综合优化奖励函数可定义为：
[0035]rt
＝α
·
c-β
·
costa[0036]
式中，α,β为给定常数；
[0037]
基于磨煤机动态模型与奖励函数，利用有限时域模型预测控制框架构建磨煤机控制优化模型如下：
[0038][0039]st+1
＝fm(s
t
,a
t
)
[0040]
s0＝s
init
[0041]
式中，fm为磨煤机动态模型，在进行磨煤机控制时，给定当前时刻的状态s0，通过求解以上有限时域的优化问题，获得长度为h的最优控制动作序列返回序列中的第一个动作并执行，得出当前时刻推荐的磨煤机系统最优控制。
[0042]
优选地，在所述步骤s4中，所述求解构建的优化模型得到磨煤机的控制策略，包括：
[0043]
在任一时刻，以磨煤机系统当前状态特征s为起点，生成n条独立的随机动作序列{a0…
a3},其中每一个序列长度为h，包含每一个时刻的动作特征值；基于磨煤机动态模型与奖励函数，通过对动作序列中每一时刻的状态特征进行预测并计算得到对应的奖励值，进而求得每一条动作序列预测的累积奖励值通过选择一条具有最高累积预测奖励的动作序列作为最优动作序列：
[0044]ai*
＝argmax
iri
[0045]
这样得到磨煤机系统当前状态s下的最优控制动作序列这样得到磨煤机系统当前状态s下的最优控制动作序列返回序列中第一个动作作为当前时刻磨煤机控制动作推荐量。
[0046]
采用上述技术方案，本发明具有如下有益效果：
[0047]
本发明能够更好地进行磨煤机这种多变量、强耦合系统的控制，面对复杂的控制问题能够获得好的控制效果，保证磨煤机在优化区间运行；
[0048]
本发明能够充分挖掘利用历史数据信息，构建并学习更加精准的磨煤机系统动态模型，并且能够高效求解包含复杂优化目标与非线性系统动态模型的优化问题、给出磨煤机的优化控制策略。
附图说明
[0049]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体
实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0050]
图1为本发明提供的基于模型离线规划的磨煤机控制优化方法的流程图。
具体实施方式
[0051]
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
[0053]
本实施例提供一种基于模型离线规划的磨煤机控制优化方法，其包括如下步骤：
[0054]
s1、从电厂中收集积累的磨煤机运行相关的历史数据并进行数据处理；
[0055]
s2、基于处理后的数据集进行磨煤机动态模型的学习；
[0056]
s3、使用模型预测控制框架构建磨煤机控制优化模型；
[0057]
s4、求解构建的优化模型得到磨煤机的控制策略。
[0058]
可见，本实施例基于磨煤机历史运行数据，利用深度学习进行磨煤机动态模型的构建与训练，通过规划的方法求解一个模型预测控制问题来获得磨煤机的优化控制变量。通过本技术方案解决以下问题：
[0059]
1)、本实施例能够更好地进行磨煤机这种多变量、强耦合系统的控制，面对复杂的控制问题能够获得好的控制效果，保证磨煤机在优化区间运行。
[0060]
2)、本实施例能够充分挖掘利用历史数据信息，构建并学习更加精准的磨煤机系统动态模型，并且能够高效求解包含复杂优化目标与非线性系统动态模型的优化问题、给出磨煤机的优化控制策略。
[0061]
结合图1所示，该磨煤机控制优化技术方案的整体流程主要包含以下几个部分：1)从电厂中收集积累的磨煤机运行相关的历史数据并进行处理；2)基于处理后的数据集进行磨煤机动态模型的学习；3)使用模型预测控制框架构建磨煤机控制优化模型；4)使用一种高效的规划方法求解优化模型得到磨煤机的控制策略。以下为该技术方案的完整阐述：
[0062]
一个火力发电机组中通常包含5到6台磨煤机，以下为针对单台磨煤机的控制优化流程，实际中对每一台磨煤机执行以下方案以实现对各台磨煤机的优化控制。
[0063]
一、数据获取与处理
[0064]
首先从电厂系统中尽可能完整地收集磨煤机运行相关的历史数据集，然后挑选与磨煤机运行控制密切相关的特征变量，包括反映磨煤机系统相关状态指标的状态特征与可进行操作调节的动作特征。其中状态特征一般包括：磨煤机入口一次风压、磨煤机入口一次风温度、磨煤机入口一次风量、磨煤机出口风温、磨煤机出口风压、磨煤机电流等；动作特征一般包括：磨煤机给煤量、磨煤机热一次风调节阀位反馈、磨煤机冷一次风调节阀位反馈等。基于以上挑选的特征对收集的原始数据进行处理，包括异常点删除、数据填充等，形成磨煤机控制离线数据集，数据集中数据按照时间顺序进行排列，每条数据之间具有相同的时间间隔，如一般为20秒。对于每一条数据，其中包含该条数据对应时刻下磨煤机系统的状
态特征s与动作特征a的数值。
[0065]
二、磨煤机动态模型的学习
[0066]
磨煤机动态模型是磨煤机系统的转移动态函数s
t+1
＝fm(s
t
,a
t
)，表示在某一时刻t下，磨煤机系统处于状态s
t
，此时执行动作a
t
后，磨煤机系统状态的变化，即该模型的输入为磨煤机当前时刻的状态特征s
t
与动作特征a
t
，输出为磨煤机下一时刻的状态特征s
t+1
。具体的，这里选择使用深度神经网络模型，完全基于磨煤机运行离线数据进行模型的训练学习。这里使用多层前馈神经网络构建磨煤机动态模型，建模的过程较少依赖机组设计参数，不加入额外的假设或经验性参数，从离线数据本身直接学习磨煤机系统的真实变化特性。相比于传统的物理方程或机理建模的方法，对真实系统的刻画能力大大增强，提升系统优化的可靠性。
[0067]
三、磨煤机控制优化模型的构建
[0068]
对于火电机组磨煤机的控制，属于序贯控制决策问题，这里使用模型预测控制框架来构建磨煤机控制优化模型。在此框架下，我们的目标是基于从磨煤机离线数据训练得到的模型，通过最大化有限时域内的累积奖励，来寻找到最优的磨煤机控制策略这里h为有限时域的长度，r(s,a)表示奖励函数，策略π(s)表示从状态到动作的一个映射，a表示磨煤机系统的动作空间。对于基于模型预测控制的磨煤机控制优化模型的构建，主要包括系统动态模型的离线训练与奖励函数的定义，磨煤机动态模型在上一步骤中已经完成学习，以下主要为奖励函数的定义。对于磨煤机控制的奖励函数，需要充分考虑磨煤机的能耗与工作状态情况，这里主要考虑“磨煤机给煤量”与“磨煤机电流”这两个特征来构建奖励函数。“磨煤机电流”反映了磨煤机的电量消耗，而“磨煤机给煤量”则反映了磨煤机在磨煤工作上的运行情况。于是，定义磨煤机的工况特征如下：
[0069][0070]
其中，coal,current分别表示磨煤机工作状态下的给煤量与电流，c值越大，则表示磨煤机的工作状态越良好。此外，考虑磨煤机控制策略输出的变化平稳性，定义推荐动作波动性的代价函数为：
[0071][0072]
将costa纳入奖励函数以使推荐动作更加平滑，于是，综合优化奖励函数可定义为:
[0073]rt
＝α
·
c-β
·
costa[0074]
这里，α,β为给定常数。基于磨煤机动态模型与奖励函数，利用有限时域模型预测控制框架构建磨煤机控制优化模型如下：
[0075][0076]st+1
＝fm(s
t
,a
t
)
[0077]
s0＝s
init
[0078]
这里fm为磨煤机动态模型。在进行磨煤机控制时，给定当前时刻的状态s0，通过求解以上有限时域的优化问题，可获得长度为h的最优控制动作序列返回序列中的第一个动作并执行，即为当前时刻推荐的磨煤机系统最优控制。
[0079]
四、磨煤机控制策略求解
[0080]
对于以上构建的磨煤机控制优化模型，想要直接求解得到其精确解是十分困难的。这里通过一种高效的免梯度的轨迹优化方法来进行优化动作序列的求解。具体的，在任一时刻，以磨煤机系统当前状态特征s为起点，可以生成n条独立的随机动作序列{a0…
a3},其中每一个序列其中每一个序列长度为h，包含每一个时刻的动作特征值。基于磨煤机动态模型与奖励函数，通过对动作序列中每一时刻的状态特征进行预测并计算得到对应的奖励值，进而求得每一条动作序列预测的累积奖励值通过选择一条具有最高累积预测奖励的动作序列作为最优动作序列：
[0081]ai*
＝argmax
iri
[0082]
这样便得到了磨煤机系统当前状态s下的最优控制动作序列返回序列中第一个动作作为当前时刻磨煤机控制动作推荐量。
[0083]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。