基于具有时间隧道思想的多智能体强化学习的智能发电控制方法与流程

技术特征：

1.基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，其特征在于包括以下步骤：

步骤1、确定状态离散集S；

步骤2、确定联合动作离散集A；

步骤3、在每个控制周期开始时，采集各个电网的实时运行数据，所述实时运行数据包括频率偏差Δf和功率偏差ΔP，计算各个区域控制误差ACE_i(k)的瞬时值与控制性能标准CPS_i(k)的瞬时值，根据混合策略集合π(s_k,a_k)选择搜索动作a_k；

步骤4、在当前状态s，某区域电网i获得一个短期的奖励函数信号R_i(k)；

步骤5、通过计算与估计获得值函数误差ρ_k、δ_k；

步骤6、对所有区域电网，更新所有状态-动作(s,a)对应的Q函数表格和时间隧道矩阵e(s_k,a_k)；

步骤7、更新的Q值和更新当前状态s下的混合策略合策略π(s_k,a_k)；

步骤8、接着更新时间隧道元素e(s_k,a_k)；

步骤9、选择变学习率

步骤10、根据函数更新决策改变率Δ(s_k,a_k)和决策空间估计斜率Δ²(s_k,a_k)；

步骤11、返回步骤3。

2.根据权利要求1所述基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，其特征在于：所述步骤1的状态离散集S，通过控制性能标准CPS和区域控制误差ACE值的划分来确定。

3.根据权利要求1所述基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，其特征在于：所述步骤2的联合动作离散集A的表达式为：

A＝A₁×A₂×…×A_i×…×A_n

其中，A_i为智能体i的输出离散动作集，n为智能体个数。

4.根据权利要求1所述基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，其特征在于：的短期奖励函数信号R_i(k)的表达式为：

$\left\{\begin{array}{c}\begin{array}{cc}{R}_i(s_{k-1},s_k,s_{k+1})={\mathrm{\σ}}_i-{\mathrm{\μ}}_{1i}{\mathrm{\ΔP}}_i{\left(k\right)}^2& CPS{1}_i\left(k\right)\≥200\end{array}\\ R_i(s_{k-1},s_k,s_{k+1})=-{\mathrm{\η}}_{1i}\[\left|{\mathrm{ACE}}_i\left(k\right)\right|-\left|{\mathrm{ACE}}_i(k-1)\right|\]-{\mathrm{\μ}}_{1i}{\mathrm{\ΔP}}_i{\left(k\right)}^2\\ CPS{1}_i\left(k\right)\∈\[100,200)\\ R_i(s_{k-1},s_k,s_{k+1})=-{\mathrm{\η}}_{2i}\[|CPS{1}_i\left(k\right)-200|-|CPS{1}_i(k-1)-200|\]-{\mathrm{\μ}}_{2i}{\mathrm{\ΔP}}_i{\left(k\right)}^2\\ CPS{1}_i\left(k\right)\<100\end{array}\right.$

式中，σi代表的是获得的非负奖励值；CPS1和ACE的平均值可以用来表示控制区的CPS1和CPS2指标，ACE_i(k)、CPS1_i(k)分别代表控制区域i第k次迭代的1min ACE和CPS1的平均值；ΔP_i(k)是区域电网i调度中心第k次迭代功率调节值，η_1i、η_2i、μ_1i和μ_2i是区域电网i奖励函数的优化权值；ΔP_i(k)的二次项的使用是为了减少控制动作的数量以减少发电机不必要的机动；此外，为了确保分段奖励函数的一致性和公平性，权重比值η_1i/η_2i和μ_1i/μ_2i应该保持恒定不变，且它们的取值取决于状态变量CPS1/ACE和动作变量ΔP(k)的维数差异。

5.根据权利要求1所述基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，其特征在于：所述步骤5的智能体在第k步迭代过程中的Q函数误差的ρ_k和Q函数误差的评估δ_k，它们的表达式为：

δ_k＝R(s_k,s_k+1,a_k)+γQ_k(s_k+1,a_g)-Q_k(s_k,a_g)

ρ_k＝R(s_k,s_k+1,a_k)+γQ_k(s_k+1,a_g)-Q_k(s_k,a_k)，

式中，γ为折扣因子，为Q函数将来的奖励提供折扣；在热电厂为主导的LFC控制过程中，由于最新的奖励最重要，所以应该选取近似1的值；R(s_k,s_k+1,a_k)为在选定的动作a_k下,从状态s_k转移到状态s_k+1的智能体奖励函数；a_g为贪婪动作；Q(s_k,a_k)为动作a_k下，状态s_k的Q函数；Q(s_k,a_g)为贪婪动作a_g下，状态s_k的Q函数。

6.根据权利要求1所述基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，其特征在于：所述步骤6的Q函数的更新为：

Q_k+1(s_k,a_k)＝Q_k(s_k,a_k)+αδ_ke_k(s_k,a_k)

Q_k+1(s_k,a_k)＝Q_k+1(s_k,a_k)+αρ_k；

式中，e_k(s_k,a_k)为在状态s动作a下第k步迭代的时间隧道，α为Q学习率，设置为0<α<1，对Q函数的收敛速率即算法稳定性进行权衡；更大的α可以加快学习速度，而更小的α能提高系统的稳定性；在预学习过程中，选择α的初始值为0.1以获得总体的探索，然后为了逐渐提高系统的稳定性，它将以线性方式减少；ρ_k为第k步迭代过程中的Q函数误差；δ_k在第k步迭代过程中的Q函数误差的评估；Q_k(s_k,a_k)为动作a_k下，状态s_k的第k个智能体的Q函数；Q_k+1(s_k,a_k)为动作a_k下，状态s_k的第k+1个智能体的Q函数；

更新时间隧道e_k(s_k,a_k)为：

$e_{k+1}(s,a)=\left\{\begin{array}{cc}{\mathrm{\&gamma;\&lambda;e}}_k(s,a)+1,& (s,a)=(s_k,a_k)\\ {\mathrm{\&gamma;\&lambda;e}}_k(s,a)& otherwise\end{array}\right.$

式中，λ为时间隧道衰减因子设置为0<λ<1，其作用是在状态动作对间分配信誉；对于长时延系统，它影响收敛速度及非马尔可夫效果，一般来说，回溯法里λ能被看作为时间标度因素，对于Q函数误差来说，小的λ意味着很少的信誉被赋予到历史状态动作对，而大的λ表明分配到了更多的信誉；γ为折扣因子，为Q函数将来的奖励提供折扣；e_k(s,a)为为在状态s动作a下第k步迭代的时间隧道；e_k+1(s,a)为为在状态s动作a下第k+1步迭代的时间隧道。

7.根据权利要求1所述基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，其特征在于：所述步骤7的混合策略π(s,a)更新为：

$\mathrm{\&pi;}(s_k,a_k)\&LeftArrow;\mathrm{\&pi;}(s_k,a_k)+{\mathrm{\&Delta;}}_{s_k{a}_k}$

式中Δ_sa是策略更新时需要的增量变化量，它按照下面公式取值：

${\mathrm{\&Delta;}}_{s_k{a}_k}=\left\{\begin{array}{cc}-{\mathrm{\&delta;}}_{s_k{a}_k},& if{a}_k\&NotEqual;\arg {\max }_{a_{k+1}}Q(s_k,a_{k+1})\\ \&Sigma;{\mathrm{\&delta;}}_{s_k{a}_{k+1,}}& otherwise\end{array}\right.$

一般情况下，δ_sa按照下面公式取值：

式中为变学习率，且δ为学习率，|Ai|为状态s下可选行动的个数。

8.根据权利要求1所述基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，其特征在于：所述步骤8的更新时间隧道元素：e(s_k,a_k)←e(s_k,a_k)+1；e(s_k,a_k)为在状态s动作a下第k步迭代的时间隧道。

9.根据权利要求1所述基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，其特征在于：所述步骤9的选择变学习率为：

通过引入决策变化率以及决策空间斜率值，作为评判因素，若决策变化率和决策空间斜率估计值的乘积小于0，游戏者便赢了，变学习率设置为根据动作值的最大化得到一个最优策略。

10.根据权利要求1所述基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，其特征在于：所述步骤10的更新决策改变率Δ(s_k,a_k)和决策空间估计斜率Δ²(s_k,a_k)为：

$\mathrm{\&Delta;}2(s_k,a_k)\&LeftArrow;{\mathrm{\&Delta;}}_{s_k{a}_k}-\mathrm{\&Delta;}(s_k,a_k)$

$\mathrm{\&Delta;}(s_k,a_k)\&LeftArrow;{\mathrm{\&Delta;}}_{s_k{a}_k}$

式中，Δ_sa是策略更新时需要的增量变化量，Δ(s_k,a_k)是决策改变率，Δ²(s_k,a_k)是决策空间估计斜率；通过引入增量变化量Δ_sa与决策改变率Δ(s_k,a_k)，更新决策空间估计斜率Δ²(s_k,a_k),引入增量变化量Δ_sa，更新决策改变率Δ(s_k,a_k)。