基于自适应动态规划的百兆瓦储能功率控制方法及系统的制作方法
【专利摘要】本发明提供基于自适应动态规划的百兆瓦储能功率控制方法及系统，所述方法包括如下步骤：设置自适应动态规划控制系统的结构并设置其参数；对参数初始化并导入被控对象的初始状态；初始训练执行模块和评价模块；计算百兆瓦储能系统充放电功率；依次训练所述评价模块和所述执行模块，并更新评价模块神经网络和执行模块神经网络的权值；保存当前时刻的控制策略，并计算下一时刻被控对象的状态；循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。所述系统包括参数初始化模块、数据采集和计算模块、评价模块、执行模块、输出模块等。本发明实现大规模储能电站与新能源联合发电系统的功率优化控制，提升电池储能系统运行经济性及协调控制能力。
【专利说明】
基于自适应动态规划的百兆瓦储能功率控制方法及系统
技术领域
[0001] 本发明涉及智能电网、新能源发电、能源互联网、电力储能、自动控制领域，具体涉 及一种基于自适应动态规划的百兆瓦级电池储能系统功率控制方法及系统。
【背景技术】
[0002] 随着风力发电并网规模的不断增加，风电大规模接入电网后的波动性和随机性会 对电网运行的安全性、稳定性以及电能质量等造成不利影响。因此，控制风电输出的波动率 对电网运行的经济性以及安全性有着重要意义
[0003] 按照存储形式的不同，储能可分为物理储能、电化学储能和电磁储能。目前电化学 储能技术备受关注。可以通过配备一定容量的电池储能系统，根据风电和光伏发电等新能 源发电出力的情况，采用电池储能系统的充放电作用来平滑风电和光伏发电的出力波动， 并结合风电和光伏发电出力波动率和储能系统的荷电状态等指标进行整体优化，以满足电 网对风电和光伏发电的并网要求。
[0004] 目前，我国已建成多个千万千瓦级新能源发电基地，在新能源发电富集区域电网 中，对电池储能的容量要求通常达数十MW以上，甚至达百兆瓦以上。百兆瓦级电池储能参与 新能源发电集群控制及系统调度运行，对破解新能源发电的送出和消纳瓶颈有重要意义。 大规模储能技术是我国可再生能源发电利用的关键支撑技术。针对大规模可再生能源发电 的接入，一方面通过储能技术与可再生能源发电的联合，减少其随机性并提高其可调性;另 一方面通过电网级的储能应用增强电网对可再生能源发电的适应性。目前，储能作为电网 的可调度资源，具有很大的应用价值和应用空间。
[0005] 在电网级应用中，需要储能进行秒至小时级的多时间尺度功率支撑。在储能与新 能源发电联合并网应用时，百兆瓦电池储能电站整体需满足新能源发电从秒到分钟级不同 时间尺度的响应需求。因此，如何基于大规模新能源发电的出力波动以及储能在电网级应 用等实际需求，实现百兆瓦级电池储能电站整体出力多目标协调优化控制是亟待破解的技 术难题。
[0006] 在大规模电池储能电站平滑大规模新能源发电出力波动时，采用传统的一阶低通 滤波或变时间常数(T)的出力滤波方法，由于方法本身自带的时滞而导致有时控制灵敏度 不佳。一般的移动平均滤波算法输出的储能出力目标值也在很大程度上受限于风电、光伏 发电等新能源发电功率的输入，这些传统方法遇到新能源发电出力出现骤变的情况，滤波 性能下降，且影响后续滤波效果。
[0007] 另一方面，在提高新能源发电友好性的储能电站出力控制时，传统控制方法在储 能电站整体出力的自适应控制方面，其基于自学习的智能优化控制能力有待进一步提高。
【发明内容】
[0008] 为了克服上述现有技术的不足，本发明提供一种基于自适应动态规划的百兆瓦电 池储能系统功率控制方法，本发明所提出的控制方法通过有效融合智能优化控制理论，合 理有效地控制百兆瓦储能系统的充放电功率，降低新能源发电功率并网给电网带来的冲 击，同时对储能系统的工作能力和寿命进行优化保护，提升储能系统整体的技术经济性。
[0009] 为了实现上述发明目的，本发明采取如下技术方案：
[0010] -种基于自适应动态规划的百兆瓦储能功率控制方法，所述方法包括如下步骤：
[0011] (1)设置自适应动态规划控制系统的结构并设置其参数；
[0012] (2)对参数初始化并导入被控对象的初始状态；
[0013] (3)初始训练执行模块和评价模块；
[0014] (4)计算百兆瓦储能系统充放电功率；
[0015] (5)依次训练所述评价模块和所述执行模块，并更新评价模块神经网络和执行模 块神经网络的权值；
[0016] (6)保存当前时刻的控制策略，并计算下一时刻被控对象的状态，t = t+l，重复步 骤⑴到(5);
[0017] (7)循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。
[0018] 优选的，所述步骤(1)中，所述自适应动态规划控制系统包括评价模块和执行模块 两层结构，每个模块均用三层神经网络结构构建;设置所述参数包括设置评价模块和执行 模块神经网络的参数，依据每个模块具体的输入量和输出量来设置。
[0019] 优选的，所述步骤(2)中，所述参数包括设定平滑时间常数的初始值、平滑时间的 最大值和最小值、储能系统荷电状态S0C的初始值、当前时刻新能源发电出力功率以及计算 当前平滑时间常数下的储能功率和风电波功率。
[0020] 优选的，所述步骤(3)中，所述初始训练执行模块和评价模块包括:设置评价模块 的权值Wc和学习率1。，执行模块的权值1和学习率l a，折扣因子r，评价模块训练的期望误差 T。、执行模块训练的期望误差Ta以及迭代最大次数，所述评价模块和所述执行模块权值的初 始值设置为(_1，+1)间的随机值，依据控制效果要求选取和调整学习率和折扣因子。
[0021 ]优选的，所述步骤(4)中，包括如下步骤：
[0022]步骤4-1、以当前时刻t的新能源发电波动率x(t)作为所述执行模块的输入，得到 所述执行模块的输出为控制策略u(t)，即时间常数的变化量；
[0023] 步骤4-2、依据所述u(t)调整一阶平滑过程中的平滑时间常数Tw，由一阶滤波的原 理计算储能系统的充放电功率，得到一阶平滑滤波后储能系统充放电功率的目标值;
[0024] 步骤4-3、判断当前时刻t下经所述u(t)调整后的新能源发电出力波动率、储能系 统的荷电状态S0C以及平滑时间常数Tw是否在约束条件范围内，若在约束范围内，则当前时 亥Ijt的储能系统充放电功率即为，否则依据失调的状态量再次调整储能系统充放电功 率和自适应控制系统的效用函数，使状态量能够维持在约束范围内并实时在线调节所述时 间常数的变化量A PBESS，得到经修正后当前时刻t的储能系统的充放电功率。
[0025] 所述修正后储能系统的充放电功率按下式计算： ?
[0026]
[0027]
[0028]
[0029]
[0030] 式中，/??为储能系统经修正后的充放电功率;Tw为平滑滤波时间常数，依据执行 模块输出的控制策略u(t)进行调整；s为拉普拉斯算子;P W为当前时刻风电的实际出力； 巧为一阶平滑滤波后储能系统功率的目标值；Δ Pbess是判断出S0C不在约束范围内时对 储能系统功率进行的修正值，其中h是与控制系统相关的修正系数，与储能系统的能量转换 单元的启停状态有关，γ是与S0C相关的修正系数，soc ref是储能系统S0C参考值，socmax与 S0Cmin分别是预先设定的储能系统S0C的上限值和下限值。
[0031] 优选的，所述步骤(5)中，训练所述评价模块，评价模块神经网络的权值的更新包 括如下步骤：
[0032] 步骤5-1-1、新能源发电波动率x(t)和控制策略u(t)都经归一化处理为[_1，+ 1] 后，将所述新能源发电波动率X(t)和所述控制策略u(t)作为所述评价模块的输入，所述评 价模块的输出为代价函数J (t);
[0033] 步骤5-1-2、构造目标函数Edt)训练所述评价模块，并根据所述评价模块的权值 更新式，按下式计算更新所述评价模块神经网络的权值：
[0034] U(t) = [x(t) ,u(t) ,t]
[0035] J(t)=J[x(t),u(t),t,Wc]
[0036]
[0037] 式中，代价函数J(t)为评价模块的输出；效用函数u(t)是关于x(t)，u(t)，t的函 数，根据控制目标进行定义;r是折扣因子，Ejt)是目标函数；
[0038] 步骤5-1-3、所述评价模块的训练采用梯度下降法或粒子群优化算法以使目标函 数Ec(t)最小化为目标来更新评价模块神经网络的权值，当目标函数E c(t)减小到设定评价 模块训练的期望误差值T。或迭代次数达到最大时，训练完成。
[0039] 优选的，所述步骤(5)中，训练所述执行模块，执行模块神经网络的权值的更新包 括如下步骤：
[0040] 步骤5-2-1、所述执行模块的训练包括计算评价模块的输出J(t)，构造目标函数Ea (t)，以使目标函数Ea(t)最小化为目标，更新执行模块神经网络的权值1并调整控制策略u (t)，公式如下：
[0041] u(t) =u[x(t) ,t,ffa]
[0042] J(t)=J[x(t),u(t),t,Wc]
[0043]
[0044] 式中，W。为评价模块的权值，Wa为执行模块的权值;控制策略u(t)是执行模块的输 出，用来调整平滑时间常数；
[0045] 步骤5-2-2、所述执行模块的训练采用梯度下降法或粒子群优化算法以最小化目 标函数Ea(t)为目标来更新执行模块神经网络的权值W a;
[0046] 步骤5-2-3、当目标函数Ea(t)减小到设定的执行模块训练的期望误差1或迭代次 数达到最大时，训练完成。
[0047] 优选的，一种基于自适应动态规划的百兆瓦储能功率控制系统，该系统包括参数 初始化模块、数据采集和计算模块、评价模块、执行模块和输出模块;所述参数初始化模块 与所述数据采集和计算模块相连，所述数据采集和计算模块与所述执行模块和评价模块相 连，所述执行模块与所述输出模块相连；
[0048] 所述参数初始化模块，用于设置自适应动态规划控制系统的结构，初始化参数并 导入被控对象的初始状态；
[0049] 所述数据采集和计算模块，用于采集新能源发电的实际出力功率，并计算百兆瓦 储能系统充放电功率，实时计算新能源发电的波动率和储能系统荷电状态，并实时判断状 态量是否在约束范围内，当状态量不在约束范围内时，调整储能系统充放电功率和自适应 控制系统的效用函数；
[0050] 所述评价模块，用于训练评价模块并更新评价模块神经网络的权值；
[0051 ]所述执行模块，用于训练执行模块并更新执行模块神经网络的权值；
[0052] 所述输出模块，用于保存并实时输出各时刻的控制策略，实时在线调整调整平滑 过程，控制储能系统充放电功率。
[0053] 与现有技术相比，本发明的有益效果在于：
[0054] 本发明基于自适应动态规划的百兆瓦储能功率控制方法，综合考虑百兆瓦储能系 统荷电状态、新能源发电波动率反馈值以及基于神经网络的评价模块和执行模块等，有效 实现了百兆瓦储能系统整体充放电功率的自适应优化控制。本发明适用于对系统无先验知 识的情况下，仅利用受控系统（即百兆瓦级储能系统）的在线和离线数据采集及数据处理后 得到的相关信息设计百兆瓦储能电站功率控制系统，并且能够通过学习获得最优控制策 略，实现了百兆瓦储能系统充放电功率的自适应优化控制。
[0055] 该方法不仅可用于百兆瓦级电池储能系统功率优化控制以及百兆瓦级储能电站 平抑大型新能源发电系统出力波动，也适用于兆瓦级、十兆瓦级等不同规模等级的电池储 能系统（电站)充放电功率的优化控制。
【附图说明】
[0056] 图1是本发明提供的一种基于自适应动态规划的百兆瓦储能功率控制方法流程图
[0057] 图2是本发明提供的一种基于自适应动态规划的百兆瓦储能功率控制系统中的各 模块间连接结构示意图
【具体实施方式】
[0058]下面结合附图对本发明作进一步详细说明。
[0059] 如图1所示，为本发明提供的一种基于自适应动态规划的百兆瓦储能功率控制方 法，该方法包括如下步骤：
[0060] 1、设置自适应动态规划控制系统的结构，执行模块和评价模块的参数；
[0061 ]所述的自适应动态规划控制系统包括评价模块和执行模块的两层结构，（或者模 型模块、评价模块和执行模块的三层结构），每个模块均用三层神经网络结构来构建。
[0062] 2、初始化参数并导入被控对象的初始状态；
[0063] 所述的初始化参数并导入被控对象的初始状态包括设定平滑时间常数的初始值， 平滑时间的最大值和最小值，储能系统荷电状态S 0 C的初始值，当前时刻风电实际出力功 率，并计算在当前平滑时间常数下的储能功率和新能源发电波动率。
[0064] 3、初始训练执行模块和评价模块；
[0065] 所述的初始训练执行模块和评价模块包括设置评价模块的权值W。和学习率1。，执 行模块的权值1和学习率la，折扣因子r，以及迭代最大次数。其中评价模块和执行模块权值 的初始值设置为(_1，+ 1)间的随机值，学习率和折扣因子依据控制效果要求进行选取和调 整。综合考虑被控对象的具体情况和神经网络的收敛速度、计算结果的精确度，协同优化后 选取合适的神经网络模型(包括网络的类型、结构、网络参数和训练模式），然后进行执行模 块和评价模块的初始化训练。
[0066] 4、计算当前时刻t对应的初始平滑时间常数下的新能源发电波动率x(t)，并将其 作为执行模块的输入，得到执行模块的输出u(t)为时间常数的变化量，即为控制策略。
[0067] 5、依据控制策略u(t)调整平滑时间常数Tw，并由一阶平滑滤波的原理计算风储联 合系统的充放电功率，从而得到一阶平滑滤波后储能系统充放电功率的目标值/，并计 算在经u(t)调整后的平滑时间常数下的新能源发电波动率和储能系统的荷电状态S0C;
[0068] 6、判断上述得到的当前时刻t下经u(t)调整后的新能源发电波动率、储能系统的 荷电状态S0C以及平滑时间常数Tw是否在约束条件范围内，若在约束范围内，则当前时刻t 的储能系统充放电功率即为，可直接进行下一步;若不在约束范围内，则依据失调的状 态量再次调整储能系统充放电功率和自适应控制系统的效用函数，使状态量能够维持在约 束范围内，并得到经修正后储能系统的充放电功率。
[0069]储能系统充放电功率修正的计算公式表示如下：
[0075]式中，孟为经修正后的储能系统充放电功率;Tw为平滑滤波时间常数，应依据执 行模块输出的控制策略u(t)进行调整;s为拉普拉斯算子;Pwp为当前时刻风电的实际出力； 风电为一阶平滑滤波后储能系统功率的目标值；A PBESS是判断出S0C不在约束范围内 时对储能系统功率进行的修正值，其中h是与控制系统相关的修正系数，γ是与S0C相关的 修正系数，SOCref是储能系统SOC参考值，SOCmax与SOCmin分别是预先设定的储能系统SOC的上 限值和下限值，一般可以取S0Cmax = 0.9，S0Cmin = 0.1。
[0076] 所述的再次调整储能系统充放电功率方法包括当状态量(新能源发电波动率，平 滑时间常数，S0C)超出约束范围时，调整自适应动态规划控制系统中的效用函数U(t);特别 是当判断出S0C不在约束范围内时，为避免储能系统处于过充电或过放电状态，应及时直接 对储能系统的充放电功率进行修正。
[0077] 7、训练评价模块，更新评价模块神经网络的权值；
[0078] 所述的评价模块的训练包括具体步骤为:将新能源发电波动率x(t)和控制策略u (t)送入评价模块作为输入，计算评价模块的输出J(t)为代价函数。构造目标函数Ejt)，以 使目标函数Ec(t)最小化为目标，更新评价模块神经网络的权值W。，从而训练评价模块的神 经网络;其中，新能源发电波动率x(t)和控制策略u(t)都应经归一化处理为[_1，+ 1]后，再 送入网络进行计算。
[0079] U(t) = [x(t) ,u(t) ,t]
[0080] J(t)=J[x(t) ,u(t) ,t,ffc]
[0081]
[0082] 式中，W。为评价模块的权值;代价函数J(t)为评价模块的输出；效用函数U(t)是关 于x(t)，u(t)，t的函数，根据控制目标进行定义;r是折扣因子;评价模块的训练可以采用梯 度下降法或粒子群优化算法以使目标函数E c(t)最小化为目标来更新评价模块神经网络的 权值W。，当目标函数Ejt)减小到设定的误差值或迭代次数达到最大时，训练完成。
[0083] 8、训练执行模块，更新执行模块神经网络的权值；
[0084] 所述的执行模块的训练包括计算评价模块的输出J(t)，构造目标函数Ea(t)，以使 目标函数Ea(t)最小化为目标，更新执行模块神经网络的权值1并调整控制策略u(t)，从而 训练执行模块的神经网络。
[0085] u(t) =u[x(t) ,t,ffa]
[0086] J(t)=J[x(t) ,u(t) ,t,ffc]
[0087]
[0088] 式中，W。为评价模块的权值，Wa为执行模块的权值;控制策略u (t)是执行模块的输 出，用来调整平滑时间常数;执行模块的训练可以采用梯度下降法或粒子群优化算法以最 小化目标函数E a(t)为目标来更新执行模块神经网络的权值Wa，当目标函数Ea(t)减小到设 定的误差值或迭代次数达到最大时，训练完成。
[0089] 9、保存此时刻的控制策略，并计算下一时刻被控对象的状态，t = t+l，重复步骤4 到9;
[0090] 10、循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。
[0091 ] -种基于自适应动态规划的储能系统控制系统，如图2所示，该系统包括：
[0092] A、参数初始化模块。用于设置自适应动态规划控制系统的结构，初始化参数并导 入被控对象的初始状态，该模块的设置包括:评价模块和执行模块的神经网络模型(包括网 络的类型、结构、网络参数和训练模式），评价模块的权值W。和学习率1。，执行模块的权值1 和学习率la，折扣因子r，迭代最大次数，控制系统的约束条件，效用函数以及平滑时间常数 的初始值，储能系统荷电状态SOC的初始值，训练期望误差，输入层\隐层\输出层的数目。 [0093] B、数据采集和计算模块。采集风电实际出力功率，储能系统充放电功率，实时计算 新能源发电波动率，储能系统荷电状态，风电场装机容量，储能系统容量，风储联合发电的 输出功率和波动率控制目标，并实时判断状态量是否在约束范围内。当状态量不在约束范 围内时，调整储能系统充放电功率和自适应控制系统的效用函数，计算出功率波动率。 [0094] C、评价模块。训练评价模块的具体步骤为:将新能源发电波动率x(t)和控制策略u (t)送入评价模块作为输入，计算评价模块的输出J(t)为代价函数。构造目标函数Ejt)，以 使目标函数Ec(t)最小化为目标，更新评价模块神经网络的权值W。，从而训练评价模块的神 经网络;其中，新能源发电波动率x(t)和控制策略u(t)都应经归一化处理为[_1，+ 1]后，再 送入网络进行计算。
[0095] U(t) = [x(t) ,u(t) ,t]
[0096] J(t)=J[x(t),u(t),t,Wc]
[0097]
[0098] 式中，W。为评价模块的权值;代价函数J(t)为评价模块的输出；效用函数U(t)是关 于x(t)，u(t)，t的函数，根据控制目标进行定义;r是折扣因子;评价模块的训练可以采用梯 度下降法或粒子群优化算法以使目标函数E c(t)最小化为目标来更新评价模块神经网络的 权值W。，当目标函数Ejt)减小到设定的误差值或迭代次数达到最大时，训练完成。
[0099] D、执行模块。将储能功率的修正值发送到评价模块和输出模块。训练执行模块的 具体步骤为:计算评价模块的输出J(t)，构造目标函数Ea(t)，以使目标函数Ea(t)最小化为 目标，更新执行模块神经网络的权值1并调整控制策略u(t)，从而训练执行模块的神经网 络。
[0100] u(t) =u[x(t) ,t,ffa]
[0101] J(t)=J[x(t),u(t),t,ffc]
[0102]
[0103 ]式中，W。为评价模块的权值，Wa为执行模块的权值;控制策略u (t)是执行模块的输 出，用来调整平滑时间常数;执行模块的训练可以采用梯度下降法或粒子群优化算法以最 小化目标函数Ea(t)为目标来更新执行模块神经网络的权值W a，当目标函数Ea(t)减小到设 定的误差值或迭代次数达到最大时，训练完成。
[0104] E、输出模块。保存并实时输出各时刻的控制策略，实时在线调整调整平滑过程，控 制储能系统充放电功率。
[0105] 最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽 管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解:依然 可以对本发明的【具体实施方式】进行修改或者等同替换，而未脱离本发明精神和范围的任何 修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。
【主权项】
1. 一种基于自适应动态规划的百兆瓦储能功率控制方法，其特征在于，所述方法包括 如下步骤： (1) 设置自适应动态规划控制系统的结构并设置其参数； (2) 对参数初始化并导入被控对象的初始状态； (3) 初始训练执行模块和评价模块； (4) 计算百兆瓦储能系统充放电功率； (5) 依次训练所述评价模块和所述执行模块，并更新评价模块神经网络和执行模块神 经网络的权值； (6) 保存当前时刻的控制策略，并计算下一时刻被控对象的状态，t = t+l，重复步骤（1) 到(5); (7) 循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。2. 根据权利要求1所述控制方法，其特征在于，所述步骤（1)中，所述自适应动态规划控 制系统包括评价模块和执行模块两层结构，每个模块均用三层神经网络结构构建;设置所 述参数包括设置评价模块和执行模块神经网络的参数，依据每个模块具体的输入量和输出 量来设置。3. 根据权利要求1所述控制方法，其特征在于，所述步骤(2)中，所述参数包括设定平滑 时间常数的初始值、平滑时间的最大值和最小值、储能系统荷电状态SOC的初始值、当前时 刻新能源发电出力功率以及计算当前平滑时间常数下的储能功率和风电波功率。4. 根据权利要求1所述控制方法，其特征在于，所述步骤(3)中，所述初始训练执行模块 和评价模块包括:设置评价模块的权值W c和学习率1。，执行模块的权值1和学习率Ia，折扣 因子r，评价模块训练的期望误差T。、执行模块训练的期望误差T a以及迭代最大次数，所述评 价模块和所述执行模块权值的初始值设置为(_1，+1)间的随机值，依据控制效果要求选取 和调整学习率和折扣因子。5. 根据权利要求1所述控制方法，其特征在于，所述步骤(4)中，包括如下步骤： 步骤4-1、以当前时刻t的新能源发电波动率x(t)作为所述执行模块的输入，得到所述 执行模块的输出为控制策略u(t)，即时间常数的变化量； 步骤4-2、依据所述u(t)调整一阶平滑过程中的平滑时间常数TW，由一阶滤波的原理 计算储能系统的充放电功率，得到一阶平滑滤波后储能系统充放电功率的目标值; 步骤4-3、判断当前时刻t下经所述u(t)调整后的新能源发电出力波动率、储能系统的 荷电状态SOC以及平滑时间常数Tw是否在约束条件范围内，若在约束范围内，则当前时刻t 的储能系统充放电功率即为A7ess，否则依据失调的状态量再次调整储能系统充放电功率和 自适应控制系统的效用函数，使状态量能够维持在约束范围内并实时在线调节所述时间常 数的变化量A PBESS，得到经修正后当前时刻t的储能系统的充放电功率巧忽。 所述修正后储能系统的充放电功率按下式计算： 1式中，为储能系统经修ιΗ后的充放电功率;Tw为平滑滤波时间常数，依据执行模块 输出的控制策略U(t)进行调整;S为拉普拉斯算子;Pwp为当前时刻风电的实际出力；/^"为 一阶平滑滤波后储能系统功率的目标值；A Pbess是判断出SOC不在约束范围内时对储能系 统功率进行的修正值，其中h是与控制系统相关的修正系数，与储能系统的能量转换单元的 启停状态有关，γ是与SOC相关的修正系数，SOC ref是储能系统SOC参考值，SOCmax与SOCmin分 别是预先设定的储能系统SOC的上限值和下限值。6. 根据权利要求1所述控制方法，其特征在于，所述步骤(5)中，训练所述评价模块，评 价模块神经网络的权值的更新包括如下步骤： 步骤5-1-1、新能源发电波动率x(t)和控制策略u(t)都经归一化处理为[_1，+ 1]后，将 所述新能源发电波动率x(t)和所述控制策略u(t)作为所述评价模块的输入，所述评价模 块的输出为代价函数J(t); 步骤5-1-2、构造目标函数Edt)训练所述评价模块，并根据所述评价模块的权值更新 式，按下式计算更新所述评价模块神经网络的权值： U(t) = [x(t) ,u(t) ,t] J(t)=J[x(t) ,u(t) ,t,ffc]式中，代价函数J(t)为评价模块的输出；效用函数u(t)是关于x(t)，u(t)，t的函数，根 据控制目标进行定义;r是折扣因子，Edt)是目标函数； 步骤5-1-3、所述评价模块的训练采用梯度下降法或粒子群优化算法以使目标函数E。 (t)最小化为目标来更新评价模块神经网络的权值，当目标函数Ec(t)减小到设定评价模块 训练的期望误差值T。或迭代次数达到最大时，训练完成。7. 根据权利要求1所述控制方法，其特征在于，所述步骤(5)中，训练所述执行模块，执 行模块神经网络的权值的更新包括如下步骤： 步骤5-2-1、所述执行模块的训练包括计算评价模块的输出J(t)，构造目标函数Ea(t)， 以使目标函数Ea(t)最小化为目标，更新执行模块神经网络的权值1并调整控制策略u(t)， 公式如下： U(t)=U[X(t)，t，Wa] J(t)=J[x(t) ,u(t) ,t,F 1式中，W。为评价模块的权值，Wa为执行模块的权值;控制策略u(t)是执行模块的输出，用 来调整平滑时间常数； 步骤5-2-2、所述执行模块的训练采用梯度下降法或粒子群优化算法以最小化目标函 数Ea(t)为目标来更新执行模块神经网络的权值Wa; 步骤5-2-3、当目标函数Ea(t)减小到设定的执行模块训练的期望误差Ta或迭代次数达 到最大时，训练完成。8.-种基于自适应动态规划的百兆瓦储能功率控制系统，其特征在于，该系统包括参 数初始化模块、数据采集和计算模块、评价模块、执行模块和输出模块;所述参数初始化模 块与所述数据采集和计算模块相连，所述数据采集和计算模块与所述执行模块和评价模块 相连，所述执行模块与所述输出模块相连； 所述参数初始化模块，用于设置自适应动态规划控制系统的结构，初始化参数并导入 被控对象的初始状态； 所述数据采集和计算模块，用于采集新能源发电的实际出力功率，并计算百兆瓦储能 系统充放电功率，实时计算新能源发电的波动率和储能系统荷电状态，并实时判断状态量 是否在约束范围内，当状态量不在约束范围内时，调整储能系统充放电功率和自适应控制 系统的效用函数； 所述评价模块，用于训练评价模块并更新评价模块神经网络的权值； 所述执行模块，用于训练执行模块并更新执行模块神经网络的权值； 所述输出模块，用于保存并实时输出各时刻的控制策略，实时在线调整调整平滑过程， 控制储能系统充放电功率。
【文档编号】H02J3/24GK105896575SQ201610278696
【公开日】2016年8月24日
【申请日】2016年4月28日
【发明人】李相俊, 张晶琼, 何宇婷, 惠东, 贾学翠
【申请人】中国电力科学研究院, 国网新源张家口风光储示范电站有限公司, 国网江苏省电力公司, 国家电网公司