一种大规模储能电站自适应动态规划的控制方法和系统的制作方法
【专利摘要】本发明提供一种大规模储能电站自适应动态规划的控制方法和系统，所述方法包括如下步骤：设置自适应动态规划控制系统的结构和控制目标参数；初始化参数并导入被控对象的初始状态；计算当前时刻t的原始风电功率波动率，根据变化率控制方法对原始风电功率进行平滑；计算平滑后的风储功率波动率，储能系统功率，储能系统的荷电状态SOC；初始化训练评价模块和执行模块；计算每个时刻的控制策略，平滑后的风储功率波动率，储能功率和储能系统荷电状态SOC，并进行保存；输出所述各个时刻的控制策略，平滑后的风储功率波动率，储能功率和储能系统荷电状态SOC。所述系统包括参数初始化模块、数据采集和计算模块、执行模块、评价模块及输出模块等。本发明实现对大型储能系统的优化控制，提升储能系统技术经济性。
【专利说明】
-种大规模储能电站自适应动态规划的控制方法和系统
技术领域
[0001] 本发明属于智能电网、能源互联网和储能技术领域，具体设及一种大规模储能电 站自适应动态规划的控制方法和系统。
【背景技术】
[0002] 随着风电、光伏发电技术的不断发展，风电和光伏发电等新能源发电的大规模并 网，其出力的波动问题日益严重。风电、光伏发电等新能源发电大规模接入电网后，其波动 性和间歇性会对电网运行的安全性、稳定性W及电能质量等造成不利影响。因此，目前在实 际运用中，风电和光伏发电的并网受到了很大限制，不利于风电、光伏发电等新能源发电的 发展，控制新能源发电出力波动对电网运行的安全、稳定、经济运行有着重要意义。储能系 统凭借充放电能力可有效抑制新能源发电输出波动对电网的不利影响，进而降低新能源发 电系统带来的波动性，提高电网接纳新能源发电的能力。
[0003] 按照存储形式的不同，储能可分为物理储能、电化学储能和电磁储能。其中电池储 能目前处于快速发展阶段，储能电站规模达到了兆瓦级~数十兆瓦级。因此可W通过配备 一定容量的大规模电池储能系统，根据新能源发电出力的情况，采用电池储能系统充放电 的优化控制，平滑新能源发电功率。并结合新能源发电出力波动率和储能系统的荷电状态 等指标进行整体优化，W满足电网对风电、光伏发电等新能源发电并网的要求。
[0004] 目前，我国已建成多个千万千瓦级新能源发电基地，在新能源发电富集区域电网 中，对电池储能的容量要求通常达数十MWW上，甚至达百兆瓦W上。百兆瓦级电池储能电站 参与新能源发电集群控制及系统调度运行，对破解新能源发电的送出和消纳瓶颈有重要意 义。大规模储能技术是我国可再生能源发电利用的关键支撑技术。针对大规模可再生能源 发电的接入，一方面通过储能技术与可再生能源发电的联合，减少其随机性并提高其可调 性;另一方面通过电网级的储能应用增强电网对可再生能源发电的适应性。目前，储能作为 电网的可调度资源，具有很大的应用价值和应用空间。
[0005] 在电网级应用中，需要储能进行秒至小时级的多时间尺度功率支撑。在储能与新 能源发电联合并网应用时，百兆瓦电池储能电站整体需满足新能源发电从秒到分钟级不同 时间尺度的响应需求。因此，如何基于大规模新能源发电的出力波动W及储能在电网级应 用等实际需求，实现百兆瓦级电池储能电站整体出力多目标协调优化控制是亟待破解的技 术难题。
[0006] 在大规模电池储能电站平滑大规模新能源发电出力波动时，采用传统的一阶低通 滤波或变时间常数(T)的出力滤波方法，由于方法本身自带的时滞而导致有时控制灵敏度 不佳。一般的移动平均滤波算法输出的储能出力目标值也在很大程度上受限于风电、光伏 发电等新能源发电功率的输入，运些传统方法遇到新能源发电出力出现骤变的情况，滤波 性能下降，且影响后续滤波效果。另一方面，在提高新能源发电友好性的储能电站出力控制 时，传统控制方法在储能电站整体出力的自适应控制方面，其基于自学习的智能优化控制 能力有待进一步提局D
【发明内容】
[0007] 为了克服上述现有技术的不足，本发明提供一种大规模储能电站自适应动态规划 的控制方法和系统，本发明降低了风电功率并网给电网带来的冲击，同时对储能系统的工 作能力和寿命进行优化保护，提升储能系统的技术性与经济性。
[0008] 为了实现上述发明目的，本发明采取如下技术方案：
[0009] -种大规模储能电站自适应动态规划的控制方法，所述方法包括如下步骤：
[0010] (1)设置自适应动态规划控制系统的结构和控制目标参数；
[0011] (2)初始化参数并导入被控对象的初始状态；
[0012] (3)计算当前时刻t的原始风电功率波动率 <,，根据变化率控制方法对原始风电功 率进行平滑;计算平滑后的风储功率波动率语W，储能系统功率PBESS(t)，储能系统的荷电状 态 S0C;
[OOU] (4)初始化训练评价模块和执行模块；
[0014] (5)计算每个时刻的控制策略，平滑后的风储功率波动率，储能功率和储能系统荷 电状态SOC，并进行保存；
[0015] (6)输出所述各个时刻的控制策略，平滑后的风储功率波动率，储能功率和储能系 统荷电状态SOC。
[0016] 优选的，所述步骤(1)中，所述自适应动态规划控制系统包括评价模块和执行模块 的两层结构，每个模块均用=层神经网络结构来构建;所述控制目标参数包括风电发电容 量带'W,储能系统容量Wbat,储能系统的荷电状态SO邱良制范围，采样时间A t，观测时间T，波 动率控制目标4和波动率限制目标拖。
[0017] 优选的，所述步骤(2)中，所述初始化参数包括风电功率波动率的初始值，储能系 统荷电状态SOC的初始值，当前时刻风电实际出力功率。
[0018] 优选的，所述步骤(3)包括如下步骤：
[0019] 张驢,Vl、所沐的巧前时刻t的原始风电功率波动率嗦的计算公式如下；
[0020] (I)
[0021] (:)
[0022] (3)
[0023]
[0024] 式中：C"是风电容量，即额定功率，Ar和巧T是观测时间内的风电功率最大值和 最小值，A t是采样时间，T为观测时间，Pwp(t)为风电功率的原始值，fwp计算风电功率波动 率的原始函数，n为在观测时间内的采样点数；
[0025] 步骤3-2、根据变化率控制方法对所述风电功率的原始值进行平滑；
[0026] 所述变化率控制方法的计算方法如下：
[0027] 根据风电功率原始值Pwp(t)、平滑后的风电功率值Phybrid(t)、采样时间At定义了 风电功率的变化率k(t):
[002引
口）
[0029]式中：Pwp(t)是风电功率原始值;Phybrid(t)是平滑后的风储功率值；
[0030] 为了使风储功率波动率控制在要求范围内，对变化率控制功率波动率方法制定如 下控制策略：
[0031]
[0032]
[0033]
[0034] 巧
[0035]
[0036] (8)
[0037] 式中：/诚,《是风电出力的上升阶段的变化率的限制值，/请品是风电出力的下降阶段 的变化率的限制值；
[00；3引 其中
[0039] 斷
[0040] (1巧
[0041 ] 式中，请为波动率控制目标；[0042] 步骤3-3、经过所述变化率控制方法平滑后的风储功率波动率項《的公式为：
[0043] (Il)
[0044] (12)
[0045] (13)
[0046]
[0047] 式中：碼祐和巧品是观测时间T内的风储功率最大值和最小值;巧冷是观测时间T 内并网运行的风电总额定功率；
[0048] 变化率控制功率波动率方法的目标是控制平滑后的风储功率波动率在观测时间 内小于给定目标值：
[0049]
(15)
[0050] 式中：请是给定观测时间T内风储功率波动率的控制目标；
[0051 ]步骤3-4、所述储能系统功率的计算公式为：
[0052] PBESs(t)=Phybrid(t)-Pwp(t) (16)
[0053] 所述储能系统的荷电状态SOC的计算公式如下：
[0054] 如果Pbess (t )> 0，储能系统放电，SOC减小，
[0化5] (17)
[0化6] ;0C增大，
[0057] (1巧
[0化引式中:Wbat是储能系统容量。
[0059] 优选的，所述步骤(4)中，所述初始化训练评价模块和执行模块包括:初始化设置 折扣因子曰、执行模块学习率Ia和评价模块学习率Ic、执行模块权值Wa和评价模块权值Wc,最 大循环次数，W及训练模块的期望误差，其中权值的初始值设置为(-1，+1)间的随机值，学 习率和折扣因子依据控制效果要求进行选取和调整。
[0060] 优选的，所述步骤(5)包括如下步骤：
[0061] 步骤5-1、判断风储功率波动率语。是否在约束条件-
巧，若是则储能系 统不动作，不对储能功率进行修正;否则进行下一步的自适应动态规划模块训练，寻求最优 储能功率修正值；
[0062] 步骤5-2、将被控对象状态和所述控制策略作为评价模块的输入，训练评价模块， 更新评价模块的权值，输出代价函数；
[0063] 步骤5-3、将被控对象状态包括风储功率波动率斋W和储能功率Pbess (t)作为执行 模块的输入，训练执行模块，更新执行模块的权值，输出为控制策略，即储能功率的修正值 A PBESs(t);
[0064] 步骤5-4、保存此时刻的控制策略，并计算下一时刻被控对象状态，t = t+l，重复步 骤5-1到步骤5-3,直到控制过程结束。
[0065] 优选的，所述步骤5-1中，所述判断风储功率波动率療<?的约束如下：
[0066] 系统过度出力，需要进行反向修正：
[0067] (22)
[006引式中，A PBESS(t)为储能功率修正值
[0069] 储能系统出力适宜，无需修正：
[0070] (23)
[0071] 式中：巧澄(0是在变化率控制方法的基础上，对储能功率进行自适应动态规划调 节后的储能系统的功率。
[0072] 优选的，所述步骤5-2包括如下步骤：
[0073] 步骤5-2-1、将所述被控对象状态即风储功率波动率说和所述控制策略即储能功 率修正值A PbessU)进行归一化处理为[-1，+1]之间；
[0074] 步骤5-2-2、将所述被控对象状态即风储功率波动率谅。V和所述控制策略即储能 功率修正值A PBESS(t)送入所述评价模块作为输入，计算所述评价模块的输出Jc?ESS(t)代 价函数，构造目标函数Echybrid( t)训练所述评价模块，并根据评价模块的权值更新式，更新 评价模块神经网络的权值，计算你公式如下：
[0075] (24)
[0076] (25) W77] (淡)
[007引式中：代价函数Jchybrid(t)为评价模块的输出，效用函数U(t)是关于请"w，APbeSS (t )，t的函数，根据控制目标进行定义，0。是折扣因子；
[0079] 步骤5-2-3、所述评价模块的训练采用梯度下降法或粒子群优化算法W使目标函 数Echybrid(t)最小化为目标来更新评价模块神经网络的权值Wc,当目标函数Echybrid(t)减小 到设定的误差值或迭代次数达到最大时，训练完成。
[0080] 优选的，所述步骤5-3包括如下步骤：
[0081 ] 步骤5-3-1、将被控对象状态包括风储功率波动率和储能功率PBESs(t)作为执 行模块的输入，训练执行模块；
[0082] 步骤5-3-2、通过最小化评价模块输出Jchybrid ( t )来调整控制策略即储能功率修正 值APBESS(t)，公式如下：
[0083] ^27) 瓣4] (28)
[0085] 式中：控制策略A PBEss(t)是执行模块的输出，用来调整储能功率在合理范围内变 化，W减小储能系统SOC波动范围，U表示控制策略A PBESS(t)是关于碳祉，t，Wa的函数；
[0086] 步骤5-3-3、所述执行模块的训练采用梯度下降法或粒子群优化算法W最小化目 标函数Eahybrid(t)为目标来更新执行模块神经网络的权值Wa,当目标函数Eahybrid(t)减小到 设定的误差值或迭代次数达到最大时，训练完成。
[0087] 优选的，一种大规模储能电站自适应动态规划的控制系统，所述系统包括参数初 始化模块、数据采集和计算模块、执行模块、评价模块及输出模块；
[0088] 所述参数初始化模块，用于设置自适应动态规划控制系统的结构和控制目标参 数，并将所述目标参数传送到所述数据采集和计算模块；
[0089] 所述数据采集和计算模块，用于根据所述目标参数计算风储功率波动率，并将所 述风储功率波动率传送到所述执行模块和评价模块；
[0090] 所述执行模块，用于根据所述风储功率波动率得到储能功率修正值，并将所述储 能功率修正值传送到所述数据采集和计算模块、评价模块及输出模；
[0091] 所述评价模块，用于根据所述风储功率波动率得出代价函数，并将其传送到执行 板块；
[0092] 所述输出模块，用于输出所述各个时刻的控制策略，平滑后的风储功率波动率，储 能功率和储能系统荷电状态SOC。
[0093] 与现有技术相比，本发明的有益效果在于：
[0094] 本发明提出了一种基于自适应动态规划(ADP)的大型电池储能电站自适应优化控 制方法。本发明方法及系统综合考虑大规模电池储能电站荷电状态、新能源发电波动率反 馈值W及基于神经网络的评价模块和执行模块等，有效实现了大规模电池储能系统整体充 放电功率的自适应优化控制。本发明基于神经网络对控制算法进行实时智能优化，提高了 控制系统自学习和自适应控制能力，实时对储能系统出力进行自适应动态修正，使其满足 风电并网的要求，同时，又控制储能电池荷电状态(SOC)保持在适宜的范围内，实现储能电 池系统的合理充放电的功能，满足大规模储能系统实时充放电功率的优化控制目的。该方 法可适用于不同规模等级的大型电池储能电站（系统）的充放电功率的优化控制与电池能 量管理。
【附图说明】
[0095] 图1是本发明提供的一种大规模储能电站自适应动态规划的控制系统的结构图，
[0096] 图2是本发明提供的一种大规模储能电站自适应动态规划的控制方法的流程图。
【具体实施方式】
[0097] 下面结合附图对本发明作进一步详细说明。
[0098] 如图1所示，为本发明提供的一种大规模储能电站自适应动态规划的控制系统，该 系统包括：
[0099] A、参数初始化模块。自适应动态规划控制系统选择评价模块和执行模块两层结 构，每个模块均用=层神经网络结构来构建。执行模块和评价模块的参数包括折扣因子曰、 网络学习率Ia和1。、权值最大循环次数，W及训练网络的期望误差。
[0100] 控制目标参数包括风电发电容量诸能系统容量Wbat,储能系统的荷电状态SOC 限制范围，采样时间A t，观测时间T，波动率控制目标域，被动率限制目标施。
[0101 ]被控对象的初始状态包括风电功率波动率的初始值，储能系统荷电状态SOC的初 始值，当前时刻风电实际出力功率。
[0102] B、数据采集和计算模块。采集风电实际出力功率，储能系统充放电功率，实时计算 风电波动率和荷电状态，并实时判断状态量是否在约束范围内。当状态量不在约束范围内 时，调整储能系统充放电功率。
[0103] C、评价模块。训练评价模块的具体如下:将风电波动率斋。H和控制策略即储能功率 修正值APBESS(t)送入评价模块作为输入，计算评价模块的输出Jc?ESS(t)代价函数，构造目 标函数Echybrid( t )训练评价模块，并根据评价模块的权值更新式，更新评价模块神经网络的 权值;其中，风电波动率诘,.?和控制策略即储能功率修正值A时ESS(t)都应经归一化处理为 [-1，+ 1]后，再送入网络进行计算。
[0104] 评价模块的训练W最小化目标函数Echybrid(t)为目标来更新评价模块神经网络的 权值Wc,当目标函数Echybrid(t)减小到设定的误差值或迭代次数达到最大时，训练完成。
[0105] D、执行模块。训练执行模块的具体步骤如下：训练执行模块是依据最小化评价模 块的输出Jchybrid(t)来训练执行模块，并根据执行模块的权值更新式，更新执行模块神经网 络的权值Wa。执行模块的训练是通过最小化评价模块的输出jEhybrid(t)来调整控制策略即储 能功率修正值APBESS(t);通过最小化目标函数Eahybrid(t)为目标来更新执行模块神经网络 的权值Wa,当目标函数Eahybrid(t)减小到设定的误差值或迭代次数达到最大时，训练完成。
[0106] E、输出模块。保存并实时输出各时刻的控制策略，实时在线调整调整平滑过程，控 制储能系统充放电功率。
[0107] 综上所述，本发明在综合考虑新能源发电出力波动率和大规模电池储能系统荷电 状态的条件下，通过自适应动态规划算法实时调节大规模储能电站实时功率，实现了综合 考虑新能源发电与大规模储能系统联合并网运行的控制效果、大规模储能系统容量等的储 能系统充放电功率的最优解的求解。由于自适应动态规划（ADP : Adapt i ve Dynami C Programming)算法不依赖被控系统或者过程精确的数学模型，具有在线自学习的能力，可 W自动适应系统参数的变化，鲁棒性强。因此本发明通过将自适应动态规划算法考虑至自 适应平滑控制中，实时了新能源发电出力平滑的在线自适应调节，优化大规模电池储能系 统的控制效果。
[0108] 如图2所示，为本发明提供的一种大规模储能电站自适应动态规划的控制方法，该 方法具体步骤如下：
[0109] 步骤1、设置自适应动态规划控制系统的结构，执行模块和评价模块的参数，W及 控制目标参数。
[0110] 自适应动态规划控制系统包括评价模块和执行模块的两层结构，（或者模型模块、 评价模块和执行模块的=层结构），每个模块均用=层神经网络结构来构建。执行模块和评 价模块的参数包括折扣因子CU网络学习率Ia和Ic、权值Wa和Wc,最大循环次数，W及训练网 络的期望误差。其中权值的初始值设置为(-1，+1)间的随机值，学习率和折扣因子依据控制 效果要求进行选取和调整。综合考虑被控对象的具体情况和神经网络的收敛速度、计算结 果的精确度，协同优化后选取合适的神经网络模型（包括网络的类型、结构、网络参数和训 练模式），
[011U 控制目标参数包括风电发电容量Cr"，储能系统容量Wbat,储能系统的荷电状态SOC 限制范围，采样时间A t，观测时间^波动率控制目^^成，波动率限制目标:拖。
[0112] 步骤2、初始化参数并导入被控对象的初始状态；
[0113] 初始化参数并导入被控对象的初始状态包括风电功率波动率的初始值，储能系统 荷电状态SOC的初始值，当前时刻风电实际出力功率。
[0114] 步骤3、计算当前时刻t的原始风电功率波动率诚，根据变化率控制方法对原始风 电功率进行平滑;计算平滑后的风储功率波动率攝,,J，储能系统功率PBESS(t)，储能系统的荷 电状态SOC;
[0115] 步骤4、初始化训练评价模块和执行模块；
[0116] 计算当前时刻t的原始风电功率波动率语，利用变化率控制方法对原始功率波动 率进行平滑，计算方法如下：
[0117] 根据风电功率原始值Pwp(t)、平滑后的风储功率值Phybrid(t)、采样时间A t定义了 风电功率的变化率k(t):
[011引
巧）
[0119] 式中：Pwp(t)是风电功率原始值;Phybrid(t)是平滑后的风储功率值。
[0120] 为了使风储功率波动率控制在要求范围内，对变化率控制功率波动率方法制定如 下控制策略：
[0121]
[0122]
[0123]
[0124] 巧
[0125]
[0126] m
[0127] 其中：咕是风电出力的上升阶段的变化率的限制值;時品是风电出力的下降阶段 的变化率的限制值，二者定义为：
[012引 巧)：
[0129] (1巧
[0130] 经过变化率控制方法平滑后的风储功率波动率成,,,,定义为：
[0131] (11)
[0132] (12)
[0133] (13)
[0134] T = nA t (14)
[0135] 上四式中：巧和巧鼠是观测时间T内的风储功率最大值和最小值。巧就是观测时 间T内，并网运行的风电总额定功率；
[0136] 变化率控制功率波动率的方法的目标是控制平滑后的风储功率的波动率在观测 时间内小于给定目标值：
[0137]
(15)
[0138] 式中：4是给定观测时间T内风储功率波动率的控制目标。
[0139] 储能系统充放电功率可W根据上面几式计算得到，在t时刻的储能功率为：
[0140] PBESs(t)=Phybrid(t)-Pwp(t) (16)
[0141 ]储能系统的荷电状态SOC的计算公式如下：
[0142] 如果Pbess (t )> 0，储能系统放电，SOC减小。
[0143] 0巧
[0144] ;0C 增大。
[0145] MM
[0146] 其中:Wbat是储能系统容量。
[0147] 步骤5、判断风储功率波动率碱。是否在约束条件4 ^喊^ <话内，若不在约束范围 内，则进行下一步的ADP网络训练，寻求最优储能功率修正值;若在约束范围内，则储能系统 不动作，不对储能功率进行修正；
[0148] 确定ADP是否需要调节储能功率的具体操作为:基于储能系统的储能功率PBESs(t) 和变化率控制后的风储功率波动率谅，《，引入一个新的限制风储功率波动率的值，定义该 值为植。结合该限制值和波动率控制目标请，制定W下的控制策略：
[0149] 如果〇<《,,,.《 <语，储能系统过度出力，需要进行反向修正。
[0150] (22)
[0151] 统出力适宜，无需修正。
[0152] (23)
[0153] 式中：逆的是在变化率控制方法的基础上，对储能功率进行ADP调节后的储能系 统的功率。
[0154] 步骤6、将被控对象状态，即风储功率波动率请W、储能功率PBESs(t)作为执行网络 的输入，训练执行网络，更新执行网络的权值，输出为控制策略，即储能功率的修正值A PBESs(t);
[01W]训练执行网络的具体步骤如下：
[0156] 训练执行模块是依据最小化评价模块的输出Jchybrid(t)来训练执行模块，并根据 执行模块的权值更新式，更新执行模块神经网络的权值Wa。执行模块的训练是通过最小化 评价模块的输出Jchybrid(t)来调整控制策略即储能功率修正值A PBESS(t);通过最小化目标 函数Eahybrid(t)为目标来更新执行模块神经网络的权值Wa,当目标函数Eahybrid(t)减小到设 定的误差值或迭代次数达到最大时，训练完成。
[0157] 步骤7、将被控对象状态和控制策略作为评价网络的输入，训练评价网络，更新评 价网络的权值，输出为代价函数；
[0158] 训练评价网络的具体步骤如下：
[0159] 将风电波动率據。W和控制策略即储能功率修正值A PBESs(t)送入评价模块作为输 入，计算评价模块的输出Jc?ESS(t)代价函数，构造目标函数Echybrid(t)训练评价模块，并根 据评价模块的权值更新式，更新评价模块神经网络的权值;其中，风电波动率爲W,*和控制策 略即储能功率修正值APBESS(t)都应经归一化处理为[-1，+1]后，再送入网络进行计算。
[0160] 评价模块的训练W最小化目标函数Echybrid(t)为目标来更新评价模块神经网络的 权值Wc,当目标函数Echybrid(t)减小到设定的误差值或迭代次数达到最大时，训练完成。
[0161] 步骤8、保存此时刻的控制策略，并计算下一时刻被控对象的状态，t = t+l，重复步 骤5到7;
[0162] 步骤9、循环上述步骤，直至控制过程结束，并输出各时刻的控制策略，平滑后的风 储功率波动率/谋，储能功率巧逆(0和储能系统S0C。
[0163] 最后应当说明的是：W上实施例仅用W说明本发明的技术方案而非对其限制，尽 管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解:依然 可W对本发明的【具体实施方式】进行修改或者等同替换，而未脱离本发明精神和范围的任何 修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。
【主权项】
1. 一种大规模储能电站自适应动态规划的控制方法，其特征在于，所述方法包括如下 步骤： (1) 设置自适应动态规划控制系统的结构和控制目标参数； (2) 初始化参数并导入被控对象的初始状态； (3) 计算当前时刻t的原始风电功率波动率根据变化率控制方法对原始风电功率进 行平滑;计算平滑后的风储功率波动率储能系统功率PBESS(t)，储能系统的荷电状态 SOC； (4) 初始化训练评价模块和执行模块； (5) 计算每个时刻的控制策略，平滑后的风储功率波动率，储能功率和储能系统荷电状 态SOC，并进行保存； (6) 输出所述各个时刻的控制策略，平滑后的风储功率波动率，储能功率和储能系统荷 电状态SOC。2. 根据权利要求1所述控制方法，其特征在于，所述步骤（1)中，所述自适应动态规划控 制系统包括评价模块和执行模块的两层结构，每个模块均用Ξ层神经网络结构来构建;所 述控制目标参数包括风电发电容量储能系统容量Wbat、储能系统的荷电状态SO邱良审U 范围、采样时间A t、观测时间T、波动率控制目标和波动率限制目标巧己。3. 根据权利要求1所述控制方法，其特征在于，所述步骤(2)中，所述初始化参数包括风 电功率波动率的初始值，储能系统荷电状态S0C的初始值，当前时刻风电实际出力功率。4. 根据权利要求1所述控制方法，其特征在于，所述步骤(3)包括如下步骤： 步骤3-1、所述的当前时刻t的原始风电功率波动率吃的计算公式如下：式中：巧;是风电容量，即额定功率，巧:&和巧;η是观测时间内的风电功率最大值和最 小值，A t是采样时间，Τ为观测时间，Pwp(t)为风电功率的原始值，fwp计算风电功率波动率 的原始函数，η为在观测时间内的采样点数； 步骤3-2、根据变化率控制方法对所述风电功率的原始值进行平滑； 所述变化率控制方法的计算方法如下： 根据风电功率原始值Pwp(t)、平滑后的风电功率值Phybrid(t)、采样时间At定义了风电 功率的变化率k(t):", 式中：Pwp(t)是风电功率原始值;Phybrid(t)是平滑后的风储功率值； 为了使风储功率波动率控制在要求范围内，对变化率控制功率波动率方法制定如下控 制策略：式中：/端：《是风电出力的上升阶段的变化率的限制值，的Γ。/是风电出力的下降阶段的变 化率的限制值； 其中式中，?,为波动率控制目标； 步骤3-3、经过所述变化率控制方法平滑后的风储功率波动率喊的公式为：式中：和巧rw是观测时间T内的风储功率最大值和最小值;吃為是观测时间T内并网 运行的风电总额定功率； 变化率控制功率波动率方法的目标是控制平滑后的风储功率波动率在观测时间内小 于给吿曰标值，(W 式中：是给定观测时间T内风储功率波动率的控制目标； 步骤3-4、所述储能系统功率的计算公式为： PbESS ( t ) = Phybrid ( t ) ~Pwp ( t ) ( 16 ) 所述储能系统的荷电状态soc的计算公式如下： 如果Pbess (t) >0，储能系统放电，S0C减小，(m 如果PBESS(t)<0,储能系统充电，SOC增大，(18) 式中:Wbat是储能系统容量。5. 根据权利要求1所述控制方法，其特征在于，所述步骤(4)中，所述初始化训练评价模 块和执行模块包括:初始化设置折扣因子曰、执行模块学习率la和评价模块学习率1。、执行模 块权值Wa和评价模块权值Wc，最大循环次数，W及训练模块的期望误差，其中权值的初始值 设置为(-1，+1)间的随机值，学习率和折扣因子依据控制效果要求进行选取和调整。6. 根据权利要求1所述控制方法，其特征在于，所述步骤巧)包括如下步骤： 步骤5-1、判断风储功率波动率请是否在约束条件<喊内，若是则储能系 统不动作，不对储能功率进行修正;否则进行下一步的自适应动态规划模块训练，寻求最优 储能功率修正值； 步骤5-2、将被控对象状态和所述控制策略作为评价模块的输入，训练评价模块，更新 评价模块的权值，输出代价函数； 步骤5-3、将被控对象状态包括风储功率波动率和储能功率时ESS (t)作为执行模块 的输入，训练执行模块，更新执行模块的权值，输出为控制策略，即储能功率的修正值A PBESs(t)； 步骤5-4、保存此时刻的控制策略，并计算下一时刻被控对象状态，t = t+1，重复步骤5- 1到步骤5-3,直到控制过程结束。7. 根据权利要求6所述控制方法，其特征在于，所述步骤5-1中，所述判断风储功率波动 率W的约束如下： 如果0 <请。.《 <皆"，则储能系统过度出力，需要进行反向修正：(22) 式中，A PBESS(t)为储能功率修正值 如果记叫;<'或，储能系统出力适宜，无需修正：(23)： 式中：巧置；?Ο是在变化率控制方法的基础上，对储能功率进行自适应动态规划调节后 的储能系统的功率。8. 根据权利要求6所述控制方法，其特征在于，所述步骤5-2包括如下步骤： 步骤5-2-1、将所述被控对象状态即风储功率波动率碱和所述控制策略即储能功率修 正值Δ PBESS(t)进行归一化处理为[-1，+U之间； 步骤5-2-2、将所述被控对象状态即风储功率波动率，汹和所述控制策略即储能功率 修正值APBESS(t)送入所述评价模块作为输入，计算所述评价模块的输出Jc?Ess(t)代价函 数，构造目标函数Echybrid ( t )训练所述评价模块，并根据评价模块的权值更新式，更新评价 模块神经网络的权值，计算你公式如下：式中：代价函数Jchybrid ( t )为评价模块的输出，效用函数U ( t )是关于成,.W，A PbeSS ( t )，t 的函数，根据控制目标进行定义，β。是折扣因子； 步骤5-2-3、所述评价模块的训练采用梯度下降法或粒子群优化算法W使目标函数 Echybrid(t)最小化为目标来更新评价模块神经网络的权值Wc，当目标函数Echybrid(t)减小到 设定的误差值或迭代次数达到最大时，训练完成。9.根据权利要求6所述控制方法，其特征在于，所述步骤5-3包括如下步骤： 步骤5-3-1、将被控对象状态包括风储功率波动率和储能功率PBEss(t)作为执行模 块的输入，训练执行模块； 步骤5-3-2、通过最小化评价模块输出Jchybrid(t)来调整控制策略即储能功率修正值Δ PBESS(t)，公式如下：式中：控制策略A PBESS(t)是执行模块的输出，用来调整储能功率在合理范围内变化，W 减小储能系统SOC波动范围，U表示控制策略Δ PBESS(t)是关于《6,W，t，Wa的函数； 步骤5-3-3、所述执行模块的训练采用梯度下降法或粒子群优化算法W最小化目标函 数Eahybrid(t)为目标来更新执行模块神经网络的权值Wa，当目标函数Eahybrid(t)减小到设定 的误差值或迭代次数达到最大时，训练完成。 10 . -种大规模储能电站自适应动态规划的控制系统，其特征在于，所述系统包括参数 初始化模块、数据采集和计算模块、执行模块、评价模块及输出模块； 所述参数初始化模块，用于设置自适应动态规划控制系统的结构和控制目标参数，并 将所述目标参数传送到所述数据采集和计算模块； 所述数据采集和计算模块，用于根据所述目标参数计算风储功率波动率，并将所述风 储功率波动率传送到所述执行模块和评价模块； 所述执行模块，用于根据所述风储功率波动率得到储能功率修正值，并将所述储能功 率修正值传送到所述数据采集和计算模块、评价模块及输出模； 所述评价模块，用于根据所述风储功率波动率得出代价函数，并将其传送到执行模块； 所述输出模块，用于输出所述各个时刻的控制策略，平滑后的风储功率波动率，储能功 率和储能系统荷电状态SOC。
【文档编号】H02J3/38GK105846461SQ201610278732
【公开日】2016年8月10日
【申请日】2016年4月28日
【发明人】李相俊, 何宇婷, 张晶琼, 惠东, 贾学翠
【申请人】中国电力科学研究院, 国家电网公司