一种基于分治Q-learning算法的光伏阵列重构方法

一种基于分治q
‑
learning算法的光伏阵列重构方法
技术领域
1.本发明涉及光伏发电技术领域，具体涉及一种基于分治q
‑
learning算法的光伏阵列重构方法。


背景技术：

2.如今，全球各地电能消耗逐步增加，因而供电需求也大大地增加了。传统的电能来源于煤炭、天然气和石油等化石燃料，然而它们不仅是不可持续能源，而且还会造成一些不必要的环境影响，如全球变暖、海平面上升及有害气体排放等。另一方面，太阳能是一种可再生的清洁资源，并且随着光伏(pv)电板成本越来越低、电能转换效率的提高以及最大功率点跟踪(mppt)技术的完善，光伏发电系统已在中国、印度、美国等各国广泛建立。
3.但是，由于光伏阵列产生的电能取决于太阳辐射，当出现阵列局部遮阴、表面灰尘堆积、部分光伏电池故障或老化等阵列失配问题时，会使光伏阵列中的电板具有不同的电气特性，导致输出功率的损失，甚至会引起热斑问题，导致太阳能电池的损坏。对此往往在光伏电板之间插入旁路二极管，提供备用电流路径，防止阵列失配条件下出现热斑以保护光伏阵列。然而旁路二极管的引入会导致在光伏阵列的功率
‑
电压(p
‑
v)特性曲线中出现多个局部功率峰值点，使得真正的最高功率点难以找到。如果要避免安装二极管，可以采用分布式mppt技术或多级逆变器技术来减小阵列失配现象的损害。然而，这些技术需要额外的器件和复杂的控制单元来确保光伏阵列的mppt，这将导致系统结构更加复杂、成本更高。
4.另一方面，光伏阵列重构方法是一种有前景的技术，它利用阵列电气重构(ear)实现光伏阵列的电气连接切换，来减小诸如局部阴影等失配条件下旁路二极管对光伏阵列的影响。目前，阵列重构方法包括静态方法和动态方法，因为动态重构可以通过开关来实时改变光伏阵列的连接情况从而实现阵列重构，因此应用更广泛。动态重构技术可以分为3种类型：(1)第一种类型是基于数据的重构技术，它基于光伏阵列的运行状态数据，建立并训练模型，使其能够输出最佳连接布局，比如查表法、光照比较器法以及基于人工神经网络、模糊算法的重构方法，但是，这些方法需要专家知识或大量数据，而这在现实中很难获得。(2)第二种类型是基于穷举的评价类重构方法，它将测试所有可能的光伏阵列重构，直到满足某些约束为止。值得注意的是，为了减少最优化的计算量，可用一些技术来缩小研究空间，比如使用进化方法、固定行数或列数，但会导致局部最优化而不是。(3)最后一种类型是基于数学方法的，比如使用排序算法或使用经典的优化算法可将重构问题转换为在一定约束下求解数学成本函数的问题。但是，基于数学方法的重构方法只能在某些特定应用中使用。此外为了减少计算时间而做出的假设也降低了方法的准确度。


技术实现要素：

5.有鉴于此，本发明提出了一种基于分治q
‑
learning算法的光伏阵列重构方法，不需要大量的历史数据或环境参数，并且减少了pv曲线中峰值个数，使其更平滑，减少失配损耗、提高阵列输出功率，能够实现全局最优，使用范围也不受限制，且重构过程的准确性高。
6.为实现上述目的，本发明技术方案如下：
7.本发明的一种基于分治q
‑
learning算法的光伏阵列重构方法，包括以下步骤：
8.步骤一、初始化q
‑
learning算法参数，q
‑
learning算法参数包括学习率α、奖励衰减率γ和在q
‑
learning算法中选择动作时控制随机率的参数∈；
9.步骤二、测量或估算光伏阵列中每个光伏电板的光照强度值；
10.步骤三、将m行n列全连接结构的光伏阵列看为一个有m个元素构成的串联电池组，其中每个元素都是n个电池板并联形成的电池组结构；并联电池组的光照强度值等于该并联组中每个光伏电板上光照强度数值的总和；
11.基于步骤二给出的每个光伏电池板的光照强度来计算每个并联电池组的光照强度；
12.步骤四、选择具有最大和最小光照强度数值的两个并联电池组构成部分光伏阵列，所述部分光伏阵列的目标状态是两个并联电池组之间的光照强度差值为最小；
13.使用q
‑
learning算法找到最少的电气变换方式来达到所述部分光伏阵列的最佳状态，完成对该部分光伏阵列的重构；
14.步骤五、将重构后的部分光伏阵列和余下还未重构的并联电池组合并，生成具有新结构的m行n列的光伏阵列；返回执行步骤四，直到找到使整个光伏阵列的并联电池组间的光照强度差异最小的电气变换方式。
15.其中，所述步骤二中，每个光伏电板的光照强度数值通过光照强度传感器获取或者通过太阳能面板电气模型进行估计；
16.中，所述太阳能电池板电气模型具体如下：
[0017][0018]
式中，g
ij
是光伏阵列中第i行、第j列的电池板的估算的光照强度，i
ij
和v
ij
是第i行、第j列的电池板对应的电流值和电压值，α,i0和nv
t
是电池板上标称的参量；其中，i＝1，2，3
…
i，j＝1，2，3
…
j，i为电池板总行数，j为电池板总列数。
[0019]
其中，所述步骤四中，基于分治q
‑
learning算法的光伏阵列重构方法的目标设定为使用最少的连接变换使阵列从初始状态到达最优状态，并且最佳状态定义为若干并联电池组中最大光照强度与最小光照强度的差值最小的状态。
[0020]
其中，所述步骤四中，基于分治q
‑
learning算法的具体内容为：
[0021]
应用q
‑
learning算法对光伏阵列进行步进重构，如果进行某步的电气变换操作后并联电池组间最大光照强度和最小光照强度的差值变小，则奖励设置为“+1”；而当差值变大时，奖励将为
“‑
1”；否则奖励为0；电气变换方式在每次试验回合中均会被记录；当两个并联电池组间的光照强度差值保持最小，并且在当前试验回合中的电气变换方式与先前一轮相同时，试验回合迭代将停止，则当前记录的试验回合中的电气变换方式是最少的电气变换方式来达到此部分光伏阵列的最佳状态，即并联电池组间的太阳光照强度最小，以功率损耗最小和pv曲线最平滑；
[0022]
其中，一次步进是指电气变换方式，所述电气变换方式是指使用电气开关使得光伏阵列中列内光伏电板位置不变而电气连接变换。
[0023]
其中，所述步骤六中，在整个光伏阵列中最大并联电池组光照强度和最小并联电池组光照强度的差值越来越小，且在相邻三次试验回合中的保持一致的最小值，保持相等时，此时的电气变换方式为使整个光伏阵列的并联电池组间的光照强度差异最小的电气变换方式。
[0024]
有益效果：
[0025]
本发明中的阵列重构方法是一种无监督的训练算法，可以通过学习和经历来了解未知环境，而不需要大量的历史数据或环境参数。其中，分治原理的融入进一步保证了该阵列重构方法的快速性；基于分治强化学习的光伏阵列重构方法来快速地改善局部遮光等阵列失配条件下的光伏阵列的性能表现，减少pv曲线中峰值个数，使其更平滑，减少失配损耗、提高阵列输出功率。对q
‑
learning算法的训练目标、步进奖励和训练终止准则的改进，确保了重构过程的准确性。
附图说明
[0026]
图1为本发明基于分治q
‑
learning算法的光伏阵列重构方法总体流程图。
[0027]
图2为本发明实施例光伏阵列tct结构示意图。
[0028]
图3为本发明实施例光伏阵列中各并联光伏电板组示意图。
具体实施方式
[0029]
下面结合附图并举实施例，对本发明进行详细描述。
[0030]
q
‑
learning是一种无监督的训练算法，可以通过经历和学习来了解未知环境，而不需要大量的历史数据及环境参量。此外，为了能以最少电气连接变换步骤达到失配条件下的光伏阵列的最佳结构，本发明提出的重构方案中结合了分治原理。而且，为了更好地在光伏阵列重构过程中应用q
‑
learning算法，本发明还对目标的设置、步进奖励和训练终止准则进行了一些原创性改进。
[0031]
本发明基于分治q
‑
learning算法的光伏阵列重构方法的总体流程如图1所示，具体的步骤如下：
[0032]
步骤一、初始化q
‑
learning算法参数，q
‑
learning算法参数包括学习率α、奖励衰减率γ和在q
‑
learning算法中选择动作时控制随机率的参数∈。
[0033]
本实施例中，学习率α设为0.9，奖励衰减率γ为0.9，最大迭代次数为100，在q
‑
learning算法中选择动作时控制随机率的参数∈为0.9。
[0034]
步骤二、测量或估算光伏阵列中每个光伏电板的光照强度值，可以通过光照强度传感器获取或者通过太阳能面板电气模型进行估计。
[0035]
其中，所述太阳能电池板电气模型具体如下：
[0036][0037]
式中，g
ij
是光伏阵列中第i行、第j列的电池板的估算的光照强度，i
ij
和v
ij
是第i行、第j列的电池板对应的电流值和电压值，此外，α,i0和nv
t
是电池板上标称的参量；其中，i＝1，2，3
…
i，j＝1，2，3
…
j，i为电池板总行数，j为电池板总列数。
[0038]
步骤三、m行n列全连接(tct)结构的光伏阵列可看为一个有m个元素构成的串联电
池组，其中每个元素都是n个电池板并联形成的电池组结构(parallel
‑
connected group,pcgroup)。基于步骤二给出的每个光伏电池板的光照强度来计算每个并联电池组(pcgroup)的光照强度。
[0039]
本实施例中，对于全连接(tct)结构的光伏阵列，如图2所示，其行数为3，列数为3。整个光伏阵列可以看成为一个串联电池组，每个组件是并联连接的3个光伏电池板，为描述方便将其简称为并联电池组(parallel
‑
connected group,pcgroup)。如图3所示，整个光伏阵列由3个并联电池组串联组成。基于步骤2给出的每个光伏电池板的光照强度来计算每个并联电池组的光照强度。并联电池组的光照强度为此并联电池组中每个面板上的光照强度总和。
[0040]
步骤四、选择具有最大和最小光照强度数值的两个并联电池组构成部分光伏阵列，所述部分光伏阵列的目标状态是两个并联电池组之间的光照强度差值为最小；
[0041]
使用q
‑
learning算法找到最少的电气变换方式来达到此部分光伏阵列的最佳状态，完成对该部分光伏阵列的重构。具体地：
[0042]
一次步进表示一次电气变换，所述电气变换方式是指使用电气开关使得光伏阵列中列内光伏电板位置不变而电气连接变换，即控制电气开关使得光伏阵列中列内光伏电板位置不变而电气连接变换。同时，q表也一直被更新和优化。并且电气变换方式在每次试验回合中均会被记录。当两个并联电池组间的光照强度差值保持最小，并且在当前试验回合中的电气变换方式与先前一轮相同时，试验回合迭代将停止，则当前记录的试验回合中的电气变换方式是最少的电气变换方式来达到此部分光伏阵列的最佳状态，即并联电池组间的太阳光照强度最小，以功率损耗最小和pv曲线最平滑。
[0043]
进一步地，本发明中q
‑
learning算法中每次步进过程中设置的积分奖励与此步进的前后两个状态相关。如果进行某步的电气变换操作后并联电池组间最大光照强度和最小光照强度的差值变小，则奖励设置为“+1”；而当差值变大时，奖励将为
“‑
1”；否则奖励为0。
[0044]
步骤五、将步骤四重构后的部分光伏阵列和余下还未重构的并联电池组合并，生成具有新结构的m行n列的光伏阵列，返回执行步骤四。
[0045]
最佳光伏阵列结构是整个光伏阵列的并联电池组间的光照强度差异最小，此时光伏阵列的性能表现最优、功率损耗最小。
[0046]
本发明提出的基于分治q
‑
learning算法的光伏阵列重构方法的目标设定为使用最少的连接变换使阵列从初始状态到达最优状态，并且最佳状态定义为若干并联电池组中最大光照强度与最小光照强度的差值最小的状态。
[0047]
因此，当试验回合中的最大并联电池组光照强度和最小并联电池组光照强度的差值越来越小，并在相邻三次试验回合中保持相等时，此时的电气变换方式为使整个光伏阵列的并联电池组间的光照强度差异最小的电气变换方式，能到达最佳光伏阵列结构的最快路线。
[0048]
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。