一种基于数据湖的电网总体平衡分析系统的制作方法

1.本发明涉及配电系统技术领域，尤其涉及一种基于数据湖的电网总体平衡分析系统。


背景技术：

2.随着电网特性日益复杂、电力市场化改革逐渐深入，使得电网调度运行控制难度大，故障异常影响范围广，清洁能源消纳要求高，需要调度员能够准确评估主网实时状态与安全运行裕度，确保电网安全稳定运行的同时提高经济运行水平。
3.目前电网调度控制系统部署的实时监控与预警类应用及安全校核类应用为调度员提供了多个研究分析工具，但各个应用的功能或面向的需求相对单一独立，不具备综合各功能应用信息，面向调度运行核心业务自主研判电网整体运行状态和风险的能力，严重依赖调度员经验。


技术实现要素：

4.本发明的目的在于提供一种基于数据湖的电网总体平衡分析系统，旨在实现电网平衡的智能分析，提升现有调度控制系统的智能运行评估水平的问题。
5.为实现上述目的，本发明提供了一种基于数据湖的电网总体平衡分析系统，包括业务模型模块和业务应用模块，所述业务模型模块与业务处理模块电连接；
6.所述业务模型模块包括水电可调能力预测单元、火电可调能力预测单元、新能源可调能力预测单元和用电负荷预测单元，所述水电可调能力预测单元、所述火电可调能力预测单元、所述新能源可调能力预测单元和所述用电负荷预测单元依次连接；
7.所述业务模型模块，用于对电网内部的水力发电、火电发电、新能源发电的可调能力以及用电负荷进行预测；
8.所述水电可调能力预测单元，用于估算当日水电可调能力；
9.所述火电可调能力预测单元，用于估算当日火电可调能力；
10.所述新能源可调能力预测单元，用于估算当日新能源实时发电可调能力；
11.所述用电负荷预测单元，用于滚动计算日内高峰、低谷时段负荷大小；
12.所述业务应用模块，用于比较电网可调能力与预测的最高用电负荷水平和最低用电负荷水平，得到电网总体平衡裕度，利用实时流式计算实现滚动预测。
13.其中，所述电网总体平衡分析系统还包括公共服务模块，所述公共服务模块与所述业务模型模块电连接；
14.所述公共服务模块包括安全单元、管理单元、分析单元和计算单元，所述安全单元、所述管理单元、所述分析单元和所述计算单元依次连接；
15.所述公共服务模块，用于提供安全服务、分析服务、计算方式服务和管理服务；
16.所述安全单元，用于提供用户权限、传输加密、数据备份；
17.所述管理单元，用于元数据、运行监控、资源、配置的管理；
18.所述分析单元，用于提供专家分析和算法库分析情况；
19.所述计算单元，用于提升业务计算效能，使关联分析和数据挖掘更加行之有效。
20.其中，所述电网总体平衡分析系统还包括数据存储模块，所述数据存储模块与所述公共服务模块电连接；
21.所述数据存储模块，用于结合关系型数据库及内存数据库，完成对调控业务非结构化数据存储。
22.其中，所述电网总体平衡分析系统还包括数据接入模块，所述数据接入模块与所述数据存储模块电连接；
23.所述数据接入模块，用于完成数据全量抽取，实现抽取数据的清洗和标准化。
24.其中，所述电网总体平衡分析系统还包括数据交换平台模块，所述数据交换平台模块与所述数据接入模块电连接；
25.所述数据交换平台模块包括d5000业务数据单元、oms数据单元、天气系统数据单元和水调系统业务数据单元，所述d5000业务数据单元、所述oms数据单元、所述天气系统数据单元和所述水调系统业务数据单元依次连接；
26.所述d5000业务数据单元，用于记录电网历史运行数据和计划类数据；
27.所述oms数据单元，用于记录检修计划、调度日志数据；
28.所述天气系统数据单元，用于记录气象信息、雷电信息和灾害信息；
29.所述水调系统业务数据单元，用于记录水情信息、来水预报和水库调度信息。
30.本发明的一种基于数据湖的电网总体平衡分析系统,所述业务模型模块利用大数据分析服务建立流域水情(流域来水、水库蓄能比等) 与全网水电发电能力的关联关系，然后所述水电可调能力预测单元根据近期水情、水电实际发电情况估算当日水电可调能力，所述火电可调能力预测单元加入火电开机情况、跨省跨区联络线计划与国分调电厂计划，所述新能源可调能力预测单元估算新能源实时发电水平，使用皮尔森系数分析各特征与发电量之间的相关特性，并在特征之间相互组合形成新的特征，使用k折交叉验证法将历史数据划分为大小相同的k个分区，对每一个分区，一次选择不同的一个区作为测试集，剩余的k
‑
1个区作为训练集，在训练数据集上训练xgboost模型，得到融合多特征的水电、火电、新能源发电预测模型，按下式预测电网可调能力：p＝p
w
+p
f
+p
n
，其中pw、pf、pn分别为水电、火电、新能源发电预测模型的输出，从而得出电网可调能力预测，另一方面，所述用电负荷预测单元根据当前用电负荷走势，结合昨日数据对比，将电网划分为若干分区电网，分别计算温度综合影响率和节假日影响率，选取最近相似日，周二至周五以前一天为最近相似日，周六、周日、周一以上周同一天为最近相似日，通过从历史气象库中得到最近相似日的温度数据，按照下式剔除相似日负荷中的温度因素：
[0031][0032]
其中pi为相似日的第i个有功负荷，c(i，t)为第i个符合数据对应温度为t时的温度综合影响率；pi1为剔除气象因素后的相似日负荷，气象预测库中得到预测日的温度数据，按照下式加入气象影响因素：p
i2
＝p
i1
(1+c
(i,t)
)，其中pi2即为预测日气象因素加成后的负荷数据，从而计算出日内高峰、低谷时段负荷大小。实现电网平衡的智能分析，提升现有调度控制系统的智能运行评估水平。
附图说明
[0033]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]
图1是本发明提供的一种基于数据湖的电网总体平衡分析系统连接结构示意图；
[0035]
图2是本发明提供的一种基于数据湖的电网总体平衡分析系统的业务模型模块结构示意图；
[0036]
图3是本发明提供的一种基于数据湖的电网总体平衡分析系统的公共服务模块结构示意图；
[0037]
图4是本发明提供的一种基于数据湖的电网总体平衡分析系统的数据交换平台模块结构示意图。
[0038]
图中：1
‑
业务模型模块、2
‑
业务应用模块、3
‑
公共服务模块、4
‑ꢀ
数据存储模块、5
‑
数据接入模块、6
‑
数据交换平台模块、11
‑
水电可调能力预测单元、12
‑
火电可调能力预测单元、13
‑
新能源可调能力预测单元、14
‑
用电负荷预测单元、31
‑
安全单元、32
‑
管理单元、33
‑
分析单元、34
‑
计算单元、61
‑
d5000业务数据单元、62
‑
oms数据单元、 63
‑
天气系统数据单元、64
‑
水调系统业务数据单元。
具体实施方式
[0039]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0040]
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0041]
请参阅图1至图4，本发明提供一种基于数据湖的电网总体平衡分析系统，包括业务模型模块1和业务应用模块2，所述业务模型模块1与业务处理模块电连接；
[0042]
所述业务模型模块1包括水电可调能力预测单元11、火电可调能力预测单元12、新能源可调能力预测单元13和用电负荷预测单元 14，所述水电可调能力预测单元11、所述火电可调能力预测单元12、所述新能源可调能力预测单元13和所述用电负荷预测单元14依次连接；
[0043]
所述业务模型模块1，用于对电网内部的水力发电、火电发电、新能源发电的可调能力以及用电负荷进行预测；
[0044]
所述水电可调能力预测单元11，用于估算当日水电可调能力；
[0045]
所述火电可调能力预测单元12，用于估算当日火电可调能力；
[0046]
所述新能源可调能力预测单元13，用于估算当日新能源实时发电可调能力；
[0047]
所述用电负荷预测单元14，用于滚动计算日内高峰、低谷时段负荷大小；
[0048]
所述业务应用模块2，用于比较电网可调能力与预测的最高用电负荷水平最低用电负荷水平，得到电网总体平衡裕度，利用实时流式计算实现滚动预测。
[0049]
在本实施方式中，所述业务模型模块1利用大数据分析服务建立流域水情(流域来水、水库蓄能比等)与全网水电发电能力的关联关系，然后所述水电可调能力预测单元11根据近期水情、水电实际发电情况估算当日水电可调能力，所述火电可调能力预测单元12加入火电开机情况、跨省跨区联络线计划与国分调电厂计划，所述新能源可调能力预测单元13估算新能源实时发电水平，使用皮尔森系数分析各特征与发电量之间的相关特性，并在特征之间相互组合形成新的特征，使用k折交叉验证法将历史数据划分为大小相同的k个分区，对每一个分区，一次选择不同的一个区作为测试集，剩余的k
‑
1个区作为训练集，在训练数据集上训练xgboost模型，得到融合多特征的水电、火电、新能源发电预测模型，按下式预测电网可调能力： p＝p
w
+p
f
+p
n
，其中pw、pf、pn分别为水电、火电、新能源发电预测模型的输出，从而得出电网可调能力预测，另一方面，所述用电负荷预测单元14根据当前用电负荷走势，结合昨日数据对比，将电网划分为若干分区电网，分别计算温度综合影响率和节假日影响率，选取最近相似日，周二至周五以前一天为最近相似日，周六、周日、周一以上周同一天为最近相似日，通过从历史气象库中得到最近相似日的温度数据，按照下式剔除相似日负荷中的温度因素：
[0050][0051]
其中pi为相似日的第i个有功负荷，c(i，t)为第i个符合数据对应温度为t时的温度综合影响率；pi1为剔除气象因素后的相似日负荷，气象预测库中得到预测日的温度数据，按照下式加入气象影响因素：p
i2
＝p
i1
(1+c
(i,t)
)，其中pi2即为预测日气象因素加成后的负荷数据，从而计算出日内高峰、低谷时段负荷大小，通过所述业务应用模块2，比较电网可调能力与预测的最高最低用电负荷水平，得到电网总体平衡裕度，利用实时流式计算实现滚动预测，实现电网平衡的智能分析，提升现有调度控制系统的智能运行评估水平。
[0052]
进一步的，所述电网总体平衡分析系统还包括公共服务模块3，所述公共服务模块3与所述业务模型模块1电连接；
[0053]
所述公共服务模块3包括安全单元31、管理单元32、分析单元 33和计算单元34，所述安全单元31、所述管理单元32、所述分析单元33和所述计算单元34依次连接；
[0054]
所述公共服务模块3，用于提供安全服务、分析服务、计算方式服务和管理服务；
[0055]
所述安全单元31，用于提供用户权限、传输加密、数据备份；
[0056]
所述管理单元32，用于元数据、运行监控、资源、配置的管理；
[0057]
所述分析单元33，用于提供专家分析和算法库分析情况；
[0058]
所述计算单元34，用于提升业务计算效能，使关联分析和数据挖掘更加行之有效。
[0059]
在本实施方式中，通过所述安全单元31、所述管理单元32、所述分析单元33和所述计算单元34集成所述公共服务模块3，引入大数据flink流式计算框架，大幅提升业务计算效能，使业务间的关联分析和数据挖掘更加行之有效。
[0060]
进一步的，所述电网总体平衡分析系统还包括数据存储模块4，所述数据存储模块4与所述公共服务模块3电连接；
[0061]
所述数据存储模块4，用于结合关系型数据库及内存数据库，完成对调控业务非结
构化数据存储。
[0062]
在本实施方式中，所述数据存储模块4，结合传统关系型数据库及内存数据库，利用大数据hadoop生态圈中的iceberg数据湖组件以及分布式文件系统hdfs完成对调控业务非结构化数据的高效存储， iceberg主要有四大关键特性：支持acid语义、增量快照机制、开放的表格式和流批接口支持。还加入了alluxio作为湖加速器，将一些热点数据缓存在计算节点本地，实现了冷热数据分离，一方面能收获到不错的本地读取性能，另一方面还节省了远程访问的带宽。
[0063]
进一步的，所述电网总体平衡分析系统还包括数据接入模块5，所述数据接入模块5与所述数据存储模块4电连接；
[0064]
所述数据接入模块5，用于完成数据全量抽取，实现抽取数据的清洗和标准化。
[0065]
在本实施方式中，所述数据接入模块5完成数据全量抽取，同时配合校验规则引擎及数据提取转换etl工具实现抽取数据的清洗、标准化，该种数据接入方式保证了调控相关数据的全面性、统合性、高质性，为所述数据存储模块4奠定基础。
[0066]
进一步的，所述电网总体平衡分析系统还包括数据交换平台模块 6，所述数据交换平台模块6与所述数据接入模块5电连接；
[0067]
所述数据交换平台模块6包括d5000业务数据单元61、oms数据单元62、天气系统数据单元63和水调系统业务数据单元64，所述 d5000业务数据单元61、所述oms数据单元62、所述天气系统数据单元63和所述水调系统业务数据单元64依次连接；
[0068]
所述d5000业务数据单元61，用于记录电网历史运行数据和计划类数据；
[0069]
所述oms数据单元62，用于记录检修计划、调度日志数据；
[0070]
所述天气系统数据单元63，用于记录气象信息、雷电信息和灾害信息；
[0071]
所述水调系统业务数据单元64，用于记录水情信息、来水预报和水库调度信息。
[0072]
在本实施方式中，通过所述数据交换平台模块6获取各业务数据，包括检修计划、调度日志、电网历史运行数据、计划类数据、气象信息、雷电信息、灾害信息、水情信息、来水预报和水库调度信息等数据。
[0073]
本发明的一种基于数据湖的电网总体平衡分析系统，包括业务模型模块1、业务应用模块2、公共服务模块3、公共服务模块3、数据存储模块4、数据接入模块5和数据交换平台模块6，所述业务模型模块1包括水电可调能力预测单元11、火电可调能力预测单元12、新能源可调能力预测单元13和用电负荷预测单元14，所述公共服务模块3包括安全单元31、管理单元32、分析单元33和计算单元34，所述公共服务模块3包括安全单元31、管理单元32、分析单元33和计算单元34，所述数据交换平台模块6包括d5000业务数据单元61、 oms数据单元62、天气系统数据单元63和水调系统业务数据单元 64，通过所述公共服务模块3，引入大数据flink流式计算框架，大幅提升业务计算效能，使业务间的关联分析和数据挖掘更加行之有效，所述数据存储模块4，结合传统关系型数据库及内存数据库，完成对调控业务非结构化数据的高效存储，所述数据接入模块5完成数据全量抽取，保证了调控相关数据的全面性、统合性、高质性，为所述数据存储模块4奠定基础，所述业务模型模块1利用大数据分析服务建立流域水情(流域来水、水库蓄能比等)与全网水电发电能力的关联关系，然后所述水电可调能力预测单元11根据近期水情、水电实际发电情况估算当日水电可调能力，所述火电可调能力预测单元12加入火电开机情况、跨省跨区联络线计划与国分调电厂计划，所
述新能源可调能力预测单元13估算新能源实时发电水平，使用皮尔森系数分析各特征与发电量之间的相关特性，并在特征之间相互组合形成新的特征，使用k折交叉验证法将历史数据划分为大小相同的k个分区，对每一个分区，一次选择不同的一个区作为测试集，剩余的k
‑
1 个区作为训练集，在训练数据集上训练xgboost模型，得到融合多特征的水电、火电、新能源发电预测模型，按下式预测电网可调能力： p＝p
w
+p
f
+p
n
，其中pw、pf、pn分别为水电、火电、新能源发电预测模型的输出，从而得出电网可调能力预测，另一方面，所述用电负荷预测单元14根据当前用电负荷走势，结合昨日数据对比，将电网划分为若干分区电网，分别计算温度综合影响率和节假日影响率，选取最近相似日，周二至周五以前一天为最近相似日，周六、周日、周一以上周同一天为最近相似日，通过从历史气象库中得到最近相似日的温度数据，按照下式剔除相似日负荷中的温度因素：
[0074][0075]
其中pi为相似日的第i个有功负荷，c(i，t)为第i个符合数据对应温度为t时的温度综合影响率；pi1为剔除气象因素后的相似日负荷，气象预测库中得到预测日的温度数据，按照下式加入气象影响因素：p
i2
＝p
i1
(1+c
(i,t)
)，其中pi2即为预测日气象因素加成后的负荷数据，从而计算出日内高峰、低谷时段负荷大小，所述业务应用模块 2，比较电网可调能力与预测的最高最低用电负荷水平，得到电网总体平衡裕度，利用实时流式计算实现滚动预测，所述数据交换平台模块6获取各业务数据，本系统利用大数据技术为电网调度人员提供了一个平衡分析工具，具备滚动估算日内电网可调能力与平衡裕度的能力。使用了湖仓一体的体系架构以及批流合一的实时计算框架，计算的实时性得到了有效保障，实现电网平衡的智能分析，提升现有调度控制系统的智能运行评估水平。
[0076]
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。