一种新能源数据共享方法及系统与流程

本发明属于电力系统自动化领域，具体涉及一种新能源数据共享方法及系统。

背景技术：

新能源发电因其具有可再生、污染小等优点而得到了大力的发展，与传统火电机组不同，新能源发电具有随机性、间歇性、波动性，同时，风电、光伏和火电等发电系统之间相互独立，加之新能源所处地理位置较为分散，相关数据交互困难，综合系统的优势难以发挥，造成新能源消纳困难问题，并导致严重的弃风弃光现象。

为加深了解新能源出力特性，减少能源损失，优化能源结构，需进一步提高全网新能源信息的交互共享和利用。随着信息技术的不断发展，电力行业新能源信息的数据处理和交互共享也得到了很大的发展，但是仍有很大的不足。

针对电力系统中新能源越来越多的各类数据，尚无较为有效的数据处理和信息共享方案，由于这些数据信息在建设初期设计要求各不统一，通常具有不同的格式、不同的业务属性，分散的新能源数据信息导致竖井式的管理方式，给电网工作人员的数据处理和信息共享带来了极大困难，从而难以得到实时有效的新能源调控策略，电网一体化和规范化水平难以提升，且电网新能源的数据处理和信息共享仍面临着很大的挑战。

技术实现要素：

针对现有的分散的新能源数据信息导致竖井式的管理方式，给电网工作人员的数据处理和信息共享带来了极大困难，从而难以得到实时有效的新能源调控策略，电网一体化和规范化水平难以提升的不足，本发明提供了一种新能源数据共享方法，具体包括：

对预先提取电网实时的各区域调度的新能源数据进行分类封装和筛选处理，之后导入各区域运行数据平台源数据端；

利用所述各区域运行数据平台源数据端周期性的对导入的新能源数据进行编码处理后统一导入调控云平台；

将交互的实时数据通过消息总线经过所述各区域运行数据平台源数据端反馈至各区域调度实现数据交互共享；

其中，所述调控云平台包括：调控云平台数据库以及分级部署的各区域协同节点。

优选的，所述调控云平台的设计，包括：

采用分级部署的各区域协同节点提取并汇集电网的新能源数据；

所述新能源数据经所述各区域运行数据平台源数据端统一传送。

优选的，所述新能源数据，包括：分级部署各区域的能量管理系统数据、跨区现货交易数据、热负荷在线监测数据、辅助调峰服务数据和气象数据。

优选的，所述对预先提取电网实时的各区域调度的新能源数据进行分类封装和筛选处理，包括：

对所述能量管理系统数据、跨区现货交易数据、热负荷在线监测数据、辅助调峰服务数据和气象数据按照基础数据、运行数据和业务数据进行分类封装；

去除不完整或异常的分类封装后的新能源数据得到筛选后系能源数据。

优选的，所述各区域运行数据平台源数据端周期性的对导入的新能源数据进行编码处理后统一导入调控云平台，包括：

当所述各区域运行数据平台源数据端收取本区域外的运行数据时，基于预先配置好的数据抽取范围、抽取周期和数据发送间隔，将所述本区域外的运行数据重新编码生成消息报文周期性写入所述调控云平台数据库；

当所述各区域运行数据平台源数据端收取本区域运行数据时，在使用本区域运行数据时导入所述调控云平台数据库；

其中，所述消息报文包括：采用protobuf技术序列化成与所述调控云平台一致的报文。

优选的，所述的方法，还包括：

利用所述各区域运行数据平台源数据端周期性的将预先汇集的增量数据实时共享至所述调控云平台数据库；

所述增量数据包括：各区域实时数据库中数据断面转换的消息报文、缓存文件中的增量数据以及各区域运行数据平台源数据端的关系数据库中的任务配置信息、各区域新能源数据匹配映射、补传数据。

优选的，所述利用所述各区域运行数据平台源数据端周期性的将预先汇集的增量数据实时共享至所述调控云平台数据库，包括：

基于预先配置好的数据抽取范围、抽取周期和数据发送间隔，利用所述各区域运行数据平台源数据端通过kafka总线周期性的将预先汇集的增量数据实时共享并存至所述调控云平台数据库；

并在所述预先汇集的增量数据共享失败时，利用所述各区域运行数据平台源数据端执行所述各区域运行数据平台源数据端或所述调控云平台发出的补传命令进行补传；

其中，所述数据抽取范围，包括：量测数据、电量数据和计划预测数据；所述量测数据包括电网频率、总加量及设备量测数据。

优选的，所述利用所述各区域运行数据平台源数据端周期性的将预先汇集的增量数据实时共享至所述调控云平台数据库，之后包括：

基于所述增量数据的预设发送周期，对所述调控云平台数据库中的消息报文通过所述kafka总线进行定期消除。

优选的，所述当所述各区域运行数据平台源数据端收取本区域运行数据时，在使用本区域运行数据时导入所述调控云平台数据库，包括：

当所述各区域运行数据平台源数据端收取本区域运行数据时，基于预先配置好的数据抽取范围、抽取周期和数据发送间隔，采用不同的消息报文主题收发不同类型的各区域运行数据导入所述调控云平台数据库；

并为所述各区域运行数据的消息报文设置约束条件。

优选的，所述采用不同的消息报文主题收发不同类型的各区域运行数据，包括：

通过kafka消息总线将各区域所述分类封装和筛选处理后的新能源数据传输至所述调控云平台；

通过kafka消息总线将所述各区域运行数据平台源数据端的消息报文回传至所述各区域运行数据平台源数据端，再通过纵向同步和推送的方式将所述消息报文传送至所述各区域调度；

其中，所述消息报文包括：一次设备量测报文、容器量测报文、告警信息报文、变位信息报文、其他业务数据报文、电量报文、电能计划报文、负荷预测报文、停电计划报文、运行事件报文、外部信息报文以及其他信息报文。

优选的，所述为所述各区域运行数据的消息报文设置约束条件，包括：

对补传命令的消息报文添加唯一标识字段；

结合消息报文的数据周期与业务特征设置时间范围。

优选的，所述的方法，还包括：调控云平台的数据接收与存储模块将经消息总线接收的实时新能源数据报文和增量数据报文进行解析，之后按照通用数据对象结构化规范统一存储；

其中，所述实时新能源数据报文和增量数据报文，包括：数据抽取范围、抽取方法、配置界面。

优选的，所述的方法，还包括：

基于所述交互的实时数据和所述增量数据的实时共享，制定调控策略。

基于同一构思，本发明提供了一种新能源数据共享系统，包括：区域调度、区域源数据端和调控云平台；

所述区域调度，用于对预先提取电网实时的新能源数据进行分类封装和筛选处理，之后导入各区域运行数据平台源数据端；

所述区域源数据端，用于周期性的对导入的新能源数据进行编码处理后统一导入调控云平台；

所述调控云平台，用于将交互的实时数据通过消息总线经过所述各区域运行数据平台源数据端反馈至各区域调度实现数据交互共享；

其中，所述调控云平台包括：调控云平台数据库以及分级部署的各区域协同节点。

与现有技术相比，本发明的有益效果为：

1、本发明提供了一种新能源数据共享方法包括：对预先提取电网实时的各区域调度的新能源数据进行分类封装和筛选处理，之后导入各区域运行数据平台源数据端；利用所述各区域运行数据平台源数据端周期性的对导入的新能源数据进行编码处理后统一导入调控云平台；将交互的实时数据通过消息总线经过所述各区域运行数据平台源数据端反馈至各区域调度实现数据交互共享；其中，所述调控云平台包括：调控云平台数据库以及分级部署的各区域协同节点；经过对电力系统中海量的新能源数据的数据处理和信息共享，提升了调控人员对全网新能源信息的精准感知，有效挖掘了数据潜力。

2、本发明提供了一种新能源数据共享方法及系统，采用存储共享和数据处理技术，提高了电网一体化和规范化水平。

3、本发明提供了一种新能源数据共享方法及系统，充分考虑新能源数据信息，包括ems数据、跨区现货交易数据、热负荷在线监测数据、辅助调峰服务数据、跨区现货交易数据、气象数据等海量数据，为新能源消纳提供了智能辅助决策。

4、本发明提供了一种新能源数据共享方法及系统，依托调控云平台，通过kafka系统实现新能源数据在各区域和各地县之间的实时共享，突破电网传统信息共享实时性较差、数据不全面的问题，更有利于电网调控策略的生成，提高了电网调空人员的工作效率。

5、本发明提供了一种新能源数据共享方法及系统，依据调控云运行数据平台，建立新能源实时消纳调度辅助决策体系，可以有效解决新能源的消纳问题。

6、本发明提供了一种新能源数据共享方法及系统，依据实时共享信息制定完善的电网调控策略，提高电网调度人员的工作效率的同时，进一步促进电力系统的新能源消纳，减少弃风弃光现象。

附图说明

图1为本发明提供的方法流程图；

图2为本发明实施例提供的海量新能源信息提取过程图；

图3为本发明实施例提供的初步数据处理流程图；

图4为本发明实施例提供的量测数据汇集及发送模块原理图；

图5为本发明实施例提供的数据共享流程图；

图6为本发明实施例提供的一种基于调控云平台的新能源数据处理和信息共享技术的实施步骤；

图7为本发明提供的系统结构图。

具体实施方式

下面结合附图对本发明实施例作进一步说明。

实施例1：

本发明中划分区域的标准为：将国家设为第一级，以所述国家的电网分布形式依次设级；本实施例以中国为例，将中国设为第一级；中国下设五大区域，为第二级；其中第二级的区域包括：华北区域、华中区域、华东区域、西北区域和东北区域，每个区域对应多个省。以第二级的华东区域为例，第三级包括江苏、安徽、浙江、福建和上海。本实施例虽以中国为例，但是本发明不仅仅局限于中国，提到的省，对应的是电网中的第三级。

本实施例以计算中国在预测周期内的电供暖市场为例，先计算每个省在预测周期内的电供暖市场，然后对各省在预测周期内的电供暖市场叠加获得中国在预测周期内的电供暖市场。在计算每个省在预测周期内的电供暖市场时，按本发明提供的预测方法进行计算，其中电供暖市场包括：各情景模式下电供暖面积、电供暖电量、电供暖负荷和电供暖配套电网容量，以及电供暖配套电网投资需求。

本发明提供了一种新能源数据共享方法及系统，结合图1的方法流程图进行说明，具体步骤如下：

步骤1：对预先提取电网实时的各区域调度的新能源数据进行分类封装和筛选处理，之后导入各区域运行数据平台源数据端；

步骤2：利用所述各区域运行数据平台源数据端周期性的对导入的新能源数据进行编码处理后统一导入调控云平台；

步骤3：将交互的实时数据通过消息总线经过所述各区域运行数据平台源数据端反馈至各区域调度实现数据交互共享；

其中，步骤1：对预先提取电网实时的各区域调度的新能源数据进行分类封装和筛选处理，之后导入各区域运行数据平台源数据端，具体包括：

一种基于调控云平台的新能源数据处理和信息共享技术，该发明方法针对产生海量新能源信息的复杂电力系统，首先提取电网中海量的新能源数据，各地调(区域调度)进行数据预处理并导入各区域调运行数据平台源数据端，源数据端进行数据处理后导入云端数据库，再将新能源信息反馈至各地调控云平台，实现新能源数据信息的实时共享，电网调度人员依据实时共享信息制定调控策略，解决电网新能源消纳问题，促进能源和电力结构的优化调整。需要对海量新能源数据进行关联性梳理，在云计算平台上进行高效汇集和存储，并对海量多元数据进行筛选和分析，基于调控云平台实现各级调度单位之间的信息交互共享和同步分析，提升全网新能源消纳能力，提高电网调控人员的工作效率。

结合图6的实施步骤图进行介绍：

提取电网的海量新能源数据。各地县提取电网的海量新能源信息，包括ems(能量管理系统)数据、跨区现货交易数据、热负荷在线监测数据、辅助调峰服务数据、和气象数据等海量数据。

调控云的设计方式为统一和分布相结合的设计方式，采用分级部署提取海量电网信息，各区域调控中心为协同节点，数量为n个，负责将本区域的新能源相关信息汇集起来并建立本区域新能源数据模型，海量新能源数据由各地县源数据端传送至各区域调控云，实现统一数据处理及模型建立。海量新能源信息提取过程如附图2所示。

各地调进行数据预处理并导入各区域调控运行数据平台源数据端。各地调控中心汇集新能源数据后，进行初步的数据处理，各区域调控中心将数据提取集中后建立初步的调控云平台数据库的新能源信息数据库。

各地县汇集本地区电网的海量ems、现货交易、热负荷等新能源数据后，进行初步的分类、筛选和清洗，将ems数据、跨区现货交易数据、热负荷在线监测数据、辅助调峰服务数据、跨区现货交易数据、气象数据等数据分类封装，去除汇集的新能源数据中不完整或者异常的信息，各地调将初步处理后的新能源数据传送给区域调(调控云平台数据)。初步数据处理流程如附图3所示。

步骤2：利用所述各区域运行数据平台源数据端周期性的对导入的新能源数据进行编码处理后统一导入调控云平台，具体包括：

将新能源信息从源数据端导入云端。将量测数据、电量数据和计划预测数据等数据从源数据端导入运行数据平台云端。

运行数据平台主要包括源数据端和云端两部分组成。

源数据端主要负责从各业务系统抽取相关数据，并将其中对象编码转换为调控云可识别的对象编码后，通过调控云消息总线发送到云端。对于源数据端无法直接通过访问业务系统(本区域外的运行数据)数据库进行抽取的运行数据(例如：计划预测类数据)，需要在调控云源数据端写入数据库；而对于源数据端可以直接访问业务系统数据库进行抽取的运行数据，则无需在源数据端落地存储。

云端的数据接收与存储模块(存储模块属于调控云平台)统一负责从消息总线接收各类运行数据报文，解析后存入数据库，运行数据的存储按照通用数据对象结构化规范进行统一设计。

数据从源数据端抽取并发送至云端，其内容至少应包括：数据抽取范围、抽取方法、配置界面。

源数据端的新能源数据，其范围主要包括量测数据、电量数据和计划预测数据等(量测数据在能量管理系统，电量数据在跨区现货交易数据，计划预测数据在热负荷在线监测数据，气象数据也是新能源数据的一种在气象数据系统里)，以量测数据为例，量测数据种类包括电网频率、总加量及设备量测数据，具体如下：

表1量测数据种类

量测数据抽取及发送模块部署在源数据端。该模块按照预先配置好的数据抽取范围、抽取周期和数据发送间隔，周期性地将增量数据发送至云端。数据从源端传输到云端需要利用kafka总线。如果有数据发送失败，则可以通过源端管理界面发送补传命令，进行数据补传。数据补传也可以由云端发起，源端收到云端发送过来的补传命令后即可启动数据补传。另外由于当前业务系统自身已经具有量测历史数据，所以抽取的数据不在当前业务系统内重复保存。量测数据汇集及发送模块原理如附图4所示。

增量数据汇集流程逻辑为：(1)从关系数据库中读取任务配置信息；(2)从关系数据库中读取模型匹配映射；(3)按照数据抽取周期、数据抽取范围从实时库中抽取数据断面；(4)将抽取的数据断面转换为消息报文并保存到文件中；(5)按照数据发送周期将文件中的消息报文通过区域地云总线(kafka)发送至云端定期清除文件。

步骤3：将交互的实时数据通过消息总线经过所述各区域运行数据平台源数据端反馈至各区域调度实现数据交互共享，具体包括：

实现云端与源数据端之间的数据交互。运行数据平台源数据端和云端交互采用消息报文的方式进行数据交互，采用protobuf技术实现消息报文的序列化。消息组件与调控云保持统一。

为便于运行数据汇集的管理，不同类型的数据汇集相互隔离互不影响，采用不用的消息主题收发不同类型的消息，

运行数据平台消息报文包含以下约束条件：

(1)补传命令消息报文包含唯一标识字段uuid，用于补招过程跟踪；

(2)消息报文中的时间范围结合数据周期与业务特征，不要跨行。例如：量测数据周期1分钟，时间范围某小时00～59分；计划预测数据周期15分钟，时间范围某天0015～2400。

实时共享新能源数据信息。调控云平台通过kafka系统实现新能源数据在各区域调控云和各地县之间的实时共享。

kafka系统是一种分布式消息系统，因其具有吞吐率高、可靠性强、扩展性好的优点，可以较好地实现国分和各区域之间的信息传输。基于kafka系统的新能源信息数据模型的数据共享流程如下：

各地县将收集到的新能源数据信息传输至各区域源数据端，各区域源数据端将数据信息传送至云端，云端完成数据模型构建后，根据kafka原理通过消息总线将新能源模型数据返回至各区域源数据端，再通过纵向同步和推送的方式将信息传送至各地调，从而实现各区域调的云端、源数据端和各地调之间的数据传输与纵向互联，具体的数据共享流程如附图5所示。

将跨系统(跨地调、源数据库和调控云平台)、跨语言(不同的编程语言java)、异构(不同存储结构的数据)的调控新能源数据进行融合处理传输，实现新能源数据信息的实时共享，电网调度人员依据实时共享信息制定调控策略，解决电网新能源消纳问题，促进能源和电力结构的优化调整。

源数据端是数据的来源，调控云平台是统一存放数据的平台，地调是一个调度机构，跟源数据端不是同一个种概念，不能比较范围大小；调控云是随着电力数据的增加，电力行业新产生的一个数据融合平台，调度机构借助调控云平台实现各种调控业务，本专利是基于调控云发明的一种数据处理和信息共享技术，重点在数据处理和信息共享。

实施例2：

基于同一构思，本发明提供了一种新能源数据共享系统，结合图7的系统结构图进行介绍，具体包括：区域调度、区域源数据端和调控云平台；

所述区域调度，用于对预先提取电网实时的新能源数据进行分类封装和筛选处理，之后导入各区域运行数据平台源数据端；

所述区域源数据端，用于周期性的对导入的新能源数据进行编码处理后统一导入调控云平台；

所述调控云平台，用于将交互的实时数据通过消息总线经过所述各区域运行数据平台源数据端反馈至各区域调度实现数据交互共享；

其中，所述调控云平台包括：调控云平台数据库以及分级部署的各区域协同节点。

所述区域调度，包括：分类封装子模块和筛选子模块；

所述分类封装子模块，用于对所述能量管理系统数据、跨区现货交易数据、热负荷在线监测数据、辅助调峰服务数据和气象数据按照基础数据、运行数据和业务数据进行分类封装；

所述筛选子模块，用于去除不完整或异常的分类封装后的新能源数据得到筛选后系能源数据。

所述区域源数据端，包括：区域外收取子模块和本区域收取子模块；

所述区域外收取子模块，用于当所述各区域运行数据平台源数据端收取本区域外的运行数据时，基于预先配置好的数据抽取范围、抽取周期和数据发送间隔，将所述本区域外的运行数据重新编码生成消息报文周期性写入所述调控云平台数据库；

所述本区域收取子模块，用于当所述各区域运行数据平台源数据端收取本区域运行数据时，在使用本区域运行数据时导入所述调控云平台数据库；

其中，所述消息报文包括：采用protobuf技术序列化成与所述调控云平台一致的报文。

所述本区域收取子模块，包括：收发单元和约束设置单元；

所述收发单元，用于当所述各区域运行数据平台源数据端收取本区域运行数据时，基于预先配置好的数据抽取范围、抽取周期和数据发送间隔，采用不同的消息报文主题收发不同类型的各区域运行数据导入所述调控云平台数据库；

所述约束设置单元，用于为所述各区域运行数据的消息报文设置约束条件。

所述收发单元，包括：传输子单元和推送子单元；

所述传输子单元，用于通过kafka消息总线将各区域所述分类封装和筛选处理后的新能源数据传输至所述调控云平台；

所述推送子单元，用于通过kafka消息总线将所述各区域运行数据平台源数据端的消息报文回传至所述各区域运行数据平台源数据端，再通过纵向同步和推送的方式将所述消息报文传送至所述各区域调度；

其中，所述消息报文包括：一次设备量测报文、容器量测报文、告警信息报文、变位信息报文、其他业务数据报文、电量报文、电能计划报文、负荷预测报文、停电计划报文、运行事件报文、外部信息报文以及其他信息报文。

所述的系统，还包括：发送模块、消除模块、数据接收与存储模块和策略制定模块；

所述发送模块，用于利用所述各区域运行数据平台源数据端周期性的将预先汇集的增量数据实时共享至所述调控云平台数据库；

所述消除模块，用于基于所述增量数据的预设发送周期，对所述调控云平台数据库中的消息报文通过所述kafka总线进行定期消除；

所述数据接收与存储模块，用于将经消息总线接收的实时新能源数据报文和增量数据报文进行解析，之后按照通用数据对象结构化规范统一存储；

其中，所述增量数据包括：各区域实时数据库中数据断面转换的消息报文、缓存文件中的增量数据以及各区域运行数据平台源数据端的关系数据库中的任务配置信息、各区域新能源数据匹配映射、补传数据；

所述实时新能源数据报文和增量数据报文，包括：数据抽取范围、抽取方法、配置界面。

所述发送模块，包括：增量共享子模块和增量补传子模块；

所述增量共享子模块，用于基于预先配置好的数据抽取范围、抽取周期和数据发送间隔，利用所述各区域运行数据平台源数据端通过kafka总线周期性的将预先汇集的增量数据实时共享并存至所述调控云平台数据库；

所述增量补传子模块，用于在所述预先汇集的增量数据共享失败时，利用所述各区域运行数据平台源数据端执行所述各区域运行数据平台源数据端或所述调控云平台发出的补传命令进行补传；

其中，所述数据抽取范围，包括：量测数据、电量数据和计划预测数据；所述量测数据包括电网频率、总加量及设备量测数据。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。