省级以上调度机构的WAMS数据存储浏览系统及其方法与流程

本发明属于电力系统监控技术，具体涉及基于调控云的调度自动化系统中wams历史数据处理，尤其涉及一种省级以上调度机构的wams数据存储浏览系统及其方法。

背景技术：

电网广域监测系统简称"wams"系统，采用同步相角测量技术，通过逐步布局全网关键测点的同步相角测量单元(pmu)，实现对全网同步相角及电网主要数据的实时高速率采集。pmu通过全球定位系统(gps)对时，能够保证全网数据的同步性，时标信息与数据同时存储并发送到主站。因此，wams能够使调度人员实时监视到电网的动态过程。

目前全国wams量测平均接入规模约为4万，部分网省公司接入规模已经超过6万，故以10万wams量测为典型数据规模进行估算，数据量约30mb/秒。亟需解决海量wams数据存储及浏览问题，以实现大规模下的电力系统调度和数据共享。

技术实现要素：

发明目的：为适应特高压交直流电网发展、提升主网运行状态动态感知与分析能力，本发明提供一种省级以上调度机构的wams数据存储浏览系统及其方法。

技术方案：一种省级以上wams时序数据调度系统，所述系统包括客户端、国分云时序数据存储单元、省调云时序数据存储单元、时序数据存储与管理模块、基于dobbo服务的远程调用模块和wams量测模型服务模块，所述的国分云时序数据存储单元、省调云时序数据存储单元均与时序数据存储与管理模块数据互传，所述的时序数据存储与管理模块包括直接连接客户端进行数据查询，还包括通过远程调用模块后连接客户端和wams量测模型服务模块进行多级调度。

进一步的，所述系统包括设置一级及其以上客户端，所述客户端通过远程调用模块获取wams时序数据或通过直接通过时序数据存储与管理模块、wams量测模型服务模块获取wams时序数据。

所述的时序数据存储与管理模块与国分调时序历史数据库数据共享。

所述的所述的国分云时序数据存储单元、省调云时序数据存储单元基于hbase数据库，包括时序数据长期存储单元和时序数据循环存储单元。

基于上述系统的一种省级以上电力数据调度系统的wams时序数据共享方法，包括如下步骤：

(1)基于web浏览器的客户端，发起时序数据浏览请求，请求国调地区的量测时序数据，客户端以dobborpc远程调用进行请求；

(2)客户端发起的rpc请求到dobbo服务远程调用模块，所述远程调用模块根据客户端请求类型，到wams量测模型模块进行数据搜索和定位，wams量测模型模块返回量测设备、数据源地址、数据源端口等相关信息；

(3)基于dobbo服务的远程调用模块根据wams量测模型服务模块返回的数据，到时序数据存储与管理模块进行相关数据查找，按照上下层级顺序自动实现数据定位；

(4)时序数据存储及管理根据定位结果，从国分云时序存储单元或省调云时序存储单元，以dobbo服务方式传输本系统/远端系统数据相应数据，或将客户端的三区数据同步至国分云或省调云等时序存储单元。

进一步的，客户端在访问时序数据或同步时序数据时包括数据解析过程，数据以json方式进行存储和传输。

进一步的，所述的数据解析格式如下：

{“遥信id”，“时间”，“遥信值”}

{“遥测id”，“时间”，“遥测值”}。

更进一步的，所述wams时序数据包括电力系统中电网故障告警及人工指定时刻的wams时序数据。

所述方法包括调控云平台建设wams时序数据库，用于接收三区同步至调控云带时标的电网运行动态数据，并进行循环存储或长期存储，包括按时标快速读写动态数据、压缩归档和管理存储空间，为应用提供动态数据访问服务。

有益效果：本发明能够适应特高压交直流电网发展、提升主网运行状态动态感知与分析能力，通过基于调控云的wams历史数据汇集与透明访问，提升全网wams历史数据共享能力。另一方面，本发明具备对大规模数据进行处理的能力，包括按时标快速读写动态数据、压缩归档和管理存储空间等功能；同时能够为应用提供动态数据访问服务，以实现应用对电网运行的动态过程进行监视与分析。

附图说明

图1是本发明所述系统的组网结构示意图。

具体实施方式

为了详细的说明本发明所公开的技术方案，下面结合说明书附图及具体实施例做进一步的阐述。

为适应特高压交直流电网发展、提升主网运行状态动态感知与分析能力，在现有d5000平台wams动态监视功能的基础上，进一步提升wams数据支撑与应用水平，以实现基于调控云的wams历史数据汇集与透明访问，提升全网wams历史数据共享能力。本发明提供一种省级以上调度机构的wams数据存储浏览系统及其方法。

如图1所示，调控云时序数据存储及浏览所组建的一种省级以上电力数据调度系统主要包含：客户端、国分云时序数据存储单元、省调云时序数据存储单元、时序数据存储与管理模块、基于dobbo服务的远程调用模块和wams量测模型服务等模块。

基于上述系统和现有技术基础，本发明实施的必要的功能及软件基础条件如下：

a、调控云wams量测模型管理与服务

以电网运行和调控管理业务为需求导向，依托云计算、大数据和移动互联网等it技术，构建的调度控制系统，简称为调控云。

1.接收三区同步至调控云wams量测模型，将获取到的wams量测模型进行存储与管理。

2.按照区域-厂站、电压等级对wams量测信息进行归集，为wams相关应用提供模型服务。

b、调控云时序数据库一套

调控云平台建设wams时序数据库，用于接收三区同步至调控云带时标的电网运行动态数据，并进行循环存储或长期存储，具备对大规模数据进行处理的能力，包括按时标快速读写动态数据、压缩归档和管理存储空间等功能；同时能够为应用提供动态数据访问服务，以实现应用对电网运行的动态过程进行监视与分析。

c、基于web的时序数据浏览

根据客户端的数据请求，进行数据搜索，并以目录树方式显示一次设备信息列表，能通过曲线予以展示。

d、基于web的案例数据浏览与管理

实现案例事件信息、简报数据、时序数据等不同属性、不同时间尺度的相关案例数据的快速查询与集中展示，并提供案例数据的删除、手动触发等管理功能。

其对于wams时序数据调用流程如下：

步骤1：基于web浏览器的客户端，发起时序数据浏览请求，请求国调等地区的量测时序数据，客户端以dobborpc远程调用进行请求。

步骤2：客户端发起的rpc请求到dobbo服务远程调用模块，该模块根据客户端请求类型，到wams量测模型模块进行数据搜索和定位。wams量测模型模块返回量测设备、数据源地址、数据源端口等相关信息。

步骤3：dobbo服务的远程调用模块根据wams量测模型服务模块返回的数据，到时序数据存储与管理模块进行相关数据查找，按照本系统-国调-分中心-省调的顺序自动实现数据定位。

步骤4：时序数据存储及管理根据定位结果，从国分云或省调云等时序存储单元，以dobbo服务方式传输本系统/远端系统数据相应数据，或将客户端的三区数据同步至国分云或省调云等时序存储单元。其中无论客户端访问时序数据，还是客户端同步时序数据，都包含响应的数据解析。

调控云wams时序数据存储及管理：调控云平台建设wams时序数据库，用于接收三区同步至调控云带时标的电网运行动态数据，并进行循环存储或长期存储，具备对大规模数据进行处理的能力，包括按时标快速读写动态数据、压缩归档和管理存储空间等功能；同时能够为应用提供动态数据访问服务，以实现应用对电网运行的动态过程进行监视与分析。该模块包含如下功能：

1.数据解析

能够对三区同步至调控云带时标的电网运行动态数据进行处理解析；具备国分云(不小于50万)及省地云(不小于10万)测点规模的处理能力。数据以json方式进行存储和传输，数据格式如下：

{

“yx”：[

{“遥信id”，“时间”，“遥信值”}

......

]

“yc”：[

{“遥测id”，“时间”，“遥测值”}

......

]

}

json方式进行数据存储和传输有如下好处：

a、轻量级的文本数据交换格式，具有自我描述性便于理解；

b、无论一区、三区均有高效成熟的接口进行解析和处理；

c、一区的json文件解析使用simdjson高性能解析器，每秒可解析千兆字节。

2.数据类型

时间序列数据库支持存储带质量标识的时间序列数据，可管理的数据类型应包括：

a)模拟量；

b)数字量。

3.数据存储

(1)循环存储

定时检查磁盘占用空间，当存储空间达到预定上限时，删除时间最旧的数据。数据来源为三区同步至调控云平台的wams时序数据。

(2)长期存储

将指定的数据标记为长期(永久)存储。数据来源包括本系统产生的电网故障告警及人工指定时刻的wams时序数据。

4.数据压缩

时间序列数据库应具有以下数据压缩要求：

a)应支持无损压缩算法对动态数据进行压缩；

b)应保证数据压缩处理的快速性。

5.数据访问

(1)数据访问接口

时间序列数据库应提供本地访问接口和网络访问接口，两个接口提供的访问函数应保持一致。应实现的接口包括：

a)增加数据测点；

b)删除数据测点；

c)修改数据测点信息；

d)读取数据测点列表；

e)写入时间序列数据；

f)读取时间序列数据,单个访问或多测点批量访问。

(2)数据dubbo服务

提供wams数据dubbo服务，实现应用对时序数据的透明访问。

(3)数据透明访问

a)调控云间时序数据透明访问

根据客户端数据请求内容，调阅本系统/远端系统数据访问服务获取相应数据，并反馈给客户端。

b)循环存储与长期存储间时序数据的透明访问

根据客户端数据请求内容，自动定位数据存储。在位置(循环存储区域或长期存储区域)获得数据，并反馈给客户端。

c)国分云与分中心三区时序数据透明访问

根据客户端数据请求内容，自动定位数据存储所在位置，所需时序数据在调控云端未存储时，时序数据服务能够主动查询分中心三区的wams时序数据，并反馈给客户端。

6.数据管理

时间序列数据库应具有以下管理功能：

a)应提供数据库管理工具，用于管理数据测点，查看存储数据数值及质量，并能够绘制数据曲线；

b)应支持按时间段进行数据导入、导出操作；

c)应支持容量管理功能，定时检查磁盘占用空间，当存储空间达到预定上限时，删除时间最旧的数据；

d)应支持数据长期保存功能，将指定数据标记为长期保存；当长期存储数据超过设置的容量上限时，应发出告警信息。

基于web的时序数据浏览：

1.时序数据源的自动定位

根据客户端的数据请求，进行数据搜索，依据“wams测点信息”、“wams案例信息”和“wams数据源表”定位数据所在区域(本地云、远端云)，获取量测设备、数据源地址、数据源端口等相关信息。数据源选择顺序本系统-国调-分中心-省调。

2.时序数据的浏览

根据pmu采集的动态数据，结合电网模型，以目录树方式显示一次设备信息列表，调度运行人员调取指定量测点的时序数据，能通过曲线予以展示。

1)具备“区域-厂站-设备-量测”树状结构导航，支持厂站模糊查询功能；

2)支持曲线的放大缩小、图片保存、数据导出功能(csv)；

3)支持数据极值、均值等统计结果的展示；

4)支持任意时间段的历史数据查询功能，支持观测窗口的快速前进/后退操作；

5)提供多个量测数据曲线叠加对比功能，可以在同一web页面同时显示多条曲线；

6)曲线支持设备不同类型配置不同的显示颜色。

3.卡片对wams数据的浏览

本发明在实施后，在时序数据性能方面，具有如下显著效果：

(1)数据处理规模

a)测点管理不小于10万测点规模；

b)循环存储能力不低于3个月

c)每日10次120秒全网案例数据存储，存储能力不低于3年；具备容量扩展能力

(2)数据写入速度

a)不小于500万数据记录/秒；

(3)数据查询速度

a)不小于500万数据记录/秒；

(4)数据压缩比

a)小于25％。

本发明基于调控云的省级以上调度机构wams历史数据，根据告警信息与人工触发将案例时序数据传输至国分调控云的hbase库进行永久存储，测点管理不小于50万测点规模，每日10次120秒全网案例数据存储，存储能力不低于3年。各省级调控中心直接将全部采集测点时序数据在省地云的hbase库进行循环存储，循环存储周期为三个月，同时可根据wams告警信息与人工触发，进行案例数据的永久存储。省地云测点管理不小于10万测点规模，循环存储能力不低于3个月，每日10次120秒全网案例数据存储，存储能力不低于3年。