专利名称：电网广域测量系统(wams)中动态数据压缩存储方法
技术领域：
本发明涉及一种电力系统调度自动化领域，特别是涉及一种动态安全监测过程中动 态数据的压缩存储方法。
背景技术：
随着大电网互联、西电东送矛盾日益凸现，电网正面临越来越多新的挑战，运行的稳 定性分析和监视也越来越显得重要。同步相量测量技术和现代高速数字化通信网络，为我 们实现电网动态过程的在线监测提供了技术上的支持和保证。电网广域实时动态监测系统 是实现准确捕捉电力系统在线故障扰动、低频振荡以及人工试验等情况下电网动态过程的 技术手段。同步相量测量单元(PhasorMeasurementUnit， PMU)为系统提供全网采样和 计算的相量数据，通过电力调度数据网实时传送到监测系统主站，使调度员能在调度中心 及时了解电网的动态信息。
电网广域测量系统(以下简称WAMS)是由PMU和调度中心的监测主站组成的一套 调度自动化系统。该系统能够为调度员和运行分析人员提供电网运行的动态过程。随着对 动态过程的关注，WAMS所提供的动态数据信息的重要性也逐步体现，仅仅动态监视已经 不能满足运行单位的需要，更多要求逐步被提出，而且过期数据，尤其是事件数据常常被 希望完全存储，供事后分析。
由于WAMS的动态数据具有高速度、高密度、高精度的特点，平均每个监测点每秒钟 传输50帧，甚至100帧动态数据，对于大电网来说，产生的数据是海量的，这些数据如果 直接存储，将占用大量的磁盘空间。同时，由于数据的高密度、高精度，所存储的数据会 有很多重复特征，因此，如何高效存储WAMS动态数据，并实现高效的分析检索是一项值 得研究的技术。本发明所提出的动态数据无损压縮存储方法，是在理论和实践相结合之后 所做出的新的尝i式。
数据压縮的实现算法众多，适合于WAMS实时数据压縮的方法很少，有损压縮算法 丢失了原始数据的信息，在足够误差精度的条件下，压縮效率低，节约空间也不多，特别 是WAMS中最重要的角度信息，压缩意义不大；无损压縮能保留原始数据完整的信息， 准确地反映动态过程的原始特性，在对重要的采集数据等有用信息的压縮应用广泛，但压 縮过程耗费时间长的算法不能进行WAMS数据压縮计算。无损压缩算法中，LZW算法
的压縮与解压耗费的时间短，适合用于实时性要求高的场合。
我们提出的WAMS实时数据的在线压縮算法对原始数据做初等变换，保存过程数
据的增量，float型数据分解为单字节存取，改进LZW算法，实现WAMS过程数据的在 线无损压縮。6000个连续实时数据压縮计算时间为16ms，压縮比小于30%，可以满足电力 系统分析计算对过程数据的要求，节省历史数据存储空间。工程实践表明，该算法有效可 靠，能满足WAMS实时数据的存储要求。
数据压縮算法是本发明的核心内容，其他压縮算法难以实现WAMS需求。
发明内容
本发明的目的是为了在不损失精度的前提下，有效压縮存储数据，节约数据存储空 间，加快数据存取速度。
本发明的方法包括数值变换处理、无损压縮、数据组织和存储步骤，该数值变换处
理包括以下步骤在同一厂站内，选取一个有效相量的相角作为参考相角，不进行数值变
换；；除参考相角以外，其余所有元件的电压、电流相量的相角均变换为相对于参考相角 的相对相角；存储时，参考相角直接存储，其他相角存储相对相角；相角数据调用时借助 参考相角和相对相角进行还原。
本发明的压縮算法采用改进LZW算法，包括以下步骤
(1) 对原始数据做初等变换，将变换后的数据以字节为单位读取；
(2) 初始化字典，使其包含可能的单字符，重复(2) - (9);
(3) 读字符串；
(4) 如果新串在字典中，转(5)，否则转(6);
(5) 将新串前缀字符改为新串；
(6) 将新串加入字典；
(7) 输出新串前缀码；
(8) 如果字典满，转(2);
(9) 如果编码完成，退出，否则转(2);
所述数据结构组织步骤包括将数据类型TYPE、参考信息REF、索引KEY以及压 縮得到的数据DATA组帧。
改进LZW压縮算法是基于字典模型的压縮算法,其原理是以字典的索引号代替它所表 示的字符串，在压縮编码的过程中自动生成字典，字典不独立存储，在解压过程中，动态 形成与编码过程完全一致的解码字典，从而达到缩写数据存储空间的目的。
本发明的数据组织步骤采用B+树算法进行数据存储和访问；采用关键字有序存储，关键字可以为任意的数据结构，从而支持对数据査询、插入、删除的常数级速度。
目前，主要的数据访问算法包括B+树、Hash、 Recno、 Queue,几种算法各有特点， 在本发明中，充分考虑各算法特点，根据数据关键字固定和数据访问速度的需要，优先选 择了 B+树算法。
本发明提出的WAMS动态数据压縮存储方法能够对电网动态数据存储进行最高效的 存储管理，并适用于其他电网调度自动化系统，是一种比较简单而又实用的解决方案。
下面结合附图及具体实施示例对本发明再作进一步详细的说明。 图1动态数据存取过程示意图； 图2压縮算法改进技术流程图； 图3数据存储结构示意具体实施例方式
图l动态数据存取过程示意图。如图1所示，数据压缩的过程如下
(1) 对原始数据进行组织；
(2) 对原始数据进行适当的电力系统数值变换；
(3) 采用无损压縮算法及初等变换对数据进行压縮；
(4) 将数据类型TYPE、参考信息REF、索引KEY以及压縮得到的数据DATA组 帧；
(5) 将数据写入数据文件； 动态数据存储过程采用了单一流向的处理方法，顺次完成数值变换、数据压縮、数据
组织、数据存储，简单高效的处理保证了高速度、高精度、高密度的动态数据存储效率。 在数据应用时则按照数据查询、数据解析、数据解压、数值变换、数据应用的过程串行处 理。
电力系统数据具有一定的特点和关联性，尤其是WAMS中的相角信息。WAMS中的相量 信息是以GPS同步时钟为参考的旋转矢量，相量幅值对应的是矢量的长度，大小相对比较 稳定，而相量的角度(相角)则以一定的周期不断变化，相角数值在电力系统动态过程中 变化规律由很多因素确定，数值变化比较复杂，对单个相角直接进行压縮处理，压缩率很 低，甚至经压縮处理后占用空间比未经压縮的数据还大(考虑辅助存储空间)。在同步电 网中，相量之间的相角差与所传输的功率之间存在着近似的线性关系，因此，相角的变化 也比较平稳，对于比较平稳的相角差数据进行压縮，可以大大提高数据压縮率，节约数据 存储空间。本发明总结该规律，采用如下方法实现相角的数值变换处理效相量的相角作为参考相角；
2) 除参考相角以外，其余所有元件的电压、电流相量的相角均变换为相对于参考相 角的相对相角；
3) 存储时，参考相角直接存储，其他相角存储相对相角； 4)相角数据调用时借助参考相角和相对相角进行还原。
图2是压缩算法改进技术流程图。WAMS实时数据，数据量大，数据更新频率高 (50-100Hz)，对WAMS数据的在线压縮存储，有下列要求
1) 算法速度要快；
2) 压縮效率高；
3) 保留原始数据的基本特征。
本发明所采用的算法为改进LZW算法，是一种快速高效的无损压縮算法，该算法是 WAMS数据压縮存储的最好选择。该算法在标准LZW算法基础上做了改进，改进内容包 括-.
1) 针对字典容量有限和字符串匹配速度较慢的问题，改进后的压縮算法设计了特定 的字典模型，该字典模型针对数据形态定制字典容量，采用Hash表实现字符串的匹配， 大大提高了算法的执行速度；
2) 对于LZW算法压缩率不高的问题，改进的方法是对数据进行初等变换，使数值 的数据形态与LZW算法的特征紧密结合，以提高压縮率。针对WAMS不同量测数据的 特点，对原始数据做初等变换，使数据波动平稳，处理方法主要是增量法。增量法是将时 间相邻的数据相减，只记录数据增量，由于数据间的波动通常较小，增量相同的几率也比 较高，只对增量数据进行压縮，压缩效果好了很多。
所实现的WAMS数据压縮算法，UNIX与WINDOW系统用同一套套代码，float数 据的字节序按UNIX字节序压縮存储，对WINDOW系统，自动转换字节序，还原WAMS 原始数据。字典的查找与维护，用Hash函数实现字符串的匹配，定位与査找，保证了算 法的执行速度，解决了一般算法在跨平台使用时效率不能保证的问题。
数据压縮以测点为单元读取固定时间段(一分钟)实时数据分别压縮处理， 一个float 型数据按四个字节处理，针对字符生成字典，产生输出代码。压缩过程就是处理以字节为 单位的字符串，建立字典表时，先把0-255代码的字符放到表中，然后根据读入的字符添 加到表项，记录大到了一定程度就必须将其清空重来，保留一个表清空标识表项。保留一 个数据结束标识，在解压的时候知道什么时候解压结束，实现算法流程如下、
(1) 对原始数据做初等变换，将变换后的数据以字节为单位读取；
(2) 初始化字典，使其包含可能的单字符，重复(2) - (9);(3) 读字符串；
(4) 如果新串在字典中，转(5)，否则转(6);
(5) 将新串前缀字符改为新串；
(6) 将新串加入字典；
(7) 输出新串前缀码；
(8) 如果字典满，转(2);
(9) 如果编码完成，退出，否则转(2);
原始数据的初等变化，是用序列的相邻两数据差作为变换后的数据，参与压缩计算， 首元素，记录原始数据，之后的数据，记录数据增量，用于数据压縮。 如图1所示，数据査询步骤如下
(1) 根据查询对象和时间组织索引KEY，根据索引KEY获得数据缓存；
(2) 从数据缓存中首先判断数据类型，如相应数据类型经过电力系统数值变换，则 除获取数据本身的DATA外，根据参考信息REF获取REF对象的数据DATA; 如相应数据类型未经过电力系统数值变换，直接获取缓存中的数据DATA;
(3) 将数据DATA进行采用无损压縮的解压算法进行数据解压；
(4) 采用电力系统反向数值变换，恢复数据原始值；
(5) 应用解压后的数据。
解压算法是压縮算法的逆过程，也就是自动生成一个字典表，然后根据读入的代码
将压縮数据还原，其输入数据是压缩算法的输出数据，实现算法如下
(1) 取待解压数据；
(2) 初始化解压字典；
(3) 通过动态生成的字典索引还原数据；
(4) 对解压结果进行逆初等变换处理；
(5) 完成解压。
逆初等变换，实现数据还原首元素不变，之后的原始数据值等于前一数据加当前位 置的解压数据。
图3是数据存储结构示意图。WAMS数据具有信息内容简单、高速性和海量性三个
特点，这三个特点对存储效率有着很高的要求，对存储结构的要求不高，常规的商用数据 库却对存储结构有着很严密的设计，考虑了很多关系、触发器等内容，在存储效率上反而
不能满足WAMS数据的存储需求。即便是文件存储，也设置索引功能，但是WAMS数据 具有二维性，检索时需同时考虑数据ID和时间两个关键字，所设置的索引至少是两个或 更多，这就需要考虑一种基于数据结构索引的关键字。
本发明充分考虑WAMS的数据特点，设计了一种基于数据结构索引的文件数据库， 主要包括以下几个特点
1) 采用B+树算法进行数据存储和访问；
2) 采用关键字有序存储，关键字可以为任意的数据结构；
3) 支持对数据査询、插入、删除的常数级速度。
参见图3， KEY是一个数据结构，在WAMS动态数据中，至少需要ID和TIME两个 信息，在实施过程中KEY的结构如下 Struct KEY—DATA
int iDataID; int iMinute;
};
其中，iDataID为数据索引ID值，iMinute为数据时间。
根据使用经验，动态数据每一分钟压縮一次为最佳，因此对于压縮数据，每分钟以一 个KEY进行索引，根据iDataID和iMinute两个信息存储和查询数据，数据存储和査询采 用B+树算法。
在数据存储结构中，TYPE用来表示具体数据类型，如果该类型需要进行数值变换， 则后面还增加一个REF信息，该信息用于在数据读取时还原数值变换结果，如果相关类 型没有经过数值变换，则省略REF信息，变结构存储再次节约了空间。
最后一部分DATA则是经过数据压縮后的数据包，该数据包只有经过压縮算法解压后 才能使用。
以上是对本发明的优选实施例的详细说明。尽管所示和所述的典型实施例被表现为 最优选，应当明白在不脱离下述权利要求限定的本公开的范围内可以进行各种改变和修 改。
权利要求
1、一种电网广域测量系统(WAMS)中动态数据压缩存储方法，所述方法包括数值变换处理、无损压缩、数据结构组织和存储步骤，其特征在于，所述数值变换处理包括以下步骤在同一厂站内，选取一个有效相量的相角作为参考相角，不进行数值变换；除参考相角以外，其余所有元件的电压、电流相量的相角均变换为相对于参考相角的相对相角；存储时，参考相角直接存储，其他相角存储相对相角；相角数据调用时借助参考相角和相对相角进行还原；所述无损压缩步骤包括(1)对原始数据做初等变换，将变换后的数据以字节为单位读取；(2)初始化字典，使其包含可能的单字符，重复(2)-(9)；(3)读字符串；(4)如果新串在字典中，转(5)，否则转(6)；(5)将新串前缀字符改为新串；(6)将新串加入字典；(7)输出新串前缀码；(8)如果字典满，转(2)；(9)如果编码完成，退出，否则转(2)；所述数据结构组织步骤包括将数据类型TYPE、参考信息REF、索引KEY以及压缩得到的数据DATA组帧。
2、 根据权利要求1所述的动态数据压缩存储方法，其中采用相对相角进行压缩计算 并存储。
3、 根据权利要求1所述的动态数据压缩存储方法，其中数据组织步骤采用B+树算 法进行数据存储和访问。
4 根据权利要求3所述的动态数据压縮存储方法，其中数据组织步骤采用关键字有 序存储，关键字为任意的数据结构，并支持对数据査询、插入、删除的常数级速度。
5、 根据权利要求l-4所述的数据压縮存储方法，在应用所存储的数据时包括以下步骤根据査询对象和时间组织索引KEY，根据索引KEY获得数据缓存； 从数据缓存中首先判断数据类型，如相应数据类型经过电力系统数值变换，则除获取 数据本身的DATA外，根据参考信息REF获取REF对象的数据DATA;如相应数据类型 未经过电力系统数值变换，直接获取缓存中的数据DATA;将数据DATA进行采用无损压縮的解压算法进行数据解压；采用电力系统反向数值变换，恢复数据原始值；应用解压后的数据。
6、根据权利要求5所述的数据压缩存储方法，在应用数据的时候，还包括数据査询、 存储结构解析、数据解压和反向数值变换过程，其中数据解压过程包括 取待解压数据； 初始化解压字典；通过动态生成的字典索引还原数据；对解压结果进行逆初等变换处理；完成解压。
全文摘要
一种电网广域测量系统(WAMS)中动态数据压缩存储的方法，包括数值变换处理、无损压缩、数据组织和存储步骤，所述数值变换处理包括以下步骤在同一厂站内，选取一个有效相量的相角作为参考相角；除参考相角以外，其余所有元件的电压、电流相量的相角均变换为相对于参考相角的相对相角；存储时，参考相角直接存储，其他相角存储相对相角；相角数据调用时借助参考相角和相对相角进行还原。
文档编号G01R31/00GK101178424SQ20071017927
公开日2008年5月14日 申请日期2007年12月12日 优先权日2007年12月12日
发明者吴京涛, 东 杨, 齐文斌 申请人:北京四方继保自动化股份有限公司