一种基于调度EMS系统的变电站数据压缩存储方法与流程

本发明属于电力系统的信息处理领域，具体涉及一种基于调度ems系统的变电站数据压缩存储方法。

背景技术：

1、电网作为国民经济的基础产业，直接服务于国民经济和人民生活，电网调度自动化系统是保证电网安全、经济、优质运行的重要手段。随着电网规模的扩大及物联网的不断建设发展，电网的运行、指挥及调度与ems(energy management步骤sy步骤stem,能源管理系统)系统已密不可分。对电力系统而言，构建调度ems系统的数据压缩和存储系统的重要性表现在：一方面，5g通信技术为变电站接入更多的用电设备和量测装置提供了通信层面的技术支撑，未来智能电网将接入更多量测点，海量历史数据存储将对硬件存储能力带来严峻的考验。对于这种不断出现的新的数据，数据压缩方法可以不断地降低其数据规模，减轻存储压力。另一方面，智能电网离不开人工智能，人工智能离不开对知识的学习，知识离不开数据支撑，因此随着智能电网的不断发展，未来变电站大规模存储数据的需求可能越来越迫切，数据存储方法可以提供安全的备份同步路径，为后续的数据研究学习提供安全有力的支撑。

2、对于类似的信息处理问题，在工业数据处理领域步骤sdt分段线性压缩方法表现良好，而对于电力这一专业领域的信息分析而言，通用的算法也存在存储频率固定、门限值固定、忽视异常点等缺点，限制了压缩精度。为此，将数据压缩存储引入调度ems系统的变电站数据处理场景，提出基于调度ems系统的变电站数据压缩存储方法，对变电站采集的电力知识做压缩处理，并对压缩处理后的数据进行备份存储设置，维持数据存储质量的同时保障数据存储安全。

技术实现思路

1、1.所要解决的技术问题：

2、如何在牺牲较少数据精度前提下节约了数据存储量和运算量，有效支持对变频数据的存储和异常点记录，如何给数据备份存储为意外时的数据恢复提供了良好的保障。

3、2.技术方案：

4、为了解决以上问题，本发明提供了一种基于调度ems系统的变电站数据压缩存储方法，包括如下步骤：

5、步骤s1、通过变电站内各类传感器采集数据，将采集到的数据传输给ems系统前置模块，前置模块解析后分门别类发送至实时库服务器，实时库服务器推送数据至历史库服务器。

6、步骤s2、基于异常阈值判断步骤s1中得到的数据是否为异常数据，直接记录异常点的值，构建异常数据库和非异常数据库。

7、步骤s3、对步骤s2得到的非异常变电站数据进行数据压缩，压缩变电站遥信、遥控、遥调时间序列数据，采取自适应变频步骤sdt算法压缩变电站遥测时间序列数据，得到压缩电力数据。

8、步骤s4、将历史库中由步骤s3得到的压缩电力数据推送至备份库服务器，实现数据的长期存储和安全备份。

9、步骤s1的具体步骤包括：

10、步骤s1.1、变电站内各个装置通过电流互感器、电压互感器采集数据。

11、步骤s1.2、将采集到的数据以数据报文的方式，符合特定规约传输给ems系统前置模块。

12、步骤s1.3、前置模块接收到数据报文后进行解析，向实时库服务器发送分门别类的数据信息。

13、步骤s1.4、实时库服务器向历史存储服务器推送数据。

14、在步骤s1.2中，所述特定规约为102规约、103规约、61850规约的一种。

15、在步骤s1.3中，所述前置模块接收到数据报文后进行解析，通过基于消息总线的消息机制向实时库服务器发送分门别类的数据信息；在步骤s1.4中，实时库服务器向历史存储服务器通过基于消息总线的消息机制推送数据。

16、步骤s2的具体步骤包括：

17、步骤s2.1、根据得到的数据信息，实时库服务器区分存放遥信、遥测、遥调、遥控数据。

18、步骤s2.2、异常点的记录。

19、步骤s2.3、根据得到的电力数据异常值，连续存储其余非异常数据值，便于后续连续压缩的进行。

20、异常点的判断方法为：设异常值为φ，t时刻的数据值为vt，上一时刻数据值为vt-1，两个数据值的变化幅度为：

21、△v＝|vt-vt-1|；

22、则当时△v>φ可将vt视为异常值，直接记录异常点的值。

23、步骤s3包括：

24、步骤s3.1、关键词的提取。

25、步骤s3.1、压缩存储遥信、遥控、遥调序列信号，其中遥信信号相对稳定长时间部变位，遥控和遥调信号在触发时才有，故仅存储变位数据点的值和时间。

26、步骤s3.2、自适应变频数据存储

27、使用步骤sdt旋转门算法线性拟合压缩电力系统遥测数据，如果待保存数据项不在当前数据项和上一保存数据项的压缩偏差范围之内，则待保存数据项被保存，压缩偏差范围上斜率k1，下斜率k2和中间斜率k的计算公式如下：

28、

29、其中dn代表当前数据项数值，dn-1代表上一保存数据项数值，dn+1代表待保存数据项数值，e代表压缩偏差，tn代表当前数据项时间，tn-1代表上一保存数据项时间，tn+1代表待保存数据项时间。

30、如果k2≤k≤k1，待保存数据项被压缩，否则，待保存数据项被存储。

31、当前存储时间间隔△tn为当前数据项时间tn与上一保存数据项时间tn-1之差，下一次存储的存储时间间隔为△tn+1，最小存储时间间隔为△tmin，若当前待存储数据在步骤sdt算法压缩范围之内时(k2≤k≤k1)，快速增大存储时间间隔，即：

32、△tn+1＝2*△tn。

33、若当前存储数据在步骤sdt算法压缩范围之外，快速减小存储时间间隔，即：

34、

35、根据存储数据点的数值变化幅度动态地调整存储间隔时间，在一定时间内数据变化越平滑，存储间隔时间越大；数据变化越剧烈，存储间隔时间越小。

36、步骤s4的具体步骤包括：历史数据库服务器更新存储压缩数据后形成更新消息，放入消息总线，备份库服务器从总线中获取更新信息，完成备份库数据的更新操作，此部分数据为历史告警存档查阅、历史曲线查看、智能告警在线或离线学习等功能作数据支撑，如果历史数据库服务器发生异常，将实时库数据存入备份库服务器中进行对应的压缩存储操作，并在后续历史库服务器维修正常后调用备份数据库服务器数据进行数据维护，保障数据安全。

37、3.有益效果：

38、本发明将将数据压缩存储引入调度ems系统的变电站数据处理场景，提出基于调度ems系统的变电站数据压缩存储方法，对变电站采集的电力知识做压缩处理，在长期数据存储时提高压缩比，节省存储空间。

39、本发明完善了变电站数据存储路径，对压缩处理后的数据进行备份存储设置，维持数据存储质量的同时保障数据存储安全，确保变电站安全稳定运行。

技术特征：

1.一种基于调度ems系统的变电站数据压缩存储方法，包括如下步骤：

2.根据权利要求1所述的基于调度ems系统的变电站数据压缩存储方法，其特征在于，步骤s1的具体步骤包括：

3.如权利要求2所述的基于调度ems系统的变电站数据压缩存储方法，其特征在于，在步骤s1.2中，所述特定规约为102规约、103规约、61850规约的一种。

4.如权利要求2所述的基于调度ems系统的变电站数据压缩存储方法，其特征在于，在步骤s1.3中，所述前置模块接收到数据报文后进行解析，通过基于消息总线的消息机制向实时库服务器发送分门别类的数据信息；在步骤s1.4中，实时库服务器向历史存储服务器通过基于消息总线的消息机制推送数据。

5.根据权利要求1所述的基于调度ems系统的变电站数据压缩存储方法，其特征在于，步骤s2的具体步骤包括：

6.如权利要求5所述的基于调度ems系统的变电站数据压缩存储方法，其特征在于，异常点的判断方法为：设异常值为φ，t时刻的数据值为vt，上一时刻数据值为vt-1，两个数据值的变化幅度为：

7.根据权利要求1所述的基于调度ems系统的变电站数据压缩存储方法，其特征在于，步骤s3包括：

8.根据权利要求1所述的基于调度ems系统的变电站数据压缩存储方法，其特征在于，步骤s4的具体步骤包括：历史数据库服务器更新存储压缩数据后形成更新消息，放入消息总线，备份库服务器从总线中获取更新信息，完成备份库数据的更新操作，此部分数据为历史告警存档查阅、历史曲线查看、智能告警在线或离线学习等功能作数据支撑，如果历史数据库服务器发生异常，将实时库数据存入备份库服务器中进行对应的压缩存储操作，并在后续历史库服务器维修正常后调用备份数据库服务器数据进行数据维护，保障数据安全。

技术总结
本发明提供一种基于调度EMS系统的变电站数据压缩存储方法，将采集到的数据传输给EMS系统前置模块，前置模块解析后分门别类发送至实时库服务器，实时库服务器推送数据至历史库服务器；采集的数据是否为异常数据，直接记录异常点的值，构建异常数据库和非异常数据库；对得到的非异常变电站数据进行数据压缩，压缩变电站遥信、遥控、遥调时间序列数据，采取自适应变频SDT算法压缩变电站遥测时间序列数据，得到压缩电力数据；将历史库中的异常数据和压缩电力数据推送至备份库服务器。本发明可有效对变电站采集的电力知识做压缩处理，节省存储空间，备份存储维持数据存储质量的同时保障数据存储安全，确保变电站安全稳定运行。

技术研发人员：张磊,李宏梅,李艳,张万杰,张泽,杨立超,段勇,李文杰,唐涛,许方杰,解郭,杨丽芝,杨天国,赵从阳,衣志冲,石侃,高鹏举,刘益松,杨航,杨舒舒
受保护的技术使用者：云南电网有限责任公司德宏供电局
技术研发日：
技术公布日：2024/1/13