一种历史数据在不同自动化系统平台同步迁移的方法与流程

文档序号:15588568发布日期:2018-10-02 18:40阅读:445来源:国知局

本发明属于电力系统自动化领域,具体涉及一种历史数据在不同自动化系统平台同步迁移的方法。



背景技术:

在经济发展和技术带动之下,智能自动化系统已经成为电力系统提升服务质量、减少人工成本、提高经济效益的有效手段,而随着电网不断扩张、不断的复杂化,应用电力自动化系统中所存储的各种高精准性和高可靠性高实时和管理历史数据,建立完美的电网虚拟模型,从而进行负荷预测、改善电能质量,甚至研究电力能源使用结构的变化,对电网规划甚至地区经济发展趋势进行智能化分析也成为电力自动化系统应用不可或缺的部分。所以历史数据作为一种积累性资源,随着积累时间越长,其价值越凸显。

历史数据,存在以下特性:

1、作为一种基于时间积累的宝贵资源,一旦丢失不可恢复。

2、历史数据必须保证高精准性和高细致程度,才可被有效分析应用,而这也导致它必然是海量数据,不可用人工手段逐个备份。

3、由于电力自动化历史数据是针对特定应用而存储,导致其对操作系统、数据库、应用系统都具有高依赖性,只在特定系统平台中生成和保存、应用。

由于历史数据的以上特点,作为自动化历史数据存在环境的系统平台,由于软硬件老化应用扩展、兼容性支撑及网络安全等各种原因进行升级后,升级前的历史数据由于无法在新平台中保存,将不得不被抛弃,作为基于时间积累的资源,自动化系统历史数据价值又将从零积累,无形中给生产和管理造成巨大损失。所以迫切需要一种方法,使历史数据在不同自动化系统平台同步迁移。



技术实现要素:

本发明的目的在于提供一种历史数据在不同自动化系统平台同步迁移的方法,旨在解决自动化系统平台升级后,历史数据无法同步迁移的问题。

为达到上述目的,本发明采用如下技术方案:

一种历史数据在不同自动化系统平台同步迁移的方法,包括以下步骤:

(1)分别在源系统和目的系统运行程序,自动执行select命令获取源系统和目的系统采样定义信息,生成带有明确历史数据迁移的起点及终点约束的关键信息的结果文件;

(2)根据源系统和目的系统生成的结果文本,通过where命令匹配id,匹配成功的形成源系统和目的系统遥测历史数据之间映射关系文本,未匹配成功的历史数据人为分析后手动添加;

(3)确定所有历史数据迁移的具体路径,确保数据流向准确唯一,用已形成的源系统和目的系统历史数据之间映射关系文本,将所有数据无差别迁移至目的系统中。

进一步地,步骤(1)中所述关键信息为rdf_id、表id和域id。

进一步地,步骤(1)中生成的结果文件为txt文本文件。

进一步地,步骤(2)中通过where命令匹配id具体为:通过命令匹配rdf_id和域id,对一次匹配成功的,形成源系统和目的系统系统遥测历史数据之间映射关系文本,未一次匹配成功的历史数据通过人为分析后手动添加至映射关系文本。

与现有技术相比,本发明具有以下有益的技术效果:

本发明找到一种可靠的历史数据在不同自动化系统平台同步迁移的方法,避免由于系统平台更换导致的历史数据抛弃;只需明确历史数据迁移的起点及终点约束,通过程序自动执行,确保设备模型及参数的准确一致,且映射关系文本一经确立,可重复使用,无需多次生成,另外对于匹配不成功的数据,提供人为手动匹配,确保导入数据的完整性。

附图说明

图1是本发明历史数据在不同自动化系统平台同步迁移方法的示意图。

具体实施方式

下面结合附图对本发明作进一步详细描述:

参见图1,一种使历史数据在不同自动化系统平台同步迁移方法,通过对进口oracle数据库及国产dm7等主流数据库研究,通过源系统id号和域名、表名的识别生成关键信息的结果文件,运用sql语言select、where、insert、updata等命令获取新旧系统采样定义信息,导出成为数据库插入语句,自动形成数据迁移脚本。在明确历史数据迁移的起点及终点的基础上,用已形成的源系统、目的系统历史数据之间映射关系文本,将所有数据无差别迁移至目的系统中,实现了对异构系统、异构数据库之间历史数据的迁移工作。

作为本发明的进一步优选方案,以sql语言为工具,通过比对数据库中表id及域id来自动进行匹配,可以解决“新旧系统历史数据存储路径匹配信息量大”的问题。

作为本发明的进一步优选方案,所述系统生成的结果文件为文本txt文件,以保证多系统兼容性。且结果文本一经确立,可重复使用,无需多次生成。

下面对本发明实施例操作过程做详细描述:

如图1所示,本发明历史数据在不同自动化系统平台同步迁移的方法包括以下步骤:

(1)在进行跨平台数据迁移之前,需要解决新旧系统历史数据存储地址匹配的问题,因此首先分别在源、目的系统运行程序,后台将自动执行select命令获取源、目的系统采样定义信息,通过对历史数据迁移的起点及终点约束的注入,生成包含采样定义、rdf_id、表id、域id等关键信息的结果的txt文件。

(2)在源系统执行程序,人工指定起始时间、结束时间、存储目录。该程序可根据映射关系txt文本在后台采用sql语句中select命令直接从oracle数据库中获取相应时间段内的历史数据并以sql文件的方式导出到指定目录。考虑到系统资源分配及服务器内存分配等问题,单次历史数据导出的最大时间段应以月为限定。并将旧系统导出的全部历史数据(sql文件的方式保存的)拷贝至目的系统指定目录。

(3)最后,在目的系统上执行脚本,系统将自动执行指定目录内的所有sql文件,通过insert、updata命令将历史数据直接写入目的系统数据库,完成历史数据导入。初次导入时可选取一天的数据量进行历史数据跨平台迁移测试。当历史数据导入成功后,可通过目的系统自带的曲线查询工具随机查询多个数据的当日历史曲线。曲线正常显示且与源系统一致,表示映射关系txt文本准确、导入导出程序运行正常。说明数据流向准确唯一,用已形成的源、目的系统历史数据之间映射关系文本,将所有数据无差别迁移至目的系统中。整个迁移过程,服务器cup利用率及内存占用率均在安全运行范围内(占用率小于百分之二),无卡顿、宕机等情况发生。

本发明通过源系统id号和域名、表名的识别生成关键信息的结果文件,导出成为数据库插入语句,自动形成数据迁移脚本。在明确历史数据迁移的起点及终点的基础上,用已形成的源、目的系统历史数据之间映射关系文本,将所有数据无差别迁移至目的系统中,实现了对异构系统、异构数据库之间历史数据的迁移工作。

本发明具有以下优点:(1)找到一种可靠的历史数据在不同自动化系统平台同步迁移的方法,避免由于系统平台更换导致的历史数据抛弃;(2)只需明确历史数据迁移的起点及终点约束,通过程序自动执行,确保设备模型及参数的准确一致,且txt映射关系文本一经确立,可重复使用,无需多次生成。(3)对于匹配不成功的数据,提供人为手动匹配,确保导入数据的完整性。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施方式仅限于此,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单的推演或替换,都应当视为属于本发明由所提交的权利要求书所确定的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1