一种电网监测装置数据的处理方法
【专利摘要】本发明公开了一种电网监测装置数据的处理方法，其包括以下步骤：步骤1、根据需要定时或周期将Nk张监测装置模型表和Mk类监测装置实时数据表抽取到运维管控系统对应的Nk张监测装置模型临时表和Mk类监测装置实时数据临时表中；步骤2、把Nk张监测装置模型临时表自动组装成监测装置运维模型表，把Mk类监测装置实时数据临时表自动组装成监测装置实时运维数据表；步骤3、依据源专业系统接入数据顺序，依次所有的监测装置运维模型表和监测装置实时运维数据表的内容分别加载到电网监测装置模型表和电网监测数据表中；步骤4、将步骤1-3组合为一个场景，并使用TASK任务管理工具维护该场景，完成模型和数据的更新。本发明缩短了开发周期，同时保证了系统的稳定性。
【专利说明】—种电网监测装置数据的处理方法
【技术领域】
[0001]本发明涉及一种电网设备运维管控系统从其它横向专业系统获取电网监测装置数据统一处理的方法。
【背景技术】
[0002]随着区域内社会经济的持续稳定发展，电网规模呈现跨越式增长。除了传统EMS系统的扩建，变电设备在线监测、视频监控、覆冰监测、雷电监测、山火监测、台风监测、气象监测等系统在各区域内不断新建，这些系统建设过程中存在缺乏统一规划与协调、功能单一分散、信息孤岛现象突出、智能化应用缺乏等问题，因此建立统一的电网设备运维管控系统非常必要，横向专业系统的数据集成、全景建模是运维管控系统建设的重要内容，是系统进行闻级应用的基础。
[0003]目前对横向专业系统的监测装置数据集成相对比较分散，通常依赖源专业系统的表结构，比如覆冰监测系统有N张监测装置数据表，在目标系统里也会建立相关的N张表，表结构和字段基本上一一对应。这种集成方式简单清晰，但是对原专业系统的接口依赖比较严重，扩展性较差，通常情况下这样是可以达到数据集成的目的。但是由于监测装置数据的来源专业系统各种各样，一旦源专业系统表结构发生改变，数据中心相关表结构须跟着进行相应修改，基于数据中心开发的高级应用及画面展示也要进行代码的修改。退一步讲，就算源专业系统没有修改表结构，不同区域的数据中心建设也肯定是面对不同的厂家，同样是覆冰系统，不同厂家建模大不一样，在每个区域都需做相应修改，极大地增加了开发和维护的工作量，系统的稳定可靠性也大打折扣。
[0004]针对各式各样的源专业系统，为了解决这类问题，本发明提出了一种电网监测装置数据的统一处理方法。通过建立固定统一的监测装置模型和数据表，不管是哪种监测类型的源专业系统、哪个厂家的源专业系统，还是源专业系统表结构发生什么修改，都能把源专业系统监测装置数据集成到本发明的监测装置模型和数据表中，实现了从N->N到N->1的转变。后台高级应用分析及画面展示不需要做任何修改，大大地提高代码复用率，缩短了开发周期，同时保证了系统的稳定性。。
[0005]本发明是在国家863计划项目基金(2012AA050209)资助下，提出了一种电网监测
装置数据的处理方法。
【发明内容】
[0006]本方法的目的在于:提供一种电网设备运维管控系统从其它横向专业系统获取电网监测装置数据统一处理的方法，通过建立固定统一的监测装置模型和数据表，解决了源专业系统类型不同、建设厂家不同、表结构更改等等可能导致数据中心监测装置模型和数据表也要做相应修改的问题，高级应用分析及画面展示无需修改代码，提高了代码复用率，实现了从N张表到I张表的转变，使代码开发变得非常简单。电网监测数据的接入基于跨平台的“Extract”、“ Transform”、“ Load”技术,“Extract”将源专业系统的各种电网监测装置数据读取出来，“Transform”按照异构数据自动转换方法将抽取的数据进行转换，使本来异构的数据格式转换到统一的监测装置数据格式，“ Load ”将转换好的数据增量或者全部导入到数据中心的监测装置模型和数据表中。
[0007]为实现以上目的，本发明采取了以下的技术方案:
[0008]一种电网监测装置数据的处理方法，电网监测装置数据分别存储于相应的k个源专业系统中，每个源专业系统包括一个监测装置模型表以及一个与该监测装置模型表一一相对应的监测装置实时数据表，第k个源专业系统对应的监测装置模型表和监测装置实时数据表分别存储Nk张监测装置模型表和Mk类监测装置实时数据表，其中，k、Nk、Mk均大于等于1，其包括以下步骤:
[0009]步骤1、根据需要定时或周期将第k个源专业系统中的Nk张监测装置模型表和Mk类监测装置实时数据表抽取到运维管控系统对应的Nk张监测装置模型临时表和Mk类监测装置实时数据临时表中，所述Nk张监测装置模型表与Nk张监测装置模型临时表一一对应，所述Mk类监测装置实时数据表与Mk类监测装置实时数据临时表一一对应；
[0010]步骤2、基于异构数据转换方法，把Nk张监测装置模型临时表自动组装成监测装置运维模型表，把Mk类监测装置实时数据临时表自动组装成监测装置实时运维数据表；每个监测装置运维模型表和每个监测装置实时运维数据表分别具有I张监测装置运维模型表和I张监测装置实时运维数据表，且每个监测装置运维模型表与其对应的监测装置实时运维数据表建立外键关联，以表示某条数据记录属于某个具体的监测装置；
[0011]步骤3、依据源专业系统接入数据顺序，依次所有的监测装置运维模型表和监测装置实时运维数据表的内容分别加载到电网监测装置模型表和电网监测数据表中，或者多个监测装置运维模型表和监测装置实时运维数据表的内容并发加载到相应的电网监测装置模型表和电网监测数据表中；
[0012]步骤4、将步骤1-3组合为一个场景，并使用TASK任务管理工具维护该场景，按时有序的调用，完成模型和数据的更新。
[0013]所述源专业系统至少包括覆冰系统、变电设备监测系统、视频监控系统。
[0014]所述异构数据转换方法为:
[0015]对于将Nk张监测装置模型临时表自动组装成I张监测装置运维模型表，通过获取Nk张监测装置模型临时表对应的监测装置模型表的模型信息表，将所述模型信息表形成监测装置模型表的模型属性，按照所述模型属性的具体分类将Nk张监测装置模型临时表自动组装成I张监测装置运维模型表，所述模型信息表至少包括基本信息表、安装位置信息表以及监测对象信息表，其中，所述基本信息表至少包括监测装置的编码、名称以及相别，所述安装位置信息表至少包括监测装置编码、安装位置编码以及安装位置所在表名；所述监测对象信息表至少包括监测装置编码、监测对象编码以及监测对象所在表名；所述模型属性至少包括监测装置ID、监测装置名称、监测装置类型、安装位置表名、安装位置编码、监测对象表名以及监测对象编码；
[0016]对于将Mk类监测装置实时数据临时表自动组装成监测装置实时运维数据表，通过Mk类监测装置实时数据临时表获取监测装置实时数据表的数据信息表，将所述数据信息表形成监测装置实时数据表的数据属性，按照所述数据属性的具体分类将Mk类监测装置实时数据临时表自动组装成监测装置实时运维数据表，所述数据属性只是包括监测点ID、监测装置名称、监测点类型、DEVICEID、当前值或文件图片类、数据质量、监测装置采集时间以及系统采集时间。所述监测装置ID均由源专业系统名和监测装置编码组成，以保证运维管控系统中监测装置运维模型表的唯一性。
[0017]所述监测点ID由源专业系统名、监测装置编码以及数据量名组成，以保证监测点编码在运维管控系统中监测装置实时运维数据表的唯一性。
[0018]所述监测点ID建立对应的外键字段DEVICEID关联到监测点ID字段，以表示该监测点ID对应的监测装置实时运维数据表属于哪个监测装置运维模型表。
[0019]本发明与现有技术相比，具有如下优点:本发明提出了一种电网设备运维管控系统从其它横向专业系统获取电网监测装置数据统一处理的方法，通过建立固定统一的监测装置模型和数据表，解决了源专业系统类型不同、建设厂家不同、表结构更改等等可能导致数据中心监测装置模型和数据表也要做相应修改的问题，实现了从N张表到I张表的转变。高级应用分析及画面展示无需修改代码，使代码开发变得非常简单，大大地提高代码复用率，缩短了开发周期，同时保证了系统的稳定性。
[0020]提供了跨平台的“Extract”、“Transform”、“Load”技术，“Extract” 将源专业系统的各种电网监测装置数据读取出来，“Transform”按照异构数据自动转换方法将抽取的数据进行转换，使本来异构的数据格式转换到统一的监测装置数据格式，“Load”将转换好的数据增量或者全部导入到数据中心的监测装置模型和数据表中。无需进行特殊代码的开发，提高产品开发的效率和通用性。
[0021]提供了通用的TASK任务管理工具维护场景的调度，使数据集成智能化，自动化。
【专利附图】
【附图说明】
[0022]图1是本发明一种电网监测装置数据的处理方法的流程示意图；
[0023]图2是k个Nk张监测装置模型临时表自动组装成I张监测装置运维模型表的转换示意图；
[0024]图3是k个Mk类监测装置实时数据临时表自动组装成I张监测装置实时运维数据表的转换示意图；
[0025]图4是监测装置类型表。
【具体实施方式】
[0026]下面结合附图和【具体实施方式】对本发明的内容做进一步详细说明。
[0027]实施例:
[0028]本发明提供一种电网设备运维管控系统从其它横向专业系统获取电网监测装置数据统一处理的方法，通过建立固定统一的监测装置模型和数据表，解决了源专业系统类型不同、建设厂家不同、表结构更改等等可能导致数据中心监测装置模型和数据表也要做相应修改的问题，高级应用分析及画面展示无需修改代码，提高了代码复用率，实现了从N张表到I张表的转变，使代码开发变得非常简单。电网监测数据的接入基于跨平台的“EXtract”、“TranSf0rm”、“Load”技术，“Extract”将源专业系统的各种电网监测装置数据读取出来，“Transform”按照异构数据自动转换方法将抽取的数据进行转换，使本来异构的数据格式转换到统一的监测装置数据格式，“ Load ”将转换好的数据增量或者全部导入到数据中心的监测装置模型和数据表中。
[0029]数据中心获取到电网监测装置模型和数据后，电网设备运维管控系统中的各个高级应用就可以通过商用库接口获取相应的数据进行专业的计算和分析，画面展示可以基于监测装置模型和数据表进行各种数据的监视和不同效果展示。
[0030]本发明的技术方案是:提供一种电网设备运维管控系统从其它横向专业系统获取电网监测装置数据统一处理的方法，通过建立固定统一的监测装置模型和数据表，解决了多源异构数据统一建模的问题。见附图1，电网监测装置数据分别存储于相应的k个源专业系统中，每个源专业系统包括一个监测装置模型表以及一个与该监测装置模型表一一相对应的监测装置实时数据表，第k个源专业系统对应的监测装置模型表和监测装置实时数据表分别存储Nk张监测装置模型表和Mk类监测装置实时数据表，其中，k、Nk、Mk均大于等于I，其包含以下几个步骤:
[0031]a)根据需要定时或周期将第k个源专业系统中的Nk张监测装置模型表和Mk类监测装置实时数据表抽取到运维管控系统对应的Nk张监测装置模型临时表和Mk类监测装置实时数据临时表中，所述Nk张监测装置模型表与Nk张监测装置模型临时表一一对应，所述Mk类监测装置实时数据表与Mk类监测装置实时数据临时表一一对应；
[0032]b)基于异构数据转换方法，把Nk张监测装置模型临时表自动组装成监测装置运维模型表，把Mk类监测装置实时数据临时表自动组装成监测装置实时运维数据表；每个监测装置运维模型表和每个监测装置实时运维数据表分别具有I张监测装置运维模型表和I张监测装置实时运维数据表，且每个监测装置运维模型表与其对应的监测装置实时运维数据表建立外键关联，以表示某条数据记录属于某个具体的监测装置。
[0033]c)依据源专业系统接入数据顺序，依次所有的监测装置运维模型表和监测装置实时运维数据表的内容分别加载到电网监测装置模型表和电网监测数据表中，或者多个监测装置运维模型表和监测装置实时运维数据表的内容并发加载到相应的电网监测装置模型表和电网监测数据表中。
[0034]d)为了使集成智能化，自动化，将以上步骤组合为一个场景，并使用TASK任务管理工具维护该场景，按时有序的调用，完成模型和数据的更新。
[0035]其中步骤a)进一步包括:本系统的监测装置模型表和监测装置实时数据表来源于多个源专业系统，包含但不限于覆冰系统、变电设备监测系统、视频监控系统等等。每个源专业系统都有自己的监测装置模型表，可能是I到多个，每个源专业系统并都有多类装置实时数据表，需将源专业系统相关的装置模型表和装置实时数据表抽取到本系统对应的装置模型临时表和装置实时数据临时表。由于监测装置模型更新频率非常低，新投运或者停止投运才会有更新，可以定时抽取，比如选取数据库负载较小的凌晨一点进行抽取；装置实时数据表需要周期进行抽取，可以根据各个系统的各类数据的更新频率不同进行抽取，比如变电设备在线监测油中气体含量半天才更新一次，而覆冰系统的覆冰厚度则每5分钟就需更新一次。源表所有记录将自动加载到系统对应的临时表中。
[0036]其中步骤b)进一步包括:无论源专业系统的装置模型有几张表，之间关联关系如何组织，总能基于一定的规则把源专业系统相关的N张监测装置模型临时表转换成I张监测装置运维模型表；无论源专业系统监测装置实时数据临时表有多少类，总能全部转换为I张监测装置实时运维数据表。在源专业系统中装置实时数据属于某个具体的装置，转换时需要继续维护监测装置运维模型表与监测装置实时运维数据表之间的关联关系。不同的源专业系统异构数据自动转换方法可能有区别，附图2和附图3分别是模型临时表和实时数据临时表从N到I的转换示意图。
[0037]其中步骤b)进一步包括:虽然不同的源专业系统异构数据自动转换方法可能稍微有区别，但基本思路都是一致的。如附图2，变电设备监测源专业系统中监测装置实时数据临时表由两张表组成，并且这两张表存在于实时数据库中。变电设备装置基本信息表，保存了该系统接入的所有变电设备在线监测装置信息，包括装置编码，名称，相别等台账信息，全部加载到监测装置运维模型表中，NID (监测装置ID)由源专业系统名和装置编码组成，保证了在运维管控系统监测装置运维模型表中的唯一性，ZZLX (装置类型)根据导入的装置不同设定类型，图4是一些常见的装置类型定义，有新类型按序扩展即可。变电设备装置扩展信息表主要包括了装置安装位置所在表名、安装位置编码、监测对象所在表名、监测对象编码等属性，通过与变电设备装置基本信息表的装置编码的匹配，更新监测装置实时运维数据表中相关记录的相关字段内容。覆冰系统处理类似，就是安装位置和监测对象分别来源于覆冰装置安装位置信息表和覆冰装置监测对象信息表，通过装置编码匹配获取信息。即使无法直接找到相关信息表，也可以通过分割、组合从源专业系统中获取经过预处理转换为需要的信息表。
[0038]如附图3所示，变电设备监测系统各类数据有一张张单表组成，比如主变油中气体含量数据表，包括了氢气、甲烷、乙烷、乙烯等等字段。为了映射到我们的监测装置临时数据表中，需要把数据表从横向排列转变为纵向排列，如油中气体含量从I条记录会转变为N条记录，N为监测数据量个数，氢气、甲烷、乙烷、乙烯等等会独自转变为I条记录，转变的原则:NID (测点ID)由源专业系统名+装置编码+数据量名(如氢气H2)组成，保证了测点编码在运维管控系统监测数据表中的唯一。测点是无法独立存在的，它必然是属于某个装置，建立对应的外键字段DEVICEID关联到装置模型表NID字段，表示属于哪个装置，DEVICEID由源专业系统名+装置编码组成，其他属性名直接获取填入即可。覆冰系统和其他系统的数据处理方法类似展开，如果源专业系统跟临时数据表结构一致，则直接导入记录。
[0039]其中步骤c)进一步包括:接入源专业系统装置数据可能是按照先后顺序一个个抽取，也有可能是几个系统并发抽取，把各个源专业系统的I张监测装置运维模型表和I张监测装置实时运维数据表内容加载到电网监测装置模型表和电网监测数据表中，提高了集成效率。
[0040]其中步骤d)进一步包括:TASK任务管理工具是进行任务配置、任务启动、任务终止的工具，任务可以由操作系统的命令、自行开发的程序、脚本等按照需要的执行顺序进行组织，生成一个场景。TASK以场景为基本的执行单位，场景的执行既可以通过手动触发、事件告警触发、文件修改触发，也可以自动定时触发、周期触发，来完成电网监测装置模型和实时数据的更新。
[0041]上列详细说明是针对本发明可行实施例的具体说明，该实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。
【权利要求】
1.一种电网监测装置数据的处理方法，电网监测装置数据分别存储于相应的k个源专业系统中，每个源专业系统包括一个监测装置模型表以及一个与该监测装置模型表一一相对应的监测装置实时数据表，第k个源专业系统对应的监测装置模型表和监测装置实时数据表分别存储Nk张监测装置模型表和Mk类监测装置实时数据表，其中，k、Nk、Mk均大于等于1，其特征在于，其包括以下步骤: 步骤1、根据需要定时或周期将第k个源专业系统中的Nk张监测装置模型表和Mk类监测装置实时数据表抽取到运维管控系统对应的Nk张监测装置模型临时表和Mk类监测装置实时数据临时 表中，所述Nk张监测装置模型表与Nk张监测装置模型临时表一一对应，所述Mk类监测装置实时数据表与Mk类监测装置实时数据临时表一一对应； 步骤2、基于异构数据转换方法，把Nk张监测装置模型临时表自动组装成监测装置运维模型表，把Mk类监测装置实时数据临时表自动组装成监测装置实时运维数据表；每个监测装置运维模型表和每个监测装置实时运维数据表分别具有I张监测装置运维模型表和I张监测装置实时运维数据表，且每个监测装置运维模型表与其对应的监测装置实时运维数据表建立外键关联，以表示某条数据记录属于某个具体的监测装置； 步骤3、依据源专业系统接入数据顺序，依次所有的监测装置运维模型表和监测装置实时运维数据表的内容分别加载到电网监测装置模型表和电网监测数据表中，或者多个监测装置运维模型表和监测装置实时运维数据表的内容并发加载到相应的电网监测装置模型表和电网监测数据表中； 步骤4、将步骤1-3组合为一个场景，并使用TASK任务管理工具维护该场景，按时有序的调用，完成模型和数据的更新。
2.根据权利要求1所述的电网监测装置数据的处理方法，其特征在于，所述源专业系统至少包括覆冰系统、变电设备监测系统、视频监控系统。
3.根据权利要求2所述的电网监测装置数据的处理方法，其特征在于，所述异构数据转换方法为: 对于将Nk张监测装置模型临时表自动组装成I张监测装置运维模型表，通过获取Nk张监测装置模型临时表对应的监测装置模型表的模型信息表，将所述模型信息表形成监测装置模型表的模型属性，按照所述模型属性的具体分类将Nk张监测装置模型临时表自动组装成I张监测装置运维模型表，所述模型信息表至少包括基本信息表、安装位置信息表以及监测对象信息表，其中，所述基本信息表至少包括监测装置的编码、名称以及相别，所述安装位置信息表至少包括监测装置编码、安装位置编码以及安装位置所在表名；所述监测对象信息表至少包括监测装置编码、监测对象编码以及监测对象所在表名；所述模型属性至少包括监测装置ID、监测装置名称、监测装置类型、安装位置表名、安装位置编码、监测对象表名以及监测对象编码； 对于将Mk类监测装置实时数据临时表自动组装成监测装置实时运维数据表，通过Mk类监测装置实时数据临时表获取监测装置实时数据表的数据信息表，将所述数据信息表形成监测装置实时数据表的数据属性，按照所述数据属性的具体分类将Mk类监测装置实时数据临时表自动组装成监测装置实时运维数据表，所述数据属性只是包括监测点ID、监测装置名称、监测点类型、DEVICEID、当前值或文件图片类、数据质量、监测装置采集时间以及系统采集时间。
4.根据权利要求3所述的电网监测装置数据的处理方法，其特征在于，所述监测装置ID均由源专业系统名和监测装置编码组成，以保证运维管控系统中监测装置运维模型表的唯一性。
5.根据权利要求3所述的电网监测装置数据的处理方法，其特征在于，所述监测点ID由源专业系统名、监测装置编码以及数据量名组成，以保证监测点编码在运维管控系统中监测装置实时运维数据表的唯一性。
6.根据权利要求3所述的电网监测装置数据的处理方法，其特征在于，所述监测点ID建立对应的外键字段DEVICEID关联到监测点ID字段，以表示该监测点ID对应的监测装置实时运维数据表 属于哪个监测装置运维模型表。
【文档编号】G06Q50/06GK103955863SQ201410143610
【公开日】2014年7月30日 申请日期:2014年4月10日 优先权日:2014年4月10日
【发明者】周震震, 钱海, 何珏, 肖星, 常夏勤, 王永, 潘玉春, 闵国君 申请人:中国南方电网有限责任公司超高压输电公司检修试验中心, 南京南瑞继保电气有限公司