基于多源异构的电力大数据自动化标签实现方法、系统与流程

1.本发明涉及信息化管理技术领域，更为具体地，涉及一种基于多源异构的电力大数据自动化标签实现方法、系统。


背景技术：

2.随着电力需求的迅速增长，电网规模日益扩大，电力业务系统的结构和管理模式也随之日益复杂。在电力设备急速增长的背景环境下，传统的中心化电力数据的管理和分析模式已无法满足多源数据管理中针对高并行、高可靠性、高容错性的应用需求，对于多系统跨部门的协同场景下，尚存在数据口径不统一、治理标准不一致、分析方法不兼容等问题。不同机构、不同厂站之间的设备和对应的用户数据无法统一汇聚到平台上进行管理和分析，无法实现系统间的互联互通，多源异构数据的管理和分析尚存在效率低和数据隐私安全等问题。
3.因此，亟需一种方法或系统来实现多源跨机构的电力设备和用户数据的管理。


技术实现要素：

4.鉴于上述问题，本发明的目的是提供一种基于多源异构的电力大数据自动化标签实现方法、系统，以解决传统的中心化电力数据的管理和分析模式无法满足多源数据管理中针对高并行、高可靠性、高容错性的应用需求，对于多系统跨部门的协同场景下，尚存在数据口径不统一、治理标准不一致、分析方法不兼容的问题。
5.本发明提供的一种基于多源异构的电力大数据自动化标签实现方法，其中，包括：
6.将各个电力参与方作为节点构成分布式计算机模型；
7.获取所述分布式计算机模型中各个节点的存储数据和信息数据，并按照主题类别进行归类，再将按照所述主题类别归类后的存储数据和信息数据存储在元信息数据库中；
8.基于算法库对所述元信息数据库中的数据进行预处理以形成规范化数据；
9.调用预设的自动化标签生成规则或自动化标签生成模型以在本地创建计算容器，并通过mapreduce并行框架基于所述计算容器共同执行所述标签规则或算法以为所述规范化数据生成对应的标签。
10.优选地，所述电力参与方至少包括场站系统、业务系统、生产系统。
11.优选地，获取各个节点的存储数据和信息数据，并按照主题类别将归类后的存储数据和信息数据存储在元信息数据库中的过程，包括：
12.采集关于各个节点的本地数据，并将所述本地数据存储至预先构建的本地数据库中以形成存储数据；
13.使各个节点向所述分布式计算机模型的服务调度模块进行节点注册，获取关于各个节点的物理位置及节点网址以取得信息数据；
14.针对所述存储数据和所述信息数据建立主题；
15.按照数据规格对所述存储数据和所述信息数据进行主题所属划分以形成规格数
据，并将所述规格数据存储在与所属主题相对应的元信息数据库中。
16.优选地，所述数据规格至少包括：数据标准、数据结构、数据格式、数据类型、数据精度、和数据所属设备命名。
17.优选地，按照数据规格对所述存储数据和所述信息数据进行主题所属划分的过程包括：
18.各个节点通过所述服务调度模块获取预设的主题列表；
19.在所述主题列表中挑选主题进行订阅，并获取与所挑选的主题相关的数据规格；
20.按照所述数据规格对所述存储数据和所述信息数据进行主题所属划分。
21.优选地，在基于算法库对所述元信息数据库中的数据进行预处理以形成规范化数据之前，还包括：
22.通过规则引擎制定自动化标签生成规则，并建立算法模型；其中，所述算法模型包括基于预处理算法的预处理模型和基于机器学习的自动化标签生成模型；
23.将所述自动化标签生成规则与算法模型存储至算法库中。
24.优选地，基于算法库对所述元信息数据库中的数据进行预处理以形成规范化数据的过程，包括：
25.使各个节点根据所述元信息数据库中的数据在所述算法库中调用所述预处理模型；
26.判断所述预处理模型中是否存在与所述元信息数据库中的数据相对应的预处理算法；其中，
27.若存在与所述元信息数据库中的数据相对应的预处理算法，则基于所述预处理算法对所述元信息数据库中的数据进行预处理以形成规范化数据；若不存在与所述元信息数据库中的数据相对应的预处理算法，则在节点本地自建与所述元信息数据库中的数据相对应的本地预处理算法，并通过所述本地预处理算法对所述元信息数据库中的数据进行预处理以形成规范化数据；
28.其中，所述预处理算法包括：数据清洗、数据集成、数据规约。
29.优选地，通过mapreduce并行框架基于所述计算容器共同执行所述标签规则或算法以为所述规范化数据生成对应的标签之后，还包括：
30.将所述标签、根据所述标签运行或训练后形成的模型存储至标签库中；
31.连接所述标签库与所述元信息数据库，并建立所述标签库的外接搜索查询链接；
32.通过所述搜索查询链接进行标签查询以调用与所述标签对应的数据。
33.本发明还提供一种基于多源异构的电力大数据自动化标签实现系统，实现如前所述的，包括：
34.计算机服务单元，用于将各个电力参与方作为节点构成分布式计算机模型；
35.数据服务单元，用于获取所述分布式计算机模型中各个节点的存储数据和信息数据，并按照主题类别进行归类，再将按照所述主题类别归类后的存储数据和信息数据存储在元信息数据库中，且用于基于算法库对所述元信息数据库中的数据进行预处理以形成规范化数据；
36.标签中心单元，用于调用预设的自动化标签生成规则或自动化标签生成模型以在本地创建计算容器，并通过mapreduce并行框架基于所述计算容器共同执行所述标签规则
或算法以为所述规范化数据生成对应的标签。
37.优选地，所述计算机服务单元包括服务调度模块和存储模块，其中，
38.所述服务调度模块用于为各个节点提供服务接口，所述服务接口至少包括对各个节点进行节点注册的注册接口，使各个节点获取预设的主题列表的主题接口；所述主题接口包括主题订阅接口、主题元信息接口、主体标准接口和主题建模接口；
39.所述存储模块用于承载算法库，并存储规则引擎以制定自动化标签生成规则；其中，所述算法库存储有所述自动化标签生成规则与算法模型；所述算法模型包括基于预处理算法的预处理模型和基于机器学习的自动化标签生成模型。
40.从上面的技术方案可知，本发明提供的基于多源异构的电力大数据自动化标签实现方法、系统，首先将各个电力参与方作为节点构成分布式计算机模型，获取各个节点的存储数据和信息数据，并按照主题类别将归类后的存储数据和信息数据存储在元信息数据库中，再基于算法库对元信息数据库中的数据进行预处理以形成规范化数据，而后调用预设的自动化标签生成规则或自动化标签生成模型以在本地创建计算容器，并通过mapreduce并行框架基于计算容器共同执行所述标签规则或算法以为规范化数据生成对应的标签，如此，解决了多部门跨系统中无法实现统一口径的问题，打破数据管理系统中的信息孤岛，实现电力信息管理的互联互通，而非直接提供原始数据，通过基于规则处理和机器学习处理的方式，利用分布式存储和计算框架，结合容器化技术，实现多源异构电力大数据的标签技术，面向设备标签和用户标签，为电力监控和智能分析提供业务化和智能化的标签服务和应用展示。
附图说明
41.通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
42.图1为根据本发明实施例的基于多源异构的电力大数据自动化标签实现方法的流程图；
43.图2为根据本发明实施例的基于多源异构的电力大数据自动化标签实现系统的示意图。
具体实施方式
44.传统的中心化电力数据的管理和分析模式已无法满足多源数据管理中针对高并行、高可靠性、高容错性的应用需求，对于多系统跨部门的协同场景下，尚存在数据口径不统一、治理标准不一致、分析方法不兼容等问题。不同机构、不同厂站之间的设备和对应的用户数据无法统一汇聚到平台上进行管理和分析，无法实现系统间的互联互通，多源异构数据的管理和分析尚存在效率低和数据隐私安全等问题。
45.针对上述问题，本发明提供一种基于多源异构的电力大数据自动化标签实现方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。
46.为了说明本发明提供的基于多源异构的电力大数据自动化标签实现方法、系统，图1对本发明实施例的基于多源异构的电力大数据自动化标签实现方法进行了示例性标示；图2对本发明实施例的基于多源异构的电力大数据自动化标签实现系统进行了示例性
标示。
47.以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
48.如图1所示，本发明提供的本发明实施例的基于多源异构的电力大数据自动化标签实现方法，包括：
49.s1：将各个电力参与方作为节点构成分布式计算机模型；
50.s2：获取分布式计算机模型中各个节点的存储数据和信息数据，并按照主题类别进行归类，再将按照主题类别归类后的存储数据和信息数据存储在元信息数据库中；
51.s3：基于算法库对元信息数据库中的数据进行预处理以形成规范化数据；
52.s4：调用预设的自动化标签生成规则或自动化标签生成模型以在本地创建计算容器，并通过mapreduce并行框架基于计算容器共同执行标签规则或算法以为规范化数据生成对应的标签。
53.如图1所示，步骤s1为建设分布式计算机模型的过程，即建立多源异构的整体计算机模型的过程，其中，多源异构中的各参与方(各节点)至少包括场站系统、业务系统、生产系统，即将厂站系统、业务系统、生产系统等物理资源或实体节点分别建立和存储数据，构建本地的分布式数据库，并分别将各个节点的数据存储到各自节点的分布式数据库中。
54.在图1所示的实施例中，步骤s2为获取各个节点的存储数据和信息数据，并按照主题类别将归类后的存储数据和信息数据存储在元信息数据库中，其中，包括：
55.s21：获取关于各个节点的本地数据，并将本地数据存储至预先构建的本地数据库中以形成存储数据；
56.s22：使各个节点向分布式计算机模型的服务调度模块进行节点注册，获取关于各个节点的物理位置及节点网址以取得信息数据；
57.s23：针对存储数据和信息数据建立主题；
58.s24：按照数据规格对存储数据和信息数据进行主题所属划分以形成规格数据，并将规格数据存储在与所属主题相对应的元信息数据库中；其中，该数据规格至少包括：数据标准、数据结构、数据格式、数据类型、数据精度、和数据所属设备命名；
59.按照数据规格对存储数据和信息数据进行主题所属划分的过程包括：
60.s241：各个节点通过服务调度模块获取预设的主题列表；
61.s242：在主题列表中挑选主题进行订阅，并获取与所挑选的主题相关的数据规格；
62.s243：按照数据规格对存储数据和信息数据进行主题所属划分。
63.具体的，在步骤s21、s22中，首先多源异构中的物理资源或实体节点向服务调度模块进行注册，提供实体节点的相关信息包括物理位置、节点网址以获取信息数据，并建立关于各个节点的存储数据，构建本地的分布式数据库，再分别将系统中的存储数据和信息数据存储到分布式数据库中。
64.在步骤s23、s24中，针对存储数据和信息数据建立主题，即系统管理员或项目负责人针对应用的需求建立对应的主题，同时定义主题的相关信息，包括：主题目的、主题状态、标签元信息，而后按照数据标准、数据结构、数据格式、数据类型、数据精度、和数据所属设备命名等数据规格对存储数据和信息数据进行主题所属划分，并存入到主题的元信息数据
库中。
65.在图1所示的实施例中，步骤s3为基于算法库对元信息数据库中的数据进行预处理以形成规范化数据的过程，其中，在基于算法库对元信息数据库中的数据进行预处理以形成规范化数据之前，还包括步骤s0，步骤s0包括：
66.s01：通过规则引擎制定自动化标签生成规则，并建立算法模型；其中，算法模型包括基于预处理算法的预处理模型和基于机器学习的自动化标签生成模型；
67.s02：将自动化标签生成规则与算法模型存储至算法库中。
68.具体的，在步骤s3之前，需要预建立规则，即根据不同的数据结构和业务需求，使用计算服务模块中的规则引擎来制定自动化标签生成规则，在本实施例中利用专家的经验和判断制定，同时建立算法模型并存入到算法库中，即构建数据预处理算法，构建大数据分析模型和机器学习模型，而后基于预处理算法形成预处理模型，同时将大数据分析模型、机器学习模型编码转换成代码镜像并存入镜像仓库中以生成自动化标签生成模型，使得后续可以直接通过自动化标签生成规则生成标签，也可以通过该自动化标签生成模型生成标签。
69.基于算法库对元信息数据库中的数据进行预处理以形成规范化数据的过程，包括：
70.s31：使各个节点根据元信息数据库中的数据在算法库中调用该预建立的预处理模型；
71.s32：判断预处理模型中是否存在与元信息数据库中的数据相对应的预处理算法；其中，
72.s33：若存在与元信息数据库中的数据相对应的预处理算法，则基于预处理算法对元信息数据库中的数据进行预处理以形成规范化数据；若不存在与元信息数据库中的数据相对应的预处理算法，则在节点本地自建与元信息数据库中的数据相对应的本地预处理算法，并通过本地预处理算法对元信息数据库中的数据进行预处理以形成规范化数据；
73.其中，预处理算法包括：数据清洗、数据集成、数据规约；
74.具体的，针对于多源异构的数据预处理，实体节点(各个节点)从算法库中的预处理模型中选择对应的数据预处理算法，若算法尚未存在，实体节点可以自建预处理算法然后创建镜像并存入镜像库中；其中，利用服务调度模块中的主题建模确定使用的数据预处理方法。数据的预处理方法包括数据清洗、数据集成、数据变换、数据归约，主要针对原始数据集中的异常值、不同来源、格式、特点性质进行规范化处理，在本实施例中根据设备类型和数据性质制定一系列规范通用的算法预处理方法供参与者使用，有助于提高数据分析的效率。
75.并且，实体节点对主题中对应的数据使用从算法库中调取数据预处理算法的镜像(预设的)，使用数据和预处理算法镜像创建预处理计算容器，预处理计算容器将执行指定的数据预处理算法，然后从计算容器中获取预处理后的数据并存入本地分布式数据库中。
76.在图1所示的实施例中，步骤s4为调用预设的自动化标签生成规则或自动化标签生成模型以在本地创建计算容器，并通过mapreduce并行框架基于计算容器共同执行标签规则或算法以为规范化数据生成对应的标签，该过程为生成标签的过程，在步骤s0中已经在算法库中预设了自动化标签生成规则和自动化标签生成模型，因此在生成标签的过程
中，各个实体节点基于mapreduce并行框架共同执行标签的生成，标签的生成方法可以基于自动化标签生成规则，也可以基于机器学习处理，即自动化标签生成模型；基于自动化标签生成规则，则在提前预设的镜像仓库中获取指定的标签生成镜像；同样的，基于机器学习的方法包含了特征提取方法、监督学习模型、聚类方法、深度学习模型等从预设的镜像仓库中获取指定的算法，然后各个节点使用获取的规则或算法在本地创建标签计算容器，然后基于标签计算容器生成标签。
77.此外，通过mapreduce并行框架基于计算容器共同执行标签规则或算法以为规范化数据生成对应的标签之后，还包括步骤s5，步骤s5包括：
78.s51：将标签、根据标签运行或训练后形成的模型存储至标签库中；
79.s52：连接标签库与元信息数据库，并建立标签库的外接搜索查询链接；
80.s53：通过搜索查询链接进行标签查询以调用与标签对应的数据。
81.具体的，标签计算容器执行完毕，将生成的标签存入到标签中心的标签库中，其存储包括生成的标签、运行分析或训练后的模型或规则等，后续即可应用标签的搜索和应用服务，可通过标签中心搜索查询标签，提供标签查询的智能排序以及标签的推荐等，在标签的应用服务中，标签中心针对不同业务需求提供标签组合、标签管理等功能，同时可以使用训练完成的标签模型对新产生的数据提供标签的预测和展示服务等功能。
82.如上所述，本发明提供的基于多源异构的电力大数据自动化标签实现方法，首先将各个电力参与方作为节点构成分布式计算机模型，获取各个节点的存储数据和信息数据，并按照主题类别将归类后的存储数据和信息数据存储在元信息数据库中，再对元信息数据库中的数据进行预处理以形成规范化数据，而后调用预设的自动化标签生成规则或自动化标签生成模型以在本地创建计算容器，并通过mapreduce并行框架基于计算容器共同执行标签规则或算法以为规范化数据生成对应的标签，如此，解决了多部门跨系统中无法实现统一口径的问题，打破数据管理系统中的信息孤岛，实现电力信息管理的互联互通，而非直接提供原始数据，通过基于规则处理和机器学习处理的方式，利用分布式存储和计算框架，结合容器化技术，实现多源异构电力大数据的标签技术，面向设备标签和用户标签，为电力监控和智能分析提供业务化和智能化的标签服务和应用展示。
83.如图2所示，本发明还提供一种系统基于多源异构的电力大数据自动化标签实现系统100，实现如前所述的基于多源异构的电力大数据自动化标签实现方法，包括：
84.计算机服务单元101，用于将各个电力参与方作为节点构成分布式计算机模型；
85.数据服务单元102，用于获取分布式计算机模型各个节点的存储数据和信息数据，并按照主题类别进行归类，再将按照主体类别归类后的存储数据和信息数据存储在元信息数据库中，且用于基于算法库对元信息数据库中的数据进行预处理以形成规范化数据；
86.标签中心单元103，用于调用预设的自动化标签生成规则或自动化标签生成模型以在本地创建计算容器，并通过mapreduce并行框架基于计算容器共同执行标签规则或算法以为规范化数据生成对应的标签。
87.如图2所示的实施例，该计算机服务单元101包括服务调度模块101
‑
1和存储模块101
‑
2，其中，
88.该服务调度模块101
‑
1用于为各个节点提供服务接口，服务接口至少包括对各个节点进行节点注册的注册接口，使各个节点获取预设的主题列表的主题接口；主题接口包
括主题订阅接口、主题元信息接口、主体标准接口和主题建模接口；
89.存储模块101
‑
2用于承载算法库，并存储规则引擎以制定自动化标签生成规则；其中，算法库存储有自动化标签生成规则与算法模型；算法模型包括基于预处理算法的预处理模型和基于机器学习的自动化标签生成模型。
90.通过上述实施方式可以看出，本发明提供的基于多源异构的电力大数据自动化标签实现系统，首先通过计算机服务单元101将各个电力参与方作为节点构成分布式计算机模型，再通过数据服务单元102获取各个节点的存储数据和信息数据，并按照主题类别将归类后的存储数据和信息数据存储在元信息数据库中，再对元信息数据库中的数据进行预处理以形成规范化数据，而后通过标签中心单元103调用预设的自动化标签生成规则或自动化标签生成模型以在本地创建计算容器，并通过mapreduce并行框架基于计算容器共同执行标签规则或算法以为规范化数据生成对应的标签，如此，解决了多部门跨系统中无法实现统一口径的问题，打破数据管理系统中的信息孤岛，实现电力信息管理的互联互通，而非直接提供原始数据，通过基于规则处理和机器学习处理的方式，利用分布式存储和计算框架，结合容器化技术，实现多源异构电力大数据的标签技术，面向设备标签和用户标签，为电力监控和智能分析提供业务化和智能化的标签服务和应用展示。
91.如上参照附图以示例的方式描述了根据本发明提出的基于多源异构的电力大数据自动化标签实现方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于多源异构的电力大数据自动化标签实现方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。