一种电力数据自助式分析系统及决策应用类迁移方法与流程

本发明涉及数据处理技术领域，更具体地，涉及一种电力数据自助式分析系统及决策应用类迁移方法。

背景技术：

国网公司经过多年的信息化建设，已拥有海量的生产与经营数据，同时为了全面建设“一强三优”的现代公司，更好提供安全生产与服务品质，生产与运营模式都朝更加精细化的方向发展。目前国网公司的经营分析需求与以往相比，不但在数量上呈急速增长趋势，而且在需求内容也更加复杂深入，然而面对需求数据量和内容上的压力，单靠增加人工或简单的分析挖掘工具已经无法满足电力经营分析快速增长的支撑需求，尤其是电力专业分析挖掘需求，商业工具也难以支撑。

随着大数据技术的广泛应用，如何从海量数据中提取对企业及二侧分析有功的信息成为管理人员面临的难题，在数据分析上，原始业务数据会存在数据缺失、冗余、不确定和异常数据等诸多情况。一般需要进行预处理，才能保证数据分析挖掘结果的有效。同时以往的数据预处理模式已经无法满足迅速膨胀的数据处理需求。

技术实现要素：

本发明的目的在于提供一种电力数据自助式分析系统及决策应用类迁移方法，其为业务人员提供数据挖掘工具和自助式分析服务，满足易用、快速的业务报表和大数据挖掘应用，实现对外提供统一的数据服务和展现服务。

为实现上述目的，本发明的技术方案是：一种电力数据自助式分析系统，包括：

数据源管理模块，用于根据业务应用需求，对接入的电力数据进行访问配置管理；

数据建模模块，用于创建所述电力数据的数据集和数据模型，以供其他模块进行数据查询；

可视化编辑模块，用于以预设查询命令从所述数据建模模块中查询对应的目标电力数据，并根据所述目标电力数据以指定层级颗粒度进行可视化界面的设计和展示；

分析计算服务模块，用于接收输入的分析计算服务内容，根据所述分析计算服务内容，对所述可视化编辑模块的展示结果进行分析计算，得到分析计算结果；

分析建模模块，用于按照预设分布式挖掘算法对所述数据建模模块中的电力数据或所述分析计算结果进行数据挖掘和进行分布式数据预处理，以及按照确定的分布式模型进行运行。

在本发明一实施例中，所述数据建模模块支持数据查询和多维查询。

在本发明一实施例中，所述分析计算服务模块包括：

定义子模块，用于接收输入的服务编辑命令，根据所述服务编辑命令对分析计算服务进行服务编辑操作；

配置子模块，用于对所述分析计算服务进行逻辑配置；

运行子模块，用于根据所述逻辑配置运行分析计算服务，并输出运行结果；

接口管理子模块，用于根据接口编辑命令，对分析计算服务接口进接口编辑操作；

接口监控子模块，用于对所述分析计算服务接口的运行状态进行监控、告警和记录；

接口运行历史查询模块，用于根据运行历史查询命令，对所述分析计算服务接口历史运行日志进行查询和分析。

在本发明一实施例中，所述服务编辑操作包括：服务新增操作、服务删除操作和服务修改操作，所述接口编辑操作包括：接口增加操作、接口删除操作和接口修改操作。

在本发明一实施例中，所述可视化编辑模块包括：

分析主题分类管理子模块，用于对分析主题进行分类管理；

分析主题管理子模块，用于进行分析主题定义、分析热点配置和分析场景配置；

展现子模块，用于按照预设展现风格和展现链接配置，进行展现工作台的创建和展现。

在本发明一实施例中，所述分析建模模块包括：

数据预处理子模块，用于对所述电力数据或所述分析计算结果进行预处理操作；

挖掘算法管理子模块，用于对数据挖掘算法进行管理；

模型运行子模块，用于确定分布式模型，并按照所述分布式模型运行；

模型运行管理子模块，用于进行分布式模型发布和模型运行管理；

自定义算法子模块，用于接收用户输入的自定义数据挖掘算法，并进行存储。

在本发明一实施例中，所述预处理操作包括以下任一项：数据清洗操作、数据转换操作、数据计算操作、数据集成操作和数据抽样操作，所述数据挖掘算法包括以下任一项：二元分类算法、线性回归算法、聚类算法、协同过滤算法。

在本发明一实施例中，所述可视化编辑模块和所述分析建模模块可并行进行处理。

本发明还提供了一种决策应用类迁移方法，该方法通过权利要求1-8中任一项所述的电力数据自助式分析系统去实现。

相较于现有技术，本发明具有以下有益效果：本发明为业务人员提供数据挖掘工具和自助式分析服务，满足易用、快速的业务报表和大数据挖掘应用，实现对外提供统一的数据服务和展现服务。

附图说明

图1是本发明一个实施例的电力数据自助式分析系统的结构示意图。

图2是本发明一个实施例的电力数据自助式分析系统中分析计算服务模块的结构示意图。

图3是本发明一个实施例的电力数据自助式分析系统中可视化编辑模块的结构示意图。

图4是本发明一个实施例的电力数据自助式分析系统中分析建模模块105的结构示意图。

图5是本发明一个实施例的电力数据处理系统的结构示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种电力数据自助式分析系统，包括：

数据源管理模块，用于根据业务应用需求，对接入的电力数据进行访问配置管理；

数据建模模块，用于创建所述电力数据的数据集和数据模型，以供其他模块进行数据查询；

可视化编辑模块，用于以预设查询命令从所述数据建模模块中查询对应的目标电力数据，并根据所述目标电力数据以指定层级颗粒度进行可视化界面的设计和展示；

分析计算服务模块，用于接收输入的分析计算服务内容，根据所述分析计算服务内容，对所述可视化编辑模块的展示结果进行分析计算，得到分析计算结果；

分析建模模块，用于按照预设分布式挖掘算法对所述数据建模模块中的电力数据或所述分析计算结果进行数据挖掘和进行分布式数据预处理，以及按照确定的分布式模型进行运行。

本发明还提供了一种决策应用类迁移方法，该方法通过权利要求1-8中任一项所述的电力数据自助式分析系统去实现。

以下为本发明的具体实现过程。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一个实施例的电力数据自助式分析系统的结构示意图。

如图1所示，电力数据自助式分析系统100，包括：

数据源管理模块101，用于根据业务应用需求，对接入的电力数据进行访问配置管理；

数据建模模块102，用于创建所述电力数据的数据集和数据模型，以供其他模块进行数据查询；

在一个实施例中，优选地，所述数据建模模块支持数据查询和多维查询。其中，数据查询是提供sql查询、组合查询、api查询等类型主题创建功能；多维查询是提供基于大数据平台存储的多维建模配置功能。整个数据建模模块支持使用sql创建数据集，建立平台统一数据模型功能，支持对模型进行层级维的设置，支持sql之间的关联查询创建新模型，支持度量的自定义计算。

可视化编辑模块103，用于以预设查询命令从所述数据建模模块中查询对应的目标电力数据，并根据所述目标电力数据以指定层级颗粒度进行可视化界面的设计和展示；

分析计算服务模块104，用于接收输入的分析计算服务内容，根据所述分析计算服务内容，对所述可视化编辑模块的展示结果进行分析计算，得到分析计算结果；

分析建模模块105，用于按照预设分布式挖掘算法对所述数据建模模块中的电力数据或所述分析计算结果进行数据挖掘和进行分布式数据预处理，以及按照确定的分布式模型进行运行。

在该实施例中，为业务人员提供数据挖掘工具和自助式分析服务，满足易用、快速的业务报表和大数据挖掘应用，实现对外提供统一的数据服务和展现服务。

图2是本发明一个实施例的电力数据自助式分析系统中分析计算服务模块的结构示意图。

如图2所示，在一个实施例中，优选地，所述分析计算服务模块104包括：

定义子模块201，用于接收输入的服务编辑命令，根据所述服务编辑命令对分析计算服务进行服务编辑操作；在一个实施例中，优选地，所述服务编辑操作包括：服务新增操作、服务删除操作和服务修改操作。

配置子模块202，用于对所述分析计算服务进行逻辑配置；

运行子模块203，用于根据所述逻辑配置运行分析计算服务，并输出运行结果；

接口管理子模块204，用于根据接口编辑命令，对分析计算服务接口进接口编辑操作；在一个实施例中，优选地，所述接口编辑操作包括：接口增加操作、接口删除操作和接口修改操作。

接口监控子模块205，用于对所述分析计算服务接口的运行状态进行监控、告警和记录；

接口运行历史查询模块206，用于根据运行历史查询命令，对所述分析计算服务接口历史运行日志进行查询和分析。

在该实施例中，分析计算服务模块通过不同子模块之间的配合，实现对复杂、海量数据的离线分析、处理、结果生成、过程监控、历史日志等管理功能。

图3是本发明一个实施例的电力数据自助式分析系统中可视化编辑模块的结构示意图。

如图3所示，在一个实施例中，优选地，所述可视化编辑模块103包括：

分析主题分类管理子模块301，用于对分析主题进行分类管理；

分析主题管理子模块302，用于进行分析主题定义、分析热点配置和分析场景配置；

展现子模块303，用于按照预设展现风格和展现链接配置，进行展现工作台的创建和展现。

在该实施例中，可以通过可视化编辑模块以热点、场景、主题的层级颗粒度进行可视化设计过程的组织，并提供热点创建窗口，支持场景中的热点的布局、交互动作的配置，也可以对工作台进行定义、配置，在工作台展示已完成的分析主题。

图4是本发明一个实施例的电力数据自助式分析系统中分析建模模块105的结构示意图。

如图4所示，在一个实施例中，优选地，所述分析建模模块105包括：

数据预处理子模块401，用于对所述电力数据或所述分析计算结果进行预处理操作；在一个实施例中，优选地，所述预处理操作包括以下任一项：数据清洗操作、数据转换操作、数据计算操作、数据集成操作和数据抽样操作。其中，数据清洗操作，会提供孤立点的监测方法，包括基于统计的算法和基于关联的算法。其中基于统计的算法时通过假设数据集服从某种概率模型或者某种分布，通过不一致检验把严重偏离分布曲线的记录看成时孤立点。基于关联算法，时首先将所有的对象进行聚类，然后评估类中各个对象属于簇的程度，将原理其他族视为对象中的孤立点。

挖掘算法管理子模块402，用于对数据挖掘算法进行管理；所述数据挖掘算法包括以下任一项：二元分类算法、线性回归算法、聚类算法、协同过滤算法

模型运行子模块403，用于确定分布式模型，并按照所述分布式模型运行；

模型运行管理子模块404，用于进行分布式模型发布和模型运行管理；

自定义算法子模块405，用于接收用户输入的自定义数据挖掘算法，并进行存储。

在该实施例中，通过分析建模模块可实现数据挖掘和预处理等操作，对数据进行预处理操作，可以保证数据分析挖掘结果的有效性，从而为业务人员提供数据挖掘工具，满足易用、快速的业务报表和大数据挖掘应用。

在一个实施例中，优选地，所述可视化编辑模块和所述分析建模模块可并行进行处理。

根据本发明实施例的第二方面，提供一种电力数据自助式分析方法，所述电力数据自助式分析方法通过第一方面中任一项所述的电力数据自助式分析系统去实现。

图5是本发明一个实施例的电力数据处理系统的结构示意图。

如图5所示，电力数据处理系统500，包括：

基础架构服务层501，用于提供中间件、关系型数据库、操作系统、硬件基础设施和网络环境；

数据层502，用于基于数据库sg-rdb进行数据的存储；

业务处理层503，通过第一方面中任一项所述的电力数据自助式分析系统100进行业务数据处理；业务处理层采用j2ee技术，基于j2ee架构实现数据源管理、数据建模、分析建模、可视化编辑和分析计算法服务等组件。

展现层504，基于web构建，用于对所述业务处理层的业务数据进行展现。展现层基于web构建，支持html、jsp、css等技术，客户端只需有浏览器即可，无须安装其他软件等，只要能够接入公司内网即可实现对统一分析服务的访问，同时办公地点不受限制。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（rom，readonlymemory）、随机存取存储器（ram，randomaccessmemory）、磁盘或光盘等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的一种电力数据自助式分析系统进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。