本发明实施例涉及数据处理技术领域，尤其涉及一种电网运营监测大数据主动式分析方法及装置。
背景技术
随着以信息化、自动化、互动化为基本特征的智能电网建设的展开，电网企业的数据资产已告别类型较为单一、增长较为缓慢的时代，电网的各类业务数据急剧增长，表现出量大、实时、价值高、结构多样等特征。电网企业对电网数据的分析应用能力决定着电网数据资产的价值。面对频繁变动的经济环境与行业形势，更加需要根据电网数据的分析结果提高决策能力进而以灵敏的反应速度及时诊断运营问题。
现有技术中，电网企业对电网数据的分析方法主要是业务部门提供计算好的指标数据，运营监测部门进行简单汇总、比对。但随着电网企业业务的不断拓展，所整理归集的电网数据规模不断加大，数据呈现海量增长趋势，而上述方法分析数据量有限，很难对运营监测数据实现全面的分析，从而无法定位问题因素所在，进而更无法从数据的视角为企业提供异动处理辅助决策。
技术实现要素：
本发明实施例提供一种电网运营监测大数据主动式分析方法及装置，用以解决现有技术分析数据量有限，很难对运营监测数据实现全面的分析，从而无法定位问题因素所在，进而更无法从数据的视角为企业提供异动处理辅助决策的问题。
本发明实施例提供一种电网运营监测大数据主动式分析方法，包括：获取待分析电网数据；根据分析服务器的空闲状态和分析任务的性质，确定目标分析服务器；所述目标分析服务器为基于不同分析语言的分析容器提供分析运行环境；将所述待分析电网数据和所述分析任务输入至所述分析容器进行分析。
本发明实施例提供一种电网运营监测大数据主动式分析装置，包括：获取模块、确定模块和分析模块；所述获取模块，用于获取待分析电网数据；所述确定模块，用于根据分析服务器的空闲状态和分析任务的性质，确定目标分析服务器；所述目标分析服务器为基于不同分析语言的分析容器提供分析运行环境；所述分析模块，用于将所述待分析电网数据和所述分析任务输入至所述分析容器进行分析。
本发明实施例提供一种电网运营监测数据分析设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上所述的方法。
本发明实施例提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上所述的方法。
本发明实施例提供的电网运营监测大数据主动式分析方法及装置，通过获取待分析电网数据；根据分析服务器的空闲状态和分析任务的性质，确定目标分析服务器；所述目标分析服务器为基于不同分析语言的分析容器提供分析运行环境；将所述待分析电网数据和所述分析任务输入至所述分析容器进行分析，可对运营监测数据实现全面的分析，从而定位问题因素所在，进而更从数据的视角为企业提供异动处理辅助决策。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明电网运营监测大数据主动式分析方法实施例流程图；
图2为本发明调用机制示意图；
图3为本发明电网运营监测大数据主动式分析方法流程图；
图4为本发明电网运营监测大数据主动式分析装置实施例结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种电网运营监测大数据主动式分析方法，将运营监测业务所需要的多维度、多业务的运营数据时间序列化、条理化，借助分布式在线计算架构实现程序化自动处理，同时，将海量的电网企业的运营明细数据纳入运营监测范围，通过关联规则自学习的方式自动发现业务之间的潜在关联，减少人为干预，减轻手工校对的繁冗工作、提高信息化管理的效率、进而减少信息系统上实现分析的人工成本，帮助企业快速快读判读运营问题，提高电网企业的科学决策部署，提升专业部门的管理水平都有着重要意义。
如图1所示，本发明实施例提供一种电网运营监测大数据主动式分析方法，包括：101、获取待分析电网数据；102、根据分析服务器的空闲状态和分析任务的性质，确定目标分析服务器；所述目标分析服务器为基于不同分析语言的分析容器提供分析运行环境；103、将所述待分析电网数据和所述分析任务输入至所述分析容器进行分析。
在本实施例中，待分析电网数据为待分析的电网运营监测数据即电网运营过程中用于监测电网业务的数据。图2为本发明调用机制示意图。在根据分析服务器的空闲状态和分析任务的性质，确定目标分析服务器时，利用运行于主应用服务器的分析引擎采用分析服务器空闲调度算法确定目标分析服务器，以保证目标分析服务器的负载均衡。目标分析服务器提供的分析运行环境支持多种分析语言的分析容器，从而可以支持多语言在线分析，保证不同语言分析算法的在线连续运行。将所述待分析电网数据和所述分析任务输入至所述分析容器进行分析时，运行于主应用服务器的分析引擎通过java客户端开发包实现与运行的matlab、rserve分析服务器实例连接，根据分析服务器的运行情况将分析任务调配给空闲的分析服务器，实现分析任务的并列化运行。同时，分析运行环境运行分析服务器实例，接收分析任务，调用r脚本，在分析容器中对待分析电网数据进行分析。当数据量较大时，可采用分布式(如：spark，hadoop)计算提高运算效率。其中，备应用服务器在主应用服务器发生故障无法正常使用时采用
本发明实施例提供的电网运营监测大数据主动式分析方法，通过获取待分析电网数据；根据分析服务器的空闲状态和分析任务的性质，确定目标分析服务器；所述目标分析服务器为基于不同分析语言的分析容器提供分析运行环境；将所述待分析电网数据和所述分析任务输入至所述分析容器进行分析，可将分析范围向业务前端和管理末梢延伸，实现多业务的“流程在线监测”与“明细数据监测”，对运营监测数据实现全面的分析，从而定位问题因素所在，进而更从数据的视角为企业提供异动处理辅助决策。本发明还可以提高运营监测数据的分析效率和效果，为电网企业信息化企业建设、提质增效和增强企业竞争力发挥更大的作用。
此外，通过多源信息的采集和传输、多源异构的同构化处理、多层次时间关联模型建立和匹配等操作发现数据之间显性的函数关系和隐性的相关关系实现业务监测的主动感知；基于主动感知发现的关联关系结果，对其进行量化处理，得出关联度以及相关关系的阈值，实现业务监测的主动诊断。
作为一种可选实施例，所述获取待分析电网数据具体包括：定义电网业务数据模型，并根据所述电网业务数据模型从源数据库和相关业务系统获取所述待分析电网数据。
在本实施例中，相关业务系统包括调控运行系统、财务管控系统、购电交易系统、erp系统以及pms系统等。由于电网数据种类繁多，因此，为了有效进行电网运营监测数据分析，需定义电网运营监测业务数据模型。电网运营监测业务主数据模型包括电网运营监测业务评价指标所需的通用数据表和所需的因子因变量以及运营监测业务指标关联关系规则库、因果溯源库和量化分析库的设计描述表。待分析数据可以涉及公司计划预算、电网运营、核心资源、关键流程、专题监测等各方面，实现对公司明细数据管理、经营活动监测的全覆盖。电网业务数据模型采用数据结构描述、实际数据分别存储的方法，数据结构描述采用商用数据库关系表,主数据描述形成内存数据流、数据表和数据块三种形态。
作为一种可选实施例，所述根据所述电网业务数据模型从源数据库和相关业务系统获取所述待分析电网数据，具体包括：根据所述电网业务数据模型从源数据库和相关业务系统进行数据抽取和过滤，得到原始电网业务数据；将所述原始电网业务数据规范为预设的数据流形式，得到所述待分析电网数据。
在本实施例中，在获取原始电网业务数据时，可以根据数据源特点，建立不同的数据交换接口。如图3所示，针对海量的实时数据流，可通过kafkaproducer接口将实时数据流接入，便于进行分布式在线计算；针对非结构化非实时数据流，可采用数据块的方式，便于存储在mongodb数据库表中；针对需要转换成hdfs再进行处理的结构化非实时数据，可通过sqoop实现数据抽取和转换，存储于sparksql中。依据运营监测业务数据模型要求，转换的数据包括数据描述和数据流。其中,kafka总线根据数据流大小，将kafka输出的实时数据流转到sparkstreaming中首先实现数据的预处理，实现数据降维、修复、因子计算等基础操作后存储于redis中；针对一般异步实时消息流，通过zbus总线，实现消息的抽取，便于实现消息的实时处理。
作为一种可选实施例，所述获取待分析电网数据之后还包括：利用局部回归模型对所述待分析电网数据进行修复。
在本实施例中，由于待分析电网数据中可能存在异常数据，为了避免异常数据对后续数据分析的影响，可采用机器学习模型对待分析电网数据进行质量修复。优选地，采用局部回归模型，即采用等范围估计模型来预测设备的合理参数范围，再和实际数据进行对比。通过简化假设，待分析电网数据分布符合正态分布特征，离群指数高的数据将按照分布特征自动修复。
作为一种可选实施例，所述基于不同分析语言的分析容器为r分析容器和matlab分析容器。
在本实施例中，待分析数据可能分别需要在r分析容器和matlab分析容器进行分析，此时，分析运行环境同时具备rserve、matlabbuilderforjava运行环境，但以rserve为主。r脚本采用rjava接口调用matlab编译出的jar包，采用rredis接口与redis交换数据，采用rspark使用spark分布式计算。以利用r分析容器进行分析为例，分析运行环境运行rserve服务器实例，接收分析引擎分配的分析任务，调用分析引擎分配的r脚本，通过rredis,rmongodb等脚本接口接收或抽取流数据、数据块，运行分析算法等非监督学习、监督学习模型进行数据分析，分析结果可保存在redis、mongodb和mysql中。期间，如果分析模型使用了分布式计算模型，直接调用rspark、rhadoop接口来实现分布式计算。r分析容器采用rserve与应用服务器实现网络调配；matlab分析容器利用matlabbuilderforjava将matlab的m文件转成jar包，直接采用r、matlab提供的机器学习算法包。机器学习算法包用于待分析电网数据进行分析。
分析容器存放所有的分析算法模型程序和脚本，每一个分析场景的模型都会实现成一个r脚本，放到分析容器中，由分析容器来做参数分发，脚本调用和结果输出。本发明中,采用rstudio作为容器管理的编辑工具，脚本为r语言、部分算法程序为matlab实现。matlab程序使用matlabbuilderforjava工具将matlab的m文件转成jar包，由r脚本通过rjava接口调用matlab的jar算法包。
作为一种可选实施例，所述将所述待分析电网数据和所述分析任务输入至所述分析容器进行分析，具体包括：将所述待分析电网数据和所述分析任务输入至所述分析容器，进行关联、因果溯源和预测分析。
在本实施例中，分析容器中包含有用于待分析电网数据进行分析的关联规则算法、因果溯源算法、量化分析算法，以便将所述待分析电网数据和所述分析任务输入至所述分析容器时，进行关联、因果溯源和预测分析。所有实时计算的结果可存储在redis内存实时库中。
作为一种可选实施例，所述方法还包括：利用可视化工具对分析结果进行显示。
在本实施例中，可使用redis内存实时库、mysql和mongodb分别存储分析结果的实时数据、sql数据和nosql数据。采用restful接口架构实施java-api。web的可视化采用echart、d3显示分析结果，复杂数据分析结果采用与r关系密切的shiny来显示，shiny的web页嵌入到web客户端画面中。
如图4所示，本发明实施例提供一种电网运营监测大数据主动式分析装置，包括：获取模块41、确定模块42和分析模块43；所述获取模块41，用于获取待分析电网数据；所述确定模块42，用于根据分析服务器的空闲状态和分析任务的性质，确定目标分析服务器；所述目标分析服务器为基于不同分析语言的分析容器提供分析运行环境；所述分析模块43，用于将所述待分析电网数据和所述分析任务输入至所述分析容器进行分析。
本发明实施例提供的电网运营监测大数据主动式分析装置，通过获取待分析电网数据；根据分析服务器的空闲状态和分析任务的性质，确定目标分析服务器；所述目标分析服务器为基于不同分析语言的分析容器提供分析运行环境；将所述待分析电网数据和所述分析任务输入至所述分析容器进行分析，可将分析范围向业务前端和管理末梢延伸，实现多业务的“流程在线监测”与“明细数据监测”，对运营监测数据实现全面的分析，从而定位问题因素所在，进而更从数据的视角为企业提供异动处理辅助决策。此外，本发明还可以提高运营监测数据的分析效率和效果，为电网企业信息化企业建设、提质增效和增强企业竞争力发挥更大的作用。
本发明实施例提供一种电网运营监测数据分析设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述各方法实施例所提供的方法，例如包括：101、获取待分析电网数据；102、根据分析服务器的空闲状态和分析任务的性质，确定目标分析服务器；所述目标分析服务器为基于不同分析语言的分析容器提供分析运行环境；103、将所述待分析电网数据和所述分析任务输入至所述分析容器进行分析。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：101、获取待分析电网数据；102、根据分析服务器的空闲状态和分析任务的性质，确定目标分析服务器；所述目标分析服务器为基于不同分析语言的分析容器提供分析运行环境；103、将所述待分析电网数据和所述分析任务输入至所述分析容器进行分析。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。