一种海量电力计量数据的快速检索系统的制作方法
【专利摘要】本实用新型公开了一种海量电力计量数据的快速检索系统，它包括终端、数据采集层和数据层，其特征在于：该方法首先从各计量点及采集终端抽取需要检索的电流、电压、功率因素、表码等计量数据，并基于LVS技术进行服务器均衡进行快速入库；然后将大规模数据按格式上送云平台，云存储平台采用Hadoop分布式文件系统HDFS，具有高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用；根据系统对各计量点电量、线损等的精确统计与计算，用户可通过数据检索服务，实施对电力计量数据的快速检索。为对电流、电压、功率因素、表码等这类电力计量大规模数据能有效快速的提供检索服务。
【专利说明】一种海量电力计量数据的快速检索系统
【技术领域】
[0001] 本实用新型涉及集群管理、云存储服务、云数据库服务、数据查询、监控管理、信息 快速检索等领域，具体为一种基于云计算技术的电力计量数据快速检索方法。
【背景技术】
[0002] 近年来，电网公司不断投入电能计量自动化系统的建设，各供电局已基本建成了 涵盖各种计量点及采集终端的集信息采集、监控、分析和计量管理于一体的计量自动化应 用平台，完成了对电厂、变电站、公变、专变、低压集抄等发电侧、供电侧、配电侧、售电侧的 综合性统一数据的自动采集监。供电企业的抄表结算、电能计量管理、营销管理、线损管理、 错峰管理、节能及优质服务等多项核心业务从手工人工水平发展到系统自动化水平，实现 对居民用电的远程集中抄表功能。计量自动化系统与营销管理系统、生产调度系统等均不 同程度的通过数据接口实现了数据共享。规范了计量现场管理，提高了计量准确率，为供电 企业经济运行、配网生产管理、线损管理、电力营销服务提供了先进的技术手段，提高了营 销管理自动化、信息化水平。然而，随着系统的日趋完善和计量数据的积累，如何快速、有效 地对计量数据进行检索，已经成为当前电力企业越来越迫切想要解决的问题，如用电异常 分析中最为直接和最为重要的指标是线损异常，而线损异常分析需基于采集终端及相关计 量系统收集到的电流、电压、功率因素、表码等数据，这些数据每日上亿数据，每年几百亿， 要对这类海量数据进行存储，还要对数据进行快速检索，传统技术很难处理，目前的关系型 数据库到1亿条的数据量将难以有效的进行管理和检索查询。因此以往关系型数据库完全 不能满足需求，要能实现数据快速的检索并支持模糊查询，需要用到云计算相关技术。
[0003] 本实用新型针对区计量主站系统的各类数据，研究电力计量信息的快速检索 方法，设计基于云计算技术的运算平台。采用LVS(Linux Virtual Server)技术，实现 采集与导入节点机的集群管理；云存储平台采用Hadoop分布式文件系统HDFS (Hadoop Distributed File System);云存储数据库建立基于 HBase(Hadoop database)，使用 Hive 进行结构化存储和检索，并提供相应的数据服务接口；搭建Ganglia监控，实时监控各个节 点的状态、性能、网络。 实用新型内容
[0004] 本实用新型的目的是提供一种基于云计算技术的海量电力计量数据的快速检索 系统，以解决现有计量数据量大，难以进行有效的电力管理和检索查询等问题。
[0005] 为了达到上述目的，本实用新型所采用的技术方案为：
[0006] -种海量电力计量数据的快速检索系统，它包括终端、数据采集层和数据层，其特 征在于包括：
[0007] 数据采集层直接面对电力终端，通过光纤专网、无线网络、短信通信塔和相应的通 讯方式与终端进行数据交互。
[0008] 所述的终端主要由负控终端、厂站终端、配网终端和集抄终端，以及相关数据采集 设备组成，负责采集电力相关数据；其中，负控终端、厂站终端和配网终端通过无线网络与 数据采集层通信；集抄终端通过短信通信与与数据采集层通信。
[0009] 所述的数据层包括数据库服务器，通过GPRS，SMS，CDMA，光纤，电力载波，电话拨号 等通信方式与数据采集层及数据应用层联系。所述的数据采集层采用"集群前置机"结构， 含若干台前置机、一个短信服务器和一个前置路由器形成集群前置机，是前置采集部份。 [0010] 所述的数据应用层包括一组由含计算机构成的服务器节点、交换机、路由器和用 户端，其中节点主要有主节点、从节点、和若干节点，各节点通过路由器、交换机连接到高速 的局域网或者地理分布的广域网上，并与数据层的数据库服务器连接；主节点负责负载调 度（Load Balancing Scheduler),将用户发出的请求调度到各服务器节点上，从而使得服 务器集群的结构对客户是透明的，用户端访问集群系统提供的网络服务就像在访问一台高 性能、高可用的服务器一样。
[0011] 本海量电力计量数据的快速检索系统，基于云计算技术的运算平台，采用LVS技 术，实现采集与导入节点机的集群管理；云存储平台采用Hadoop分布式文件系统HDFS，存 储数据以及存储云数据库元数据；云存储数据库建立基于HBase，使用Hive进行结构化存 储和检索，提供相应的数据服务接口；可通过数据检索服务，快速对实时负荷、电流电压、负 载率的快速检索；搭建Ganglia监控，以实时监控各个节点的状态、性能、网络。用户端实现 对电流、电压、功率因素、表码等相关数据快速检索可通过下面步骤完成：
[0012] 步骤1 :计量数据抽取，包括以下子步骤：
[0013] SI. 1 :确定抽取数据
[0014] 确定检索数据需用到的基础数据信息，如线损分析需抽取电流、电压、功率因素、 表码等计量数据信息；
[0015] S1. 2:抽取实时数据
[0016] 从各计量点及采集终端抽取需要检索的电流、电压、功率因素、表码等计量数据；
[0017] 步骤2 :服务器均衡，包括以下子步骤：
[0018] 应用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器，各个采集 节点机部署采集程序以及Keepalived模块，均衡算法采用加权LCS (Least-Connection Scheduling)调度算法；
[0019] S2. 1:应用 LVS 技术
[0020] 应用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器；LVS(Linux Virtual Server)集群采用IP负载均衡技术和基于内容请求分发技术；从LVS-DR均衡调 度器为集群服务器的唯一入口点，用于接收用户的请求，采用IP负载均衡算法选取一台采 集节点机，将包转发过去；
[0021] S2. 2 :采集节点机部署
[0022] 各个采集节点机部署采集程序及Keepalived模块，Keepalived模块负责对各节 点进行健康状况的检测，确保处理TCP数据的节点可用；
[0023] S2. 3 :服务器负载分配
[0024] 采用加权LCS调度算法确定服务器负载分配；权LCS调度算法实现；
[0025] 步骤3 :数据入库，基于步骤2实现服务器均衡，进行大规模的数据快速入库；用 LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器，各个采集节点机部署采集 程序以及Keepalived模块，均衡算法采用加权LCS调度算法；
[0026] 步骤4 :大数据导入云平台，包括以下子步骤：
[0027] S4. 1 :建立云存储平台
[0028] 云存储平台采用Hadoop分布式文件系统HDFS，HDFS设计成适合运行在通用硬件 commodity hardware上的分布式文件系统，它和现有的分布式文件系统有很多共同点；同 时，它和其他的分布式文件系统的区别也是很明显的，具有高度容错性，HDFS能提供高吞吐 量的数据访问，非常适合大规模数据集上的应用；
[0029] S4. 2 :建立云数据库服务
[0030] 云数据库建立基于HBase，使用Hive进行结构化存储和检索，提供相应的数据服 务接口；Hive是建立在Hadoop之上的数据仓库架构，提供了一套方便的实施数据抽取 (ETL)的工具，一种让用户对数据描述其结构的机制，支持用户对存储在Hadoop中的海量 数据进行查询和分析；
[0031] 步骤5 :数据快速检索，在上述步骤完成后，包括对实时负荷、电流电压、负载率这 类日数据量上亿，年数据量上百亿进行云存储，建立HBASE的云数据库，基于云存储服务的 方式提供大规模海量数据的存储服务。通过HIVE开发接口提供快速的检索服务，用户可通 过数据检索服务，实施对实时负荷、电流电压、负载率的快速检索。
[0032] 为实现以上要求，按照功能需求对数据检索服务划分为：检索接口组件、检索服务 组件和检索执行组件。
[0033] (1)检索接口组件接收客户端的数据检索查询请求，通过向分布式应用服务注 册，同服务器端建立会话连接，与查询服务组件进行交互，并返回查询结果给客户端。
[0034] (2)检索服务组件运行在各个数据服务器节点上，与查询接口组件建立会话连 接，对客户端进行管理，负责响应检索查询接口组件的查询请求，对查询请求进行调度管 理，并将查询的结果数据返回给查询接口组件。
[0035] (3)检索执行组件实现分布式的数据检索，以原始状态或内插值拟合状态返回给 检索服务组件。该组件通过调用本地接口获取当前节点的快照子系统实时数据、系统历史 数据，通过分布式应用服务请求获取备份节点数据。
[0036] 本实用新型与已有技术相比具有以下优点：
[0037] 本实用新型云平台基于Hadoop管理理念，利用Map/Reduce框架来处理数据，使 Hadoop具有高效性的特点。Hadoop是并行工作的，以加快任务的处理速度，除此之外它还 有很多特色的功能，因此可以说是云计算平台上的最佳选择。云计算系统采集与导入节点 机的集群管理，采用LVS技术，LVS的伸缩空间比较大，如果对并发连接进行扩展，最多可以 扩展到百万级，具有高可扩展性的优点。因此，相对于Microsoft集群支持的较少的节点数 目、M0SIX集群依赖单个硬件供应商等，基于LVS的集群是解决负载均衡的理想方式。
[0038] 本实用新型方法简单易行，便于实现，安装简单，基于云计算技术的运算平台采用 LVS技术，整个服务器集群的结构对客户是透明的，无需修改客户端和服务器端的程序。云 存储平台采用Hadoop分布式文件系统（HDFS)，HDFS是一个高度容错性的系统，适合部署在 廉价的机器上，同时，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 建立HBASE的云数据库，通过HIVE开发接口提供快速的检索服务，对实时负荷、电流电压这 类日数据量上亿，年数据量数百亿进行云存储并提供基于云的快速检索服务。系统具有透 明性、可伸缩性、高可用性和易管理性。
【专利附图】
【附图说明】
[0039] 图1是本实用新型的结构示意图；
[0040] 图2是本实用新型提出的一种负载动态平衡策略示意图；
[0041] 图3是本实用新型的数据快速检索流程示意图。
【具体实施方式】
[0042] 下面结合附图，对本实用新型的技术方案作进一步具体的说明。
[0043] 图1所示，是是本实用新型的结构示意图，从图中可知，它包括终端、数据采集层 和数据层，以及数据应用层。其中，终端主要由负控终端、厂站终端、配网终端和集抄终端， 以及相关数据采集设备组成，负责采集电力相关数据。负控终端、厂站终端和配网终端通过 无线网络与数据采集层通信，在终端电路设计上采用ARM9内核的芯片AT91SAM9260进行开 发设计，采样核心板方式。通过ARM9260核心板上的USB host接口，与USB转WIFI模块连 接，配合软件设计，实现电力终端上WIFI通讯。通过软件的安全登陆机制，电力终端可与智 能设备如平板电脑等进行数据交互，实现无线通信；集抄终端通过短信通信与与数据采集 层通信。数据采集层采用"集群前置机"结构，含若干台前置机、一个短信服务器和一个前 置路由器形成集群前置机，是前置采集部份，通过光纤专网、无线网络、短信通信塔等通讯 方式采集终端数据。数据层包括数据库服务器，主要完成数据预处理、数据检查和数据入库 等应用逻辑功能。
[0044] 数据应用层采集与导入节点机的集群管理，基于LVS技术。LVS网络架构包括一组 由含计算机构成的服务器节点、交换机、路由器和用户端，其中节点主要有主节点、从节点、 和若干节点，各节点通过路由器、交换机连接到高速的局域网或者地理分布的广域网上，并 与数据层的数据库服务器连接；主节点负责负载调度（Load Balancing Scheduler),将用 户发出的请求调度到各服务器节点上，从而使得服务器集群的结构对客户是透明的，用户 端访问集群系统提供的网络服务就像在访问一台高性能、高可用的服务器一样。
[0045] 从图1中可知，本实用新型的数据采集层采用"集群前置机"方 式，能实现大规模的数据快速入库。前置机为数据接入前端，完成通信 的核心功能，直接面对采集终端，本实施例中采集终端主要采集的电流（
【权利要求】
1. 一种海量电力计量数据的快速检索系统，它包括终端、数据采集层和数据层，其特征 在于包括： 数据采集层直接面对电力终端，通过光纤专网、无线网络、短信通信塔和相应的通讯方 式与终端进行数据交互。
2. 根据权利要求1所述的一种海量电力计量数据的快速检索系统，其特征在于： 所述的终端主要由负控终端、厂站终端、配网终端和集抄终端，以及相关数据采集设备 组成，负责采集电力相关数据；其中，负控终端、厂站终端和配网终端通过无线网络与数据 采集层通信；集抄终端通过短信通信与数据采集层通信。
3. 根据权利要求1所述的一种海量电力计量数据的快速检索系统，其特征在于： 所述的数据采集层采用"集群前置机"结构，含若干台前置机、一个短信服务器和一个 前置路由器形成集群前置机，是前置采集部份。
4. 根据权利要求1所述的快速检索系统，其特征在于： 所述的数据层包括数据库服务器，通过GPRS，SMS，CDMA，光纤，电力载波，电话拨号的通 信方式与数据采集层及数据应用层联系。
5. 根据权利要求4所述的快速检索系统，其特征在于： 所述的数据应用层包括一组由含计算机构成的服务器节点、交换机、路由器和用户端， 其中节点主要有主节点、从节点、和若干节点，各节点通过路由器、交换机连接到高速的局 域网或者地理分布的广域网上，并与数据层的数据库服务器连接。
6. 根据权利要求1所述的快速检索系统，其特征在于： 所述无线网络通过在电力终端上增加 USB转WIFI接口模块，支持GPRS/CDMA无线数 据通信方式与客户负荷管理终端、低压抄表集中器、配变终端等进行通信，智能设备与WIFI 能进行无线连接达到数据交互的目的。
7. 根据权利要求1或6所述的一种海量电力计量数据的快速检索系统，其特征在于： 通过终端上GPRS通讯或者按键设置，能控制WIFI通道的打开与关闭，终端WIFI通道 打开后，外部智能设备能连接并进行通讯，实现数据交互。
【文档编号】G06F17/30GK204066111SQ201420218786
【公开日】2014年12月31日 申请日期:2014年4月30日 优先权日:2014年4月30日
【发明者】何艺, 刘路, 孙艺敏, 陈俊, 秦丽娟, 曾博, 楚红波, 韩帅, 陈卫东, 金庆忍, 唐利涛, 郭敏, 张良均, 陈俊德, 刘名军, 樊哲, 郑宗锐, 黄远宏 申请人:广西电网公司电力科学研究院, 从兴技术有限公司