一种基于Hadoop的用电反馈实现方法
【技术领域】
[0001]本发明涉及云计算技术、无线传感网技术，属于大数据处理领域，更具体地说，是一种基于Hadoop的用电反馈实现方法。
【背景技术】
[0002]目前国家修订了《中华人民共和国节约能源法》，并连续在“十一五”和“十二五”两个五年计划中提出节能减排规划，要求“到2015年底，单位工业增加值能耗比2010年下降21%左右”。根据2014年1月国家能源局发布的统计数据，2013年我国全社会用电量达到53223亿千瓦时，同比增长7.5%，工业产业用电量39143亿千瓦时，同比增长7.0%。而我国目前在节能减排这一块还是遇到了很多难题。
[0003]我国的政策以及在节能减排上所遇到的难题可以看出，节能减排是目前我国的当务之急，然而要从根本上解决这个问题，就要在企业、工厂以及个人层面形成节能减排的意识。除此意外还有诸多技术上的问题，如数据处理的效率，数据传输的稳定性，数据反馈及时性与数据预测的准确性。
【发明内容】
[0004]本发明的目的是提供一种基于Hadoop的用电反馈实现方法，解决了传统数据处理过程中效率低下，性能差的缺点。本方法注重考虑用电反馈过程中人的因素，利用个性化反馈手段激励用户节电行为。与现有的用电反馈方案仅强调反馈数据的采集粒度和准确度不同，同时也关注用户真正需要的反馈内容和用户倾向接受的反馈方式，从而从长期影响用户行为的转变，达到节约能源、提高能效这一根本目的.技术方案:
本发明所提供的一种基于Hadoop的用电反馈实现方法，主要由电力数据采集、数据汇聚、数据转发、数据存储、数据处理、数据展示与反馈、用电预测等7个步骤组成。
[0005]步骤1:电力数据采集
我们的采集工作通过自主研发的采集节点实现，该采集节点基于电磁感应原理，以非侵入式的方式，获取包括感应电压和感应电流在内的电力数据，相比智能电表，优势在于成本低，安装简易。其次，通过WIFI技术，进行数据的传输；
步骤2:数据的汇聚
数据的汇聚工作通过智能网关实现，所有的采集节点连接到智能网关，如果数据逐条的形式向服务器发送，会给服务器带来很大的压力，因此，采用智能网关将采集节点上传的数据传输到的智能网关；
步骤3:数据的转发
上传到网关的数据，先对对其进行存储，当数据量达到一定程度时，对数据统一编码，并上传到由Hadoop搭建的云平台；
步骤4:数据的存储数据上传到云平台后，云平台接收数据，并且将数据存储在Hadoop Distributed FileSystem (HDFS)中；
步骤5:数据的处理
将存储到HDFS中的数据，通过由MapReduce编写的程序，进行数据的处理，如:分类聚类等，并且将最终结果存储到数据库中；
步骤6:数据的展示与反馈
将存储到数据库的数据有选择的地读出来，以图形、表格等方式展示到相应的网站；同时定期向有需要的用户进行反馈；
步骤7:用电预测
通过一系列的技术手段，如:神经网络、支持向量回归等手段，对用户将来的用电量进行预测，同时可以通知告速用户哪些品牌的电器费电等。
[0006]有益效果本方法能够高效地处理数据，稳定地传输数据，及时地、人性化地反馈数据，高准确性地预测数据。够让企业用户或者个人清晰地了解到自身的用电情况，并对自身的用电行为进行改善，节电的同时不仅给自身带来收益，也积极地为节能减排做出一定的贡献。
【附图说明】
图1为一种基于Hadoop的用电反馈实现方法结构图。
[0007]图2为一种基于Hadoop的用电反馈实现方法实现的流程图。
【具体实施方式】
[0008]下面将参考附图并结合实施例，来详细说明本发明。以下结合某实验室实际部署情况为例来说明本发明。
[0009]实验环境:如图1以所示，包含多个采集节点、一个智能网关、一个Web服务器、一个云平台、以及一个MySql数据库。
[0010]进一步的来说，所述的云平台由1个主节点和8个从节点组成，8个从节点实际是通过Oracl公司的Oracle VM VirtualBox软件建立起来的8台虚拟机。
[0011]具体步骤为图2中所述的7个步骤:
(1)电力数据的采集
多个采集节点，自动连接智能网关，网关的IP地址为192.168.10.1，，采集节点的地址为192.168.10.X;具体来说如:192.168.10.2等。节点基于电磁感应原理，分别工作，具体原理为:将采集节点基本固定在电源线的表面，采集实时的感应电压和感应电流，通过WIFI的方式，与智能网关进行socket通信，节点自身作为发送端，将实时数据打包传输给网关；
(2)数据的汇聚
采集节点，按一个时间间隔向智能网关发送数据，网关通过socket接收端，实时接收数据，网关与各个采集节点的通信采用多线程的形式，提高了数据传输的效率。网关接收到数据后，进行本地存储，当前网关的存储空间为10M ;
(3)数据的转发
当网关中，存储的数据量达到一定阈值时，如阈值为80%，也就是8M空间时，数据将自动通过互联网或者局域网发送到云平台。并且，数据在发送之前经过json编码，大大节约了网络带宽，很大程度避免了网络拥塞并且整个传输过程是可靠的，一旦传输出错，会触发出错重传机智，第二次向云平台发送给数据；
(4)数据的存储
云平台从网关接收数据，进行分布式的存储，实质上是自动的将数据传输到8个从节点，并且存储在节点拥有的Memcached数据库中，大大介绍了数据的延迟，同时又定时写入HDFS,并且形成备份，防止数据的丢失。
[0012](5)数据的处理
数据的处理工作，主要是由多个基于MapReduce编写，大数据处理程序进行，分布式的运行在8个从节点上，大大节约了数据处理数据的时间，同时也提升了数据的可靠性，当有节点运行任务失败，其余节点，会再次运行该任务。处理结束，将有效数据写入到MySql数据库。
[0013](6)数据的展示与反馈
数据的展示工作将由我们的网站完成，网站将MapReduce处理完的数据从数据库中读出，当用户登陆网站时以图形、表格等形式展示该用户的用电量。用户可以定制反馈的内容，我们将以邮件、微博、微信公众号等方式，向用户定期反馈。
[0014](7)数据的预测
数据的预测将基于云平台，通过数据预处理、数据分类、数据组合重构等手段，形成新的训练集，我们通过支持向量回归建模，用测试集进行训练，通过粒子群算法找个模型的适合参数，然后将数据的每天定时通过预测模型进行用户用电的预测，以及电器耗电量的预测。
[0015]工作将由我们的网站完成，网站将MapReduce处理完的数据从数据库中读出，当用户登陆网站时以图形、表格等形式展示该用户的用电量。用户可以定制反馈的内容，我们将以邮件、微博、微信公众号等方式，向用户定期反馈。
【主权项】
1.一种基于Hadoop的用电反馈实现方法，其特征在于，包括以下步骤: 步骤1:电力数据采集 通过采集节点实现，该采集节点基于电磁感应原理，以非侵入式的方式，获取包括感应电压和感应电流在内的电力数据，通过WIFI技术，进行数据的传输； 步骤2:数据的汇聚 数据的汇聚工作通过智能网关实现，所有的采集节点连接到智能网关，如果数据逐条的形式向服务器发送，会给服务器带来很大的压力，因此，采用智能网关将采集节点上传的数据传输到云平台； 步骤3:数据的转发 上传到网关的数据，先对其进行存储，当数据量达到一定程度时，对数据统一编码，并上传到由Hadoop搭建的云平台； 步骤4:数据的存储 数据上传到云平台后，云平台接收数据，并且将数据存储在HDPS中； 步骤5:数据的处理 将存储到HDFS中的数据，通过由MapReduce编写的程序，进行数据的处理，并且将最终结果存储到数据库中； 步骤6:数据的展示与反馈 将存储到数据库的数据有选择的地读出来，以图形、表格方式展示到相应的网站；同时定期向有需要的用户进行反馈； 步骤7:用电预测 通过神经网络、支持向量回归手段，对用户将来的用电量进行预测，同时可以通知告速用户哪些品牌的电器费电等。
【专利摘要】本发明所提供的一种基于Hadoop的用电反馈实现方法,结合云平台进行大数据分析等，主要通过电力数据采集、数据汇聚、数据转发、数据存储、数据处理、数据展示与反馈、用电预测等7个步骤实现本方法。能够高效地处理数据，稳定地传输数据，及时地、人性化地反馈数据，高准确性地预测数据。够让企业用户或者个人清晰地了解到自身的用电情况，并对自身的用电行为进行改善，节电的同时不仅给自身带来收益，也积极地为节能减排做出一定的贡献。
【IPC分类】G06Q50/06
【公开号】CN105427184
【申请号】CN201510749189
【发明人】刘琦, 蔡卫东, 肖博, 沈剑, 付章杰
【申请人】南京信息工程大学
【公开日】2016年3月23日
【申请日】2015年11月6日