云计算的pm2.5监测、存储、处理的方法
【专利摘要】本发明公开一种云计算的PM2.5监测、存储、处理的方法，包括云计算平台和一个以上的PM2.5监测点；所述云计算平台包括实时数据入库单元、PM2.5监测平台数据存储中心以及管理单元；本发明的优点是：实时性高、可靠性高、可伸缩性强、扩容性高、性价比高且全业务支持。
【专利说明】云计算的PM2. 5监测、存储、处理的方法
【技术领域】
[0001]本发明涉及云计算【技术领域】，具体涉及一种对环境监测数据PM2. 5客户端并行处理大数据的云计算的PM2. 5监测、存储、处理的方法。
【背景技术】
[0002]由于分散在城市周围需要大量的PM2. 5监控点（1000—10000个)需要实时的并发上传大量PM2. 5数据，以及需要存储和处理海量的PM2. 5的历史数据，采用传统的结局方案显然难以满足数据存储需求和分析处理数据的需要。
【发明内容】
[0003]本发明要解决的技术问题是现有的数据处理系统难以满足大量的PM2. 5监控点数据存储需求和分析处理数据的需要。
[0004]本发明采用的技术方案是：云计算的PM2. 5监测、存储、处理的方法，包括云计算平台和一个以上的PM2. 5监测点；所述云计算平台包括实时数据入库单元、PM2. 5监测平台数据存储中心以及管理单元；所述PM2. 5监测点的输出端均连接实时数据入库单元的输入端；所述实时数据入库单元的输出端连接PM2. 5监测平台数据存储中心的输入端，用于将所有PM2. 5监测点产生的数据实时存到PM2. 5监测平台数据存储中心；所述管理单元和PM2. 5监测平台数据存储中心之间为交互式连接；所述监测平台数据存储单元包括数据立方分布式文件子系统和关系型数据库；关系型数据库用于存放用户等数据量比较小的表数据立方分布式文件子系统用于存储海量的原始数据；所述索引采用数据立方存储索引结构，将任意不同的关键字字段分别建立索引。
[0005]通过采用数据立方和传统关系型数据库，来解决海量PM2. 5监控点实时并发上传的大量PM2. 5数据的处理与存储，从而和宏观上反映城市的整体的空气质量的监测站点的监测方式形成互补；在不停机的情况下，增加PM2. 5监控点，平台的处理能力自动增加；减少PM2. 5监控点，平台的处理能力自动缩减，实现了 PM2. 5监控点与云计算平台的无缝对接，云计算平台根据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。
[0006]为进一步减少成本，采用X86架构计算机构建云计算平台。用软件容错替代硬件容错，可大大节省成本，在目标性能和可靠性条件下，可比传统的小型机加商用数据库方案节省10倍左右的成本。
[0007]本发明的优点是：实时性高、可靠性高、可伸缩性强、扩容性高、性价比高且全业务支持。
【专利附图】
【附图说明】
[0008]图I是本发明结构以意图。
【具体实施方式】[0009]本发明包括云计算平台和一个以上的PM2.5监测点，云计算平台采用X86架构计算机构建；
所述云计算平台包括实时数据入库单元、PM2.5监测平台数据存储中心以及管理单
元;
所述PM2.5监测点的输出端均连接实时数据入库单元的输入端；
所述实时数据入库单元的输出端连接PM2.5监测平台数据存储中心的输入端，用于将所有PM2.5监测点产生的数据实时存到PM2.5监测平台数据存储中心；
所述管理单元和PM2.5监测平台数据存储中心之间为交互式连接；
所述监测平台数据存储单元包括数据立方和传统关系型数据库；
数据立方用于存储原始数据；原始PM2.5数据，将全部存储在PM2.5监测平台分布式文件系统，用于存储海量的非结构化数据。
[0010]关系型数据库用于存放索引，所述索引采用数据立方存储索引结构，将任意不同的关键字字段分别建立索引，关系型数据库提供包括实时监控空气质量PM2.5，查看历史记录和分析数据等功能。
[0011]在实际使用中，可能用户会对某一时间段或者类型的数据特别关心，就可以通过管理单元查询并导出这部分数据以供使用。
[0012]采用数据立方的优点是，保证系统既可以在成千上万的机器上跑，也可以在很小规模上运行。
[0013]与其它分布式系统相比，使用数据立方的好处在于它的水平的可扩展性，用其它分布式框架所写的程序在从十台机器的级别到成百上千台机器需要大量的重构工作，这也许要程序重写几次，并且其它框的基础元素会限制应用的规模大小。但是数据立方有着线性的可扩展性，一个数据立方程序写完后，在10个结点上运行，如果迁徙到更大的集群上运行，几乎不需要做什么工作，数据立方平台会管理数据和硬件资源并提供与可用资源成比例的可靠性能。
[0014]分布式文件系统具备线性扩展功能，只需要将配置好的数据存储节点加入到集群中，并且在集群空闲时执行平衡工具以平衡集群中数据存储节点的数据块负载。
[0015]本发明在充分运用数据立方技术优势的基础上，完全可以做到:
1.加监测点只需要简单的配置即可连接到PM2.5监测平台数据存储中心，统一规范标准，名称体现PM2.5监测平台监测点理位置、PM2.5监测平台监测点编号等信息，便于快速检索。
[0016]2.客户需要随时更加存储设备和数据分析服务器只需要根据数据立方规范做简单修改配置即可。例如如果后续根据PM2.5监测平台的存储数据量量增加的情况下可以动态的添加存储节点。查询速度变慢只需要动态的添加少量处理节点。最大程度的节省客户成本。
[0017]3.与原有系统数据对接支持各个版本的数据库对接接入Oracle , SQLServer,Mysql均可。
[0018]本发明具备特点:
实时性:平台在高效率并行分布式软件的支撑下，可以实时完成PM2.5监测平台数据入库、分析和管理工作，如数据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等。海量数据入库不会出现数据堆积现象，各类分析和查询工作基本都在秒级完成，具有前所未有的高效性。
[0019]高可靠性：基于对云计算可靠性深厚的研究积累，彻底解决了当前分布式计算平台易出现的单点故障问题。任何一个节点出现故障，系统将自动屏蔽，而且不会出现丢失数据的现象。包括查询任务分配节点、计算任务分配节点、分布式文件系统元数据节点、分布式文件系统数据存储节点、分布式作业系统等。
[0020]可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少节点，平台的处理能力自动缩减。这样，可以做到与云计算平台的无缝对接，根据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。
[0021]高扩容性：PM2. 5监测平台监测前端设备可以根据需求进行增加设备，扩展整个系统的覆盖面积，但不需要继续复杂的操作，可以动态的增加PM2. 5监测平台测试的节点，接入到该系统，并能自动组网，具有很强的扩容性。
[0022]高性价比：采用X86架构廉价计算机构建云计算平台，用软件容错替代硬件容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商用数据库方案节省10倍左右的成本。
[0023]全业务支持：采用分布式数据库模式，绝大部分PM2. 5海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库中，可支撑各种类型的业务。
【权利要求】
1.云计算的PM2.5监测、存储、处理的方法，其特征是，包括云计算平台和一个以上的PM2.5监测点；所述云计算平台包括实时数据入库单元、PM2.5监测平台数据存储中心以及管理单元； 所述PM2.5监测点的输出端均连接实时数据入库单元的输入端； 所述实时数据入库单元的输出端连接PM2.5监测平台数据存储中心的输入端，用于将所有PM2.5监测点产生的数据实时存到PM2.5监测平台数据存储中心； 所述管理单元和PM2.5监测平台数据存储中心之间为交互式连接； 所述监测平台数据存储单元包括数据立方和传统关系型数据库； 数据立方用于存储海量的原始数据； 传统关系型数据库用于存放用户管理等数据量比较小的表；数据立方存储数据量比较大的表，在原始数据入库的同时，将任意不同的关键字字段分别建立索引，可以达到传统数据库上百倍的查询速度。
2.根据权利要求1所述的云计算的PM2.5监测、存储、处理的方法，其特征是，采用X86架构计算机构建云计算平台。
【文档编号】G06F17/30GK103488792SQ201310467825
【公开日】2014年1月1日 申请日期:2013年10月10日 优先权日:2013年10月10日
【发明者】张真, 赵洪涛, 吴修文, 宋文艳, 张乃甜 申请人:南京云创存储科技有限公司