基于端云协同的大气颗粒污染物时空预测云平台的制作方法

1.本发明涉及计算机技术领域，更具体的说是涉及一种基于端云协同的大气颗粒污染物时空预测云平台。


背景技术：

2.目前，业界已基于大气颗粒物预测模型，结合计算机技术，进行了大气环境空间监测预报信息化的研究。张亦含等人利用b/s架构和webgis技术，实现了大气环境监测数据管理平台的开发工作，目前已投入环境信息中心，取得较好效果。齐晶瑶等人对大气环境进行远程监测，其系统利用有效的网络资源和虚拟技术实现了大气环境质量的远程数据采集、数据存储、数据传输和数据分析等功能，满足了大气环境质量监测中仪器互联和资源共享的需要。
3.目前对于大气环境监测预报系统的研究也较多，但是，对于大气环境监测平台的建设主要集中于传统单机环境和云平台。由于大气监测数据量的日益庞大，运算模型的复杂，传统单机环境下的数据存储和处理，都已力不从心，难以满足数据实时获取，迅速处理的需求，因此，云模式下的大气监测系统建设已成为一种趋势。
4.因此，如何实现云模式下的大气环境监测预报是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种基于端云协同的大气颗粒污染物时空预测云平台，将基于单一点信息的预测，提升为通过云模式协同采集终端的信息进行协同预测。大气污染物监测能够很好的适用于云端协同架构物联网应用，采集终端负责测量、采集大气环境中的颗粒物浓度分布并进行上传，云端负责将数据进行汇总处理，并面向外部发布。采集终端进行遥感监测采用nasa modia数据，并在数据分析服务器中基于aot-pm2.5关系模型进行预测；测点监测预报采用数学模型。根据目前实际需求构建基于端云协同的大气颗粒物时空预测平台，符合信息化建设的趋势，为以后大气颗粒物的研究提供科学依据和技术保障。
6.为了实现上述目的，本发明采用如下技术方案：
7.基于端云协同的大气颗粒污染物时空预测云平台，包括采集终端、云平台分布式存储模块、云平台并行处理分析模块和数据可视化系统；所述采集终端利用不同传感器采集大气环境数据并通过物联网传输至云平台分布式存储模块；所述云平台分布式存储模块分布式存储不同传感器采集的所述大气环境数据；所述云平台并行处理分析模块调取所述云平台分布式存储模块的所述大气环境数据进行处理，并实现大气颗粒物浓度预测，获得分析预测结果并传输至所述数据可视化系统进行图文显示。
8.端云协同体现在采集终端和云端系统实现端云协同，采集终端负责测量、采集大气环境中的颗粒物浓度分布并通过gprs上传云端，云端责将数据进行汇总处理，并面向外
部发布。采集终端的mcu读取传感器的测量值后，首先进行预处理和数据换算，整个换算过程包括：判断显示结果的正负号，进行二进制码到bcd码转换，然后将数据传到云平台分布式存储模块的相关寄存器中。
9.优选的，所述采集终端包括mcu、pm2.5传感器、臭氧传感器、二氧化碳传感器、温度传感器、湿度传感器和/或气压传感器等；所述mcu与传感器进行无线通讯，并通过gprs与所述云平台分布式存储模块进行无线数据传输。所述mcu对传感器无线传输的大气环境数据进行预处理，去除噪声和无效数据等。
10.优选的，所述云平台分布式存储模块采用hadoop开源技术实现所述大气环境数据中颗粒物空间数据和业务数据的分布式存储。
11.优选的，所述云平台并行处理分析模块对所述大气环境数据进行处理的过程包括：
12.步骤1：去除重复数据；间隔时间获取数据文件，按行读取文件，从首行开始，将原始文件的每一行存入列表中，如果新读取的行不存在于列表中，则将该行加入列表中，将最终的列表写入到新的文件中，获得所有监测点数据；
13.步骤2：筛选所需数据；经过监测点名称匹配，并根据设定规则去除所述所有监测点数据的无效数据，根据监测点名称列表对数据按照时间顺序进行保存后获得所需数据；所述设定规则包括：使用制表符分割后是否为8列、分割后的第一组数据的长度是否为19、分割后的第一组数据是否为空值；
14.步骤3：补全缺失数据；采用均值补全法对获得的所需数据进行补全获得模型输入数据；
15.步骤4：归一化处理；对模型输入数据进行数据转换，统一成数值类型数据，对转换后的模型输入数据进行归一化处理获得数据集。数据集包括训练集和测试集。
16.优选的，所云平台并行处理分析模块采用估算模型根据调取的处理后大气环境数据进行大气颗粒区浓度预测，所述估算模型包括基于高斯模型及其改进的adms模型、aermod模型和calpuff模型，以及人工神经网络模型、基因表达式编程模型和全球大气传输化学模型等。
17.优选的，所述数据可视化系统进行数据可视化实现图文显示，是以数据流向为主线的数据处理映射，具体过程包括：数据处理和变换、可视化映射；数据处理和变换：进行数据预处理和数据挖掘，获得处理后数据；采用聚类、抽样统计学方法进行预处理；根据数据特征、模式结合云端数据库中数据进行数据挖掘；可视化映射：将处理后数据映射成可视化元素。
18.优选的，所述mcu与传感器无线通讯方式包括蓝牙低能耗(ble)、wi-fi、以太网、gsm、5g或3g/4g。
19.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于端云协同的大气颗粒污染物时空预测云平台，利用采集终端采集大气环境监测数据，并通过无线传输系统无线传输至云端，在数据分析服务器进行数据分析处理，对大气颗粒污染物分布进行建模分析，实现时空预测，端云协同架构可以有效提高服务性能，提高预测分析的准确性和实时性。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
21.图1附图为本发明提供的基于端云协同的大气颗粒污染物时空预测云平台架构示意图；
22.图2附图为本发明提供的大气环境监测与预报云平台的架构示意图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.本发明实施例公开了一种基于端云协同的大气颗粒污染物时空预测云平台，包括采集终端、云平台分布式存储模块、云平台并行处理分析模块和数据可视化系统；采集终端利用不同传感器采集大气环境数据并通过物联网传输至云平台分布式存储模块；云平台分布式存储模块分布式存储不同传感器采集的大气环境数据；云平台并行处理分析模块调取云平台分布式存储模块的大气环境数据进行处理，并实现大气颗粒物浓度预测，获得分析预测结果并传输至数据可视化系统进行图文显示。
25.上述技术方案产生的技术效果，大气污染物监测能够很好的适用于端云协同架构物联网应用，采集终端负责测量、采集大气环境中的颗粒物浓度分布并进行上传，端云负责将数据进行汇总处理，并面向外部发布；通过利用物联网技术与云计算融合，精准管理来自不同传感器的数据，包括pm2.5、一样化碳、二氧化碳、温度、湿度和气压等参数；该系统提供了低成本、低功耗、紧凑和高精度的环境监测系统，通过利用raspberry pi(树莓派)和各类传感器，形成了一个良好的端云协同系统，从而协助制定环境监测政策，以应对日益增长的污染水平，确保环境的健康；
26.其中，物联网实时传输解决了大气数据的实时获取问题；由于大气颗粒物的预测对实时性要求比较高，因此采用物联网技术实时获取气象数据十分重要，可以通过gprs进行无线数据循环数，实时将数据导入云平台。
27.云平台分布式存储模块解决了数据庞大无法存储的问题；由于大气颗粒物采集数据实时获取，数据量将以级数方式增长，传统的单片机难以提供存储环境，云平台结合虚拟技术，利用现有的hadoop开源技术实现颗粒物空间数据和业务数据的分布式存储；
28.云平台并行处理分析模块提高运算效率，提高预测的速度；大气颗粒物运算模型的复杂，传统单片机环境下串行算法，已难以实现处理分析，需要并行化处理，提高运算效率，提高预测的速度。
29.为了进一步优化上述技术方案，采集终端包括mcu、pm2.5传感器、臭氧传感器、二氧化碳传感器、温度传感器、湿度传感器和/或气压传感器等；mcu与传感器进行无线通讯，并通过gprs与云平台分布式存储模块进行无线数据传输。
30.为了进一步优化上述技术方案，云平台分布式存储模块采用hadoop开源技术实现大气环境数据中颗粒物空间数据和业务数据的分布式存储。
31.为了进一步优化上述技术方案，优选的，云平台并行处理分析模块对大气环境数据进行处理的过程包括：
32.s1：去除重复数据；
33.因为网络波动原因，会有一些时间段的数据缺失，为了防止数据缺失的情况发生，每隔一个小时便再次运行该程序，但同时在得到数据文件中会有重复的数据，所以首先对数据文件进行去重，按行读取文件，从首行开始，将原始文件的每一行存入列表中，如果新读取的行不存在于列表中，则将该行加入列表中，将最终的列表写入到新的文件中，便得到了去除重复数据的监测点数据；
34.s2：筛选所需数据；
35.因为网络波动造成的程序中断，使得到的数据中有很多无效的数据，例如写入的数据只有一部分，在根据监测点名称进行匹配的同时，去除文件中无效数据行，去除的判断依据有：使用制表符分割后是否为8列、分割后的第一组数据的长度是否为19(时间格式)、分割后的第一组数据是否为空值(有空值则证明改行数据无效)，也就是根据数据行的总列数、时间的完整性、每一个数据项的有效性对数据的有效性进行判断，经过监测点名称匹配和去除无效数据后，根据监测点名称列表对数据按照时间顺序进行保存；
36.s3：补全缺失数据；
37.有的监测数据因为监测设备的问题会出现缺失的情况，在数据集中用"_"表示，因为训练数据是按照时间进行排序的，为了给预测模型提供完善的数据，对出现缺失的数值进行均值补全，即使用缺失数据的上一时刻和下一时刻的数值进行取平均，代替缺失的数据，当进行均值补全时，如果下一时刻的数据依然缺失，或者当前缺失的数据已经是最后一行数据，则使用上一时刻的数据代替当前缺失的数据；
38.s4：归一化处理；
39.不同的数据特征有着不同的评价指标，处于不同的数据范围，为了提高梯度下降求最优解的速度，使求解最优解的过程更容易收敛，对数据进行归一化处理，并且通过归一化也可以加强数据特征之间的综合对比和学习；归一化的数据范围[0、1]；对数据进行归一化之前，将监测点名称进行标签编码，将非数据类型的监测点名称转换为数值类型的数据，以便于进行归一化和数据的使用，最后将归一化处理后的数据按照9：1的比例划分为训练集、测试集。
[0040]
为了进一步优化上述技术方案，云平台并行处理分析模块采用估算模型根据调取的处理后大气环境数据(即数据集)进行大气颗粒区浓度预测，估算模型包括基于高斯模型及其改进的adms模型、aermod模型和calpuff模型，以及人工神经网络模型、基因表达式编程模型和全球大气传输化学模型等。
[0041]
为了进一步优化上述技术方案，数据可视化就是将抽象的数据以可见的形式表现出来，帮助人理解数据，数据可视化并不是简单的视觉呈现和图表，而是一个以数据流向为主线的完整流程，包括数据采集、数据处理和变换、可视化映射；
[0042]
数据处理和变换，是进行数据可视化的前提条件，包括数据预处理和数据挖掘两个过程；通过前期数据采集得到的数据，数据不可避免的含有噪音和误差、缺失、重复，数据
中的离群点，即不同于数据集中其他大部分数据对象特征的数据对象(极端值、异常值等)，通过数据聚类、抽样等统计学方法进行预处理；数据的特征、模式往往隐藏在海量的数据中，需要进一步的数据挖掘才能显现出来；
[0043]
对数据处理之后，就可视化映射环节，可视化映射是整个数据可视化流程的核心，是指将处理后的数据信息映射成可视化元素的过程。
[0044]
为了进一步优化上述技术方案，mcu与传感器无线通讯方式包括蓝牙低能耗(ble)、wi-fi、以太网、gsm、5g或3g/4g。
[0045]
实施例
[0046]
环保厅的“1831”云平台采用物联网传感器以及信息分析云技术，实现环境管理与决策的智慧化，该平台能够实时感知全省919个重点污染源、125个水质自动站、124个空气自动站、11个辐射自动监控点等海量数据。基于分布式的地理信息平台，设计实现了某省的分布式环境监测网络地理信息系统，并服务于环境监测信息的传送、分析和发布。将物联网和云计算技术应用到环境监测系统中，建立现代环境监测系统，有利于环境监测的智能感知、智能处理和智能管理，实现环境全方位的监测。
[0047]
本发明的有益效果：
[0048]
(1)监测数据精度方面。遥感监测采集大气颗粒物数据，主要采用多波段影像数据，数据覆盖面广、空间分辨率高，可以进行大区域的污染物预测。而地面观测站获取得监测数据具有时间分辨率高、数据精度高等特点。大气颗粒物的遥感监测，多是采用nasa modis数据，基于aot-pm2.5关系模型及其改进模型进行预测。地面观测站的站点监测利用数学模型对大气颗粒物浓度估算。
[0049]
(2)预测理论。遥感监测主要基于气溶胶光学厚度反演，依赖于遥感监测技术的发展。站点监测预报主要基于数学模型，对监测数据进行曲线模拟和分析，以预测大气颗粒物的分布。遥感监测气溶胶粒子经过对入射辐射和吸收作用，使入射辐射的性质及强度发生了变化。通过测量入射辐射性质的变化便可以反演气溶胶粒子的特性。
[0050]
(3)预测模型。遥感监测多采用nasa modisaot-pm2.5关系模型及其改进算法进行预测。地面观测站基于测点预报的主要数学模型有bp-神经网络模型、高斯烟羽扩散模型、全球大气传输化学模型(geos-chem)等。遥感监测可进行大面积的大气颗粒物浓度估算和空间分辨率高；站点监测对于大气颗粒物浓度的时间变化估算较为准确和数据精度高。
[0051]
(4)预测结果。由于城市监测站点数量和分布不均等因素影响，遥感影像数据在大面积区域的大气颗粒物时空预测中，具有重要作用。而站点数据的模拟预测分析则可以较为准确的反映大气颗粒物浓度时间变化特征。
[0052]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0053]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一
致的最宽的范围。