本发明涉及数据处理,特别涉及一种生态环境监测的物联网解析方法及系统。
背景技术:
1、生态环境监测是指通过采集、分析及评估环境要素的数据,监测和评估生态系统的健康状况和环境质量。在生态环境监测中,技术起到了关键的作用。现有与生态环境监测相关的技术:传感器技术:传感器用于实时监测环境要素,如温度、湿度、气体浓度及光照等;传感器可以通过无线网络将数据传输到监测系统,实现远程监测和数据采集。遥感技术:遥感技术通过卫星、飞机或其他远距离传感器设备获取地表和大气的影像数据,数据可以用于监测土地利用变化、植被状况及水质等。数据分析与模型:利用数据分析和建模技术,可以从大量的监测数据中提取有用的信息和趋势;例如,利用机器学习算法可以预测自然灾害发生的可能性,或者评估污染物的扩散路径和影响范围。空气质量监测技术:空气质量监测技术用于监测大气中的污染物浓度,如二氧化硫、氮氧化物及臭氧等;常见的监测设备包括气象站、空气质量传感器和气象雷达等。水质监测技术:水质监测技术用于评估水体的化学、物理和生物特性;常见的监测设备包括水质传感器、水质自动监测站和水文测站等。生物监测技术:生物监测技术用于评估生态系统的生物多样性和生态健康状况;例如,通过监测鸟类、昆虫及鱼类等生物的数量和分布情况,可以了解生态系统的变化和环境质量。数据可视化技术:数据可视化技术用于将监测数据以图表、地图或其他可视化形式展示,使人们能够更直观地理解和分析数据;有助于决策者和公众更好地理解生态环境的状况和趋势。综上所述,生态环境监测的技术背景涉及传感器技术、遥感技术、数据分析与模型、空气质量监测技术、水质监测技术、生物监测技术和数据可视化技术等多个方面;这些技术的不断发展和应用,为生态环境监测提供了更准确、高效和全面的手段。但是,当前生态环境监测设备因生产标准不统一,导致数据不兼容,增加了数据共享及分析的困难,一定程度上影响了生态环境监测效果的精度。
2、现有技术一,中国专利,申请号:cn202210130355.7公开了一种生态环境监测质量管理系统,通过实验室信息管理核心平台、环境监测标准服务平台、数据质量监管平台,通过生态环境监测质量管理系统加强对地区生态环境监测机构的监督管理,以信息化平台为支撑,强化生态监测机构、人员及监测活动的全过程质量管理,规范生态环境监测服务行为,虽然实现对监测数据的有效质量控制;但是缺乏对不同生态环境监测设备的数据格式处理,导致数据处理效率较低。
3、现有技术二,中国专利,申请号:cn202310365064.0 公开了一种基于物联网的生态环境监测系统,包括云端控制模块以及生态环境监测模块;每个生态环境监测模块上均设有无线通讯单元,利用无线通讯单元获取每两个生态环境监测模块之间的相对位置并将相对位置传输至云端控制模块;其中一个生态环境监测模块上还设有定位单元,利用定位单元获取其中一个生态环境监测模块的绝对位置并将绝对位置传输至云端控制模块;云端控制模块根据每两个生态环境监测模块之间的相对位置和一个绝对位置计算剩余每个生态环境监测模块的绝对位置。虽然在云端直接获取现场生态环境监测模块采集的环境数据和位置数据,以了解各个监测模块之间的位置以及布置情况,具有便于监测的效果;但是没有给出不同生态监测设备的数据格式同一的方案,导致某些数据可能存在不兼容的问题,影响了生态监测结果的精度。
4、现有技术三,中国专利,申请号:cn202310999450.5公开了一种应用于云计算的生态环境监测数据处理方法及系统,通过完成模型收敛优化的环境特征标签预测网络分别解析模板生态环境监测图像序列中各模板生态环境监测图像分别对应的第一模板图像语义向量,依据初始化环境特征标签预测网络分别解析各模板生态环境监测图像分别对应的第二模板图像语义向量,并依据各第二模板图像语义向量进行预测,并结合同一模板生态环境监测图像的第一模板图像语义向量和第二模板图像语义向量确定的第一输出误差值和属于不同环境特征标签的两个模板生态环境监测图像分别对应的第二模板图像语义向量确定的第二输出误差值获得目标环境特征标签预测网络,虽然提高后续环境特征标签预测的准确性;但是不涉及不同生态监测设备的格式转换的问题,导致预测的精度较差。
5、目前现有技术一、现有技术二及现有技术三存在当前生态环境监测设备因生产标准不统一,导致数据不兼容,增加了数据共享及分析的困难,一定程度上影响了生态环境监测效果的精度的问题,因而,本发明提供一种生态环境监测的物联网解析方法及系统,只需在传感器设备上设置上报地址,即可实现传感器设备数据传入业务系统,业务系统只需要根据自己的业务利用数据;解决了当前生态环境监测设备各厂家标准各不统一的问题,参照《国家地表水自动监测系统通信协议技术要求》统一采用hj 212-2017协议作为接入标准构建物联网系统,凡涉及到环境监测的使用此平台即可快速搭建数据采集系统。
技术实现思路
1、为了解决上述技术问题,本发明提供了一种生态环境监测的物联网解析方法,包含以下步骤:
2、硬件设备的数据上报地址设置为可达服务器的地址;
3、对基于tcp协议的hj212的协议数据进行解析为可读字符串,将解析的可读字符串转化为json识别;
4、将数据存入数据库。
5、可选的,将基于tcp协议的hj212的协议数据解析为可读字符串的过程,包含以下步骤:
6、利用网捷网络框架实例化服务器引导创建一个tcp协议接收服务器,设置端口为8000设置处理器字处理程序,其中处理器通过通道初始化器实例化并重写其初始化通道对其套接字通道;
7、获取通道处理程序链并设置解析器将原始报文数据转换为utf-8格式的字符串。
8、可选的,设置编码器将报文数据转换为utf-8格式的字符串,设置网络数据帧大小限制帧聚合器数据包大小不超过10m,设置超时断开时间60分钟,设置自定义数据处理器hj212handler。
9、可选的,解析器的构建过程,包含以下步骤:
10、定义公共数据接收类;
11、每一组数据用分号分割,将数据按分号进行分割为字符串数组,对分割后的字符串数组进行循环解析;对当前循环的字符串按“,”逗号进行分割,对于分割后的再按“=”等号进行分割作为一组数据;
12、判断这组数据的属性代码,-avg为平均值,-max 为最大值,-min为最小值,以-flag结尾的固定为数据状态;按照规则将数据设置进监测项数据类,监测项数据类每组包含逗号的一个循环项即为一个监测项数据类实例,接收到的一次报文,转化得到公共数据类下包含多条监测数据类的父子结构。
13、可选的,定义公共数据接收类包含属性请求编码 qn,系统编码 st,命令编码 cn,访问密码 pw,站点标识 mn,应答标识 flag,采集时间 datatime,指令参数 cp。
14、可选的,公共数据接收类的定义,包含以下步骤:
15、公共数据接收类属性与接收到的数据的公共部分一致,数据结尾为固定的&&+4位校验码;
16、截掉结尾6位字符串,同时“cp=&&”为指令参数加“&&”结束,将这里的“&&”替换为分号“;”。
17、可选的,对分割后的字符串数组进行循环解析的过程,包含以下步骤:
18、在循环中,先判断里面是否含有“,”逗号,对于不含有逗号,直接按“=”等号分割,等号前面的即为属性代码,等号后面为属性值;
19、属性代码先按公共属性进行匹配,如果匹配上则将值设置进公共数据接收类;
20、定义监测项数据类。
21、可选的,属性代码先按公共属性进行匹配,对于包含逗号的,分析数据发现是具体的监测项用中横线链接属性类型和其数据值并使用等号分隔。
22、可选的,定义监测项数据类,包含属性为“监测项 code,监测值 value,监测值类型 type,监测项状态 status”。
23、本发明提供的一种生态环境监测的物联网解析系统,包含:
24、硬件设备配置模块,负责硬件设备的数据上报地址设置为可达服务器的地址;
25、数据解析模块,负责对基于tcp协议的hj212的协议数据进行解析为可读字符串,将解析的可读字符串转化为json识别;
26、数据存储模块,负责将数据存入数据库。
27、本发明首先确定服务器的ip地址或域名,进入硬件设备的配置界面,找到网络配置选项,根据硬件设备的网络连接方式,设置硬件设备的网络参数;找到数据上报地址的设置选项,将服务器的地址填入指定字段中;确认保存配置,使硬件设备的数据上报地址生效;其次以tcp协议为基础,使用hj212协议传输硬件设备的数据,使用netty网络框架,编写对应的协议解码器,将基于tcp协议的hj212的协议数据解析为可读字符串,再将解析的可读字符串的数据格式转换为json进行程序识别;最后创建采用集合存储数据的关系型数据库,通过驱动程序提供数据库的连接信息,建立硬件设备与数据库的连接;在数据上报时,将硬件设备的json格式的数据进行解析;使用数据库的api,执行插入操作将解析后的json格式的数据存入数据库的集合中(其中的原理参考附图2)。上述方案在确定服务器地址时,可以选择使用ip地址或域名,根据实际情况填入相应的字段;通过进入硬件设备的配置界面,找到网络配置选项,以便进行网络参数的设置;网络配置选项通常包括ip地址、子网掩码及网关等参数,根据硬件设备的网络连接方式进行相应的配置;确保硬件设备能够正确连接到网络,并与服务器进行通信;确保硬件设备能够将采集到的数据准确上报到指定的服务器;确保硬件设备的配置信息被正确保存,使其能够正常连接到服务器并将数据上报到指定地址;通过上述步骤,可以更清晰地了解在设置硬件设备的网络参数和数据上报地址时所需的具体操作。
28、本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
29、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。