本发明涉及通信网络,尤其涉及一种用于物联网数据中台的报文处理与解析方法。
背景技术:
1、随着网络技术发展,数据流量快速增长,物联网技术在城市管理和服务中发挥着越来越重要的作用。然而,物联网设备数量的激增以及数据类型的多样化带来了巨大的数据处理挑战。现有技术在处理大规模物联网数据时,常面临处理速度慢、数据准确性不高的问题。此外,物联网设备接入不统一,以及协议多样性也增加了系统集成的复杂度。传统的基于cpu的tcp/ip协议栈的网络报文方法不仅耗费大量的cpu资源,并且影响cpu性能,由于报文涉及的网络协议层类型有很多,对于大流量的报文,当前智能网卡的报文解析性能上存在速度较慢,配置灵活性不高,处理模块的硬件结构受到资源限制的问题,从而影响报文解析的性能。因此,亟需一种能够有效处理物联网数据并支持多种通讯协议的报文处理与解析方法。
技术实现思路
1、本发明的目的在于克服上述不足,提供一种用于物联网数据中台的报文处理与解析方法,提高处理多种数据格式的能力,同时支持多种通信协议,以提高数据处理的效率和准确性。
2、本发明的目的是这样实现的:
3、一种用于物联网数据中台的报文处理与解析方法,包括以下内容:
4、初始化各通讯协议监听器,用于接收来自各类物联网设备的数据报文;
5、通过协议框架解析器识别接收到的报文中的命令字;
6、根据命令字,结合数据库中存储的解析规则对报文内容进行解析,以提取详细信息,如设备状态、传感器读数信息;
7、多协议监听器包括但不限于nettyserver、mqtt、coap、http。
8、优选的,所述解析规则由数据管理员通过数据中台界面进行配置,支持动态添加、修改或删除解析规则。
9、优选的,数据管理员可选择或定义新的解析规则,包括规则适用的数据格式、解析逻辑和目标数据结构,测试并验证新规则的解析效果,确保其能准确转换预期的数据格式。
10、优选的,所述协议框架解析器可识别并解析包括但不限于tcp/ip、mqtt、coap协议的报文。
11、优选的,所述解析器包括parsehandler接收原始数据,并将之转换为json格式。
12、优选的,所述解析器包括mappinghandler 对json格式的数据进行字段映射,转换非标准参数。
13、优选的,所述解析器包括computehandler 对json数据中的特定属性进行计算,并将结果回写。
14、优选的,所述解析器包括composehandler 按照定义的模板组合json数据形成新的数据结构。
15、一种物联网数据中台系统,采用上述的一种用于物联网数据中台的报文处理与解析方法,所述系统的组件配置有用户界面层,以供数据管理员配置和管理解析规则及处理流程。
16、一种计算机可读存储介质,所述可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的报文处理与解析方法的步骤。
17、与现有技术相比,本发明的有益效果是:
18、本发明提供了一种用于物联网数据中台的报文处理与解析方法,采用多阶段报文解析流程,结合灵活配置的解析规则,以适应hex、json、xml、字符串等多样的输入格式,输出统一的json对象,在报文接收阶段,利用多协议接收机制,包括nettyserver、mqtt、coap、http等,实现对来自不同物联网设备的报文的接收。随后,在报文解析阶段,通过预先配置的解析规则,执行协议框架解析以提取命令字,并根据命令字进行内容解析。
19、本发明尤其强调解析规则的灵活性和动态配置能力,使得中台能够快速适应不同项目的需求,解析规则存储于数据库,可根据实际应用场景进行调整和优化,从而提升系统的适应性和灵活性。
20、本发明为物联网技术领域中数据中台的构建提供了一个全面的解决方案,特别适用于智慧城市、工业自动化、环境监控等物联网应用场景。本发明不仅提高了数据处理的效率和准确性,而且通过标准化输出简化了与下游系统的集成,促进了物联网设备和平台之间的无缝通信,具有显著的经济和社会效益。
1.一种用于物联网数据中台的报文处理与解析方法,其特征在于,包括以下内容:
2.根据权利要求1所述的一种用于物联网数据中台的报文处理与解析方法,其特征在于:所述解析规则由数据管理员通过数据中台界面进行配置,支持动态添加、修改或删除解析规则。
3.根据权利要求2所述的一种用于物联网数据中台的报文处理与解析方法,其特征在于:数据管理员可选择或定义新的解析规则,包括规则适用的数据格式、解析逻辑和目标数据结构,测试并验证新规则的解析效果,确保其能准确转换预期的数据格式。
4.根据权利要求1所述的一种用于物联网数据中台的报文处理与解析方法,其特征在于:所述协议框架解析器可识别并解析包括但不限于tcp/ip、mqtt、coap协议的报文。
5.根据权利要求1所述的一种用于物联网数据中台的报文处理与解析方法,其特征在于:所述解析器包括parsehandler接收原始数据,并将之转换为json格式。
6.根据权利要求1所述的一种用于物联网数据中台的报文处理与解析方法,其特征在于:所述解析器包括mappinghandler 对json格式的数据进行字段映射,转换非标准参数。
7.根据权利要求1所述的一种用于物联网数据中台的报文处理与解析方法,其特征在于:所述解析器包括computehandler 对json数据中的特定属性进行计算,并将结果回写。
8.根据权利要求1所述的一种用于物联网数据中台的报文处理与解析方法,其特征在于:所述解析器包括composehandler 按照定义的模板组合json数据形成新的数据结构。
9.一种物联网数据中台系统,采用权利要求1所述的一种用于物联网数据中台的报文处理与解析方法,其特征在于:所述系统的组件配置有用户界面层,以供数据管理员配置和管理解析规则及处理流程。
10.一种计算机可读存储介质,其特征在于:所述可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的报文处理与解析方法的步骤。