一种用于物联网设备数据收集的分析预警方法及系统与流程

1.本发明属于物联网技术领域，具体涉及一种用于物联网设备数据收集的分析预警方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.经过20多年的发展，物联网行业逐渐趋于成熟并且随着与云计算、ai、5g等新技术的融合应用，物联网逐渐向aiot方向过渡：iot和ai相结合，通过物联网产生、收集海量数据，存储于设备终端、边缘端或云端，再通过机器学习对数据进行智能分析，以实现万物智联。
4.目前大部分公司的数据架构是lambda架构，它解决了一个公司大数据批量离线处理和实时数据处理的需求。数据从底层的数据源开始，经过各种各样的格式进入大数据平台，在大数据平台中经过kafka、flume等数据组件进行收集，然后分成两条线进行计算。一条线是进入流式计算平台(例如storm、flink或者spark streaming)，去计算实时的一些指标；另一条线进入批量数据处理离线计算平台(例如mapreduce、hive，spark sql)，去计算t+1的相关业务指标，这些指标需要隔日才能看见。lambda架构经过多年的发展虽然稳定，但是也存在一些致命缺点，并在大数据3.0时代越来越不适应数据分析业务的需求。
5.缺点如下：
6.1、实时与批量计算结果不一致引起的数据口径问题；
7.2、批量计算在计算窗口内无法完成；
8.3、数据源变化都要重新开发、开发周期长，业务反应不够迅速；
9.4、对服务器存储要求高，加大服务器存储压力。


技术实现要素：

10.为了解决上述问题，本发明提出了一种用于物联网设备数据收集的分析预警方法及系统，本发明支持多种类型数据源获取数据和流向，具有极高的安全可靠性和资料恢复能力。
11.根据一些实施例，本发明的第一方案提供了一种用于物联网设备数据收集的分析预警方法，采用如下技术方案：
12.一种用于物联网设备数据收集的分析预警方法，包括：
13.获取物联网设备的实时上报信息，并进行进行统一定义；
14.基于物联网设备的实时上报信息进行分类；
15.针对分类后数据进行数据预处理；
16.对预处理后的数据，在对应的不同场景下进行关联挖掘，确定物联网设备数据的关联信息；
17.根据物联网设备数据之间的关联信息以及设定的设备上报信息触发条件进行实时预警。
18.根据一些实施例，本发明的第二方案提供了一种用于物联网设备数据收集的分析预警系统，采用如下技术方案：
19.一种用于物联网设备数据收集的分析预警系统，包括：
20.数据收集模块，被配置为获取物联网设备的实时上报信息，并进行进行统一定义；
21.数据分类模块，被配置为基于物联网设备的实时上报信息进行分类；
22.数据预处理模块，被配置为针对分类后数据进行数据预处理；
23.数据关联模块，被配置为对预处理后的数据，在对应的不同场景下进行关联挖掘，确定物联网设备数据的关联信息；
24.设备预警模块，被配置为根据物联网设备数据之间的关联信息以及设定的设备上报信息触发条件进行实时预警。
25.根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。
26.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的一种用于物联网设备数据收集的分析预警方法中的步骤。
27.根据一些实施例，本发明的第四方案提供了一种计算机设备。
28.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的一种用于物联网设备数据收集的分析预警方法中的步骤。
29.与现有技术相比，本发明的有益效果为：
30.1.本发明采用微服务架构，拥有开放的能力和灵活的设计，能够集成智慧燃气、智慧水务、智慧厨房、智慧社区等多业务场景，可适应各企业不断变化的业务场景，拥抱行业生态。
31.2.本发明平台支持多设备、多协议、多网络等快速混合适配，通过负载均衡和docker等分布式集群部署技术，消除单点故障，保证服务的高可用，支持亿级设备实时接入，千万级数据高效并发处理，秒级通讯能力，毫秒级响应时间。
32.3.本发明按数据时效性分层处理，获得综合处理效率最大化。
33.4.本发明现有技术无法实现一屏通览全区内的设备状态，相当于是无法同时获取全区内多个设备的运行数据状态，本技术为了解决这种不足，通过数据收集分析，关联挖掘，实现实时多设备的自动告警。
附图说明
34.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
35.图1是本发明的实施例一所述的一种用于物联网设备数据收集的分析预警方法的流程图；
36.图2是本发明的实施例一所述的一种用于物联网设备数据收集的分析预警系统的设备接入流程图。
具体实施方式
37.下面结合附图与实施例对本发明作进一步说明。
38.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
39.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
40.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
41.实施例一
42.如图1-图2所示，本实施例提供了一种用于物联网设备数据收集的分析预警方法，本实施例中，该方法包括以下步骤：
43.获取物联网设备的实时上报信息，并进行进行统一定义；
44.基于物联网设备的实时上报信息进行分类；
45.针对分类后数据进行数据预处理；
46.对预处理后的数据，在对应的不同场景下进行关联挖掘，确定物联网设备数据的关联信息；
47.根据物联网设备数据之间的关联信息以及设定的设备上报信息触发条件进行实时预警。
48.具体地，所述获取物联网设备的实时上报信息，并进行进行统一定义，具体为：
49.将不同物联网设备的实实上报信息的报文进行解析，得到统一定义的统一消息；
50.统一消息主要由deviceid，messageid，headers，timestamp组成；
51.deviceid为设备的唯一标识，messageid为消息的唯一标识，headers为消息头，timestamp为消息的时间戳；所述headers为消息头，用于对自定义消息处理的行为，如是否异步消息，是否分片消息等。
52.其中，设备接入最佳实践；
53.设备接入的核心是协议包，无论是直连设备，或者是云云对接，理论上都可以在自定义协议包里进行处理。
54.物模型定义
55.物联网在行业里的项目交付需要标准物模型，对于设备厂商而言，如果有标准物模型，那么他们就不需要再只选择其中一个厂家的数据模型；对于isv应用厂家而言，开发阶段是无法穷举所有的应用/设备做预集成；对于si厂商而言，子系统太多，对接集成花时间；而对于客户而言就是，交付周期太长，标准物模型可以用来物与物模型、物与应用之间、应用与应用之间来提升效率，我们会兼容各个大厂商共同定义标准物模型，多种设备，多种厂家，统一管理。
56.在接入一个设备时，首先根据设备以及设备接入文档(报文说明)，将设备物模型的属性，功能以及事件设计好。
57.通常情况下：对于设备固有不变的信息，建议使用设备标签进行管理；属性用于定
义一些指标数据，如：电压，温度等。
58.属性都应该是简单的数据类型，如：int，float，string等，避免使用结构体等复杂类型。
59.功能用于定义设备具有的一些可执行动作。例如：消音，关灯，云台控制.根据情况设计好输入参数和输出参数。
60.事件用于定义设备在特定条件时，发生的动作，如：火警，检测到人脸，通常为结构体类型，用于保存比较复杂的数据。
61.具体地，协议包开发：
62.建议使用策略模式来定义功能码，以及不同功能码对应的解析规则。如:使用枚举来定义功能码，避免进行array copy，应该使用偏移量直接处理报文。
63.具体地，存储策略选择
64.平台支持配置数据存储策略，不同的策略使用不同的数据存储方式来保存设备数据，
65.1.默认-行式存储
66.系统默认情况下使用的存储方案，使用elasticsearch存储设备数据。每一个属性值都保存为一条索引记录。典型应用场景：设备每次只会上报一部分属性，以及支持读取部分属性数据的时候.
67.2.默认-列式存储
68.使用elasticsearch存储设备数据、一个属性作为一列，一条属性消息作为一条索引记录进行存储，适合设备每次都上报所有的属性值的场景。
69.使用mqtt服务网关接入设备
70.下面以mqttx为例，介绍使用第三方软件以mqtt协议接入物联网平台。mqttx是一款基于eclipse paho，使用java语言编写的mqtt客户端工具。支持通过topic订阅和发布消息
71.1.根据消息协议定义，创建消息协议；
72.2.根据设备配置信息创建产品并发布；
73.3.对产品设备定义物模型；
74.4.导入设备，导入后可以对设备进行告警设置，可视化等操作；
75.5.创建网关配置，创建mqtt服务网络组件以及mqtt服务组件配置；
76.6.设备连接上平台，并进行一些基本的事件收发、属性读取操作。
77.具体地实施例中，基于物联网设备的实时上报信息进行分类，具体为：
78.根据不同设备的厂商不同设定好分类标识；
79.将设定的分类标识通过消息队列的形式存储到数据库中；
80.根据每一类别的数据大小采用分流分库式处理。
81.针对分类后数据进行数据预处理包括缺失值填补，数据归一化，数据降维以及数据主成分分析。
82.对预处理后的数据，在对应的不同场景下进行关联挖掘，确定物联网设备数据的关联信息，具体为：
83.基于预处理后的数据集通过fp-树频集算法进行训练确定对应场景下的物联网设
备关联信息，具体为：
84.将物联网设备关联信息为事务，将属性特征设定为元素；
85.基于每个物联网设备关联信息，对所述数据集进行遍历，统计每个元素项出现的频率；
86.对所述数据集再次遍历，基于元素以及元素出现次数构建fp树；
87.对于所述fp树中每一个元素项，获取其对应的条件模式基；
88.基于所述fp树，按照从下往上的顺序，根据fp-树频集算法算法，最终得到频繁模式；
89.基于所述频繁项确定每个物联网设备关联信息。
90.统一设备连接管理，多协议适配(tcp,mqtt,udp,coap,http等)，平台会封装多协议网络通信接口，但是具体的数据由消息协议进行解析。
91.协议(protocolsupport)主要由认证器(authenticator)，消息编解码器(devicemessagecodec)，消息发送拦截器(devicemessagesenderinterceptor)以及配置元数据(configmetadata)组成，屏蔽网络编程复杂性，灵活接入不同厂家不同协议的设备。
92.降低设备预警延迟，关于预警，平台支持设置触发条件，定时触发，也可以实时触发。
93.1.实时触发：设备上报数据在告警阈值可能左右抖动时，可能联系触发多次告警，此时可以通过配置防抖规则来进行处理。
94.如：1分钟内多次告警，只处理1次。在设备产品中配置告警时，将对每一个设备上报的消息进行防抖处理，设置触发条件，
95.2.定时触发：
96.通过填写cron表达式的方式定时触发。可以选择基于物模型的触发条件，如事件、属性等。
97.实施例二
98.本实施例提供了一种用于物联网设备数据收集的分析预警系统，包括：
99.数据收集模块，被配置为获取物联网设备的实时上报信息，并进行进行统一定义；
100.数据分类模块，被配置为基于物联网设备的实时上报信息进行分类；
101.数据预处理模块，被配置为针对分类后数据进行数据预处理；
102.数据关联模块，被配置为对预处理后的数据，在对应的不同场景下进行关联挖掘，确定物联网设备数据的关联信息；
103.设备预警模块，被配置为根据物联网设备数据之间的关联信息以及设定的设备上报信息触发条件进行实时预警。
104.上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
105.上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
106.一种用于物联网设备数据收集的分析预警系统的微服务集合由4个微服务层和两个增强的基础系统服务组成,提供从物理域数据采集到信息域数据处理等一系列的服务。
采用多模块，四层架构具体技术方案如下：
107.驱动层：用于提供标准或者私有协议连接物理设备的sdk，负责南向设备的数据采集和指令控制，基于sdk可实现驱动的快速开发
108.数据层：负责设备数据的收集和入库，并提供数据管理接口服务；
109.管理层：用于提供微服务注册中心、设备指令接口、设备注册与关联配对、数据管理中心，是所有微服务交互的核心部分，负责各类配置数据的管理，并对外提供接口服务；
110.应用层：用于提供规则引擎、数据开放、任务调度、报警与消息通知、日志管理等，具备对接第三方平台能力。
111.平台统一设备消息定义：
112.平台使用自定义的协议包将设备上报的报文解析为平台统一的消息,来进行统一管理。
113.平台统一消息基本于物模型中的定义相同，主要由属性(property)，功能(function)，事件(event)组成。
114.消息组成：
115.消息主要由deviceid，messageid，headers，timestamp组成。deviceid为设备的唯一标识，messagei为消息的唯一标识,headers为消息头，通常用于对自定义消息处理的行为,如是否异步消息，是否分片消息等。
116.属性相关消息
117.1.获取设备属性(readpropertymessage)对应设备回复的消息readpropertymessagereply.
118.2.修改设备属性(writepropertymessage)对应设备回复的消息writepropertymessagereply.
119.3.设备上报属性(reportpropertymessage)由设备上报。
120.事件消息
121.事件消息eventmessage由设备端发往平台；
122.设备消息对应事件总线topic；
123.协议包将设备上报后的报文解析为平台统一的设备消息后,会将消息转换为对应的topic并发送到事件总线,可以通过从事件总线订阅消息来处理这些消息，所有设备消息的topic的前缀需要按照指定规则；
124.例如：/device/{productid}/{deviceid}.这样就可以可通过通配符订阅所有设备的指定消息，如：/device/*/*/online，或者订阅所有消息：/device/**
125.所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
126.实施例三
127.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种用于物联网设备数据收集的分析预警方法中的步骤。
128.实施例四
129.本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种用于物联网设备数据收集的分析预警方法中的步骤。
130.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
131.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
132.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
133.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
134.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
135.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。