一种业务数据分发方法、系统及物联管理平台与流程

1.本发明涉及一种业务数据分发方法、系统及物联管理平台，属于数据处理技术领域。


背景技术：

2.电力物联管理平台是电力物联网中必不可缺的一部分，起着承上启下的作用，主要用于实现各专业、各类型终端设备的统一接入、管理和应用，并向企业中台、业务系统以开放接口方式提供标准化的数据和平台能力，主要包括连接管理、设备管理、消息处理、北向接口服务以及平台管理等功能。
3.针对当前电力物联管理平台接入的终端设备越来越多，上报的数据越来越多，电力物联管理平台的数据缓存和分发能力面临巨大挑战。业务系统对终端设备数据的实时性要求越来越高，提升电力物联管理平台的消息处理能力是当前面临的最重要问题。


技术实现要素：

4.本发明的目的在于克服现有技术中的不足，提供一种业务数据分发方法、系统及物联管理平台，能够保证业务数据分发的高校性和低延迟。
5.为达到上述目的，本发明是采用下述技术方案实现的：
6.第一方面，本发明提供了一种业务数据分发方法，所述方法包括：
7.通过云边交互topic接收各边缘设备上报的终端设备数据；其中，所述终端设备数据包括管理数据和业务数据；
8.将终端设备数据按照划分好的专业写入消息队列进行缓存；
9.将写入消息队列中的终端设备数据按照预设的消息topic分片数和消息topic分区数的笛卡尔积匹配消费者进行消息消费，并分发至各业务系统。
10.结合第一方面，进一步的，所述专业按照物联管理平台和边缘设备云边交互中的唯一设备标识进行划分。
11.结合第一方面，进一步的，所述物联管理平台在接收边缘设备上报的终端设备数据之前，基于mqtt协议与边缘设备建立长连接。
12.结合第一方面，进一步的，将终端设备数据写入消息队列进行缓存之前，对终端设备数据进行预处理，所述预处理包括：添加物联管理平台的消息头部信息。
13.结合第一方面，进一步的，所述管理数据包括命令下发和应答、请求和响应，用于实现物联管理平台和边缘设备的实时命令交互或业务处理；所述业务数据包括终端设备的事件数据和状态数据。
14.第二方面，本发明提供一种物联管理平台，包括：
15.连接单元：用于通过云边交互topic接收边缘设备上报的终端设备数据，并将接收到的终端设备数据按照划分好的专业topic写入消息队列；其中，所述终端设备数据包括管理数据和业务数据；
16.消息队列：用于写入并缓存所述终端设备数据；
17.数据分发单元：用于将写入消息队列中的消息按照预设的消息topic分片数和消息topic分区数的笛卡尔积匹配消费者进行消息消费，并分发至各业务系统。
18.结合第二方面，进一步的，所述连接单元还用于在接收边缘设备上报的终端设备数据之前，基于mqtt协议与边缘设备建立长连接。
19.第三方面，本发明提供一种业务数据分发系统，包括如第二方面任一项所述的物联管理平台、多个边缘设备和业务系统；
20.所述边缘设备用于通过所述连接单元上报终端设备数据；
21.所述业务系统用于接收所述数据分发单元分发的消息，并根据消息执行相关处理任务。
22.与现有技术相比，本发明所达到的有益效果：
23.将写入消息队列中的终端设备数据按照预设的消息topic分片数和消息topic分区数的笛卡尔积匹配消费者进行消息消费，能够实现终端设备数据的多消费者并行消费，保证业务数据由物联管理平台向业务系统分发的高效性和低延性。
附图说明
24.图1是本发明实施例三提供的一种业务数据分发系统的结构原理框图。
具体实施方式
25.本发明基于电力物联网云边交互规范topic，以消息队列组件kafka为例，提供一种业务数据分发方法、能够实现该方法的物联管理平台、以及采用该物联管理平台的分发系统，能够提升物联管理平台的数据分发性能，保证业务数据由物联管理平台向业务系统分发的高效性和低延性。
26.下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本技术实施例以及实施例中的具体特征是对本技术技术方案的详细的说明，而不是对本技术技术方案的限定，在不冲突的情况下，本技术实施例以及实施例中的技术特征可以相互组合。
27.实施例一：
28.本发明实施例提供一种物联管理平台，包括顺次连接的连接单元、消息队列和数据分发单元。
29.所述连接单元与外部的边缘设备一一对应设置，连接单元可以通过边缘设备连接终端设备，用于通过边缘设备采集终端设备上传的终端设备数据。。
30.终端设备数据主要分为管理数据和业务数据。管理数据包括命令下发和应答、请求和响应等，这类数据主要用来实现物联管理平台和边缘设备的实时命令交互或者业务处理，数据量级较小。业务数据主要分为终端设备的事件数据和状态数据，这类属于用于主动上报终端设备的周期采样数据，数据量大而频繁，是业务系统实时、持续关注的数据，也是物联管理平台侧需要重点保证的消息处理流程。
31.所述消息队列用于写入终端设备数据，并对终端设备数据进行缓存；在将终端设备数据存入消息队列之前还需要对终端设备数据进行预处理，包括添加物联管理平台的消息头部。需要说明的是，在将终端设备数据缓存至消息队列之前，根据所述物联管理平台和
边缘设备云边交互中的唯一设备标识(edgeid)进行专业划分；
32.所述数据分发单元用于将写入消息队列中的消息按照预设的消息topic分片数和消息topic分区数的笛卡尔积匹配消费者进行消息消费，并分发至各业务系统。
33.电力物联网云边交互规定了边缘设备与物联管理平台之间以mqtt方式进行交互的协议规范，规范中规定了交互使用的通用topic格式和报文格式，在实际的应用过程中，物联管理平台需要根据电力行业各专业、项目、地域等维度进行设备接入和数据分发。
34.实施例二：
35.本发明实施例提供一种业务数据分发方法，所述方法可以采用实施例一所述的物联管理平台实现，具体包括如下步骤：
36.步骤一：通过云边交互topic接收各边缘设备上报的终端设备数据；其中，所述终端设备数据包括管理数据和业务数据；
37.管理数据包括命令下发和应答、请求和响应等，这类数据主要用来实现物联管理平台和边缘设备的实时命令交互或者业务处理，数据量级较小。业务数据主要分为终端设备的事件数据和状态数据，这类属于用于主动上报终端设备的周期采样数据，数据量大而频繁，是业务系统实时、持续关注的数据，也是物联管理平台侧需要重点保证的消息处理流程。
38.步骤二：将终端设备数据按照划分好的专业写入消息队列进行缓存；
39.在将终端设备数据存入消息队列之前还需要对终端设备数据进行预处理，包括添加物联管理平台的消息头部。
40.需要说明的是，在对终端设备数据进行缓存之前，需要根据所述物联管理平台和边缘设备云边交互中的唯一设备标识进行专业划分。以电力领域专业为例：输电10、变电11，配电12，用电13，其中“输电”、“变电”、“配电”和“用电”均表示专业类型，“10”、“11”、“12”、“13”则为对应专业的设备号段，设备号段可以根据需要进行自定义。
41.步骤三：将写入消息队列中的终端设备数据按照预设的消息topic分片数和消息topic分区数的笛卡尔积匹配消费者进行消息消费，并分发至各业务系统。
42.假设：设置消息topic分片数segment＝2，消息topic分区数partition＝3，则云边交互topic和物联管理平台消息队列topic对应如表1所示：
43.表1：
[0044][0045]
按照表1设置的分片数和分区数，可以将物联管理平台的消息处理服务扩展为2*3＝6个消费者对消息队列的消息进行并发处理，从而提升消息处理性能。以表1中输电和变电专业为例，可以建立如表2所示的物联管理平台topic：
[0046]
表2：
[0047][0048]
实施例三：
[0049]
本发明实施例还提供了一种业务数据分发系统，如图1所示，包括物联管理平台、多个边缘设备和业务系统。其中，物联管理平台可以采用如实施例一所述的物联管理平台，具体包括：顺次连接的连接单元、消息队列和数据分发单元。
[0050]
边缘设备主要指安装在边缘网络上的交换机、路由器、路由交换机、iad以及各种man/wan设备，用于实现数据传送。边缘设备可以设置有多个，相应的连接单元与边缘设备按照相同数量配置，边缘设备可以通过所述连接单元向物联管理平台上报终端设备数据。
[0051]
所述业务系统用于接收所述数据分发单元分发的消息，并根据消息执行相关处理任务。
[0052]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。