一种基于Kafka高并发数据采集与分发的边缘系统的制作方法

本发明涉及电力系统的信息技术处理领域，具体涉及电工装备行业数据处理，以通过物联网边缘计算技术实现对电工装备行业的数据进行处理。

背景技术：

1、电力系统是国家运行的基础，是现代生活无法缺失的一部分；一旦电力系统由任何问题，都会对整个社会的生产生活造成巨大的影响。一旦电力系统发生任何故障，人类社会将会彻底进入黑暗状态，所以保持电力通常是政府最应该首先解决的问题。近年来，随着我国智能电网高速建设，对整个电力系统的自动化要求也越来越高。

2、为满足对电工装备实时监造和质量监督的需要，需要对物资种类的生产制造和检验试验数据进行实时传输。电工装备业务面向的主体具有专业独特性，物资数据具有品类多样、生产工艺不一、关键数据采集类型和结果复杂的特性，尤其是不同生产工艺的电工装备数据更需要结合其生产过程进行评判和分析，并且随着各工厂侧终端的不断接入，必将不断产生海量、异构、多源的复杂数据，传统的云计算架构难以满足数据处理和前端服务的高效实时需求，海量数据集中接入极易造成网络拥塞。

技术实现思路

1、本申请提供了一种基于kafka高并发数据采集与分发的边缘计算系统，能够通过对电工装备企业生产车间的生产制造和检验试验数据的采集、缓存、存储、汇集等处理，以实现对电工装备企业的数据的准确且实时的处理，以提高数据处理的时效性和准确性。

2、为了达到上述目的，本申请实施例提出了一种基于kafka高并发数据采集与分发的边缘计算系统，包括：业务类型管理模块、kafka模块、边缘计算网关、数据缓存功能；其中，业务类型管理模块，连接eip云平台，以将eip云平台的任务拆解为一种或多种试验数据采集任务，将采集任务消息发送至kafka模块；kafka模块，连接多个终端通信系统，以根据终端通信系统支持的协议生成采集任务服务，并下发给对应的终端通信系统；

3、边缘计算网关，用于对数据进行处理；该处理包括以下的至少一项：识别、清洗、标签、关联；

4、数据缓存功能，连接所述kafka模块；其中，该数据缓存功能采用轻量级数据表sqllite、内存缓存映射表redis，用于对产生的的实时的巨量噪音数据进行缓存，以在进行持久化存储前，采用基于sg-rdb-pg数据库的分布式存储架构搭建的数据仓库对数据进行清洗、降噪，筛选出实时有效的数据进行持久化存储。

5、进一步的，所述边缘计算网关用于对从采集对象采集到的数据进行预处理；

6、其中，所述从采集对象采集到的数据包括以下的至少一个：生产设备数据、试验数据、供应商mes数据、供应商erp数据；

7、其中，所述预处理包括以下的至少以下的至少一项：

8、对脏数据进行数据清洗以保障数据一致性及完整性；

9、对各品类的数据进行标签化处理以关联对应的业务和生产数据，以提供品类生产时序数据库服务、生产事件库服务和生产信息模型服务；以及

10、可靠性管理服务，用于对数据采集的报警管理，以对采集的数据进行报警分析，并对报警信息进行追踪以掌握报警设备信息。

11、进一步的，还包括：业务类型管spring cloud sleuth框架理模块，其中所述业务类型管理模块连接所述eip云平台和kafka模块；其中所述业务类型管理模块用于执行以下操作：

12、认证服务，用于对请求进行认证服务；

13、授权服务，用于对请求进行鉴权服务；

14、品类管理服务，用于管理品类类型和采集任务。

15、进一步的，还包括：服务检测功能；其中所述服务检测功能采用spring cloudsleuth框架，以对数据采集、分发和存储业务服务进行跟踪。

16、进一步的，还包括：处理模块，其中所述处理模块为基于zipkin技术的组件，所述处理模块用于对跟踪数据进行分析存储和查询展现。

17、本申请的上述技术方案的有益效果如下：上述技术方案提出了一种基于kafka高并发数据采集与分发的边缘计算系统，使用kafka实现了数据采集、品类管理等服务之间的解耦。使用采用轻量级数据表sqllite、内存缓存映射表redis对产生的的实时的巨量噪音数据进行缓存，以提高边缘计算网关的采集效率。针对识别、清洗、标签、关联等处理和预分析等处理，采用了基于sg-rdb-pg数据库的分布式存储架构搭建数据仓库，进行数据的存储和清理。为了实现各边缘计算网关数据挖掘等规则的统一管理，实现了策略管理功能，达到各边缘计算网关统一获取数据读取、过滤能规则。

技术特征：

1.一种基于kafka高并发数据采集与分发的边缘系统，其特征在于，包括：业务类型管理模块、kafka模块、边缘计算网关、数据缓存功能；其中，

2.根据权利要求1所述的系统，其特征在于，所述边缘计算网关用于对从采集对象采集到的数据进行预处理；

3.根据权利要求1所述的系统，其特征在于，还包括：业务类型管spring cloud sleuth框架理模块，其中所述业务类型管理模块连接所述eip云平台和kafka模块；其中所述业务类型管理模块用于执行以下操作：

4.根据权利要求1所述的系统，其特征在于，还包括：服务检测功能；其中所述服务检测功能采用spring cloud sleuth框架，以对数据采集、分发和存储业务服务进行跟踪。

5.根据权利要求1所述的系统，其特征在于，还包括：处理模块，其中所述处理模块为基于zipkin技术的组件，所述处理模块用于对跟踪数据进行分析存储和查询展现。

技术总结
本申请实施例提出了一种基于Kafka高并发数据采集与分发的边缘系统，包括：业务类型管理模块、Kafka模块、边缘计算网关、数据缓存功能；业务类型管理模块，连接EIP云平台，以将EIP云平台的任务拆解为一种或多种试验数据采集任务，将采集任务消息发送至Kafka模块；Kafka模块连接多个终端通信系统，以根据终端通信系统支持的协议生成采集任务服务；边缘计算网关，用于对数据进行处理；该处理包括以下的至少一项：识别、清洗、标签、关联；数据缓存功能，连接所述Kafka模块；其中，该数据缓存功能采用轻量级数据表SQLLite、内存缓存映射表Redis，用于对产生的的实时的巨量噪音数据进行缓存。

技术研发人员：刘银芳
受保护的技术使用者：北京许继电气有限公司
技术研发日：
技术公布日：2024/1/13