流数据的处理方法、系统、节点、电子设备及存储介质与流程

本发明涉及数据处理领域，尤其涉及一种流数据的处理方法、系统、节点、电子设备及存储介质。

背景技术：

1、常见的流计算框架，如：spark、flink、jstorm等都为重量级的流计算框架，上述流计算框架提供了较完善的分流和限流等策略，提供了集群管理和可观察能力，比较适用于互联网等数据量较大、且流处理能力需要抽象出基础能力的场景，但在5g网络管控场景中，5g网络管控场景系统部署的计算资源受限，不适合采用重量级的流计算框架，因此，例如5g网络管控场景边缘云、tob、网管等运维系统，需要轻量化实时流的计算技术来满足实时处理能力。

技术实现思路

1、本发明的目的在于解决上述问题，提供一种流数据的处理方法、系统、节点、电子设备及存储介质，减少了实时流数据处理消耗的系统资源，实现了轻量化处理实时流数据的目的。

2、为解决上述问题，本申请的实施例提供了一种流数据的处理方法，应用于计算节点集群中的计算节点，方法包括：在计算节点启动后，向分布式协调服务集群发送用于竞选主节点的申请；在被选为主节点的情况下，并读取批量的实时的监控任务信息后，生成各监控任务分别对应的计算规则，并向分布式协调服务集群发送生成的各监控任务分别对应的计算规则，供计算节点集群中的其他计算节点基于从分布式协调服务集群获取的待处理的监控任务的计算规则进行监控任务的处理；获取计算节点待处理的监控任务的实时数据，并根据待处理的监控任务对应的计算规则对实时数据进行处理。

3、为解决上述问题，本申请的实施例提供了一种计算节点，包括：竞选模块，用于在计算节点启动后，向分布式协调服务集群发送用于竞选主节点的申请；生成模块，用于在被选为主节点的情况下，并读取批量的实时的监控任务信息后，生成各监控任务分别对应的计算规则，并向分布式协调服务集群发送生成的各监控任务分别对应的计算规则，供计算节点集群中的其他计算节点基于从分布式协调服务集群获取的待处理的监控任务的计算规则进行监控任务的处理；处理模块，用于获取计算节点待处理的监控任务的实时数据，并根据待处理的监控任务对应的计算规则对实时数据进行处理。

4、为解决上述问题，本申请的实施例还提供了一种流数据的处理系统，包括：外部系统、分布式协调服务集群、消息中间件集群和包括至少一个上述计算节点的计算节点集群；其中，外部系统，用于将建立的监控任务发送给计算节点集群中的计算节点，并监听监控任务的处理结果；分布式协调服务集群，用于处理计算节点竞选主节点的申请、存储计算规则和将计算规则通知给计算节点集群中的计算节点；消息中间件集群，用于存储监控任务的实时数据和监控任务的处理结果。

5、为解决上述问题，本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述流数据的处理方法。

6、为解决上述问题，本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述流数据的处理方法。

7、在本申请实施例中，被分布式协调服务集群选为主节点的计算节点生成各监控任务所对应的计算规则，并通过分布式协调服务集群同步到其他计算节点，供计算节点根据待处理的监控任务的计算规则处理获取的实时数据，最后各计算节点通过本节点待处理的监控任务的计算规则和实时数据获得监控任务的最终结果，大幅度的减少了系统处理监控任务所需消耗的资源，达到了轻量化处理实时流数据的方法。

技术特征：

1.一种流数据的处理方法，其特征在于，应用于计算节点集群中的计算节点，包括：

2.根据权利要求1所述的流数据的处理方法，其特征在于，所述计算规则包括：用于指示对应的监控任务的实时数据的存储位置的指示信息；

3.根据权利要求2所述的流数据的处理方法，其特征在于，所述获取本计算节点待处理的监控任务的实时数据，还包括：

4.根据权利要求3所述的流数据的处理方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的流数据的处理方法，其特征在于，所述计算规则包括：用于表示对应的监控任务的算法逻辑的算子信息和用于表示对应的监控任务的数据流向的路由表信息；所述根据所述待处理的监控任务对应的计算规则对所述实时数据进行处理，包括：

6.根据权利要求1-5中任一项所述的流数据的处理方法，其特征在于，所述方法还包括：

7.根据权利要求1-5中任一项所述的流数据的处理方法，其特征在于，所述方法还包括：在根据所述待处理的监控任务对应的计算规则对所述实时数据进行处理后，将所述处理结果发送至所述消息中间件集群，供外部系统通过所述消息中间件集群获取所述处理结果。

8.一种计算节点，包括：

9.一种流数据的处理系统，其特征在于，包括：外部系统、分布式协调服务集群、消息中间件集群和包括至少一个如权利要求8所述的计算节点的计算节点集群；

10.一种电子设备，其特征在于，包括：

11.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的流数据的处理方法。

技术总结
本申请实施例涉及数据处理领域，公开了一种流数据的处理方法、系统、节点、电子设备及存储介质，方法包括：在计算节点启动后，向分布式协调服务集群发送用于竞选主节点的申请；在被选为主节点的情况下，并读取批量的实时的监控任务信息后，生成各监控任务分别对应的计算规则，并向分布式协调服务集群发送生成的各监控任务分别对应的计算规则，供计算节点集群中的其他计算节点基于从分布式协调服务集群获取的待处理的监控任务的计算规则进行监控任务的处理；获取计算节点待处理的监控任务的实时数据，并根据待处理的监控任务对应的计算规则对实时数据进行处理。减少了实时流数据处理消耗的系统资源，实现了轻量化处理实时流数据的目的。

技术研发人员：陈小云,刘学生,李小进,龚辉
受保护的技术使用者：中兴通讯股份有限公司
技术研发日：
技术公布日：2024/1/13