流量数据的处理方法、装置、电子设备及存储介质与流程

本发明涉及网络通信，特别是涉及一种流量数据的处理方法、一种流量数据的处理装置、一种电子设备以及一种计算机可读存储介质。

背景技术：

1、对于流量分析以及采集，其可以包括基于服务器网卡进行流量采集或是基于snmp协议的流量采集，其中，基于服务器网卡进行流量采集的方式，是通过在服务器内部署agent程序以收集网卡的网络使用情况，并将数据整合后存储至数据库；而基于snmp(simple network management protocol，网络管理协议)的流量采集方案，则是在中心化服务器上基于snmp协议对交互及发送特定的指令，从而获取交换机网口的带宽统计数据，最终实现流量采集这一目的。然而，在上述过程中，密集的采集指令会影响生产环境业务的稳定性，且无法对流量数据进行区分。

技术实现思路

1、本发明实施例是提供一种流量数据的处理方法、装置、电子设备以及计算机可读存储介质，以解决或部分解决流量数据的处理过程中存在影响生产环境业务的稳定性以及无法对流量数据进行区分的问题。

2、本发明实施例公开了一种流量数据的处理方法，应用于流量分析系统，所述流量分析系统至少包括流量采集层、流量处理层以及流量展示层；其中，所述流量采集层至少包括多层级分流结构，所述方法包括：

3、通过所述流量采集层对数据中心与网络服务提供方之间传输的数据包进行采集，获得所述数据包对应的镜像流量数据；

4、通过所述流量采集层中的多层级分流结构对所述镜像流量数据进行多层级分流传输，获得最后一层分流结构输出的所述镜像流量数据对应的分流量总值；

5、通过所述流量处理层将相同类型的流量信息进行聚合，获得同一类型数据包对应的总流量值，并获取针对所述总流量值的业务标签；

6、通过所述流量展示层按照所述业务标签对所述总流量信息进行分类显示。

7、本发明实施例还公开了一种流量数据的处理装置，应用于流量分析系统，所述流量分析系统至少包括流量采集层、流量处理层以及流量展示层；其中，所述流量采集层至少包括多层级分流结构，所述装置包括：

8、镜像复制模块，用于通过所述流量采集层对数据中心与网络服务提供方之间传输的数据包进行采集，获得所述数据包对应的镜像流量数据；

9、分流传输模块，用于通过所述流量采集层中的多层级分流结构对所述镜像流量数据进行多层级分流传输，获得最后一层分流结构输出的所述镜像流量数据对应的分流量总值；

10、打标模块，用于通过所述流量处理层将相同类型的流量信息进行聚合，获得同一类型数据包对应的总流量值，并获取针对所述总流量值的业务标签；

11、显示模块，用于通过所述流量展示层按照所述业务标签对所述总流量信息进行分类显示。

12、本发明实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；

13、所述存储器，用于存放计算机程序；

14、所述处理器，用于执行存储器上所存放的程序时，实现如本发明实施例所述的方法。

15、本发明实施例还公开了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的方法。

16、本发明实施例包括以下优点：

17、在本发明实施例中，可以应用于流量分析系统，其至少可以包括流量采集层、流量处理层以及流量展示层，其中，流量采集层可以包括多层级分流结构，在对数据中心与网络服务提供方之间的数据传输进行流量处理时，可以通过流量采集层对数据中心与网络服务提供方之间传输的数据包进行采集，获得数据包对应的镜像流量数据，通过镜像复制的方式获得数据中心与网络服务提供方之间传输的数据包对应的镜像流量数据，可以保证数据中心与网络服务提供方之间数据交互的稳定性，接着可以通过流量采集层中的多层级分流结构对镜像流量数据进行多层级分流传输，获得最后一层分流结构输出的镜像流量数据对应的分流量总值，然后通过流量处理层将相同类型的流量信息进行聚合，获得同一类型数据包对应的总流量值，并获取针对总流量值的业务标签，再通过流量展示层按照业务标签对总流量信息进行分类显示，从而通过对流量数据进行打标，实现流量数据的区分，同时通过多层级分流的方式对流量数据进行传输，能够有效地降低流量数据处理过程中的性能压力，提高数据处理的速度。

技术特征：

1.一种流量数据的处理方法，其特征在于，应用于流量分析系统，所述流量分析系统至少包括流量采集层、流量处理层以及流量展示层；其中，所述流量采集层至少包括多层级分流结构，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述流量采集层还包括分光器，所述分光器部署于数据中心与网络服务提供方之间，所述通过所述流量采集层对数据中心与网络服务提供方之间传输的数据包进行采集，获得所述数据包对应的镜像流量数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述流量采集层还包括与所述分光器通信连接的分光交换机，所述分管交换机与所述多层级分流结构通信连接，所述通过所述流量采集层对数据中心与网络服务提供方之间传输的数据包进行采集，获得所述数据包对应的镜像流量数据之后，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述多层级分流结构至少包括与所述分光交换机通信连接的若干个采集服务器，所述通过所述分光交换机将所述镜像流量数据传输至所述多层级分流结构，包括：

5.根据权利要求4所述的方法，其特征在于，所述采集服务器上部署有若干个网卡，每一所述网卡通过线缆与所述分光交换机通信连接，所述通过所述分光交换机按照所述第一轮询顺序信息将各个所述第一层级流量数据传输至所述采集服务器，包括：

6.根据权利要求5所述的方法，其特征在于，所述多层级分流结构还包括与所述网卡对应若干个虚拟队列，每一所述虚拟队列绑定有相应的处理核心，所述通过所述流量采集层中的多层级分流结构对所述镜像流量数据进行多层级分流传输，获得最后一层分流结构输出的所述镜像流量数据对应的分流量总值，包括：

7.根据权利要求6所述的方法，其特征在于，所述处理核心至少运行有工作进程以及管理进程，所述通过所述处理核心从所述虚拟队列获取所述第二层级流量数据，并将相同类型的第二层级流量数据进行聚合，获得所述镜像流量数据对应的分流量总值，包括：

8.根据权利要求7所述的方法，其特征在于，所述第二层级流量数据至少包括第二层级数据、所述第二层级数据对应的源ip信息以及vlan标识，所述通过所述管理进程对相同类型的第二层级流量数据进行聚合，获得同一类型数据包对应的分流量总值，包括：

9.根据权利要求8所述的方法，其特征在于，还包括：

10.根据权利要求1-9任一项所述的方法，其特征在于，所述镜像流量数据至少包括镜像数据包、所述镜像数据包对应的源ip信息以及vlan标识，所述通过所述流量处理层将相同类型的流量信息进行聚合，获得同一类型数据包对应的总流量值，包括：

11.根据权利要求1所述的方法，其特征在于，所述获取针对所述总流量值的业务标签，包括：

12.根据权利要求6或7所述的方法，其特征在于，还包括：

13.一种流量数据的处理装置，其特征在于，应用于流量分析系统，所述流量分析系统至少包括流量采集层、流量处理层以及流量展示层；其中，所述流量采集层至少包括多层级分流结构，所述装置包括：

14.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；

15.一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行所述指令时，使得所述处理器执行如权利要求1-12任一项所述的方法。

技术总结
本发明实施例提供了一种流量数据的处理方法、装置、电子设备及存储介质，涉及网络通信技术领域，所述方法包括：通过流量采集层对数据中心与网络服务提供方之间传输的数据包进行采集，获得数据包对应的镜像流量数据；通过流量采集层中的多层级分流结构对镜像流量数据进行多层级分流传输，获得最后一层分流结构输出的镜像流量数据对应的分流量总值；通过流量处理层将相同类型的流量信息进行聚合，获得同一类型数据包对应的总流量值，并获取针对总流量值的业务标签；通过流量展示层按照业务标签对总流量信息进行分类显示，从而实现流量数据的区分，有效地降低流量数据处理过程中的性能压力，提高数据处理的速度。

技术研发人员：苏保林,段乐荣,黄锌
受保护的技术使用者：网易（杭州）网络有限公司
技术研发日：
技术公布日：2024/5/10