一种基于电网采集终端的流量分片处理方法与流程

本发明涉及流量分析，具体为一种基于电网采集终端的流量分片处理方法。

背景技术：

1、市场上的流量分析系统，在遇到大的流量是以时间或保存流量大小进行切割，从而提高网络流量的分析处理速度。

2、参照现有公开号为cn103546343b的中国专利，其公开了网络流量分析系统的网络流量展示方法和系统，其中方法包括步骤：获取各网络流量分析系统的分析数据，将同一分析数据在不同网络流量分析系统中的不同标识转换为同一标识，生成各网络流量分析系统的映射文件；获取待转换网络流量分析系统中的设备型号数据；根据所述获取的设备型号数据和预存的型号数据列表判断数据采集方式；根据所述采集方式获取待转换网络流量分析系统中的分析数据，并根据所述设备型号数据、所述采集方式和所述映射文件将所述待转换网络流量分析系统中的分析数据进行协议转换，获得转换分析数据；将所述转换分析数据进行展示。

3、上述的专利通过本发明实现了同时展示不同系统输出的分析数据，但是其依旧存在着一些缺点，如：当需要流量回溯取证时，需要查找大量的文件。同时无法分布式部署儿提高处理能力。流量处理能力的上限却决于单台设备的硬件性能。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、鉴于上述存在的问题，提出了本发明。

3、因此，本发明解决的技术问题是：现有的流量分析方法存在流量处理能力受硬件性能限制影响大，大流量数据处理和查找速度慢，以及如何提高处理能力的优化问题。

4、为解决上述技术问题，本发明提供如下技术方案：一种基于电网采集终端的流量分片处理方法，包括：

5、使用一台流量采集服务器进行统一的流量采集接入；

6、在全量的网络流量镜像到流量采集服务器之后，流量采集服务器根据规则进行地址解析匹配；

7、按照地区将捕获的流量发往不同的处理服务器进行处理和保存。

8、作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述流量采集使用自定义的tcp传输控制协议进行，所述自定义的tcp传输控制协议中存有终端的位置信息字段。

9、作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述tcp传输控制协议通过确认机制保证信息的成功发送。

10、发送方对通过tcp协议传输的数据进行编号，流量采集服务器通过编号进行确认并返回确认接收信息，定义为一次发送；

11、若发送方在600ms内没有收到确认接收信息则重新发送一次信息，定义为二次发送；

12、若发送方在600×2ms内没有收到确认接收信息则再次重新发送一次信息；

13、信息发送次数小于等于5次，每次发送间隔进行倍数递增；

14、当信息发送5次后任未得到确认，则认为传输故障，不再进行信息发送，进行告警显示。

15、作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述地址解析规则包括：地址域、数据格式、字节数三层，其中所述地址域为省地市区县码a1，数据格式为bcd，字节数为3。

16、作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述省地市区县码按国家规定标准执行，当此通信的最终发起端和接收端为终端时，省地市区县码表示终端所属的省份、地市以及区县，所述a1的高字节表示省份、中间字节表示地市码、低字节表示区县码，并按照低字节在前，高字节在后的顺序传输。

17、作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述按照地区将捕获的流量发往不同的处理服务器是由路由程序进行的。

18、作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述路由到不同的处理服务器进行处理包括：

19、由所述处理服务器根据所述tcp协议中的采集地址或主站服务器地址进行进一步分类，所述分类规则包括地址域、数据格式、字节数三层；

20、所述采集地址地址域为终端地址a2，数据格式为bin，字节数为1；

21、所述主站服务器地址域为主站地址a3，所述数据格式为bin，所述字节数为3。

22、作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述终端地址a2选址范围为1-16777216，a2＝000000h为无效地址，a2＝ffffffh时表示系统广播地址，按照低字节在前，高字节在后的顺序传输。

23、作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述主站地址a3的d0-d7组成0-255个主站地址msa，所述a3支持应用系统采用网络通道与终端交换数据时有多个主站进行操作的情况。

24、作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述主站启动的发送帧的msa应为非零值，终端响应帧的msa应与主站发送帧的msa相同，所述终端启动发送帧的msa应为零，主站响应帧的msa也应为零。

25、本发明的有益效果：本发明提供的基于电网采集终端的流量分片处理方法根据电网采集终端返回的流量报文中包含地区信息，将采集的流量按照地区进行分片存储，以提高网络流量处理能力，同时在网络流量大的情境下，可以形成分布式系统，增加网络流量处理服务器，以满足业务的需要，在以大流量的业务下，也可通过扩容处理服务器，提高处理速度，满足业务需求，极大的提高电网采集终端大流量业务场景下的的分析速率。同时按照多维度进行分片保存处理网络流量，便于后续的回溯查找，分布式的架构方式也减少了硬件故障造成的业务影响面。

技术特征：

1.一种基于电网采集终端的流量分片处理方法，其特征在于，包括：

2.如权利要求1所述的基于电网采集终端的流量分片处理方法，其特征在于：所述流量采集使用自定义的tcp传输控制协议进行，所述自定义的tcp传输控制协议中存有终端的位置信息字段。

3.如权利要求2所述的基于电网采集终端的流量分片处理方法，其特征在于：所述tcp传输控制协议通过确认机制保证信息的成功发送。

4.如权利要求1所述的基于电网采集终端的流量分片处理方法，其特征在于：所述地址解析规则包括：地址域、数据格式、字节数三层，其中所述地址域为省地市区县码a1，数据格式为bcd，字节数为3。

5.如权利要求4所述的基于电网采集终端的流量分片处理方法，其特征在于：所述省地市区县码按国家规定标准执行，当此通信的最终发起端和接收端为终端时，省地市区县码表示终端所属的省份、地市以及区县，所述a1的高字节表示省份、中间字节表示地市码、低字节表示区县码，并按照低字节在前，高字节在后的顺序传输。

6.如权利要求1所述的基于电网采集终端的流量分片处理方法，其特征在于：所述按照地区将捕获的流量发往不同的处理服务器是由路由程序进行的。

7.如权利要求6所述的基于电网采集终端的流量分片处理方法，其特征在于：所述路由到不同的处理服务器进行处理包括：

8.如权利要求7所述的基于电网采集终端的流量分片处理方法，其特征在于：所述终端地址a2选址范围为1-16777216，a2＝000000h为无效地址，a2＝ffffffh时表示系统广播地址，按照低字节在前，高字节在后的顺序传输。

9.如权利要求7所述的基于电网采集终端的流量分片处理方法，其特征在于：所述主站地址a3的d0-d7组成0-255个主站地址msa，所述a3支持应用系统采用网络通道与终端交换数据时有多个主站进行操作的情况。

10.如权利要求9所述的基于电网采集终端的流量分片处理方法，其特征在于：所述主站启动的发送帧的msa应为非零值，终端响应帧的msa应与主站发送帧的msa相同，所述终端启动发送帧的msa应为零，主站响应帧的msa也应为零。

技术总结
本发明公开了一种基于电网采集终端的流量分片处理方法包括：使用一台流量采集服务器进行统一的流量采集接入；在全量的网络流量镜像到流量采集服务器之后，流量采集服务器根据规则进行地址解析匹配；按照地区将捕获的流量发往不同的处理服务器进行处理和保存。本发明根据电网采集终端返回的流量报文中包含地区信息，将采集的流量按照地区进行分片存储，以提高网络流量处理能力，同时在网络流量大的情境下，可以形成分布式系统，增加网络流量处理服务器，以满足业务的需要，在以大流量的业务下，也可通过扩容处理服务器，提高处理速度，满足业务需求。

技术研发人员：艾渊,代盛国,赵永辉,刘兴龙,张益鸣,杨昊,杨晓华,孙立元,任建宇,茶建华,杨子阳,杨茗,李家浩
受保护的技术使用者：云南电网有限责任公司
技术研发日：
技术公布日：2024/1/11