Isp间互联口超过阈值流量监控系统及方法
【专利摘要】本发明公开了一种ISP间互联口流量监控系统和方法，该系统包括：分流设备，将镜像数据流分成多份发送给数据采集服务器组中相应的数据采集服务器；数据采集服务器组，用于数据采集并将生成的采集数据文件发送至通讯交换机；采集数据存储服务器，对采集数据文件进行汇总和存储，并将合并采集数据文件发送给数据处理服务器；数据处理服务器，对合并采集数据文件进行处理和/或管理并发送给通讯交换机和数据存储服务器；数据存储服务器，存储数据处理服务器处理和/或管理后得到的采集数据；web服务器，向用户展示流量监控信息；通讯交换机，提供各服务器间及和外部网络的通信通道。本发明可以进行长期流量监控，并可实现多种流量管理功能。
【专利说明】ISP间互联口超过阈值流量监控系统及方法
【技术领域】
[0001]本发明涉及网络流量监控及流量管理【技术领域】，更具体地，涉及一种大型ISP间互联口超过阈值流量监控系统及方法。
【背景技术】
[0002]近年来，peer-to-peer (P2P)应用发展非常迅速，以P2P为基础的文件共享、即时通讯和网络视频直播等应用越来越多，其流量占据了超过一半的网络流量，并且目前还在持续的增长。P2P流量对于企业网络以及运营商来说都有着重要的影响，巨大的流量可能会导致网络拥堵概率增加，此外也可能给企业网络带来安全相关的问题，尤其是运营商之间的互联口，因为带宽有限，当P2P流占据大量带宽时，势必造成互联口网络拥堵，用户跨网访问资源会变得异常缓慢。为了管理P2P流量，优化网络性能，首先需要对P2P流量进行长期的监控。
【发明内容】
[0003]为此，本发明提出了一种大型ISP间互联口超过阈值流量监控系统及方法。
[0004]根据本发明的一方面，提出了一种ISP间互联口流量监控系统，该系统包括:分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，web服务器和通讯交换机，其中:
[0005]所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器；
[0006]所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上；
[0007]所述采集数据存储服务器用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器；
[0008]所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，并将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器；
[0009]所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于向用户展示流量监控信息；
[0010]所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道。
[0011]根据本发明的另一方面，提出了一种ISP间互联口流量监控方法，该方法包括以下步骤:
[0012]步骤SI，分流设备将从外部网络所接收到的镜像数据流根据多个数据采集服务器的实际性能分成多份，并分配给相应的数据采集服务器；[0013]步骤S2，所述数据采集服务器对于接收到的镜像数据流按照一定的采集频率进行数据采集，并生成采集数据文件发送给采集数据存储服务器；
[0014]步骤S3，所述采集数据存储服务器将来自不同数据采集服务器的采集数据文件，以采集时间为顺序进行合并产生合并采集数据文件S2file ；
[0015]步骤S4，数据处理服务器对所述合并采集数据文件进行过滤处理，然后将过滤后的数据写入过滤数据文件中；
[0016]步骤S5，所述数据处理服务器对于所述过滤数据文件进行处理，即通过排序和筛选操作，获取每对ip地址的当日流量最大值即流量日峰值，根据ip地址访问方向区分正反向记录，并将所述流量日峰值写入峰值文件中；
[0017]步骤S6，数据处理服务器获取各数据采集服务器数据流量，即所述数据处理服务器根据白名单信息，在所述合并采集数据文件中查找所述白名单中的每条记录在各个时间点的数据详细信息，并将获得的数据写入采集频率点数据文件；
[0018]步骤S7，数据存储服务器将所述峰值文件和采集频率点数据文件中的数据存入其数据库。
[0019]本发明可以统计监控长期(比如十年内)每对ip流量的变化，并可以实现阈值智能
变化、白名单自动管理等多种流量管理功能。
【专利附图】
【附图说明】
[0020]图1为本发明提出的大型ISP间互联口超过阈值流量监控系统的结构示意图；
[0021]图2为本发明提出的大型ISP间互联口超过阈值流量监控方法的流程图。
【具体实施方式】
[0022]为了清楚详细的阐述本发明的实现过程，下面给出了一些本发明的具体实施例。参照附图对本发明的实例进行详细说明，在描述过程中省略了对于本发明来说是不必要的细节和功能以防止对本发明的理解造成混淆。
[0023]图1是本发明提出的大型ISP间互联口超过阈值流量监控系统的结构示意图，如图1所示，所述系统包括:分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，Web服务器和通讯交换机，其中:
[0024]所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器；
[0025]在本发明一实施例中，所述分流设备根据所述镜像数据流的源ip地址和目的ip地址，并按照一预定的分配原则进行数据分配，所述分配原则比如是数据采集服务器能够正常接收分流数据，且能够处理所有接收的数据，并可根据某一数据采集服务器是否会出现丢包来判断该数据采集服务器是否具备上述能力。
[0026]所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上；其中，每个数据采集服务器都具有至少两个网卡，如ethO和ethl，其中一个网卡比如ethl为所述数据采集服务器的分流数据输入端口，用于与所述分流设备连接，以接收单份镜像数据流，并按照一定的采集频率进行数据采集，生成采集数据文件；另一个网卡比如ethO为所述数据采集服务器的通讯端口，用于与所述通讯交换机连接，将生成的采集数据文件发送至所述通讯交换机上；
[0027]其中，所述数据采集具体为采集ip数据报文，并解析其包含的ip地址，端口号，协议类型和/或流量大小等信息，采集得到的数据以ip地址对为关键字，且有方向性，比如ipl到ip2的记录为上行数据，ip2到ipl为下行数据；数据采集频率为产生采集数据文件的时间间隔，可根据实际情况进行配置，比如若设定采集频率为五分钟，则数据采集服务器每五分钟就会产生一个采集数据文件，该文件的文件名以此次采集的开始时间命名。
[0028]所述采集数据存储服务器为采集数据临时存储服务器，其用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器，其中，所述采集数据存储服务器中采集数据的存储时间可根据需要进行配置，通常默认设为一周的时间；
[0029]所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，所述处理和/或管理具体包括数据流量过滤，阈值智能调控，白名单自动管理和/或各数据采集服务器数据和峰值数据获取等，所述数据处理服务器只有一个网卡，所述网卡与所述通讯交换机连接，用于将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器。
[0030]其中，所述数据流量过滤具体为对采集得到的数据进行一次汇聚和过滤处理:首先，根据时间把数据采集服务器组采集得到的数据汇聚到一起，在本发明一实施例中，以ip地址对为关键字，根据方向进行数据汇聚；然后，对于汇聚后的数据进行过滤，在本发明一实施例中，依据两个策略进行数据过滤:白名单记录和任何一个方向的数据流量超过阈值，以过滤掉不在白名单中或流量低的数据，满足以上两个条件中一个的数据以原格式进行转存，且数据方向与白名单中的数据方向保持一致，此处所述数据方向与上文提及的数据方向性的意义相同。其中，所述白名单存储有不需要过滤的ip地址表；所述阈值根据所述数据存储服务器和Web服务器的实际存储空间和存储时间进行设定，或者系统自动设定。
[0031]所述阈值智能调控具体为根据近期数据流量的变化对于所述数据流量过滤所使用的阈值进行智能调节。每增加一条数据记录，需要存储的数据就会增加，在保存长期数据的情况下，每增加一条数据记录所带来的数据存储也是海量的，因此在存储空间有限的情况下，需要设置一个阈值来控制每段时间新增加数据记录的数量。所述阈值的设定支持人工和自动两种，在人工调控模式下，系统会根据人工设定的阈值进行运行，在自动调控模式下，系统会根据实际流量的情况进行自动设定。
[0032]所述白名单自动管理具体为自动添加和/或删除所述白名单中的内容，其中，添加具体为，在数据流量过滤的过程中，当有新的ip地址对的流量超过阈值的时候，把此条数据记录当作新的数据记录加入白名单；删除具体为，在记录相关数据流量最后一次超过阈值的时间到当前的时间之间的差值超过系统设定的存储时间时，自动删除该白名单。
[0033]所述各数据采集服务器数据和峰值数据获取具体为获取通过所述数据流量过滤的、在各个采集时间点的数据以及当天的峰值，其中各数据采集服务器数据的获取具体为，系统根据所述白名单的记录，通过所述数据流量过滤的数据中进行检索，查找与所述记录相匹配的数据的相关信息，并且检索结果与白名单记录的数据方向保持一致；峰值数据的获取具体为，系统根据数据流量过滤后的结果，通过排序和汇聚，查找出各数据采集服务器的当天数据记录中的最大值。
[0034]所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于向用户展示流量监控信息，具体有ip地址，流量方向，流量大小，流量波动图等。所述数据存储服务器和web服务器根据ip地址对进行关联处理，即根据ip地址对对不同时间段，不同方向的数据进行关联处理，并绘制波动图。所述数据存储服务器中数据存储的时间很长，通常默认设为十年的时间，所以需要较大的存储空间。
[0035]所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道，在本发明一实施例中，所述通讯交换机为通讯千兆交换机。
[0036]在本发明一实施例中，所述数据采集服务器、采集数据存储服务器、数据处理服务器、数据存储服务器、web服务器与所述通讯交换机之间的通讯线路为IG通讯线路。
[0037]图2为本发明提出的大型ISP间互联口超过阈值流量监控方法的流程图，所述方法主要包括数据流量采集，采集数据汇聚，数据预处理，流量日峰值获取，采集频率点数据流量获取和数据关联存储这几个部分，如图2所示，所述方法包括以下步骤:
[0038]步骤SI，分流设备将从外部网络所接收到的镜像数据流根据多个数据采集服务器的实际性能分成多份，并分配给相应的数据采集服务器；
[0039]步骤S2，所述数据采集服务器对于接收到的镜像数据流按照一定的采集频率进行数据采集，并生成采集数据文件发送给采集数据存储服务器；
[0040]其中，所述采集数据具体为采集ip数据报文，并解析其包含的ip地址，端口号，协议类型和流量大小等信息；所述采集频率为产生采集数据文件的时间间隔，比如若设定采集频率为五分钟，则数据采集服务器每五分钟就会产生一个采集数据文件，该文件的文件名以此次采集的开始时间命名，同一时间不同数据采集服务器产生的数据文件直接存储在采集数据存储服务器上；
[0041]步骤S3，所述采集数据存储服务器将来自不同数据采集服务器的采集数据文件，以采集时间为顺序进行合并产生合并采集数据文件S2file ；
[0042]步骤S4，数据处理服务器对所述合并采集数据文件S2file进行过滤处理，然后将过滤后的数据写入过滤数据文件S3file中；
[0043]所述过滤处理具体为对数据进行一次汇聚和过滤处理:首先，根据时间把数据采集服务器组采集得到的数据汇聚到一起，在本发明一实施例中，以ip地址对为关键字，根据方向进行数据汇聚；然后，对于汇聚后的数据进行过滤，在本发明一实施例中，依据两个策略进行数据过滤:白名单记录和任何一个方向的数据流量超过阈值，以过滤掉不在白名单中或流量低的数据，满足以上两个条件中一个的数据以原格式进行转存，且数据方向与白名单中的数据方向保持一致，此处所述数据方向与上文提及的数据方向性的意义相同。其中，所述白名单存储有不需要过滤的ip地址表；所述阈值根据所述数据存储服务器和web服务器的实际存储空间和存储时间进行设定，或者系统自动设定；
[0044]步骤S5，所述数据处理服务器对于所述过滤数据文件S3file进行处理，即通过排序和筛选操作，获取每对ip地址的当日流量最大值即流量日峰值，根据ip地址访问方向区分正反向记录，并将所述流量日峰值写入峰值文件S4file中；所述正反向是ip地址对的访问方向，比如ipl访问ip2的记录为正向，则ip2访问ipl为反向；[0045]步骤S6，数据处理服务器获取各数据采集服务器数据流量，即所述数据处理服务器根据白名单信息，在所述合并采集数据文件S2file中查找所述白名单中的每条记录在各个时间点的数据详细信息，并将获得的数据写入采集频率点数据文件S5file ；
[0046]步骤S7，数据存储服务器将所述峰值文件S4file和采集频率点数据文件S5file中的数据存入其数据库，所述数据以ip地址对进行关联，所述关联是指将每对ip地址不同时间的数据关联在一起。
[0047]在所述数据存储服务器中，所述数据将会被长期保存，比如至少十年。
[0048]以上各步骤中，各设备间的数据交互都是通过通讯交换机进行通信的，同时，各设备与外部网络也是通过通讯交换机进行通信的。
[0049]以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种ISP间互联口流量监控系统，其特征在于，该系统包括:分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，Web服务器和通讯交换机，其中: 所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器； 所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上； 所述采集数据存储服务器用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器； 所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，并将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器； 所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于向用户展示流量监控信息； 所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道。
2.根据权利要求1所述的系统，其特征在于，所述分流设备根据所述镜像数据流的源ip地址和目的ip地址，并按照一预定的分配原则进行数据分配。
3.根据权利要求2所述的系统，其特征在于，所述分配原则为数据采集服务器能够正常接收分流数据，且能够处理·所有接收的数据。
4.根据权利要求1所述的系统，其特征在于，每个数据采集服务器都具有至少两个网卡，其中一个网卡为所述数据采集服务器的分流数据输入端口，用于与所述分流设备连接，以接收单份镜像数据流，并按照一定的采集频率进行数据采集，生成采集数据文件；另一个网卡为所述数据采集服务器的通讯端口，用于与所述通讯交换机连接，将生成的采集数据文件发送至所述通讯交换机上。
5.根据权利要求1所述的系统，其特征在于，所述数据采集为采集ip数据报文，并解析其包含的ip地址，端口号，协议类型和/或流量大小，采集得到的数据以ip地址对为关键字，且有方向性。
6.根据权利要求1所述的系统，其特征在于，所述处理和/或管理包括数据流量过滤，阈值智能调控，白名单自动管理和/或各数据采集服务器数据和峰值数据获取。
7.根据权利要求1所述的系统，其特征在于，所述数据存储服务器和web服务器根据ip地址对进行关联处理，即根据ip地址对对不同时间段，不同方向的数据进行关联处理，并绘制波动图。
8.—种ISP间互联口流量监控方法，其特征在于，该方法包括以下步骤: 步骤SI，分流设备将从外部网络所接收到的镜像数据流根据多个数据采集服务器的实际性能分成多份，并分配给相应的数据采集服务器； 步骤S2，所述数据采集服务器对于接收到的镜像数据流按照一定的采集频率进行数据采集，并生成采集数据文件发送给采集数据存储服务器；步骤S3，所述采集数据存储服务器将来自不同数据采集服务器的采集数据文件，以采集时间为顺序进行合并产生合并采集数据文件S2file ； 步骤S4，数据处理服务器对所述合并采集数据文件进行过滤处理，然后将过滤后的数据写入过滤数据文件中； 步骤S5，所述数据处理服务器对于所述过滤数据文件进行处理，即通过排序和筛选操作，获取每对ip地址的当日流量最大值即流量日峰值，根据ip地址访问方向区分正反向记录，并将所述流量日峰值写入峰值文件中； 步骤S6，数据处理服务器获取各数据采集服务器数据流量，即所述数据处理服务器根据白名单信息，在所述合并采集数据文件中查找所述白名单中的每条记录在各个时间点的数据详细信息，并将获得的数据写入采集频率点数据文件； 步骤S7，数据存储服务器将所述峰值文件和采集频率点数据文件中的数据存入其数据库。
【文档编号】H04L12/26GK103595577SQ201310533364
【公开日】2014年2月19日 申请日期:2013年10月31日 优先权日:2013年10月31日
【发明者】黄友俊, 李星, 吴建平, 徐涛, 郝健 申请人:赛尔网络有限公司