支持业务瞬时异常检测的分布式网络数据分析系统及方法与流程

1.本发明属于网络通信技术领域，具体为一种支持业务瞬时异常检测的分布式网络数据联合分析系统及方法。


背景技术：

2.在网络通信技术领域中，业务数据的传输都是基于基础网络设施提供的数据包交换功能实现的。在业务数据的传输过程中，会经过多级多次的数据中继和交换，中间过程经常会出现一些异常，这些异常可能是基础网络设施的物理接口导致的，如网络接口松动接触不良；也可能是链路中继设施传输瓶颈导致的，如汇聚带宽不足导致数据丢失；也可能是业务系统本身出现某些问题导致的，而非基础网络设施造成。
3.当然，基础网络设施提供了一些基础的诊断手段，如一般交换机会提供端口的状态，流量，丢包数等基本的参数，协助用户定位问题；但是有些深层次问题无法通过基础网络设施的这些基础诊断手段定位，因此，需要有第三方的网络诊断设备来判断分析出现异常的根本原因。
4.网络分析仪是最常用到的第三方网络诊断设备，借助网络分析仪，用户可抓取满足特定条件的网络数据，随后进行离线分析。一些常用的条件包括mac地址，ip地址，网络协议等等；然而，目前市场上的网络分析仪仍然无法满足高带宽业务瞬时异常的检测要求，例如在实时视频以太网应用领域，业务带宽可达到g bit/s，网络分析仪的存储容量的限制使得其无法长时间捕获这么大带宽的业务数据，并且整个业务数据路径需要跨越多个基础网络设备（如交换机）。


技术实现要素：

5.本发明目的即针对现有网络分析仪的不足，进一步的改进，提出一种支持业务瞬时异常检测的分布式网络数据联合分析系统及方法，可快速定位业务瞬时异常的原因。
6.为实现上述目的，本发明采用如下技术方案。
7.一种支持业务瞬时异常检测的分布式网络数据联合分析系统，其包括分布式网络数据捕获装置、分布式网络数据联合分析平台和分布式网络数据联合分析客户端；分布式网络数据捕获装置、分布式网络数据联合分析平台、分布式网络数据联合分析客户端与基础网络交换设备通过标准网络链路接口连接；其中：所述分布式网络数据联合分析客户端，提供用户人机交互界面，接收用户在界面中输入的分析参数，并将数据捕获进程状态及联合分析结果展示给用户；所述分布式网络数据联合分析平台，接收分布式网络数据联合分析客户端下发的分析参数，将分析参数转换为包括捕获检测触发条件在内的接口指令发布到各个分布式网络数据捕获装置，同时侦听各个分布式网络数据捕获装置的状态，将各个分布式网络数据捕获装置的捕获数据上传后进行联合分析，联合分析结果通知到分布式网络数据联合分析
客户端；所述分布式网络数据捕获装置有若干个，其分布在网络的不同位置，配置的数目不低于基础网络交换设备的级数，其按照分布式网络数据联合分析平台的配置参数及指令，捕获某级基础网络交换设备的业务数据。
8.本发明中，所述分布式网络数据捕获装置包括网络接口模块，参数配置模块，时间同步模块，数据包过滤模块，捕获检测模块，捕获数据写入模块，数据存储模块，捕获数据读取模块，捕获数据上传模块；其中：网络接口模块，直接与基础网络交换设备相连，基础网络设备通过镜像的方式将承载业务数据的端口复制到本模块，获取业务端口的所有数据包；参数配置模块，获取分布式网络数据联合分析平台下发的参数，参数包括数据包过滤条件，捕获检测触发条件和时间同步信息；时间同步模块，收取时间同步信息，并置位分布式网络数据捕获装置本地时间，使其与分布式网络数据联合分析平台时间保持一致；数据包过滤模块，根据收取的数据包过滤条件，将网络接口模块送入的数据进行过滤，只有满足过滤条件的数据才能通过本模块；捕获检测模块，根据收取的捕获检测触发条件，生成检测触发条件，一旦检测触发条件满足，则经过一定的时间，通知捕获数据写入模块停止写入到数据存储模块；捕获数据写入模块，收到捕获检测模块下发的写入命令，则不断地将数据写入数据存储模块；当收到捕获检测模块下发的停止写入命令，则停止写入操作；数据存储模块，接收捕获数据写入模块的数据写入指令，将数据进行保存；同时接收捕获数据读取模块的读取指令，将相应的数据取出；捕获数据读取模块，收到捕获数据上传模块的回读命令，则将业务数据取出后，发送给捕获数据上传模块；捕获数据上传模块，接收分布式网络数据联合分析平台下发的捕获回读指令，通知捕获数据读取模块进行业务数据读取，然后将收到的业务数据进行数据包组帧后，发回给分布式网络数据联合分析平台。
9.本发明中，分布式网络数据联合分析客户端中设置的分析参数包括：业务数据源端ip地址，mac地址，目的端ip地址，mac地址，业务异常检测周期，业务异常带宽。
10.本发明中，基础网络交换设备为交换机。
11.本发明中，分布式网络数据捕获装置内的网络接口模块包括千兆以太网接口、万兆以太网接口和100g光纤以太网接口。
12.本发明进一步提供一种利用上述的分布式网络数据联合分析系统对业务瞬时异常进行检测的方法，具体流程如下：(1)根据网络交换设备的级数配置相应数量的分布式网络数据捕获装置，设基础网络设备的级数为n，n为正整数，则配置的分布式网络数据捕获装置至少为n；(2) 将分布式网络数据捕获装置的网络接口连接到对应的基础网络设备，并将本级业务数据关联的端口镜像配置到本级分布式网络数据捕获装置的网络接口；(3) 根据业务特性设置捕获触发条件，设定业务数据的最小检测周期t，设定业务的异常数据带宽范围[sa,sb] ；
(4) 分布式网络数据联合分析平台将捕获触发条件下发到各级分布式网络数据捕获装置，并配置触发延时td；(5) 分布式网络数据联合分析平台下发捕获开始指令到各级分布式网络数据捕获装置，启动触发捕获功能；(6) 当任意一台分布式网络数据捕获装置满足触发条件，则经过td的延时后，停止捕获，同时通知分布式网络数据联合分析平台捕获成功；(7) 分布式网络数据联合分析平台收到任意一台分布式网络数据捕获装置捕获成功的信息后，立刻停止其他所有的分布式网络数据捕获装置的捕获工作，同时向分布式网络数据联合分析客户端推送捕获成功信息；(8) 分布式网络数据联合分析客户端获取捕获成功信息后，告知用户；用户若要分析本次捕获，则启动数据分析命令，分布式网络数据联合分析平台将各级分布式网络数据捕获装置捕获的数据上传，并进行分析；分析完成后，将结果推送给用户，由用户根据分析结果，迅速定位异常问题的原因。
[0013]
和现有技术相比，本发明公开的一种支持业务瞬时异常检测的分布式网络数据联合分析系统和方法，具有如下有益效果：一、支持高带宽业务数据瞬时异常的检测：本发明系统检测周期支持动态调整，一般的设备流量检测都需要几分钟，而本发明的检测周期可支持到毫秒级，一旦检测周期内的流量异常，立刻能捕获到；具有更强的检测能力和灵活度；二、支持多级基础网络设备的同步联合检测，可获取同一时刻的不同网络节点数据，便于全局分析，快速定位问题。
附图说明
[0014]
图1为一种支持业务瞬时异常检测的分布式网络数据联合分析系统的结构框图。
[0015]
图2为分布式网络数据捕获装置的结构框图。
具体实施方式
[0016]
下面结合附图和实施例对本发明做进一步详细阐述。
[0017]
实施例1如图1所示，一种支持业务瞬时异常检测的分布式网络数据联合分析系统，其包括分布式网络数据捕获装置，分布式网络数据联合分析平台，分布式网络数据联合分析客户端。其中，分布式网络数据捕获装置，分布式网络数据联合分析平台，分布式网络数据联合分析客户端与基础网络交换设备通过标准网络链路接口连接。
[0018]
分布式网络数据捕获装置按照分布式网络数据联合分析平台的配置参数及指令，捕获某级基础网络交换设备的业务数据；分布式网络数据联合分析平台接收用户通过分布式网络数据联合分析客户端配置的参数，将这些参数转换为接口指令下发给各个分布式网络数据捕获装置；分布式网络数据联合分析客户端主要满足用户的界面交互，接收用户通过界面配置参数。
[0019]
关于分布式网络数据捕获装置，分布式网络数据联合分析平台，分布式网络数据联合分析客户端的结构，工作流程具体介绍如下。
[0020]
为描述方便，本实施例中设定基础网络交换设备为3级，其中第一级为接入交换机，网络接口为千兆以太网口，第二级为汇聚交换机，网络接口为万兆光纤以太网接口，第三级为核心交换机，网络接口为100g光纤以太网接口；检测周期为1毫秒，业务异常带宽为大于等于0，并且小于200mb每秒；一）分布式网络数据联合分析客户端分布式网络数据联合分析客户端，提供用户人机交互界面，接收用户在界面中输入的分析参数，并将数据捕获进程状态及联合分析结果展示给用户。其工作流程如下：1、用户通过网络连接分布式网络数据联合分析平台，并登陆成功；2、搜索网络中的分布式网络数据捕获装置，获取在线分布式网络数据捕获装置；3、创建联合捕获组，将需要用到的分布式网络数据捕获装置添加到联合捕获组内；4、创建联合捕获触发条件，在本实施例中，即是添加需捕获的业务数据信息，如业务数据源端ip地址，mac地址，目的端ip地址，mac地址，业务异常检测周期，业务异常带宽等；5、使能捕获触发条件，发送到分布式网络数据联合分析平台，启动联合捕获组内的分布式网络数据捕获装置工作；6、监听分布式网络数据联合分析平台的消息，一旦收到捕获成功后，则立刻用弹窗或声音等方式通知用户；7、用户收到捕获成功后，通知分布式网络数据联合分析平台开启数据回传并联合分析；8、分布式网络数据联合分析平台数据分析完成后通知客户端，将分析结果展示给用户；二）分布式网络数据联合分析平台分布式网络数据联合分析平台，接收分布式网络数据联合分析客户端下发的分析参数，根据客户端下发的分析参数生成捕获参数命令发布到各个分布式网络数据捕获装置，同时侦听各个分布式网络数据捕获装置的状态，将各个分布式网络数据捕获装置的捕获数据上传后进行联合分析，分析结果通知到分布式网络数据联合分析客户端。其工作流程如下：1、通过网络与分布式网络数据联合分析客户端建立连接，验证用户及密码；2、监听网络内各个分布式网络数据捕获装置的状态，汇报给网络数据联合分析客户端；3、收到分布式网络数据联合分析客户端的联合捕获组参数，将参数解析生成捕获参数命令发布到联合捕获组内的各个分布式网络数据捕获装置；4、收到分布式网络数据联合分析客户端的捕获启动指令，立刻启动联合捕获组内的各个分布式网络数据捕获装置进行触发抓取；5、监听联合捕获组内的各个分布式网络数据捕获装置的捕获状态，一旦有任何一个装置捕获成功，则停止联合捕获组内其他所有的分布式网络数据捕获装置，同时将捕获成功消息发给客户端；6、收到分布式网络数据联合分析客户端的数据回传及分析指令，则轮询收取捕获
组内的各个分布式网络数据捕获装置内捕获的业务数据，同时进行分析；7、分析完成后，将分析结果发送分布式网络数据联合分析客户端，由客户端展示给用户；三）分布式网络数据捕获装置分布式网络数据捕获装置，包括网络接口模块，参数配置模块，时间同步模块，数据包过滤模块，捕获检测模块，捕获数据写入模块，数据存储模块，捕获数据读取模块，捕获数据上传模块；其中：网络接口模块，直接与基础网络设备（如交换机）相连，基础网络设备通过镜像的方式将承载业务数据的端口复制到本模块，从而能获取业务端口的所有数据包；参数配置模块，获取分布式网络数据联合分析平台下发的参数，参数包括数据包过滤条件，捕获检测触发条件，时间同步信息等；时间同步模块，收取时间同步信息，并置位本地时间，使其与分布式网络数据联合分析平台时间保持一致；数据包过滤模块，根据分布式网络数据联合分析平台下发的参数，将网络接口模块送入的数据进行过滤，只有满足条件的数据才能通过本模块；捕获检测模块，根据分布式网络数据联合分析平台下发的参数，生成检测触发条件，一旦检测触发条件满足，则经过一定的时间，通知捕获数据写入模块停止写入到数据存储模块；捕获数据写入模块，收到捕获检测模块下发的写入命令，则不断地将数据写入数据存储模块；当收到捕获检测模块下发的停止写入命令，则停止写入操作；数据存储模块，接收捕获数据写入模块的数据写入指令，将数据进行保存；同时接收捕获数据读取模块的读取指令，将相应的数据取出；捕获数据读取模块，收到捕获数据上传模块的回读命令，则将业务数据取出后，发送给捕获数据上传模块；捕获数据上传模块，接收分布式网络数据联合分析平台下发的捕获回读指令，通知捕获数据读取模块进行业务数据读取，然后将收到的业务数据进行数据包组帧后，发回给分布式网络数据联合分析平台。
[0021]
本实施例中，系统还支持对高带宽业务瞬时异常的检测，其具体检测流程如下：1、根据基础网络交换设备的级数配置相应数量的分布式网络数据捕获装置，设基础网络设备的级数为n（n为正整数），则配置的分布式网络数据捕获装置至少为n，在本实施例中，n = 3；2、将分布式网络数据捕获装置的网络接口连接到对应的基础网络设备，并将本级业务数据关联的端口镜像配置到本级分布式网络数据捕获装置的网络接口；在本实施例中，第一级分布式网络数据捕获装置通过千兆以太网接口连接到第一级接入交换机；第二级分布式网络数据捕获装置通过万兆光纤以太网接口连接到第二级汇聚交换机；第三级分布式网络数据捕获装置通过100g光纤以太网接口连接到第三级核心交换机；3、根据业务特性设置捕获触发条件，设定业务数据的最小检测周期t，设定业务的异常数据带宽范围[sa,sb] ；本实施例中，检测周期为t = 1毫秒，sa=0,sb=200mb；4、分布式网络数据联合分析平台将捕获触发条件下发到各级分布式网络数据捕
获装置，并配置触发延时td；本实施例中，td = 200毫秒；5、分布式网络数据联合分析平台下发捕获开始指令到各级分布式网络数据捕获装置，启动触发捕获功能；6、当任意一台分布式网络数据捕获装置满足触发条件，则经过200毫秒的延时后，停止捕获，同时通知分布式网络数据联合分析平台捕获成功；7、分布式网络数据联合分析平台收到任意一台分布式网络数据捕获装置捕获成功的信息后，立刻停止其他所有的分布式网络数据捕获装置的捕获工作，同时向分布式网络数据联合分析客户端推送捕获成功信息；8、分布式网络数据联合分析客户端获取捕获成功信息后，告知用户；用户若要分析本次捕获，则启动数据分析命令，分布式网络数据联合分析平台将各级分布式网络数据捕获装置捕获的数据上传，并进行分析；分析完成后，将结果推送给用户，由用户根据分析结果，迅速定位异常问题的原因。
[0022]
检测实例：在某网络中心运行上千路流媒体业务，当解码器切换媒体流时，会偶尔出现信号卡顿、画面马赛克的现象，经过几秒钟后能自动恢复，出现的概率大概是万分之一，由于媒体流的信号源、解码器分布在网络中的不同交换机或路由器上，并且异常出现的时间很短，现有的网络分析手段无法定位。
[0023]
而通过采用本发明的方案，可迅速定位问题：将分布式捕获装置布置在不同的信号源端以及解码器端，将异常检测周期调整到100毫秒，然后同时启动所有的分布式捕获装置，并不断切换解码器媒体流复现现象，一旦现象出现，则分布式捕获装置中必然有捕获到异常，同时触发所有分布式捕获装置停止，从而提供分布式网络数据联合分析平台数据分析。最终该实例定位为其中一级交换机在数据切换时，路由表项会偶尔有延时，从而造成该现象；通过升级该级交换机的固件，问题得到解决。
[0024]
以上，实施例中提供的支持业务瞬时异常检测的分布式网络数据联合分析系统，可支持对具有多级基础网络交换设备的复杂分布式系统的链路数据联合分析诊断，检测中间过程可覆盖业务数据的所有中继过程，特别地，本系统支持对高带宽业务数据瞬时异常的检测，检测参数可根据业务特性调整配置，具有更强的检测能力和灵活度。
[0025]
显然，本领域的技术人员刻意对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。