一种异常流量的监视方法及系统与流程

本发明涉及网络安全监控技术领域，尤指一种异常流量的监视方法及系统。

背景技术：

对于运营商集团的维护人员来说，骨干网接入的重要接入平台电路、互联网专线电路、互联互通专线电路、国际出国电路的稳定性非常重要。对于出现的异常流量情况，现有的异常流量监测方式通常是在每个出口路由器上配置镜像，通过分析路由器的全部镜像对各设备的流量进行监测，这种方式无法全面准确的监视分析各种电路、专线的异常流量情况，并且无法对异常情况进行告警追溯。

因此，亟需一种可以全面准确的监视分析电路异常流量情况且可以告警追溯的技术方案。

技术实现要素：

为解决上述问题，本发明提出了一种异常流量的监视方法及系统，可以监控网络电路的流量突增、突降等情况，通知相关运维人员或转发至综合告警平台，并对于流量异常的电路进行溯源，判断引起异常的原因，并进行告警追溯。

在本发明一实施例中，提出了一种异常流量的监视方法，该方法包括：

获取全网电路信息，将所述全网电路划分为多个电路集合，其中，每个电路集合包含一定数量的电路；

间隔一设定时间设定一流量数据点，采集每条所述电路上的所述流量数据点的流量数据，生成流量基线；

选取一流量采集时间点，根据上一次流量采集对应的基线断点及所述流量采集时间点，确定基线范围；

在所述每条电路对应的所述流量数据点的流量数据中，获取所述基线范围内的流量数据点对应的之前一定天数同一时刻的流量数据；

将所述基线范围内的流量数据点的流量数据与之前一定天数同一时刻的流量数据进行平均计算，得到基线值，并将所述基线值用于下一天同一时刻的流量数据点的告警分析；

根据告警分析的告警断点及所述流量采集时间点，选取告警分析处理的流量数据点；

根据所述告警分析处理的流量数据点对应的基线值以及流量数据，得到流量数据点的偏差数据；

根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源。

在本发明另一实施例中，还提出了一种异常流量的监视系统，该系统包括：

电路信息获取模块，用于获取全网电路的信息，将所述全网电路中的电路划分为多个电路集合；

流量基线生成模块，用于间隔一设定时间设定一流量数据点，采集所述电路集合中每条电路对应的所述流量数据点的流量数据，生成流量基线；

基线范围确定模块，用于选取一流量采集时间点，根据上一次流量采集对应的基线断点及所述流量采集时间点，确定基线范围；

流量数据获取模块，用于在所述每条电路对应的所述流量数据点的流量数据中，获取所述基线范围内的流量数据点对应的之前一定天数同一时刻的流量数据；

基线值计算模块，用于将所述基线范围内的流量数据点的流量数据与之前一定天数同一时刻的流量数据进行平均计算，得到基线值，并将所述基线值用于下一天同一时刻的流量数据点的告警分析；

流量数据点选取模块，用于根据告警分析的告警断点及所述流量采集时间，选取告警分析处理的流量数据点；

偏差数据计算模块，用于根据所述告警分析处理的流量数据点对应的基线值以及流量数据，得到流量数据点的偏差数据；

告警分析模块，用于根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源。

在本发明另一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现异常流量的监视方法。

在本发明另一实施例中，还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现异常流量的监视方法。

本发明提出的异常流量的监视方法及系统可以监控网络电路的流量异常情况，为运维人员提供重要电路的异常流量监控功能，并通过关联相关告警，对异常流量的电路进行故障原因的溯源，以使运维人员及时处理，保证网络电路的稳定性。

附图说明

图1是本发明一实施例的异常流量的监视方法流程示意图。

图2是本发明一实施例的异常流量的监视系统的架构示意图。

图3是本发明一实施例的计算机设备结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种异常流量的监视方法及系统。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

图1是本发明一实施例的异常流量的监视方法流程示意图。如图1所示，该方法包括：

步骤s101，获取全网电路信息，将所述全网电路划分为多个电路集合，其中，每个电路集合包含一定数量的电路；

步骤s102，间隔一设定时间设定一流量数据点，采集每条所述电路上的所述流量数据点的流量数据，生成流量基线；其中，流量数据包含了流入流量数据及流出流量数据；

步骤s103，选取一流量采集时间点，根据上一次流量采集对应的基线断点及所述流量采集时间点，确定基线范围；

步骤s104，在所述每条电路对应的所述流量数据点的流量数据中，获取所述基线范围内的流量数据点对应的之前一定天数同一时刻的流量数据；

步骤s105，将所述基线范围内的流量数据点的流量数据与之前一定天数同一时刻的流量数据进行平均计算，得到基线值，并将所述基线值用于下一天同一时刻的流量数据点的告警分析；

步骤s106，根据告警分析的告警断点及所述流量采集时间点，选取告警分析处理的流量数据点；

步骤s107，根据所述告警分析处理的流量数据点对应的基线值以及流量数据，得到流量数据点的偏差数据；

步骤s108，根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源。

为了对上述异常流量的监视方法进行更为清楚的解释，下面结合具体的实施例来进行说明。

在一实施例中，结合步骤s101划分电路集合具体过程为：

根据全网电路的信息，按照电路属性、电路标志或电路名称的正则表达式，将所述全网电路中的电路划分为多个电路集合；

其中，每个电路集合都包含一定数量的电路。

在一实施例中，结合步骤s102生成流量基线的具体过程为：

间隔5分钟设定一流量数据点，利用基线处理程序，采集每个流量数据点的前5分钟内的电路平均流量，得到对应的流量数据点的流量数据，生成流量基线。

基线处理程序的功能就是计算流量基线，流量基线是按照时刻计算的，也就是在每天的00:00、00:05、00:10、…、23:55设置流量数据点，这样，每条电路流量都会生成对应的流量基线。

在得到流量基线后，则需要选取一流量采集时间点，确定本次异常流量监视的基线范围，结合步骤s103确定基线范围的具体过程为：如果上一次流量采集对应的基线断点为空，选取从所述流量采集时间点开始至前一天同一时刻的所有流量数据，确定基线范围；

在这种情况下，由于没有基线断点，则表示还未进行过基线计算，取前一天的数据作为基线范围进行后续的基线计算。

如果上一次流量采集对应的基线断点不为空，且t1-t2≤0，则基线范围中没有需要处理的流量数据；其中，t1为流量数据采集时间点，t2为基线断点；

在这种情况下，说明从上次处理到本次，没有新采集的流量数据，不需要进行基线计算。

如果上一次流量采集对应的基线断点不为空，且t1-t2≥24h，选取从所述流量采集时间点开始至前一天同一时刻的所有流量数据，确定基线范围；

在这种情况下，说明基线处理程序长时间未处理，数据量过大，参考基线断点为空的处理方式。

如果上一次流量采集对应的基线断点不为空，且0<t1-t2<24h，选取从所述流量采集时间点开始至基线断点的所有流量数据，确定基线范围；

在这种情况下，从上一次基线处理的数据(断点)开始，处理到目前为止的所有数据。

确定要处理的基线范围后，进一步结合步骤s104对基线范围内的流量数据点进行处理，具体过程为：

当所述基线范围内的流量数据点为工作日时，获取前9个工作日同一时刻的流量数据；

当所述基线范围内的流量数据点为周末时，获取之前的3个周末自然日同一时刻的流量数据。

进一步，根据步骤s104的流量数据，结合步骤s105进行基线值计算，详细计算过程为：

当所述基线范围内的流量数据点为工作日时，基线值的计算公式如下：

其中，fin为流入的基线值；fin1,fin2,…,fin9,fint为前9个工作日同一时刻的流入流量数据；fint为当前流量数据点的流入流量数据；

其中，fout为流出的基线值；fout1,fout2,…,fout9,foutt为前9个工作日同一时刻的流出流量数据；foutt为当前流量数据点的流出流量数据；

将所述流入的基线值fin及流出的基线值fout用于当前流量数据点的下一个工作日同一时刻的流量数据点的告警分析。上述步骤是以工作日内循环，举例而言，如果是周五，则下一个工作日为下周一，前九个工作日为上周一至周五，以及本周一至周四。

当所述基线范围内的流量数据点为周末时，基线值的计算公式如下：

其中，fin为流入的基线值；fin1,fin2,fin3,fint为之前的3个周末自然日同一时刻的流入流量数据；fint为当前流量数据点的流入流量数据；

其中，fout为流出的基线值；fout1,fout2,fout3,foutt为之前的3个周末自然日同一时刻的流出流量数据，foutt为当前流量数据点的流出流量数据；

将所述流入的基线值fin及流出的基线值fout用于当前流量数据点的下一个处于周末的自然日同一时刻的流量数据点的告警分析。上述步骤是在周末内循环，举例而言，如果是周日，则下一个周末自然日是下周六，前三个周末自然日为本周六、上周日及上周六。

以一工作日2019年11月20日为例，基线值的计算过程为：对于2019年11月20日00:00，那么基线值＝(2019年11月20日00:00的流量数据+前面9个工作日00:00的流量数据)/10，这个基线值提供给2019年11月21日00:00时刻作为告警对比数据进行告警分析。

完成上述步骤后，将所述流量采集时间点修改为新的基线断点。即，该新的基线断点用于下次异常流量监视时，在选取新的流量采集时间点后进行确定基线范围。

在确定基线范围后，结合步骤s106，根据上一次告警分析的告警断点及流量采集时间点，选取本次告警分析处理的流量数据点，包括：

如果告警断点为空，从所述流量采集时间点开始，向前取3个流量数据点作为告警分析处理的流量数据点；

如果告警断点不为空，且t3≥t1，则没有告警分析处理的流量数据点；其中，t1为流量数据采集时间点，t3为告警断点；

如果告警断点不为空，且t3＜t1，流量数据采集时间点开始至告警断点之间的数据点个数≥3个，其中不包含端点，则从所述流量采集时间点开始，向前取3个流量数据点作为告警分析处理的流量数据点；

如果告警断点不为空，且t3＜t1，流量数据采集时间点开始至告警断点之间的数据点个数＜3个，其中不包含端点，则选取流量数据采集时间点开始至告警断点之间所有流量数据点作为告警分析处理的流量数据点。

完成上述步骤后，修改流量采集时间点为新的告警断点。即，该新的告警断点用于下次异常流量监视时，在选取新的流量采集时间点后选取告警分析处理的流量数据点。

进一步，结合步骤s107，根据所述告警分析处理的流量数据点对应的基线值以及流量数据，计算流量数据点的偏差数据，详细过程为：

流入流量偏差数据的计算公式为：

din＝fing-fin'；

其中，din为流入流量偏差；fing为告警分析处理的流量数据点的流入流量数据；fin'为告警分析处理的流量数据点的流入的基线值；

其中，pin为流入偏差百分比；

流出流量偏差数据的计算公式为：

dout＝foutg-fout'；

其中，dout为流出流量偏差；foutg为告警分析处理的流量数据点的流出流量数据；fout'为告警分析处理的流量数据点的流出的基线值；

其中，pout为流出偏差百分比。

在得到偏差数据后，结合步骤s108根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源，具体过程为：

判断所述偏差数据是否在告警阈值范围内，如果在，选取所述偏差数据对应的告警分析的流量数据点之前的两个流量数据点；

获取所述两个流量数据点的偏差数据；

判断三个偏差数据是否都在告警阈值范围内，如果都在，生成异常流量的告警信息，存入告警表。

其中，判断所述偏差数据是否在告警阈值范围内需要根据不同电路集合，不同的电路集合有不同的告警阈值范围，具体的：

判断所述电路集合中，平台电路的流量是否突变大于基线值的50％，且基线值大于10m，如果是，则在告警阈值范围内；

判断所述电路集合中，互联网专线的流量是否突变大于基线值的50％，且基线值大于1g，如果是，则在告警阈值范围内；

判断所述电路集合中，互联互通电路的流量是否突增大于基线值的50％且带宽利用率达85％、带宽利用率由80％以内突增至90％、或着流量突降大于基线值50％，如果是，则在告警阈值范围内；

判断所述电路集合中，dns电路的流量是否流量突增大于基线500m、或流量突降大于基线20％，如果是，则在告警阈值范围内；

判断所述电路集合中，其它电路的流量带宽利用率由80％以内突增至90％、或流量突降大于基线50％，如果是，则在告警阈值范围内。

在一实施例中，在生成告警信息时，判断所述告警表中是否已存在相同的告警信息，如果已存在，将已有告警的告警时间修改为当前时间，告警次数加1；如果未存在，生成新的告警信息，存入所述告警表。

在一实施例中，还可以设置告警恢复判断：符合以下条件则告警恢复，将告警删除：

1、已有该条电路的流量异常告警；

2、在选取的告警分析处理的流量数据点中，选择流量数据最大的流量数据点，获得所述流量数据最大的流量数据点往前30分钟的流入偏差百分比及流出偏差百分比，如果绝对值在30％以内，删除所述告警表中在所述30分钟内的告警信息；

3、如果已有告警的告警时间和当前时间差超过30分钟，删除所述告警表中的所述已有告警。

在步骤s108中，通过分析异常流量告警的生成原因，进行告警溯源，具体过程为：

注册并接收数据库新增告警消息，收到消息后，从上次断点按告警id从小到大的顺序获取告警，并对每条告警进行处理。

如果告警类型不为设备脱网/板卡故障/光模块故障/异常流/路由异常)，则直接跳过，处理下一条告警。

在接收到告警类型为异常流量的告警时，关联告警类型为路由异常、设备脱网、板卡故障或光模块故障的告警信息，进行告警追溯，具体过程为：

在告警类型＝异常流量；

在生成告警类型为异常流量的告警信息时，关联路由异常告警；如果存在告警资源相同、告警类型为路由异常的告警信息、且告警时间差在正负15分钟以内，则建立异常流量的告警与路由异常告警的关联关系，所述异常流量的告警为子告警；

在生成告警类型为异常流量的告警信息时，关联设备脱网告警；如果存在告警资源相同、告警类型为设备脱网的告警信息、且告警时间差在正负15分钟以内的告警，则建立异常流量的告警与设备脱网告警的关联关系，所述异常流量的告警为；

在生成告警类型为异常流量的告警信息时，关联板卡故障告警；如果存在告警资源相同、告警类型为板卡故障的告警信息、且告警时间差在正负15分钟以内，则建立异常流量的告警与板卡故障告警的关联关系，所述异常流量的告警为子告警；

在生成告警类型为异常流量的告警信息时，关联光模块故障告警；如果存在告警资源相同、告警类型为光模块故障的告警信息、且告警时间差在正负15分钟以内，则建立异常流量的告警与光模块故障告警的关联关系，所述异常流量的告警为子告警。

另外，告警溯源的方法还可以包括：

在接收到告警类型为路由异常、设备脱网或板卡故障的告警时，关联告警类型为异常流量的告警信息，进行告警追溯，具体过程为：

告警类型＝路由异常；

关联异常流量告警：如果告警表中存在和当前告警资源相同，告警类型为异常流量，告警时间差在正负15分钟以内的告警，则建立本告警与该路由异常流量的关联关系，本告警为父告警。

内部告警类型＝设备脱网；

关联异常流量告警：如果告警表存在告警类型为异常流量，告警时间差在正负15分钟以内的告警，则建立本告警与该异常流量告警的关联关系，本告警为父告警。

内部告警类型＝板卡故障；

关联异常流量告警：如果告警表存在告警类型为异常流量，告警时间差在正负15分钟以内的告警，则建立本告警与该异常流量告警的关联关系，本告警为父告警。

所有告警处理完后，将处理的最后一条告警id号记入本地断点文件，并等待下一次新告警消息。下次程序启动时，先从断点文件读取最后处理的id号，如果不存在断点文件，则取告警的最大告警id为断点。

在一具体实施例中，对路由异常的告警分析过程为：

定时获取当前时间的前7天中处于设定时间时的收发路由数，通过计算平均数得到路由条目数基线；

根据所述电路集合中电路对应的路由器和端口ip，采集每个所述路由器的邻居收发路由数；

根据路由条目数基线或收发路由数进行路由异常告警分析，生成路由异常的告警信息；其中，

每间隔5分钟，判断平台电路上的路由条目数突变是否大于基线20％、采集的收发路由数是否为0(路由条目数为0)、或1小时内路由条目数变化是否超过4次；如果是，生成路由异常的告警信息；

判断互联网专线上的路由条目数突变是否大于基线20％、或采集的收发路由数是否为0；如果是生成路由异常的告警信息。

本发明提出的异常流量的监视方法可以准确监测、分析异常流量情况，并对路由条目数异常进行分析，得到完善的异常流量原因，并实现告警追溯。

需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

在介绍了本发明示例性实施方式的方法之后，接下来，参考图2对本发明示例性实施方式的异常流量的监视系统进行介绍。

异常流量的监视系统的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”或者“单元”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

基于同一发明构思，本发明还提出了一种异常流量的监视系统，如图2所示，该系统包括：

电路信息获取模块210，用于获取全网电路的信息，将所述全网电路中的电路划分为多个电路集合；

流量基线生成模块220，用于间隔一设定时间设定一流量数据点，采集所述电路集合中每条电路对应的所述流量数据点的流量数据，生成流量基线；

基线范围确定模块230，用于选取一流量采集时间点，根据上一次流量采集对应的基线断点及所述流量采集时间点，确定基线范围；

流量数据获取模块240，用于在所述每条电路对应的所述流量数据点的流量数据中，获取所述基线范围内的流量数据点对应的之前一定天数同一时刻的流量数据；

基线值计算模块250，用于将所述基线范围内的流量数据点的流量数据与之前一定天数同一时刻的流量数据进行平均计算，得到基线值，并将所述基线值用于下一天同一时刻的流量数据点的告警分析；

流量数据点选取模块260，用于根据告警分析的告警断点及所述流量采集时间，选取告警分析处理的流量数据点；

偏差数据计算模块270，用于根据所述告警分析处理的流量数据点对应的基线值以及流量数据，得到流量数据点的偏差数据；

告警分析模块280，用于根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源。

应当注意，尽管在上文详细描述中提及了异常流量的监视系统的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

基于前述发明构思，如图3所示，本发明还提出了一种计算机设备300，包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序330，所述处理器320执行所述计算机程序330时实现前述异常流量的监视方法。

基于前述发明构思，本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现异常流量的监视方法。

本发明提出的异常流量的监视方法及系统可以监控网络电路的流量异常情况，为运维人员提供重要电路的异常流量监控功能，并通过关联相关告警，对异常流量的电路进行故障原因的溯源，以使运维人员及时处理，保证网络电路的稳定性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。