一种分布式网络多维流量异常检测方法和装置的制作方法

专利名称：一种分布式网络多维流量异常检测方法和装置的制作方法
技术领域：
本发明涉及通信技术领域，尤其涉及一种分布式网络多维流量异常检测方法和装置。
背景技术：
引起网络流量异常的原因很多，包括恶意行为，误配置，设备错误，或突发访问等。 网络管理者可以通过监控网络流量，识别其不规则变化，揭示网络异常行为，为操作者进行 网络管理提供依据。随着网络容量及用户数目的倍增，快速准确地检测出流量异常对网络 可靠性及可用性具有重要意义。传统的流量异常检测方法通常将流量监控点设置在用户网与传输网之间，安装防 火墙或入侵检测系统，对进出的流量进行细粒度分析，该类方法因为距离用户太近，往往不 能确保有效、及时地做出响应。如果我们能在用户网络的上层传输网中检测出异常流量，将 有利于网络管理；此外，在传输网中能够观察到多条流量信息及其关联性，为网络流量监控 提供一个全面的视角，便于检测出在单条流量上不易察觉的异常。传输网中对流量进行诊断的网络异常检测方法，根据输入检测信号(或输入机 制)的不同可大致分为基于流特征分布的机制以及基于幅值的机制。基于流特征分布的检测方法，需要对流的特征(源IP、目的IP、源端口、目的端口 等)进行统计。在传输网中，并发的流数目巨大，可能高达几十万条甚至百万条，导致对流 特征的统计十分困难，与基于幅值的检测机制相比，无论是计算负载还是缓存要求都更大。基于幅值的检测机制，将流量幅值(字节数、分组数、流数)视为随时间变化的 时间序列，许多研究者将一些统计和信号处理的分析方法用于异常检测。“Non-Gaussian and long memory statistical characterizations for Internet traffic with anomalies”一文对单条流量的PDF和PSD建模，根据发生攻击时模型参数的变化检测异常。 “Monitoring abnormal traffic based on dynamic flow model and systematic method，， 一文将ICA引入单条流量的异常检测中，从单条流量的四种不同变量(流数、分组数、字节 数、连接度)中提取异常。随后，研究者们将流量多时间序列作为输入，依靠流量之间的关 系发现异常OiiMultivariate online anomaly detection using kernel recursive least squares” 一文利用正常行为下，多条流量在同一采样时间点上的幅值所形成的多个向量 具有汇聚特性，判断当前向量与聚集的正常向量之间的距离是否超过门限。“Distributed spatial anomaly detection” 一文通过同一个路由器上的多条链路流量分布之间的关系 来定义正常流量行为° 文献"Characterization of network-wide anomalies in traffic flows，，和"Diagnosing network-wide traffic anomalies，，提出 了基于 PCA 的检测方法， 主要步骤是利用PCA提取全局OD流或链路流量形成的高维数据空间中的异常部分。为了 降低基于PCA方法集中式计算带来的高通信负载，文献“Communication-efficient online detection of network-wide anomalies”等提出在各个分布式节点上进行滤波，只对超出 阈值的滤波结果采用PCA分析。
4
现有多流量异常检测方法多是基于PCA分析的，检测技术方案主要分为两部分(1)链路流量的子空间分析将零均值化后的链路流量进行PCA (Principle Component Analysis，主成分分 析)分解，分解为正常空间和异常空间。(2)异常判决一个幅值上的异常会导致异常空间有较大的变化。其异常空间的均方预测误差 (SPE)若小于阈值则认为是正常的，否则为异常。上述算法还存在以下几方面的缺点(1)正常网络流量通常具有一些常规模式，如相似的周、天行为模式，基于PCA的 检测方法将具有强相似特征的流量划分为正常，对剩余部分的能量进行判断，然而同一个 异常事件也可能在多条链路上产生相似异常流量，根据基于PCA方法的正常划分思路，可 能将这部分异常流量划分为正常，发生漏检。(2)该方法仅从流量信号的时域上进行分析，即仅能检测流量信号在时间域的异 常，这是远远不够的(特别是对于DDoS攻击的检测)。因为正常网络流量的时变信号与异 常网络流量(尤其是DDoQ的时变信号相比，其频带范围一定是有区别的，也就是说异常流 量与背景流量在不同频带的能量差是不相同的。在某些频带异常流量的能量在总能量中所 占比例越高，异常检测会变得相对容易。现有算法指出正常流量信号在整个频率域中表现 出很强的周期性，而异常流量的频谱上缺乏这样的周期性，即异常流量在特定的频谱范围 内(比如正常流量频谱中的一个周期中)，能量的分布情况与正常流量不相似。

发明内容
为了解决现有技术中存在的问题，本发明提供一种分布式网络多维流量异常检测 方法和装置。具体的，本发明提供的分布式网络多维流量异常检测方法，包括提取某节点接收到的各信号流的瞬时参数作为已知源信号的混和信号；调用独立成分分析ICA算法，将每个信号流分离成N个独立信号，并以弱高斯性为 提取基准在各信号流的N个独立信号中提取出相对异常信号；所述N小于等于已知源信号 的混和信号的维数；将由各相对异常信号组成的数据集Y经过主成分分析PCA划分为强相关部分Z1* 弱相关部分；采用定长时间窗定时的滑动截取所述强相关部分\的信号序列，对每次截取的信 号序列进行PCA分析得到向量Z1⑴，当所述向量Z1⑴的大小超过正常阈值时，判定为发 生异常。本发明所述方法中，瞬时参数包括瞬时振幅a(t)和瞬时频率ω (t)；所述已知源 信号的混和信号为二维观测信号矢量等于· \α(α。本发明所述方法中，高斯性的强弱通过峭度k来度量k(yi) = E (Yi4)-3 (Ε (Yi))2, 其中Yi为第i个独立信号；所述异常信号为N个独立信号中峭度绝对值最大的独立信号。本发明所述方法中，正常阈值d = u+3l，式中u为正常情况下Z1U)的均值，δ为冗办)的标准差。本发明还提供一种分布式网络多维流量异常检测装置，包括信号提取单元，用于提取某节点接收到的各信号流的瞬时参数作为已知源信号的 混和信号；信号分离单元，用于基于所述信号提取单元提取的已知源信号的混和信号调用独 立成分分析ICA算法，将每个信号流分离成N个独立信号，并以弱高斯性为提取基准在各信 号流的N个独立信号中提取出相对异常信号；所述N小于等于已知源信号的混和信号的维 数；主成分分析单元，用于将由各相对异常信号组成的数据集Y经过主成分分析PCA 划分为强相关部分\和弱相关部分；异常判定单元，用于采用定长时间窗定时的滑动截取所述强相关部分\的信号序 列，对每次截取的信号序列进行PCA分析得到向量Z1⑴，当所述向量Z1⑴的大小超过正 常阈值时，判定为发生异常。其中，所述瞬时参数包括瞬时振幅a(t)和瞬时频率ω (t)；所述已知源信号的混 和信号为二维观测信号矢量等于。所述高斯性的强弱通过峭度k来度量k(yi) =E(yi4)-3(E(yi))2，其中yi为第i个 独立信号；所述异常信号为N个独立信号中峭度绝对值最大的独立信号。所述异常判定单元中正常阈值d = u+3* δ，式中u为正常情况下Z1 (t)的均值，δ SZ1U)的标准差。与现有技术相比，本发明有益效果如下首先，本发明所述方法，采用ICA从每条流量信号频域和时域描述中分离出异常 部分，消除了正常流量间相似特征带来的影响；其次，本发明所述方法，采用加窗PCA技术避免了基于PCA的异常检测方法的集中 式计算，通过在各个节点上分别进行，降低了通信负载，使得本文方法尺度化性能更强；第三，本发明所述方法，对PCA采用加窗技术，使其适应在线检测需要，也使得相 似特征提取的粒度更加细致，更大程度上减少漏检。


图1为本发明提供的分布式网络多维流量异常检测方法流程图；图2为本发明提供的分布式网络多维流量异常检测装置结构图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。为了解决现有技术中存在的问题，本发明提供一种分布式网络多维流量异常检测 方法和装置，所述方法从同一个异常事件引起的异常流量具有相似特征的思路出发，提出
6了基于独立成份分析的多维流量异常检测方法；其中，独立成份分析是一种从混合信号中 分离多个源信号的盲源分离方法，应用于流量信号，可以将观测流量视为不同原因产生的 正常与异常流量的混合信号，异常流量可能在时域或频域中展现一定异常特征，借助ICA 分离出流量时域频域瞬时参数混合信号中的相对异常部分，达到消除正常行为模式对检测 造成影响的目的，以便对异常部分的进一步分析。如图1所示，本发明提供的一种分布式网络多维流量异常检测方法，包括步骤S101、提取某节点接收到的各信号流的瞬时参数作为已知源信号的混和信 号；步骤S102、调用独立成分分析ICA算法，将每个信号流分离成N个独立信号，并以 弱高斯性为提取基准在各信号流的N个独立信号中提取出相对异常信号；所述N小于等于 已知源信号的混和信号的维数；步骤S103、将由各相对异常信号组成的数据集Y经过主成分分析PCA划分为强相 关部分和弱相关部分T^ ；步骤S104、采用定长时间窗定时的滑动截取所述强相关部分\的信号序列，对每 次截取的信号序列进行PCA分析得到向量Z1 (t)，当所述向量Z1⑴的大小超过正常阈值时， 判定为发生异常。其中，所述正常阈值d = u+3l，式中u为正常情况下Z1U)的均值，δ *Z“t) 的标准差。下面给出本发明一个较佳的实施例，并结合对实施例的描述，进一步给出本发明 的技术细节，使其能够更好地说明本发明的提供的方法的具体实现过程。OD流(源到端的流)流量通常包含相对正常与相对异常的部分。相对正常的部分 由相似的每日、每周常规流量模式组成，而相对异常的部分则可能由一些具有随机性因素 的流量(对用户来说可能是一些偶然性的行为产生)与网络异常引起的流量两部分构成。 由于流量中正常部分与异常部分的产生原因各不同，所以本发明认为这两部分流量是相对 独立的。为了提取出每条OD流中可能包含网络异常所引起的异常部分流量，可以采用盲源 分离问题中的基于信号高阶统计特性的方法ICA(incbpendent component analysis，独立 成份分析)估计得到。ICA的基本思想是在源信号与混合矩阵未知的情况下，利用一组已 知的源信号的混合信号，分解提取出多个独立的源信号。应用于流量异常检测，可将OD流 在不同侧面的描述(例如瞬时频率与瞬时振幅)，视为正常与异常流量两种独立源信号混 合后的两个观测信号，利用ICA分离出相互独立的正常和异常部分。本发明所述流量异常检测方法在传输网中各个节点上分别进行，检测包含两个阶 段。对于传输网中的某个节点，检测第一阶段为单流量异常分离，首先对每条以该节点为目 的节点的OD流计算瞬时参数，然后分别利用ICA分离出瞬时参数中相互独立的正常与异常 部分；第二阶段为多异常相似分析，采用加窗PCA技术，提取每个滑动时窗内多维流量潜在 异常部分的强相关性部分，作为异常部分相似性的衡量，判断其是否超过预定门限，若是则 发出警报。由于异常流指向报警的目的节点，针对异常的后续相应处理，可以在该节点上进 行。下面详细阐述流量异常检测的两个阶段(一 )单流量异常分离
1、OD流瞬时参数提取步骤；流量信号是一种非平稳信号，其时域和频域的瞬态特征可用瞬时振幅及瞬时频率 分开来描述，这种分解并不改变信号的基本信息，而是产生不同侧面的反映，它们往往能 揭示出在常规时间描述下被掩盖的某些特征。其数学定义如下对任意连续的时间信号
x(t)，其希尔伯特变换Y(t)为Ι^(0 = 1/Οω/( -τ>/τ，可得解析信号z(t) = X(t)+iY(t)
= a(t)ei0(t)。其中 a(t) = [X(t)2+Y(t)2]1/2^Z(t)的瞬时振幅，θ (t) =arctan(Y(t)/ X(t))是Z(t)的相位函数，其瞬时频率为ω (t) = de (t)/dt。2、异常分离步骤；ICA的基本模型可以表达为x(t) =As(t)，其中s(t)为独立的M维未知源信号，A 为未知混合矩阵，x(t)为N(N>M)维观测信号矢量。本实施例中，所述观测信号矢量x(t)
为由瞬时振幅和瞬时频率组成的二维矢量信号，具体表示为雄)=aiI。ICA的目的是只根据观测数据χ (t)，确定一个线性变换W，使得观测信号变换后的 输出y(t) =ffx(t)是源信号s(t)的最优估计，且各分量之间相互独立。由于该方法假 定各源信号之间是相互独立的，根据所选择独立性的度量标准不同，ICA模型有多种解法， 本发明优选地选择基于负熵的独立性判断准则和分离算法，即快速固定点算法FastICA，该 算法以负熵最大作为目标函数，采用定点迭代的优化算法，与其它解法相比，具有收敛速度 快，计算简单等特点。FastICA算法中采用的负熵度量准则的近似公式为J(Wi) [E (G(Wi1X)I-EiG(Q)I]其中，X为二维维观测信号矢量某一时刻的取值，X= ； q为一个标准正态分布
的随机变量，函数G可以取G1(U) = IAi1In(Cosha1U)，1 彡 al 彡 2G2 (u) = -exp (_u2/2)采用牛顿法极大化负熵度量准则的近似公式，则ICA的递推公式为Wi* = E [X (Wi-JX)3] -3WHWi = WiVI Iwi*!具体算法实现如下(1)初始化 Wtl，i = 1 ；(2)令w广=Ε[Χ _/Χ)3]-3^，期望值由大量采样点计算出来；(3)对Wi*进行归一化处理并将归一化后的值赋值给Wi，有-.Wi = Wi*/ IwiI I ；(4)判断IwiVh1I是否充分接近1，若不是，则i = i+Ι，返回至(2)；否则输出向量。每计算出一个Wi,表示分离出了一个独立信号；本实施例中，由于采用二维观测信 号矢量，所以每条信号流提取2个独立信号。ICA具有无法确定独立信号次序的含混性，即不能确定分离出的独立成份应该对 应哪个源信号。正常流量的形成是聚集了大量来自不同源端的流量，这种聚集程度越高，使 得正常流量的分布越趋近于高斯，而异常流量的源端聚集数目显然小于正常流量，因此分析所得独立成份的高斯性，具有弱高斯性的作为异常部分。高斯性强弱用峭度k来度量k(Yi) = E(yi4)-3(E(yi))2，其中，yi为第i个独立信号，当k = 0，则表示独立信号 具有高斯性。本发明中判断弱高斯性的方式为比较分离出的独立信号的峭度大小，将|k|较 大的作为异常部分，提取出来。具体的，本发明中，对于每个信号流分离出来的独立信号，以 两个独立信号中Ikl较大的独立信号作为异常部分提取出来。S卩，本实施例中将每条OD流的瞬时振幅、瞬时频率作为已知的两个混合信号，通 过ICA提取出两个独立的源信号，分别代表正常和异常部分。( 二)多维流量异常相似分析；为了分析同一目的节点的多条OD流异常部分组成的多维矩阵中，是否存在相似 异常模式，需要对异常部分组成的多维矩阵数据集Y进行简化处理。PCA是一种均方误差 最小意义下的坐标变换方法，若数据集Y的维度为m，PCA的目的是找到相互正交的η个主
轴V1.....vn(n < m)，使得数据集Y映射到这些方向上形成的新矩阵，维度降低，并且能够
足够精确地描述原来数据包含的信息。在新坐标系下，每个坐标轴携带的信息量从大到小 排列。第一个坐标轴携带最大的信息量，第二个坐标轴次之，最后一个坐标轴携带的信息量 最小。因此可以用头几个、占绝大多数信息量的坐标轴来重构原来的数据集Y，达到简化的 目的。具体的，主轴V1是指向Y在该方向上的投影具有最大方差的方向
「00771 V1 =argmax Il Fvll LW'‘」IMI=I第k(l < k < η)个主轴vk为指向剩余数据集中，在该方向上的投影最大方差方 向
k-lVk= arg max ||(7-Υ Γν,.ν/ )ν 11
IMl=I,=ιY在主轴vk上的投影，经过归一化后表示为Uk = Yvk/ Yvk将主轴V1.....Vi构成映射矩阵P，i为U1, ...，Un中第一个包含大于其均值加上
3倍方差的轴标号。通过矩阵P，可以将Y划分为两个一维向量包含Y绝大多数变化特征 的为=Z1 = PPTY ；余下部分为=Z2 = (I-PPT) Y。矩阵Y经过PCA分析后化简为一维向量，其中τγ体现了 Y的绝大多数变化特征， 因此分析τγ的变化情况，可揭示矩阵υ中隐含模式。为了适应实时异常检测的需要，本发明将滑动时窗技术引入PCA算法。其中心思 想是用定长的时间窗口以固定时间间隔滑动来截取无限长的信号序列，以获得定长的待检 测信号序列，每次对滑动窗口截取的部分数据集进行PCA分析，输出与窗口等长的向量；本 发明实施例中是定长的时间窗口以固定时间间隔滑动来截取Z1这一信号序列，然后，对每 次截取的那部分数据进行PCA分析，输出与截取窗口等长的一维向量Z1 (t)，作为异常度量 值；其中，Z1 (t)为PCA分析后的强相关部分。输出Z1 (t)的大小衡量了多条同一目的OD流异常部分之间相似特征的强弱程度， 若 ⑴增大，则说明异常部分之间相似性变强。观察正常情况下Z1 (t)的变化，设定门限 d = u+3l，u为正常情况下Zl(t)的均值，δ为其标准差。>d，则表示同一目的OD流异常部分之间的相似性偏离正常，符合分布式流量异常的传播特征，多条到达同一目 的地的流量上同时发生异常，该节点可能正在遭受攻击。本发明实施例采用加窗PCA技术的好处在于，克服了现有技术中基于PCA的流量 异常检测方法只能用于离线分析的不足；并且，提取多条OD流异常部分相似特征的分析尺 度更细致，利于相似异常揭示，而且尺度可以按需进行调整。需要说明的是，本发明所述方法中应用的PCA技术与现有技术相比，除了引入了 滑动时窗技术，还有以下几点区别第一，应用对象Y不同；现有技术是将PCA直接应用于 全局的所有OD流流量组成的矩阵，而本发明所述方法是将其应用于同一目的端OD流经过 ICA提取出的异常部分所组成的矩阵。正因为现有技术需要处理全局OD流数据，所以只能 进行集中式计算，且会引入各个节点与中心节点的数据通信负载；而本发明所述方法可以 在各个节点分别计算，以该节点为目的端的OD流流量可以在当前节点上直接获得，不存在 通信负载，有利于尺度化到不同大小的网络；第二，提取对象不同；现有技术使用PCA技术 是为了提取矩阵Y除去绝大多数变化特征的\部分，而本发明使用PCA是为了提取矩阵Y 的X1部分。如图2所示，本发明还提供一种分布式网络多维流量异常检测装置，包括信号提取单元210，用于提取某节点接收到的各信号流的瞬时参数作为已知源信 号的混和信号；信号分离单元220，用于基于所述信号提取单元210提取的已知源信号的混和信 号调用独立成分分析ICA算法，将每个信号流分离成N个独立信号，并以弱高斯性为提取基 准在各信号流的N个独立信号中提取出相对异常信号；所述N小于等于已知源信号的混和 信号的维数；主成分分析单元230，用于将由各相对异常信号组成的数据集Y经过主成分分析 PCA划分为强相关部分\和弱相关部分\ ；异常判定单元M0，用于采用定长时间窗定时的滑动截取所述强相关部分\的信 号序列，对每次截取的信号序列进行PCA分析得到向量Z1 (t)，当所述向量Z1 (t)的大小超 过正常阈值时，判定为发生异常。其中，信号提取单元210提取的瞬时参数包括瞬时振幅a (t)和瞬时频率ω (t)； 所述已知源信号的混和信号为二维观测信号矢量等于。所述信号分离单元220中，高斯性的强弱通过峭度k来度量k(yi)= E(yi4)_3(E(yi))2，其中yi为第i个独立信号；所述异常信号为N个独立信号中峭度绝对值 最大的独立信号。进一步的，所述主成分分析单元230具体包括数据投影子单元231，用于把所述数据集Y投影到η个相互正交的主轴上，所述各 主轴上的数据为所述数据集Y在该主轴方向上投影具有最大方差的数据；其中，各主轴按 着携带信息量从大到小顺序排列；数据分析子单元232，用于选取前i个主轴上的数据构成映射矩阵P，得到Z1 = PPTY, Z2 = (I-PPT)Y ；其中i为顺序排列的主轴中第一个达到预设指标的主轴标号；所述预 设指标为投影到主轴上的数据进行归一化后得到的数值大于该数值的均值加上3倍方差的主轴标号。所述异常判定单元240中正常阈值d = u+3* δ，式中u为正常情况下乙(t)的均 值，δ ^Z1Ct)的标准差。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精 神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围 之内，则本发明也意图包含这些改动和变型在内。
权利要求
1.一种分布式网络多维流量异常检测方法，其特征在于，包括提取某节点接收到的各信号流的瞬时参数作为已知源信号的混和信号； 调用独立成分分析ICA算法，将每个信号流分离成N个独立信号，并以弱高斯性为提取 基准在各信号流的N个独立信号中提取出相对异常信号；所述N小于等于已知源信号的混 和信号的维数；将由各相对异常信号组成的数据集Y经过主成分分析PCA划分为强相关部分\和弱 相关部分；采用定长时间窗定时的滑动截取所述强相关部分&的信号序列，对每次截取的信号序 列进行PCA分析得到向量Z1 (t)，当所述向量Z1 (t)的大小超过正常阈值时，判定为发生异常。
2.如权利要求1所述的方法，其特征在于，所述瞬时参数包括瞬时振幅a(t)和瞬时频 率ω (t)；所述已知源信号的混和信号为二维观测信号矢量等于。
3.如权利要求1或2所述的方法，其特征在于，所述高斯性的强弱通过峭度k来度量k(yi) = E(yi4)-3(E(yi))2，其中yi为第i个独 立信号；所述异常信号为N个独立信号中峭度绝对值最大的独立信号。
4.如权利要求1或2所述的方法，其特征在于，所述将由各相对异常信号组成的数据集 Y经过主成分分析PCA划分为强相关部分\和弱相关部分\具体包括把所述数据集Y投影到η个相互正交的主轴上，所述各主轴上的数据为所述数据集Y 在该主轴方向上投影具有最大方差的数据；其中，各主轴按着携带信息量从大到小顺序排 列；选取前i个主轴上的数据构成映射矩阵P，得到Z1 = PPTYJZ2 = (I-PPt)Y ；其中i为顺 序排列的主轴中第一个达到预设指标的主轴标号；所述预设指标为投影到主轴上的数据进 行归一化后得到的数值大于该数值的均值加上3倍方差的主轴标号。
5.如权利要求1或2所述的方法，其特征在于，所述正常阈值d= u+3* δ，式中u为正 常情况Tz1⑴的均值，δ Sz1 α)的标准差。
6.一种分布式网络多维流量异常检测装置，其特征在于，包括信号提取单元，用于提取某节点接收到的各信号流的瞬时参数作为已知源信号的混和 信号；信号分离单元，用于基于所述信号提取单元提取的已知源信号的混和信号调用独立成 分分析ICA算法，将每个信号流分离成N个独立信号，并以弱高斯性为提取基准在各信号流 的N个独立信号中提取出相对异常信号；所述N小于等于已知源信号的混和信号的维数； 主成分分析单元，用于将由各相对异常信号组成的数据集Y经过主成分分析PCA划分 为强相关部分\和弱相关部分\ ；异常判定单元，用于采用定长时间窗定时的滑动截取所述强相关部分τγ的信号序列， 对每次截取的信号序列进行PCA分析得到向量Z1 (t)，当所述向量Z1 (t)的大小超过正常阈 值时，判定为发生异常。
7.如权利要求6所述的装置，其特征在于，所述瞬时参数包括瞬时振幅a(t)和瞬时频率ω (t)；所述已知源信号的混和信号为二维观测信号矢量等于。
8.如权利要求6或7所述的装置，其特征在于，所述高斯性的强弱通过峭度k来度量k(yi) = E(yi4)-3(E(yi))2，其中yi为第i个独 立信号；所述异常信号为N个独立信号中峭度绝对值最大的独立信号。
9.如权利要求6或7所述的装置，其特征在于，所述主成分分析单元具体包括数据投影子单元，用于把所述数据集Y投影到η个相互正交的主轴上，所述各主轴上的 数据为所述数据集Y在该主轴方向上投影具有最大方差的数据；其中，各主轴按着携带信 息量从大到小顺序排列；数据分析子单元，用于选取前i个主轴上的数据构成映射矩阵P，得到K = PPtY, Z2 = (I-PPt)Y ；其中i为顺序排列的主轴中第一个达到预设指标的主轴标号；所述预设指标为 投影到主轴上的数据进行归一化后得到的数值大于该数值的均值加上3倍方差的主轴标 号。
10.如权利要求6或7所述的装置，其特征在于，所述异常判定单元中正常阈值d= u+3* δ，式中u为正常情况下Z1U)的均值，δ为乙办)的标准差。
全文摘要
本发明公开了一种分布式网络多维流量异常检测方法和装置，所述方法包括提取某节点接收到的各信号流的瞬时参数作为已知源信号的混和信号；调用ICA算法，将每个信号流分离成N个独立信号，并以弱高斯性为提取基准在各信号流的N个独立信号中提取出相对异常信号；所述N小于等于已知源信号的混和信号的维数；将由各相对异常信号组成的数据集Y经过PCA划分为强相关部分Z1和弱相关部分Z2；采用定长时间窗定时的滑动截取强相关部分Z1的信号序列，对每次截取的信号序列进行PCA分析得到向量z1(t)，当向量z1(t)的大小超过正常阈值时，判定为发生异常。本发明采用ICA从每条流量信号频域和时域描述中分离出异常部分，消除了正常流量间相似特征带来的影响。
文档编号H04L12/26GK102130798SQ20111007335
公开日2011年7月20日 申请日期2011年3月25日 优先权日2011年3月25日
发明者刘瑶, 姚兴苗, 张文政, 李宗林, 祝世雄, 胡光岷 申请人:中国电子科技集团公司第三十研究所