专利名称：流信息限制装置以及方法
技术领域：
终端41~43有时候会感染病毒或蠕虫(worm)，或由第 三者进行非法控制等。在这种情况下，终端41 ~ 43进行针对终端30 的网络攻击。在多个终端同时开始了网络攻击的情况下源地址分散。 另外，即便在单一终端进行了网络攻击的情况下，有时候也通过源地 址的冒充而使源地址分散。在节点上到达像这样源地址分散后的大量 数据而发生异常通信量。而且，在按照IP扫描或端口扫描等的攻击的行动、病毒 或蠕虫等感染活动等中，有时候与节点存在无关地使目标地址分散进 行通信而发生异常通信量的情况。即便在此情况下，有时候源地址也 通过冒充等而分散。
0013互联网IO整体上的通信量因如上述那样的攻击等而增大， 发给终端30的通信量等、节点111在作为网关的网络上流过的通信 量增大。这一通信量的增大会引起节点lll处、在计测用网络中的通信上发生拥挤、或者无法发送已观测到的通信量全体信息之类的诸如 下面那样的问题。
0014节点111将使流信息分组化的计测用分组发送给计测用终 端20。在将不进行拥挤控制的UDP用作传输协议的情况下，若节点 111上所观测的流数增加，则伴随于其计测用分组的发送量亦增大。 因此，在节点111与计测用终端20之间的计测用网络中发生拥挤， 发生攻击的二次损害。在节点111与终端30之间或节点111与互联网IO之间的 通常通信上利用的回路成为异常状态的情况下，为了发现有异常性的 通信量而配置有计测用终端20。但是，若因流的急剧增大而在节点 111与计测用终端20之间的通信中发生拥挤，则计测用分组的损失增 高，难以用计测用终端20进行充分的计测。而且，在正进行其他通 信的情况下，有时候会对该通信带来不良影响。根据不同情况有时候 计测用终端20会陷入资源不足状态。另一方面，在利用了持有拥挤控制功能的TCP或SCTP 作为传输协议的情况下，在节点111与计测用终端20之间的通信中 不会发生拥挤。但是，节点111的输出流数因拥挤控制功能而受到限 制，所以就有在上述异常时相对于已观测到的流数而言节点111能够 输出的流数要少的情况。倘若这样输入流数比输出流数还多，则节点 111的内部緩冲器就会发生破绽而使计测信息的一部分欠缺，节点111 无法将已计测的通信量全体信息正确地发送至计测用终端20。
发明内容
在上迷构成中，虽然流因攻击通信量而增大，由流信息生 成部所生成的流信息数量伴随于其而增大，但倘若从流信息生成部所 输入的流信息数量增大，流信息数限制部就对当前所保存着的流信息 进行汇集。通过此流信息的汇集，仅对流信息发送部供给一定数量以 下的流信息。从而，流信息发送部发送到计测用网络上的流信息数量 也被限制于 一 定数量以下。根据本发明，与流增大无关地在计测用网络上仅发送一定 数量以下的流信息，所以就能够抑制在传输协议上采用了没有拥挤控 制功能的UDP时会发生的计测用网络上的通信拥挤。
图1是表示应用本发明的信息通信系统之一例的图。这一 信息通信系统除取代节点111而设置了节点11以外与图20所示的系 统相同。互联网IO将包含进行分组传输的多个节点11~14的多个网 络彼此之间相互连接起来。节点11~14以相互可通信的方式而连接 起来。在节点11上连接有计测用终端20以及终端30。
0028在这一信息通信系统中，节点11具有具备流信息汇集功 能的流信息处理部200，这一点不同于图20所示的信息通信系统。
0029在图2中表示作为本发明的流信息限制装置的一个实施方 式的节点11的流信息处理部200之构成的图。参照图2，流信息处理 部200具有计测用网络接口 201、流生成功能部202、流信息数限 制功能部203、流发送功能部204以及输出用网络4妄口 205。构成字段信息的各项目每4字节表示1个信息。4字节之 中的前半2字节表示项目的ID，后半2字节表示项目的大小(字节数)。 在图4所示的例子中表示出构成字段信息的项目为12个，各自项目 的ID以及字节数。例如，在最初项目中示出表示IPv4的源地址的 sourcelPv4Address(ID:第8)为4字节，在下一项目中示出表示IPv4 的目标地址的destinationIPv4Address(ID:第12)为4字节。这样根据 各项目来定义流信息的数据结构。按照选项数据结构定义信息来创建选项信息的格式，并设 定具体的值作为选项信息。例如，为了表示与图4所示的流信息相对 的选项信息，对应于TemplatelD的值为256。flowKeylndicator为64bit 的位图，每lbit表示l个项目能否作为流生成条件进行利用。也就是 说，flowKeylndicator对于从开头起的最大64个项目，能够设定表示 是否作为流生成条件进行利用的信息。在采用这些流信息通知用协议的情况下，用户对欲发送的 流信息中所含项目的ID和大小进行指定。在本实施方式中，进一步 对流生成条件上所用的条件赋予由用户所设定的优先位次。通过从这 一优先位次较低的开始删除条件而创建新的条件。在与计测目的相应的重新排列中，例如在计测目的是检测 因DoS等攻击而通信的数据量增大了的通信量的情况下，就基于流信 息中所含的数据量的大小关系对流信息进行重新排列。在计测目的是 检测有关TCP SYN DoS等攻击的通信量的情况下，就基于流信息中 所含的SYN等的消息数量的大小关系对流信息进行重新排列。在计 测目的由多个项目組成的情况下，就在对流信息中所含的、各个项目 的数据数量进行了优先排列及加权的基础上对流信息进行重新排列。 进而这些值的标准偏差/分散值等的统计值也能够作为重新排列的指 标进行利用。重新排列的方法还可以依照目的来切换降序、升序。在緩沖器B4中保存着对流生成条件之中的协议、源地址 以及目标地址这3个项目(汇集条件)吻合的流信息进行了汇集的已汇 集流信息群。在緩沖器B5中保存着对流生成条件之中的协议以及目 标地址这2个项目(汇集条件)吻合的流信息进行了汇集的已汇集流信 息群。在緩冲器B6中保存着对流生成条件之中的协议以及源地址这 2个项目(汇集条件)吻合的流信息进行了汇集的已汇集流信息群。在緩沖器B7中保存着对流生成条件之中的协议(汇集条件)吻合的流信 息进行了汇集的已汇集流信息群。
0060汇集条件为从构成条件的项目较多的一方起緩冲器B2、 B3、 B4、 B5、 B6、 B7的顺序。在图3中，朝向附图越靠上侧则构成 条件的项目越多，越靠下侧则构成条件的项目越少。首先，判断管理用緩冲器部中所保存并管理着的流信息数 量是否已超过上限值(步骤S1)。每隔一定时间、或者每当从流生成功 能部202输入流信息就进行这一判断。其次，判定在检索对象緩冲器内是否有被设定为汇集对象 的汇集条件的全部项目 一致的已汇集流信息(步骤S6)。在有汇集条件 的全项目 一致的已汇集流信息的情况下，将汇集对象与该已汇集流信 息汇集起来保存在与当前所设定的汇集条件相对应的緩冲器(步骤 S7)。在检索时检索到多个汇集条件的全项目 一致的已汇集流信息的情 况下，将这些所有已汇集流信息与汇集对象汇集起来。当在步骤S6中的判定是"没有符合条件的流"，在步骤S8 中的判定中判断为对象緩冲器是汇集候补的情况下，在步骤SIO中判 断汇集条件是否是构成条件的项目最少的条件(对应于緩冲器B7的汇 集条件)。在汇集条件不是构成条件的项目最少的条件的情况下，在步 骤Sll中将汇集条件变更成项目较之于当前少一个的条件，并转移到 步骤S5，将对应于该经过变更的汇集条件的緩沖器设定成检索对象緩 冲器。例如，在緩冲器B2的汇集条件被设定为初始汇集条件的情况 下，在緩冲器B2内没有检索对象与汇集条件一致的已汇集流信息、 且在汇集候补Bl-2中也没有检索对象与汇集条件一致的流信息的情 况下，汇集条件被变更成较之于当前少1个项目的条件即緩冲器B3 的汇集条件，汇集对象緩沖器被设定成緩冲器B3。然后，以经过变 更的汇集条件进行緩冲器B3内的检索。在图14中表示针对緩冲器 B3的检索状态。在这一例子中，由于在緩冲器B3中没有汇集对象与汇集条件一致的已汇集流信息，所以在步骤S6中的判断就成为"没有 符合条件的流"。—个是在使用TCP等连接型协议的情况下，观测到表示 结束的消息(如果是TCP则为FIN、 RST等)时被看作是流结束。另一 个是为了每隔一定时间进行数据发送而设置超时时间的情况下，超过 这一超时时间的流暂且结束，作为流生成/汇集条件所使用的项目被计 数为同一值的别的流信息。作为超时时间有UDP等非连接型协议用 的非连续时间(最终分组起的经过时间)和TCP等连接型协议用的连
续时间(开始分组起的经过时间)两种。根据这些条件，即便作为流生 成/汇集条件所使用的项目是同 一值，也有可能作为单独的流而分割开。在目的是不使流汇集条件过多地减少，尽可能保持流信息 的情况下，有时候在进行汇集条件削减处理以前，通过进行消息或超 时而分割的流汇集，由此就不需要进行汇集条件削减处理。在此情况 下就能够使因流汇集所造成的信息损失限制在最小限度。其次，将D流追加到索引上。然后，从优先位次较高的项 目起按顺序比较B以及D各流项目的大小关系。对于第l优先位次的 protocolldentifier的项目，D流中的值"17"大于B流中的值"6"。因 而，D成为右側的配置。在这里，由于在右侧已经存在C,所以从优 先位次较高的项目起按顺序比较此C和D各流项目的大小关系。对 于第2优先位次的destinationTransportPort的项目，C流中的值 "192.168.0.1，，大于D流中的值"10.0.0.1"。因而，D成为C左侧的叶。其次，追加D流。第1优先位次的protocolldentifier的要素(值:17)与C流相同，所以追溯与C相同树的要素。由于第2优先 位次的destinationTransportPort的要素(值:10.0.0,1)小于现有的要素 (值:192,168.0.1)，所以被作为左侧的叶。其下面的优先位次的要素以 与A流同样的次序被追加到作为左侧的叶的要素，并在该树之下追加 表示要素编号(值:D)的要素。具体而言，流生成功能部对管理用緩冲器中所保存的流信 息，基于外部输入的项目的优先位次的顺序对流信息保持的每个项目 反复进行大小比较来判定流信息间的大小，将其结果作为检索用索引 进行保持，并参照该检索用索引来进行流信息的生成。据此，就能够 削减流信息生成时的条件(项目的组合)的比较次数，结果就能够谋求 处理的高效率化。另外，在第l构筑方法中，作为将针对每个条件重建树结 构时的效率下降抑制到最小限度的方法，有保持过去的同 一条件的汇 集候补数和每个条件的流信息保持数的方法。下面，说明汇集的一例。在图18中表示对端口进行汇集的例子。图18中A以及B是在协议、源地址、目标地址、源端口以 及目标端口这5个项目的条件(流生成条件)下所生成的流信息，C是 对这些流信息A、 B以其流生成条件的各项目作为汇集条件进行了汇 集的已汇集流信息，在这一例子中从汇集构成条件的项目删除源端 口。 "SA"是源地址，"DA"是目标地址，"SAMask"以及"DAMask，，是 网络掩码，"SP"是源端口， "DP"是目标端口， "Packets"是分组数， "octets"是字节数，"First"是流开始时间，"Last"是流结束时间。
0111在已汇集流信息C中，源端口"SP"的值为"O",分组数 "Packets，，以及字节数"octets，，分别为将流信息A、 B对应的值进行了 相加的值。还有，开始时间"First"以及结束时间"Last"被设定成作为 流信息A、 B对应的时间的和集合的范围。在这一例子中，流信息A 的开始时间"First"以及结束时间"Last"分别为"134598098987"以及 "134598100384"，流信息B的开始时间"First"以及结束时间"Last，，分 别为"134598098222，，以及"134598100001"，所以已汇集流信息C的开 始时间"First"以及结束时间"Last"分别为"134598098222"以及 "134598100384"。这样，对于流信息A、 B，将源端口"SP"、分组数 "Packets"、字节数"octets"、开始时间"First"以及结束时间"Last"进 行汇集而获得已汇集流信息C。另外，在此例子中，由于在流信息A、 B源端口上没有>^用项，所以在已汇集流信息C中将源端口设为"0"， 但在汇集多个流的情况下，既可以将各流信息之中数据量等监测项目 中的任意量最多的流的汇集项目的值作为代表值进行利用，还可以在 源端口的例子中设定数据量最多的源端口编号。另外，既可以将流的 开头分组的信息作为代表值进行利用，还可以追加表示已进行汇集的 信息。在削减了汇集构成条件的项目时，考虑从模板删除构成符合条 件的字段信息的项目的方式、和不从模板删除而是从流键进行删除的 方式。在前者的情况下，由于不发送被删除的项目，所以内部持有怎 样的值都无妨。在后者的情况下则发送被删除的项目的代表值。另夕卜， 根据IPFIX协议的规定，未用作流键的项目推荐使用最初观测到的 值。[0112图19中表示汇集地址的例子。在图19中，A以及B是在 协议、源地址、目标地址、源端口以及目标端口这5个项目的条件(流 生成条件)下所生成的流信息，C是将这些流信息A、 B以其流生成条 件之中、协议、源地址以及目标地址这3个项目作为汇集条件进行了 汇集的已汇集流信息。进而，由于进行汇集的条件中所含的比较项目分阶段地进 行变更，所以就不会在项目过少的条件下进行汇集，能够将汇集后的 流信息中的信息损失抑制到必要最小限度。还有，虽然作为流的生成条件以及汇集条件的项目的一个 例子，列举了协议、源IP地址、目标IP地址、源端口以及目标端口这5个项目，但本发明并不限定于此。流的生成条件以及汇集条件的 项目只要包含基于首标信息的信息，则不论是包含除这些以外的其他 项目，还是不包含这些项目都可以。基于首标信息的信息还包含尽管 不包含在首标本身，但可以根据首标信息进行判断的信息。作为一例， 路径控制信息等也包含在基于首标信息的信息中。还有，首标信息并 不限定于网络层、传输层，还包含比其低位以及高位的协议。还有， 流的生成条件以及汇集条件的项目数能够在可以进行流的生成以及 汇集的范围内适宜地进行设定。
[0122本国际申请主张基于2006年11月21日提交申请的日本 国专利申请第2006-314299号、以及2007年7月31日提交申请的曰 本国专利申请第2007-199499号的优先权，并在本国际申请中援引其 全部内容。
权利要求
1. 一种流信息限制装置，被配置于将多个终端相互进行连接的网络上、并经由测定用网络被连接到对该网络中的通信量进行计测的测定用终端，所述流信息限制装置的特征在于具有流信息生成部，将持有同一属性的分组的集合作为同一通信的流，并对该每个流基于上述分组的首标信息而生成流信息；流信息数限制部，具备暂时保存上述流信息生成部所生成的流信息的管理用缓冲器，从该管理用缓冲器读出流信息并将其输出；以及流信息发送部，将从上述流信息数限制部所输出的流信息分组化并发送到上述测定用网络上，上述流信息数限制部在上述管理用缓冲器中所保存着的流信息数量超过预先所设定的上限值时，将该所保存着的流信息分成非汇集流信息和在上述通信量的计测中的重要性低于该非汇集流信息的汇集候补，将被设为该汇集候补的流信息汇集起来进行控制以使得上述管理用缓冲器中所保持着的流信息数量在一定数量以下。
2. 按照权利要求1所记载的流信息限制装置，其特征在于 上述流信息包含上述通信量的计测中所需要的计测信息， 上述流信息数限制部基于上述计测信息的量或者统计值的大小关系对上述管理用緩冲器中所保存的流信息进行排序并重新排列，将 该经过重新排列的流信息之中、高位的流信息作为上述非汇集流信 息，将低位的流信息作为上述汇集候补。
3. 按照权利要求1或者2所记栽的流信息限制装置，其特征在于上述流信息数限制部阶段性地变更汇集上述流信息的条件中所 含的比较项目。
4. 按照权利要求3所记载的流信息限制装置，其特征在于上述流信息数限制部保持与上述流信息生成部进行的流信息生 成中所用的分组属性相对应的项目和外部输入的该项目的优先位次， 并反复进行从上述流信息的生成项目中删除该优先位次为最低位的 项目的处理，来阶段性地变更上述比较项目。
5. 按照权利要求1所记载的流信息限制装置，其特征在于 上述流信息生成部对于上述管理用援冲器中所保存着的流信息，基于外部输入的项目的优先位次的顺序，对该流信息保持的每个项目 反复进行大小比较以判定流信息间的大小，将该判定结果作为检索用 索亏1进行保持，并参照该检索用索引来进行上述流信息的生成。
6. 按照权利要求l所记载的流信息限制装置，其特征在于上述流信息数限制部对于上述管理用緩冲器中所保存着的流信 息，基于外部输入的项目的优先位次的顺序，对该流信息保持的每个 项目反复进行大小比较以判定流信息间的大小，将该判定结果作为检 索用索引进行保持，并参照该检索用索引来进行上述流信息的汇集。
7. 按照权利要求6所记载的流信息限制装置，其特征在于上述流信息数限制部记录包含汇集候补数、汇集结果数和流信息 限制时的汇集条件的每个项目的流数的信息的历史，并基于该历史来 推测下次汇集时的上述检索用索引的创建所用的初始项目数，其中，上述汇集候补数是从上述流信息生成部所生成的流信息的 总数减去重新排列后位于高位的成为非汇集的流信息数量即非汇集 数的值；上述汇集结果数是从上述上限值减去上述非汇集数的值。
8. 按照权利要求5至7中任意一项所记载的流信息限制装置， 其特征在于上述检索用索引具有将优先度为高位的项目的叶设为优先度为低位的项目的根的二叉树的数据结构。
9. 按照权利要求3所记载的流信息限制装置，其特征在于 上述流信息生成部将构成上述首标信息的、上述通信所使用的协议、源地址、目标地址、源端口以及目标端口的各项目吻合的分组的 集合作为流，并生成包含有关该各项目的信息的流信息作为该流的信 息，上述流信息数限制部在上述各项目组合而成的、进行汇集的条件 中所含的比较项目不同的多个汇集条件的范围中，变更汇集条件来汇集^皮^:为上述汇集候补的流信息。
10. —种流信息限制方法，用在:^皮配置于将多个终端相互进行连 接的网络上、并经由测定用网络被连接到对该网络中的通信量进行计 测的测定用终端的通信装置中，所述流信息限制方法的特征在于包 括第1步骤，将持有同一属性的分组的集合作为同一通信的流，并 对该每个流基于上述分组的首标信息而生成流信息；第2步骤，在管理用緩冲器中暂时保存在上述第l步骤中所生成 的流信息，并从该管理用緩冲器读出流信息；第3步骤，将上述第2步骤中所输出的流信息分组化并发送到上 述测定用网络上，上述第2步骤在上述管理用緩冲器中所保存着的流信息数量超 过预先所设定的上限值时，将该所保存着的流信息分成非汇集流信息 和在上述通信量的计测中的重要性低于该非汇集流信息的汇集候补， 将被设为该汇集候补的流信息汇集起来进行控制以使得上述管理用 緩冲器中所保持着的流信息数量在一定数量以下。
全文摘要
本发明提供一种依旧保持通信量全体的计测信息，对流信息的发送数进行限制用的流信息限制装置。该流信息限制装置具有将同一属性的分组的集合作为同一通信的流，并对该每个流基于上述分组的首标信息而生成流信息的流生成功能部(202)；具备暂时保存该已生成的流信息的管理用缓冲器，从该管理用缓冲器读出流信息并将其输出的流信息数限制功能部(203)；使该已被输出的流信息分组化并发送到测定用网络上的流信息发送部(204)，流信息数限制功能部(203)在管理用缓冲器中所保存的流信息数量超过预先所设定的上限值时，将该所保存着的一部分流信息汇集起来。
文档编号H04L12/56GK101536437SQ20078004230
公开日2009年9月16日 申请日期2007年11月20日 优先权日2006年11月21日
发明者入野仁志, 片山胜 申请人:日本电信电话株式会社