专利名称：一种基于云计算环境的全信息安全取证监听方法和系统的制作方法
技术领域：
本发明涉及网络安全技术领域，尤其涉及一种基于云计算环境的全信息安全取证监听方法和系统。
背景技术：
随着互联网网络技术特别是WWW (World Wide Web，万维网)技术的快速发展，互联网也越来越多的应用到各行各业之中。人类社会纷纷将各种活动迁移到了互联网上，形成了以电子政务、电子商务、电子金融、电子教学等为代表的各种应用，使得互联网的使用成为人类日常的生活习惯。在这个进程中，网络安全问题逐渐受到人们的关注，并随着安全事件的不断涌现而成为热点问题。目前主要的网络安全问题有黑客攻击(Hacking)，恶意代码(Malware)(包括特洛伊木马Tro jans、螺虫病毒Worms、间谋软件Spyware),流t民软件(又叫Adware)),网络欺诈(Phishing Attack)和网络攻击(Attack)(包括 DDoS、僵尸网络 Botnet)等。针对这些问题，网络安全防护提出了相应的解决方案。安全威胁日益复杂多样，攻击手段日益综合。很多复合式安全攻击融合了如蠕虫病毒、木马、间谍软件等多种手段，单纯依靠以单一的防火墙为代表的传统安全解决方案已经无法奏效。而采购、部署和管理多种单独防护手段如反钓鱼、反螺虫、IPS (Intrusion Prevention System,入侵防御系统)等安全设备往往需要企业花费巨大的经济和人力的开销，并需要专业的网络管理知识，从而给企业带来了巨大的维护成本。网络监测可以实时地监测企业内网中网络状态，可以及时地对内部入侵或攻击行为做出判断，从而提高企业网络安全等级，网络监控作为一种发展比较成熟的技术，监听网络传输的数据，排除网络故障等方面具有不可替代的作用，因而一直倍受网络管理员的青睐。目前市场上的网络监听装置或抓包装置种类比较少，部分监听装置侧重于提高抓包速度，在这方面做了很多改进，部分监听装置突出了抓取数据包的准确率，在接收数据的过滤技术上做了很多的工作，还有部分监控装置致力于解决现有技术中无法实时监听目标定位，还有还原监听数据内容不精确的问题。当前的主流网络监控装置都是单独运行的，装置之间缺少统一部署和协作，因此在大存储和高性能的需求上还表现得还不够完善。因此当面临大数据，多服务器集中监听的时候，传统的监控装置不能很好的适应。随着网络的发展，网络所提供的服务越来越多，因此，在网络上提供各种服务与应用的主机也越来越多，由此带来的系统维护也变得越来越复杂；企业的运作对于IT系统的依赖性越来越强，用户对网络服务的要求越来越高，因此服务的故障甚至中断会给用户带来抱怨，也对政府、企业的信誉和形象带来损害。然而，系统的故障甚至中断是在所难免的，而如何在最短的时间内发现故障是挽回损失和解决问题的第一步，因此，主机管理、网络管理是必不可少的助手。因此需要一种网络监测系统帮助网络管理员随时随地了解整个网络系统运行情况，从而保障网络的安全。
云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式，通过互联网来提供动态易扩展而且是虚拟化的资源。云计算一般来说包括以下几个层次的服务:基础设施即服务(Infrastructure as a Service,简称IaaS),平台即服务(Platform as a Service,简称PaaS)和软件即服务(Software as a Service,简称SbbS)o现行的网络监听工具主要是针对单点的网络监听进行研究的，并没有对大规模、多服务的网络环境的监听进行研究，并没有注意到现在企业或政府的服务器集群越来越大、网络拓扑蔓延越来越广、对网络速度的要求越来越高，单点的网络监听及低速的监听装置越来越不适应现在企业和社会的发展需求。此外，云计算这一新兴的计算模式在IT界异军突起，由云计算带动的产品收益也成几何级数增长，作为IT领域的产品，也要与时俱进，将监听技术与云计算相结合，充分利用云计算的优点，提高监听产品的性能。
发明内容
(一)要解决的技术问题针对上述缺陷，本发明要解决的技术问题是如何采用基于云计算环境下的分析和存储，实现了多节点全局高效快速的网络监听。(二)技术方案为解决上述问题，本发明提供了一种基于云计算环境的全信息安全取证监听方法，所述方法具体包括以下步骤:S1:基于云计算对整个分布式网络进行部署，包括监听节点、汇聚节点和监控中心,并配置参数；S2:所述监听节点抓取网络交换设备中的数据包获取原始数据，对所述原始数据进行暂存和实时分析，并根据控制指令将所述原始数据和实时分析得到的分析结果上传给所述汇聚节点；S3:所述汇聚节点对所述原始数据和所述分析结果进行压缩、转换和缓存，上传给所述监控中心；S4:所述监控中心对从所述汇聚节点接收到的数据进行汇总、云存储和分析，形成监听报表，并根据所述监听报表得出安全策略。进一步地，所述步骤SI中基于云计算对整个分布式网络进行部署具体是进行分网段的部署，将整个网络分成多个网段，每个网段内设置多个监听节点；所述监听节点的网络接口采用混杂模式，对网段内的数据包采取异步抓包进行抓取；所述监控中心包括多个汇聚节点，隶属于所述监控中心的汇聚节点向所述监控中心进行注册，并通过所述汇聚节点获取所述监控中心发布的对汇聚节点的配置信息；所述汇聚节点包括多个监听节点，属于所述汇聚节点的监听节点向所述汇聚节点进行注册，所述汇聚节点接收监听节点的注册后将每个注册的监听节点的地址信息反馈给所述监控中心，并获取所述监控中心发布的对监听节点的配置信息。进一步地，所述步骤S2中对所述原始数据进行暂存具体包括:判断存储空间的容量是否达到容量阈值，如果达到则发出提醒或自动删除存储时间最早的原始数据，否则进行循环存储。进一步地，所述步骤S2中对所述原始数据进行实时分析具体包括:流量分析、协议分析、告警分析和查询分析。进一步地，所述步骤S2中上传给所述汇聚节点的原始数据就是暂存在所述监听节点的数据，上传给所述汇聚节点的分析结果通过暂存再进行上传。进一步地，所述步骤S3中所述汇聚节点对接收的数据进行压缩和转换，再进行数据化格式处理，并将处理后的数据进行缓存，缓存后的数据上传给所述监控中心，当所述监控中心的存储和解析速度小于所述监听节点的抓包速度时，所述汇聚节点对数据进行本地缓存，直到网络有空闲时才将缓存的数据存储到数据库中。进一步地，所述步骤S4中对数据的云存储的同时设置访问权限，禁止无权限者的访问或修改；对数据的分析具体包括对数据的实时查询和精确分析。为解决上述技术问题，本发明还提供了一种基于云计算的全信息安全取证监听系统，包括:监听节点、汇聚节点和监控中心；其中所述监听节点包括抓包模块、暂存模块、实时分析模块和策略模块；所述汇聚节点包括监听管理模块、上行数据处理模块、下行策略处理模块和系统配置模块；所述监控中心包括分析检索模块、云存储模块、策略制定模块、报表导出模块、通知报告模块和参数配置模块；所述系统还包括通信模块，用于所述监听节点与所述汇聚节点的通信、所述汇聚节点与所述监控中心的通信和所述监控中心与云计算平台的通信。进一步地，所述抓包模块用于抓取网络交换设备中的网络数据包，获取原始数据；所述暂存模块用于对所述原始数据和所述实时分析模块分析后的分析结果进行暂存；所述实时分析模块用于对所述原始数据进行实时分析，得到分析结果；所述策略模块用于接收所述汇聚节点转发的配置信息，并实施相应的策略、控制其它模块的行为。更进一步地，暂存模块具体包括判断模块、循环存储模块和删除模块；所述判断模块用于判断存储空间的容量是否达到容量阈值，如果达到则进入所述通知报告模块或所述删除模块，否则进入所述循环存储模块；所述删除模块用于根据接收到的所述通知报告模块发出的控制指令进行删除或自动删除存储时间最早的原始数据；所述循环存储模块用于存储所述原始数据，并记录存储时间。更进一步地，所述实时分析模块具体包括流量分析子模块、协议分析子模块、告警分析子模块和查询分析子模块；其中所述流量分析子模块用于分析抓取的数据包的大小，并计算出数据包的流量;
所述协议分析子模块用于分析抓取的数据包的协议类型，并判断出所述协议类型不符合协议规则的数据包；所述告警分析子模块用于根据远程配置策略对流量、协议和内容进行分析，如果符合告警规则进行告警记录并上报；所述查询分析子模块用于根据所述监控中心下发的控制指令进行查询，将符合条件的数据导出到指定位置。进一步地，所述监听管理模块用于接收所述监听节点向所述汇聚节点的注册，还用于接收所述监听节点的心跳信息，当一段时间没有接收到所述心跳信息时向所述监控中心汇报监听节点的异常信息，请求更新配置信息；所述上行数据处理模块用于对所述监听节点上传的原始数据和分析结果进行压缩、转换，再进行数据化格式处理，并将处理后的数据进行缓存，缓存后的数据上传给所述监控中心；所述下行策略处理模块用于对所述监控中心下发的策略和控制指令的目的地址进行解析，并转发给与所述目的地址相应的监听节点；所述系统配置模块从所述监控中心接收配置信息，将对所述监听节点的配置信息转发给相应的监听节点，并向所述监控中心上报自身的状态信息。进一步地，所述云存储模块用于对从所述汇聚节点接收到的数据进行汇总，并保存到数据库中，同时设置访问权限，禁止无权限者的访问或修改；所述分析检索模块用于对数据进行实时查询和精确分析；所述策略制定模块用于根据所述分析结果制定所述监听节点、所述汇聚节点和所述监控中心的抓包策略、存储策略和分析策略；所述报表导出模块用于将所述监听节点和所述汇聚节点上传的数据和分析结果整合成报表并导出；所述通知报告模块用于当系统中出现故障或警告时进行提示；所述参数配置模块用于对系统的参数进行配置，其中包括设置所述监听节点的网络接口为混杂模式，抓取数据包采用异步抓取方式，还包括所述监听节点暂存数据时的存储空间的容量阈值。(三)有益效果本发明提供了一种基于云计算环境的全信息安全取证监听方法和系统，主要是针对企业级用户，为其提供多节点监听、集中管理、基于云计算环境下的全信息安全取证分布式监听方案，在采用云存储技术具有大容量、高性能、高可用性和高效管理，实现了文件存储、时间同步、实时全方位备份、支持分布式存储和网络存储的功能。本发明确保监听方案从全局出发，实现了统一管理及全面分析网络安全状态等功能。根据实际的网络拓扑需求提供灵活部署方案，依据网络大小和需求，进行灵活部署，实现内网扩展，通过控制中心进行相关查询和操作，从而灵活地、全局性地实现计算机网络安全策略的控制。
图1为本发明实施例一中的一种基于云计算环境的全信息安全取证监听方法的步骤流程图2为本发明实施例一中的一种基于云计算环境的全信息安全取证监听方法的实施流程图；图3为本发明实施例二中的一种基于云计算环境的全信息安全取证监听系统的系统架构图；图4为本发明实施例二中监听节点的模块架构图；图5为本发明实施例二中暂存模块的组成示意图；图6为本发明实施例二中汇聚节点的模块架构图；图7为本发明实施例二中监控中心的模块架构图。
具体实施例方式下面结合附图和实施例，对本发明的具体实施方式
作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。实施例一本发明实施例一中提供了种基于云计算环境的全信息安全取证监听方法，步骤流程如图1所示，具体包括以下步骤:步骤S1:基于云计算对整个分布式网络进行部署，包括监听节点、汇聚节点和监控中心，并配置参数。具体的，基于云计算对整个分布式网络进行部署具体是进行分网段的部署，将整个网络分成多个网段，每个网段内设置多个监听节点。监控中心包括多个汇聚节点，监控中心启动后，等待汇聚节点联系，隶属于监控中心的汇聚节点向监控中心进行注册，并获取监控中心发布的对汇聚节点的配置信息。汇聚节点包括多个监听节点，汇聚节点启动后，属于汇聚节点的监听节点向汇聚节点进行注册。汇聚节点接收监听节点的注册后，存储下每个监听节点的地址信息，并将每个注册的监听节点的地址信息反馈给监控中心，获取监控中心发布的对监听节点的配置信息，并向监控中心询问是否有更新，如果有更新及时转发给相应的监听节点。在硬件配置上，监听节点要求具备两个以上的网卡，一个设置为混杂模式，负责进行网络监听和抓取数据包；另一个负责将数据上传到汇聚节点和接收监控中心下发的远程配置信息。计算机网卡工作在非混杂模式下时，网卡只接受来自网络端口的目的地址指向自己的数据或者是广播数据，而对于其他地址的数据帧，网络接口在验证其目的地址不是本机的地址时，一律选择丢弃。在本实施例中，将监听节点的网络接口设置为混杂模式，使监听节点能够抓取到其所监听网段的所有网络数据信息，每个监听节点将抓取到的数据信息上传到汇聚节点。另外，本实施例中采用异步抓包方式，将高速数据传输传下的数据包抓取并保存成统一的通用文件格式，然后经过初步解析保存在当地的存储区中，抓包和存储不相关，这样可以提高抓包速度，当存储和解析速度跟不上抓包速度时候，系统会在汇聚节点自动缓存下来所抓取的数据包。当缓存区的容量不够存放数据包时候，才自动丢弃数据包。在企业或机构的内部网络中，基于云计算环境的模式，监听节点通过网线与被监听网段的网络交换设备相连接，并且具有独立的供电方案，通过将网络交换设备设置为混杂模式，监听装置可以监听到通过这部交换设备的全部网络数据信息。所有监听装置通过网线与汇聚装置相连接，汇聚装置再通过网线与监控中心链接组成网管网。分网段部署，可以做到全面的内部网络监测，确保企业内部网络安全。步骤S2:监听节点抓取网络交换设备中的数据包获取原始数据，对原始数据进行暂存和实时分析，并根据控制指令将原始数据和实时分析得到的分析结果上传给汇聚节点。在此步骤中暂存的不仅仅是原始数据，还包括经过实时分析得到的分析结果，并上传给汇聚节点。具体的，对原始数据或分析结果进行暂存具体包括:判断存储空间的容量是否达到容量阈值，如果达到则通过监控中心发出提醒提示用户存储空间不足，以便用户可以采取删除或暂停监听网络的方式来处理；或自动删除存储时间最早的原始数据，否则进行循环存储。其中容量阈值是在参数设置上进行设置的。因为将解析出的数据存入存储区域的同时也记录下每条数据的存储时间，所以当超出容量阈值时会将存储时间较早的数据删除。对原始数据进行实时分析具体包括:流量分析、协议分析、告警分析和查询分析，其中侧重对当前流量的实时信息进行分析，但不对网络整体信息进行展现，也不会运行复杂的分析算法进行数据挖掘等操作。其中流量分析，通过将抓取的数据包中进行分析，能够得到数据包的大小信息，然后通过数据库统计出数据包的流量。流量分析的目的是为了分析监测网络当中流量的分布情况，通过分析网络当中的流量系统能够灵活的对网络做出预测，同时也能够保障系统自身的有效运行。协议分析，通过对抓取的数据包分析，可以解析出每个数据包的协议类型，每种数据包都有自己独特的协议类型字段和内容字段，通过对数据包协议的判定，可以对网络中传输的数据进行有效的安全监控，当发现有不符合协议规则的数据包时，能够有效的做出判断，保障系统的安全性。告警分析，根据远程配置策略，对流量、协议和内容进行分析时，如果发现数据负责配置信息中的告警策略，则进行记录和上报。查询分析，根据监控中心下达的控制指令，以及人为操作指令，将符合条件的暂存信息(原始流量数据)导出到指定位置(通过网络接口、web接口或文件接口等方式)。监听节点还负责接收监控模块下达的配置信息，并实施相应的策略和控制行为，即控制其他模块的行为，主要功能有:系统配置信息:例如系统名称、安全口令、网络地址和存储位置等；以及心跳规则
坐寸ο抓包和存储规则:存储何种数据包、放弃何种数据包；分析规则:例如数据分析的粒度和协议内容、关键字等；告警规则:何种情况下告警，告警时触发何种行为，以及数据上传规则、数据导出规则等。步骤S3:汇聚节点对原始数据和分析结果进行压缩、转换和缓存，上传给监控中心。汇聚节点的主要作用就是对网络进行分级化控制，减少设备定位和管理上的开销，也减少数据上报和策略下发的开销。将监听节点传输来的数据进行聚集(压缩、转换)和统一的数据格式化处理，方便此后的存储和解析(上传到监控中心)。同时为了提高系统的可靠性和有效性，在汇聚节点设置有缓存。汇聚节点对接收的数据进行压缩和转换，再进行数据化格式处理，并将处理后的数据进行缓存，缓存后的数据上传给监控中心，当监控中心的存储和解析速度小于监听节点的抓包速度时，汇聚节点对数据进行本地缓存，直到网络有空闲时才将缓存的数据存储到数据库中。当缓存区的容量不够存放数据包时候，自动丢弃数据包。步骤S4:监控中心对从汇聚节点接收到的数据进行汇总、云存储和分析，形成监听报表，并根据监听报表得出安全策略。云存储就是分布式存储对抓取的数据包经过解析后的文件以及通过实时分析之后保存到数据库中的文件。解析后的数据文件保存到开源云计算平台分布式文件系统HDFS或其它类似系统中。对数据的云存储的同时设置访问权限，禁止无权限者的访问或修改，采用“一次写入，多次读取”的存储策略，数据一旦写入，则不能被修改，只能供读取，以满足取证和审计等需求。对数据的分析具体包括对数据的实时查询和精确分析，对数据进行汇聚、数据挖掘和预测等复杂分析，强调对海量数据进行特定的运算，以得到运算的结果。采取HBASE、Map/reduce等开源分布式处理技术,实现对海量数据的实时查询和精确分析。控制中心将监听节点和汇聚节点中的数据信息以及分析结果整合成报表的形式，报表以html文件格式让管理员在web界面中浏览，或通过PDF文件格式的方式让管理员选择性的导出查看。在监控中心还能按照管理员制定的管理策略对系统的分析结果做出相应的控制操作，操作指令以xml (可扩展标记语言)文件形式提供给管理员。策略定制内容包括对监听节点、汇聚节点和监控中心本身的各种抓包策略、存储策略和分析策略等进行定制，管理员将策略定制好之后，下达给各个目标设备，各目标设备才能进行正常工作。根据上述步骤流程，本发明的方法实施流程如图2所示。通过上述方法，提供多节点监听、集中管理、基于云计算环境下的全信息安全取证分布式监听方案，在采用云存储技术具有大容量、高性能、高可用性和高效管理，实现了文件存储、时间同步、实时全方位备份、支持分布式存储和网络存储的功能。本发明确保监听方案从全局出发，实现了统一管理及全面分析网络安全状态等功能。根据实际的网络拓扑需求提供灵活部署方案，依据网络大小和需求，进行灵活部署，实现内网扩展，通过控制中心进行相关查询和操作，从而灵活地、全局性地实现计算机网络安全策略的控制。实施例二本发明实施例二中还提供了一种基于云计算环境的全信息安全取证监听系统，系统架构如图3所示,具体包括:监听节点、汇聚节点和监控中心。系统中还包括通信模块，用于监听节点与汇聚节点的通信、汇聚节点与监控中心的通信和监控中心与云计算平台的通信。通信协议采用广泛应用的TCP/IP协议并使用socket (套接字)编程实现监控中心与监听节点和汇聚节点之间的通信以及时间同步。
管理员可以通过监控中心对整个网络监听环境进行控制和监听，而且还可以通过监控中心对其控制下的汇聚节点和监听节点进行控制，包括监听节点或汇聚节点的启动或停止，以及配置监听节点、汇聚节点和监控中心自身的抓取规则、分析规则、暂存规则等。监听节点的模块架构图如图4所示，具体包括:抓包模块11、暂存模块12、实时分析模块13和策略模块14。监听节点在硬件配置上，要求具备两个以上的网卡，一个设置为混杂模式，负责进行网络监听和抓取数据包；另一个负责将数据上传到汇聚节点和接收监控中心下发的远程
配置信息。抓包模块11用于抓取网络交换设备中的网络数据包，获取原始数据。抓包模块11是监听节点的基础，所有对网络安全监测都是基于抓网络数据包来进行的，抓包模块11通过监听节点对网络交换设备中经过的数据包进行抓取来获得安全数据信息。网卡在混杂模式下使监听节点能够抓取到其所监听网段的所有网络数据信息，每个监听节点将抓取到的数据信息上传到汇聚节点。抓包模块11采用异步抓包方式，现将高速数据传输传下的数据包抓取并保存成统一的通用文件格式，然后经过初步解析保存在当地的存储区中，抓包和存储不相关，这样可以提高抓包速度，当存储和解析速度跟不上抓包速度时候，系统会自动缓存下来所抓取的数据包。当缓存区的容量不够存放数据包时候，自动丢弃数据包。暂存模块12用于对原始数据和实时分析模块分析后的分析结果进行暂存。本系统中采用分布式存储和集中存储相结合的方式。在监听节点会对抓取数据进行暂存和分析，并根据策略将部分数据和分析结果上传到汇聚节点，并最终上传到监控中心进行永久存储。这两种存储的区别是:监听节点的暂存模块12对原始抓包数据(以及实时分析的分析结果进行存储)，属于分布式存储；而监控中心的云存储模块32则是对汇聚节点整理、上传的数据进行再分析，分析后的数据再进行存储，属于集中存储。暂存系统中，设置容量阈值，当存储空间的容量到达一定的阈值时，会通过监控中心向客户发出警告，提醒用户存储空间不够，用户可以采取删除或者是暂停监听网络等方式来处理。如果客户未能采取相关的措施，存储系统自动按照日期的先后顺序删除一定容量的数据。存储系统的容量阈值可以通过监控中心、管理员进行设置，删除过程自动完成，确保装置工作流的一致性。暂存模块12的组成示意图如图5所示，具体包括判断模块121、循环存储模块122和删除模块123。判断模块121用于判断存储空间的容量是否达到容量阈值，如果达到则进入通知报告模块或删除模块123，否则进入循环存储模块122。删除模块123用于根据接收到的通知报告模块35发出的控制指令进行删除或自动删除存储时间最早的原始数据；循环存储模块122用于存储原始数据，并记录存储时间。实时分析模块13用于对原始数据进行实时分析，得到分析结果。实时分析模块13是监听节点的核心部分，负责对数据进行实时分析，分析侧重对当前流量的实时信息进行分析，但不对网络整体信息进行展现，也不会运行复杂的分析算法进行数据挖掘等操作。
实时分析模块13具有四种功能，分别由四个模块实现，具体包括流量分析子模块131、协议分析子模块132、告警分析子模块133和查询分析子模块134。流量分析子模块131用于分析抓取的数据包的大小，并计算出数据包的流量。通过将抓取的数据包进行分析，能够得到数据包的大小信息，然后通过数据库统计出数据包的流量。流量分析的目的是为了分析监测网络当中流量的分布情况，通过分析网络当中的流量分布情况能够灵活的对网络做出预测，同时也能够保障系统自身的有效运行。协议分析子模块132用于分析抓取的数据包的协议类型，并判断出协议类型不符合协议规则的数据包。对抓取数据包分析可以解析出每个数据包的协议类型，每种数据包都有自己独特的协议类型和内容，分别用不同的字段进行表示。通过对数据包协议的判定，可以对网络中传输的数据进行有效的安全监控，当发现有不符合协议规则的数据包时，能够有效的做出判断，保障系统的安全性。告警分析子模块133用于根据远程配置策略对流量、协议和内容进行分析，如果符合告警规则进行告警记录并上报。根据远程配置策略，对流量、协议和内容进行分析时，如果发现数据符合配置信息中的告警策略，则进行记录和上报。查询分析子模块134用于根据监控中心下发的控制指令进行查询，将符合条件的数据导出到指定位置。根据监控中心根据策略分析结果下达的控制指令以及管理员通过监控中心下发的操作指令，将符合条件的暂存信息(原始流量数据)通过网络接口、web接口或文件接口等方式导出到指定位置。策略模块14用于接收汇聚节点转发的配置信息，并实施相应的策略、控制其它模块的行为。策略模块14负责接收监控中心下达的且经过汇聚节点转达的配置信息，并实施相应的策略和控制行为，即控制其他模块的行为，因此主要有以下功能:系统配置信息:系统名称、安全口令、网络地址和存储位置等，以及心跳规则等；抓包和存储规则:包括存储何种数据包，放弃何种数据包；分析规则:例如数据分析的粒度和协议内容、关键字等，以及数据上传规则，数据导出规则等；告警规则:何种情况下告警，告警时触发何种行为。汇聚节点的模块架构如图6所示，汇聚节点的主要作用在于实现分级化的系统控制，从而减少设备定位和管理上的开销，减少数据上报和策略下发时的开销，汇聚节点具体包括:监听管理模块21、上行数据处理模块22、下行策略处理模块23和系统配置模块24。监听管理模块21用于接收监听节点向汇聚节点的注册，还用于接收监听节点的心跳信息，当一段时间没有接收到心跳信息时向监控中心汇报监听节点的异常信息，请求更新配置信息。上行数据处理模块22用于对监听节点上传的原始数据和分析结果进行压缩、转换，再进行数据化格式处理，同时为了提高系统的可靠性和有效性，在汇聚节点设置有缓存，将处理后的数据进行缓存，缓存后的数据再上传给监控中心。当监听的网段的数据量太大以至存储和解析速度跟不上抓包速度时候，可以将数据暂时存储在汇聚节点的缓存中，等待网络相对空闲时，再将缓存中的数据存储到数据库中。当缓存区内不够存放数据包时候，自动丢弃数据包。
下行策略处理模块23用于对监控中心下发的策略和控制指令的目的地址进行解析，并转发给与目的地址相应的监听节点。系统配置模块24从监控中心接收配置信息，将对监听节点的配置信息转发给相应的监听节点，并向监控中心上报自身的状态信息。监控中心的模块架构如图7所示，分成能力层和操作层两层，其中能力层负责提供存储以及计算能力(分析、检索和数据挖掘等)，包括分析检索模块31、云存储模块32 ;操作层负责进行抓包、存储、分析和通信等策略的配置，监控当前网络状态和接收通知报告(告警信息和汇总报告)，包括策略制定模块33、报表导出模块34和通知报告模块35,监控中心还包括参数配置模块36。其中，分析检索模块31用于对数据进行实时查询和精确分析。分析检索模块31采取HBASE、Map/reduce等开源分布式处理技术，实现对海量数据的实时查询和精确分析。Map/reduce计算模型可以快速分析处理大量数据包,极大地提高分析文件的效率，同时保证文件的完整性，节约成本。实时查询:通过使用编制查询条件，查询数据库当中的特定数据信息并以web页面的方式显示给管理员，使得在海量数据中，能够快速查到符合要求的数据。精确分析:对数据进行汇聚、数据挖掘和预测等复杂分析，对海量数据进行特定的运算，以得到运算的结果。云存储模块32用于对从汇聚节点接收到的数据进行汇总，并保存到数据库中，同时设置访问权限，禁止无权限者的访问或修改。云存储模块32将对超过3个月以上的相关数据进行存储，以实现安全取证和审计等操作。对于告警数据和满足取证策略的原始数据，云存储模块32经由汇聚节点从监听节点获取原始证据数据，进行安全存储，并设置访问权限，禁止无权限者访问或修改。云存储模块32采用“一次写入，多次读取”的存储策略，数据一旦写入，则不能被修改，只能供读取，以满足取证和审计等需求。云存储模块33的主要作用是分布式存储对抓取的数据包经过解析后的文件以及通过分析子模块之后保存到数据库中的文件。解析后的数据文件保存到开源云计算平台分布式文件系统HDFS或其它类似系统中。经过分析后的数据信息保存到分布式、面向列的开源数据库HBASE或其它类似系统中，以便实现快速检索和扩展。云存储模块33具有可扩展性，利用了 HDFS等分布式存储开源软件的特性，通过在监控中心并行增加存储硬件设备实现扩展。策略制定模块33用于根据分析结果制定监听节点、汇聚节点和监控中心的抓包策略、存储策略和分析策略。策略制定模块33按照管理员制定的管理策略，对系统的分析结果做出相应的应对操作并发出操作指令，结果以xml (可扩展标记语言)文件形式提供给管理员。策略定制内容包括对监听节点、汇聚节点和监控中心本身的各种抓包策略、存储策略和分析策略等进行定制，管理员将策略定制好之后，下达给各个目标设备，各目标设备才能进行正常工作。报表导出模块34用于将监听节点和汇聚节点上传的数据和分析结果整合成报表并导出。报表导出模块34的主要功能是将监听节点和汇聚节点中的数据信息以及功能模块中分析的结果整合成报表的形式，报表可以以html文件格式让管理员在web界面中浏览，也可以通过PDF文件格式的方式让管理员选择性的导出查看。通知报告模块35用于当系统中出现故障或警告时进行提示。通知报告主要包括各个功能模块的故障、安全告警等，其中的故障主要包括参数配置出现的故障、功能模块中出现的运行故障、管理员的不当操作导致的故障以及管理模块中出现的故障等。通知报告采用分级处理的方式，高优先级的通知直接通过短信邮件、系统弹出窗口等方式出现，低优先级通知则只会集中在警告文件中，管理员可以通过查看相关的文件来查询。参数配置模块36用于对系统的参数进行配置，其中包括设置监听节点的网络接口为混杂模式，抓取数据包采用异步抓取方式，还包括监听节点暂存数据时的存储空间的
容量阈值。其中参数包括系统运行基本参数和属性、日志格式、监听节点属性、汇聚节点属性、分析方法与时间参数、存储属性、报警过程参数、进程通信属性、视图显示属性、网络代理属性、服务等级属性。参数配置的好坏将影响整个系统的运行，因此系统有默认的参数配置以及保证系统正常工作的参数范围，方便管理员的配置与操作。通过使用上述系统，提供多节点监听、集中管理、基于云计算环境下的全信息安全取证分布式监听方案，在采用云存储技术具有大容量、高性能、高可用性和高效管理，实现了文件存储、时间同步、实时全方位备份、支持分布式存储和网络存储的功能。本发明确保监听方案从全局出发，实现了统一管理及全面分析网络安全状态等功能。根据实际的网络拓扑需求提供灵活部署方案，依据网络大小和需求，进行灵活部署，实现内网扩展，通过控制中心进行相关查询和操作，从而灵活地、全局性地实现计算机网络安全策略的控制。以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
权利要求
1.一种基于云计算环境的全信息安全取证监听方法，其特征在于，所述方法具体包括以下步骤: 51:基于云计算对整个分布式网络进行部署，包括监听节点、汇聚节点和监控中心，并配置参数； 52:所述监听节点抓取网络交换设备中的数据包获取原始数据，对所述原始数据进行暂存和实时分析，并根据控制指令将所述原始数据和实时分析得到的分析结果上传给所述汇聚节点； 53:所述汇聚节点对所述原始数据和所述分析结果进行压缩、转换和缓存，上传给所述监控中心； S4:所述监控中心对从所述汇聚节点接收到的数据进行汇总、云存储和分析，形成监听报表，并根据所述监听报表得出安全策略。
2.如权利要求1所述的方法，其特征在于，所述步骤SI中基于云计算对整个分布式网络进行部署具体是进行分网段的部署，将整个网络分成多个网段，每个网段内设置多个监听节点； 所述监听节点的网络接口采用混杂模式，对网段内的数据包采取异步抓包进行抓取； 所述监控中心包括多个汇聚节点，隶属于所述监控中心的汇聚节点向所述监控中心进行注册，并通过所述汇聚节点获取所述监控中心发布的对汇聚节点的配置信息； 所述汇聚节点包括多个监听节点，属于所述汇聚节点的监听节点向所述汇聚节点进行注册，所述汇聚节点接收监听节点的注册后将每个注册的监听节点的地址信息反馈给所述监控中心，并获取所述监控中心发布的对监听节点的配置信息。
3.如权利要求 1所述的方法，其特征在于，所述步骤S2中对所述原始数据进行暂存具体包括:判断存储空间的容量是否达到容量阈值，如果达到则发出提醒或自动删除存储时间最早的原始数据，否则进行循环存储。
4.如权利要求1所述的方法，其特征在于，所述步骤S2中对所述原始数据进行实时分析具体包括:流量分析、协议分析、告警分析和查询分析。
5.如权利要求1所述的方法，其特征在于，所述步骤S2中上传给所述汇聚节点的原始数据就是暂存在所述监听节点的数据，上传给所述汇聚节点的分析结果通过暂存再进行上传。
6.如权利要求1所述的方法，其特征在于，所述步骤S3中所述汇聚节点对接收的数据进行压缩和转换，再进行数据化格式处理，并将处理后的数据进行缓存，缓存后的数据上传给所述监控中心，当所述监控中心的存储和解析速度小于所述监听节点的抓包速度时，所述汇聚节点对数据进行本地缓存，直到网络有空闲时才将缓存的数据存储到数据库中。
7.如权利要求1所述的方法，其特征在于，所述步骤S4中对数据的云存储的同时设置访问权限，禁止无权限者的访问或修改； 对数据的分析具体包括对数据的实时查询和精确分析。
8.一种基于云计算环境的全信息安全取证监听系统，其特征在于，所述系统包括:监听节点、汇聚节点和监控中心； 其中所述监听节点包括抓包模块、暂存模块、实时分析模块和策略模块； 所述汇聚节点包括监听管理模块、上行数据处理模块、下行策略处理模块和系统配置模块； 所述监控中心包括分析检索模块、云存储模块、策略制定模块、报表导出模块、通知报告模块和参数配置模块； 所述系统还包括通信模块，用于所述监听节点与所述汇聚节点的通信、所述汇聚节点与所述监控中心的通信和所述监控中心与云计算平台的通信。
9.如权利要求8所述的系统，其特征在于，所述抓包模块用于抓取网络交换设备中的网络数据包，获取原始数据； 所述暂存模块用于对所述原始数据和所述实时分析模块分析后的分析结果进行暂存； 所述实时分析模块用于对所述原始数据进行实时分析，得到分析结果； 所述策略模块用于接收所述汇聚节点转发的配置信息，并实施相应的策略、控制其它模块的行为。
10.如权利要求9所述的系统，其特征在于，所述暂存模块具体包括判断模块、循环存储模块和删除模块； 所述判断模块用于判断存储空间的容量是否达到容量阈值，如果达到则进入所述通知报告模块或所述删除模块，否则进入所述循环存储模块； 所述删除模块用于根据接收到的所述通知报告模块发出的控制指令进行删除或自动删除存储时间最早的原始数据； 所述循环存储模块用于存储所述原始数 据，并记录存储时间。
11.如权利要求9所述的系统，其特征在于，所述实时分析模块具体包括流量分析子模块、协议分析子模块、告警分析子模块和查询分析子模块； 其中所述流量分析子模块用于分析抓取的数据包的大小，并计算出数据包的流量；所述协议分析子模块用于分析抓取的数据包的协议类型，并判断出所述协议类型不符合协议规则的数据包； 所述告警分析子模块用于根据远程配置策略对流量、协议和内容进行分析，如果符合告警规则进行告警记录并上报； 所述查询分析子模块用于根据所述监控中心下发的控制指令进行查询，将符合条件的数据导出到指定位置。
12.如权利要求8所述的系统，其特征在于，所述监听管理模块用于接收所述监听节点向所述汇聚节点的注册，还用于接收所述监听节点的心跳信息，当一段时间没有接收到所述心跳信息时向所述监控中心汇报监听节点的异常信息，请求更新配置信息； 所述上行数据处理模块用于对所述监听节点上传的原始数据和分析结果进行压缩、转换，再进行数据化格式处理，并将处理后的数据进行缓存，缓存后的数据上传给所述监控中心； 所述下行策略处理模块用于对所述监控中心下发的策略和控制指令的目的地址进行解析，并转发给与所述目的地址相应的监听节点； 所述系统配置模块从所述监控中心接收配置信息，将对所述监听节点的配置信息转发给相应的监听节点，并向所述监控中心上报自身的状态信息。
13.如权利要求8所述的系统，其特征在于，所述云存储模块用于对从所述汇聚节点接收到的数据进行汇总，并保存到数据库中，同时设置访问权限，禁止无权限者的访问或修改； 所述分析检索模块用于对数据进行实时查询和精确分析； 所述策略制定模块用于根据所述分析结果制定所述监听节点、所述汇聚节点和所述监控中心的抓包策略、存储策略和分析策略； 所述报表导出模块用于将所述监听节点和所述汇聚节点上传的数据和分析结果整合成报表并导出； 所述通知报告模块用于当系统中出现故障或警告时进行提示； 所述参数配置模块用于对系统的参数进行配置，其中包括设置所述监听节点的网络接口为混杂模式，抓取数据包采用异步抓取方式， 还包括所述监听节点暂存数据时的存储空间的容量阈值。
全文摘要
本发明公开了一种基于云计算环境的全信息安全取证监听方法和系统，基于云计算对整个分布式网络进行部署，包括监听节点、汇聚节点和监控中心，并配置参数；监听节点抓取网络交换设备中的数据包获取原始数据，进行暂存和实时分析，并根据控制指令将原始数据和实时分析得到的分析结果上传给汇聚节点；汇聚节点对原始数据和分析结果进行压缩、转换和缓存，上传给监控中心；监控中心对从汇聚节点接收到的数据进行汇总、云存储和分析，形成监听报表，并根据监听报表得出安全策略。本发明根据实际的网络拓扑需求和网络大小提供灵活部署方案，实现内网扩展，通过监控中心进行相关查询和操作，从而灵活地、全局性地实现计算机网络安全策略的控制。
文档编号H04L29/08GK103152352SQ20131008423
公开日2013年6月12日 申请日期2013年3月15日 优先权日2013年3月15日
发明者刘刚, 侯宾 申请人:北京邮电大学