一种应用于云审计系统的网络审计子系统的制作方法

本发明涉及一种云应用的子系统，尤其涉及一种应用于云审计系统的网络审计子系统。

背景技术：

云计算是一种全新的领先信息技术，其结合it技术和互联网实现超级计算和高存储能力。推动云计算兴起的动力是高速互联网、虚拟化技术、更加廉价且功能强劲的芯片及硬盘以及数据中心等技术的发展。云计算可以看作是分布式计算、并行计算、效用计算、网络存储、虚拟化以及负载均衡等传统计算机和网络技术发展融合的产物。云计算涉及的关键技术有很多，包括：通信、大规模分布式存储技术、海量数据处理技术、资源管理和虚拟化技术等。大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据具有4v特点：volume(大量)、velocity(高速)、variety(多样)、value(价值)。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。“移动互联网+”的到来，意味着跨界融合，创新驱动，重塑结构，尊重人性，开放生态的时代到来。“移动互联网+”就是“互联网”+各个传统行业，利用计算机技术、信息通信技术、云计算技术以及互联网平台，让互联网与传统行业进行深度融合，创造新的发展业态。大数据、云计算时代已经渗透到诸多行业和业务职能领域，成为重要的组成部分。根据权威的nist定义，现有的云计算主要分为三种服务模式，分别是基础设施即服务iaas(infrastructureasaservice)，主要为用户提供基础设施服务，包括计算机、服务器、防火墙、存储设备和网络设备等；平台即服务paas(platformasaservice)，主要为用户提供应用程序开发、测试和部署平台，即是将一个完整的系统平台，包括应用设计、应用开发、应用测试、应用部署和应用托管，都作为一种服务提供给用户；软件即服务saas(softwareasaservice)，主要是为用户提供应用程序等软件。可以说，云计算这三种服务模式都是从硬件设备的角度出发的。

对于电网大数据系统的审计工作量巨大，被审计的数据不够全面，因此目前的审计系统根本无法完成电网大数据系统的审计需求。

技术实现要素：

为了解决上述技术问题，本发明目的在于提供一种应用于云审计系统的网络审计子系统。

本发明所述的一种应用于云审计系统的网络审计子系统，其特征在于，包括：

网络审计处理引擎，用于审计从云数据中采集到的网络中虚拟机流量和物理机流量；主机流量采集代理，用于采集虚拟机流量并分发至网络审计处理引擎；网络流量采集代理，用于采集物理机流量并分发至网络审计处理引擎；

所述的网络审计处理引擎还包括：

网络数据处理模块，用于采用分布式实时在线分析系统(storm)对网络数据进行分布式处理。该模块首先订阅特征向量主题，将数据从kafka中读取出来，并进行预处理，将数据序列化为avro形式；然后进行特征向量处理；最后写入kafka与hdfs；

网络数据规则匹配模块，用于通过特征向量的dpi标识判断网络数据是否为非真实性网络协议、通过对特征向量与网络访问基线进行匹配判断网络数据是否为网络异常、通过对特征向量与服务器外联基线进行匹配判断网络数据是否为服务器违规外联、通过对特征向量与开放端口基线进行匹配判断网络数据是否为异常服务；当任一判断为异常时，发生报警信息；

网络数据索引模块，用于对分布式存储的数据生成分布式索引；

策略数据库，用于存储审计策略、抓包过滤策略、定向抓包策略；

所述的主机流量采集代理还包括：

抓包模块，用于对外接虚拟机流量源的网络流量进行抓取并按照过滤策略进行过滤；

协议识别模块，用于识别出网络流量的源ip、目的ip、源端口、目的端口、网络层协议和应用层协议；

通用特征向量解析模块，用于按包提取网络层、传输层的信息和提取流信息；对于tcp协议的会话，解析并上报syn包的特征向量；对于udp协议的会话，解析并上报第一个包；对基于流的特征向量进行解析；

分发模块，用于把数据包分发到缓存队列中；缓存队列的个数根据配置文件建立，和创建的深度特征向量解析线程匹配，每个深度特征向量解析线程分别对应一个缓存队列；同一个数据流上的数据包放在同一个缓存队列中，新建数据流上的数据包在各个缓存队列中轮流进行选择；

深度特征向量解析模块，用于启动一个以上的深度特征向量解析线程，根据数据包的应用类型动态选择对应的深度特征向量解析插件进行解析；

策略接收模块，用于从策略数据库读取抓包过滤策略、从策略数据库读取定向抓包策略；并在设定时间间隔更新抓包过滤策略及定向抓包策略；

定向抓包模块，用于执行上位系统发送的定向抓包命令，将抓取的数据包通过数据上报模块反馈至所述上位系统；

数据上报模块，用于将抓取的数据包通过数据通道反馈到上位系统；把通用特征向量通过数据通道上报给上位系统；把深度特征向量通过数据通道上报上位机；把定向包以pcap文件的形式通过数据通道上报给上位系统，或者以文件的形式存在本地；

所述的网络流量采集代理结构与主机流量采集代理相同，抓包的采集对象为外接的物理机流量源。

所述的深度特征向量解析插件包括http插件、smtp/pop3插件、ftp插件、dns插件、ssh插件、telnet插件。

所述的网络数据索引模块由两个输入源，第一输入源是由网络数据处理模块将网络数据提取出特征向量后写入hdfs，再通过zookeeper通知索引建立程序进行索引建立，将hdfs中的特征向量写入索引；第二输入源是网络数据规则匹配模块将报警数据写入kafka，再由索引建立程序读kafka建立索引。

本发明所述的一种应用于云审计系统的网络审计子系统，其总体目标是通过一定的规则和策略设置，从网络设备、主机等获取网络数据包进行分析与记录。通过把所有获取到的网络访问记录写入到数据库中，系统可以进行网络安全漏洞分析、入侵检测等工作，可以为审计数据中心提供数据进行分析与展示等，数据也将在数据库中进行保存以便日后查验。根据云计算的特点，其中的设备分为物理设备和虚拟设备两大类，例如交换机分为物理交换机和虚拟交换机两类，主机分为物理主机和虚拟主机两类。所以，在云审计系统中，对这两类的设备均需要进行审计。在本网络审计系统的设计目标中，需要能够同时采集物理设备和虚拟设备的网络通信数据，根据其特点进行不同的规则过滤，所产生的结构能够存入不同的库表中。在审计中心读取数据时，也能区分出不同类型设备的数据。网络审计应该实现高性能的数据抓取和数据库写入操作，网络审计中不应该出现性能瓶颈或者丢包的情况，网络审计必须所有符合规则匹配的数据正确写入数据库中，以供审计中心查阅。

附图说明

图1是本发明所述网络审计中心子系统的应用环境示意图。

图2是本发明所述网络审计中心子系统的结构示意图。

具体实施方式

根据图1、图2所示，本发明所述的一种应用于云审计系统的网络审计子系统连同综合展示管理中心子系统、审计数据中心子系统和日志审计子系统一同组成云审计系统。所述的综合展示管理中心子系统对上外接云资源管理平台，下行连接审计数据中心子系统，用于管理系统安全和各功能子系统的协同运作；所述的审计数据中心子系统下行分别连接日志审计子系统与网络审计子系统；所述的日志审计子系统连接外部日志源；所述的网络审计子系统独立连接外部的虚拟机流量源和物理机流量源。其中的日志审计子系统包括关联规则库，网络审计子系统包括审计规则库。

本发明所述的网络审计子系统包括：网络审计处理引擎，用于审计从云数据中采集到的网络中虚拟机流量和物理机流量；主机流量采集代理，用于采集虚拟机流量并分发至网络审计处理引擎；网络流量采集代理，用于采集物理机流量并分发至网络审计处理引擎。

所述的网络审计处理引擎还包括：网络数据处理模块，用于采用分布式实时在线分析系统(storm)对网络数据进行分布式处理，首先订阅特征向量主题，将数据从kafka中读取出来，并进行预处理，将数据序列化为avro形式；然后进行特征向量处理；最后写入kafka与hdfs。网络数据规则匹配模块，用于通过特征向量的dpi标识判断网络数据是否为非真实性网络协议、通过对特征向量与网络访问基线进行匹配判断网络数据是否为网络异常、通过对特征向量与服务器外联基线进行匹配判断网络数据是否为服务器违规外联、通过对特征向量与开放端口基线进行匹配判断网络数据是否为异常服务；当任一判断为异常时，发生报警信息。网络数据索引模块，用于对分布式存储的数据生成分布式索引。策略数据库，用于存储审计策略、抓包过滤策略、定向抓包策略。

所述的主机流量采集代理还包括：抓包模块，用于对外接虚拟机流量源的网络流量进行抓取并按照过滤策略进行过滤。协议识别模块，用于识别出网络流量的源ip、目的ip、源端口、目的端口、网络层协议和应用层协议。通用特征向量解析模块，用于按包提取网络层、传输层的信息和提取流信息；对于tcp协议的会话，解析并上报syn包的特征向量；对于udp协议的会话，解析并上报第一个包；对基于流的特征向量进行解析。分发模块，用于把数据包分发到缓存队列中；缓存队列的个数根据配置文件建立，和创建的深度特征向量解析线程匹配，每个深度特征向量解析线程分别对应一个缓存队列；同一个数据流上的数据包放在同一个缓存队列中，新建数据流上的数据包在各个缓存队列中轮流进行选择。深度特征向量解析模块，用于启动一个以上的深度特征向量解析线程，根据数据包的应用类型动态选择对应的深度特征向量解析插件进行解析。策略接收模块，用于从策略数据库读取抓包过滤策略、从策略数据库读取定向抓包策略；并在设定时间间隔更新抓包过滤策略及定向抓包策略。定向抓包模块，用于执行上位系统发送的定向抓包命令，将抓取的数据包通过数据上报模块反馈至所述上位系统。数据上报模块，用于将抓取的数据包通过数据通道反馈到上位系统；把通用特征向量通过数据通道上报给上位系统；把深度特征向量通过数据通道上报上位机；把定向包以pcap文件的形式通过数据通道上报给上位系统，或者以文件的形式存在本地。

所述的网络流量采集代理结构与主机流量采集代理相同，抓包的采集对象为外接的物理机流量源。

所述的深度特征向量解析插件包括http插件、smtp/pop3插件、ftp插件、dns插件、ssh插件和telnet插件。

所述的网络数据索引模块由两个输入源，第一输入源是由网络数据处理模块将网络数据提取出特征向量后写入hdfs，再通过zookeeper通知索引建立程序进行索引建立，将hdfs中的特征向量写入索引；第二输入源是网络数据规则匹配模块将报警数据写入kafka，再由索引建立程序读kafka建立索引。

对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。