一种分布式部署的审计数据去重系统的制作方法

本发明属于网络安全审计设备领域，涉及一种分布式部署审计平台的审计数据去重系统。

背景技术：

网络安全审计系统是对网络中的协议、数据和行为等进行记录、分析，并做出一定的响应措施的信息安全专用产品，一般采取旁路接入的方式。分布式部署审计平台是把多台审计设备分散地部署在网络中，由一台审计中心管理主机(以下简称审计中心)负责对多台分散部署的审计设备单元(以下简称审计单元或审计设备)进行管理，满足用户对网络行为审计备案要求，提供完整的网络行为记录，便于信息追踪、系统安全管理和风险防范。

如图1所示，现有分布式网络审计系统一般采用多个审计单元1分散布置采集数据，并由一台审计中心2管理主机负责对多台审计单元1进行集中管理方式。

专利号为2006100614047、专利权人为深圳市中科新业信息科技发展有限公司的中国专利文献，公开了一种分布式审计系统，所述分布式审计系统包括多个审计单元，所述多个审计单元构建成一个向下的树形结构的分布式网络，并形成上下级关系，上级审计单元向下级审计单元传递命令和策略数据，下级审计单元向上级审计单元传递审计日志数据。由于本发明分布式审计系统多个审计单元连接起来，建立了一个分级的分布式审计网络，实现了审计系统的上下级控制和管理，还能够通过同时控制多台网络审计单元进行工作处理高速网络里的数据，满足高速网络审计要求。

但是该专利存在以下问题：如果同一条网络流量经过其中某些不同的审计单元，当这些审计单元向审计中心管理主机汇总审计数据时，上述网络流量的审计数据就会有多条重复记录，不但占用过多的存储空间，还增加处理的数据量，降低处理速度。

为了解决上述中国专利文献公开的分布式审计系统存在的问题，申请号为201610232783x、申请人为北京威努特技术有限公司的中国专利文献，公开了一种分布式部署审计平台的审计数据去重方法。所述方法包括：审计中心存储各审计单元上报的审计记录的信息；审计中心启动一个线程或进程，定时检测和处理审计中心存储的审计记录的信息；根据审计中心存储的审计记录的信息，判断新上传的审计记录是否为重复数据，舍弃重复上传的审计记录。本发明实现了分布式部署审计平台的审计数据去重处理，有效消除了新上传审计数据中的重复数据，节省了存储空间，提高了审计处理的速度。

但是该申请文件所公开的分布式部署审计平台的审计数据去重方法存在的问题是：审计中心存储各审计单元上报的审计记录的信息，审计数据的去重工作主要由审计中心来完成，这种完全集中式管理的处理方式还是有很多的审计记录需要上报审计中心，会造成严重的网络负荷，审计中心的工作量大，影响审计处理的速度。为此，提出一种分布式部署的审计平台去重系统，主要的审计数据的去重工作由各分散部署的审计单元完成，集中管理和协调工作放在审计中心管理主机来完成。这样，网络负荷会有效降低，简化了审计中心对审计记录的去重处理，整体提高了审计记录处理速度。

技术实现要素：

为了解决上述问题，本发明提出一种分布式部署的审计平台去重系统，主要的审计数据的去重工作由各分散部署的审计单元完成，集中管理和协调工作放在审计中心管理主机来完成。从而有效降低网络负荷会，简化审计中心对审计记录的去重处理，整体提高审计记录处理速度。

为实现上述技术目的，本发明采用的技术方案如下：

一种分布式部署的审计数据去重系统，包括，

审计单元，用于采集审计记录，并同时用于对所采集的审计记录作出第一次判断，若重复，则不用上报给审计中心，若不重复，则上报给审计中心；

审计中心，用于接收及存储各审计单元上报的审计记录的信息，并根据储存的审计记录的信息对接收到的审计记录作出第二次判断，若不包含，则储存，若包含，则更新审计记录。

采用上述技术方案的发明，审计单元先对所采集的审计记录进行第一次判断，只上报没有重复的审计记录给审计中心，审计中心对上报上来的审计记录进行第二次判断，没有包含的则储存，包含的则更新记录即可。从而就可减少上报至审计中心的审计记录的量，将主要去重的工作分配给各个设计单元来完成，减少审计中心的工作量，进而有效降低网络负荷，简化审计中心对审计记录的去重处理，整体提高审计记录处理速度。

进一步限定，所述审计记录包括，审计记录主索引、该条审计记录的源审计单元信息、记录内容、审计记录时间，审计记录主索引是能唯一区分审计记录的标识。

当审计中心接收到新上传的审计记录时，逐条查询审计中心存储的审计记录，根据审计记录主索引判断审计中心存储的审计记录的信息中是否包含新上传的审计记录。如果不包含，则在审计中心存储该条新上传的审计记录的信息，如果包含，则更新该审计记录的记录时间，从而实现审计中心对审计记录作出第二次判断。审计中心只需要比对审计记录主索引即可，无需对审计记录进行逐级审查去重，减轻工作量，提高审计记录处理速度。

进一步限定，审计中心首次收到某审计记录时，审计中心会根据该审计记录主索引与审计中心存储的审计记录的信息，判断出审计中心不包含该审计记录，审计中心将会储存该审计记录，并同时审计中心基于该审计记录形成通知报文信息下发到各审计单元，上报首次审计记录的源审计单元再次采集到该审计记录时，需立即上报给审计中心，其它审计单元再次采集到该审计记录时，则不需要上报给审计中心，从而实现审计单元对所采集的审计记录作出第一次判断。

当审计中心首次收到某审计记录时，审计中心将会存储该审计记录，并发送通知报文信息给个审计单元，使得只有源审计单元再次采集到该审计记录时，即为不重复的信息，才需要上报给审计中心，而其他审计单元，再次采集到该审计记录，即为重复的信息，则可以直接丢弃该信息，从而将主要的去重工作分配在各个审计单元，减轻网络负荷，减少审计中心的工作量。

进一步限定，所述审计中心周期性地维护一个管理周期时间，一个管理周期时间结束的同时，新的管理周期时间开始；在管理周期时间内，审计中心定义上报首次审计记录的源审计单元为该审计记录主上报人，其它审计单元为该审计记录非主上报人；主上报人再次采集到该审计记录时，需立即上报给审计中心，非主上报人再次采集到该审计记录时，则不需要上报给审计中心；在管理周期时间外，主上报人与非主上报人，在未收到新的通知报文信息前，在采集到该审计记录时，均需上报审计中心。

将本系统划分为多个管理周期进行维护与管理，每一个管理周期里面，重新定义主上报人和非主上报人，便于审计记录信息的管理。

进一步限定，所述通知报文信息包括，审计记录主索引、该条审计记录的源审计单元信息、记录内容、审计记录时间、管理周期时间、同步时间信息。

进一步限定，审计中心会定期删除储存在审计中心里长时间不更新的审计记录。

进一步限定，该定期的时间为n*管理周期时间，n为除0以外的自然数。

定期删除长期不更新的审计记录，可节约审计中心的储存空间；而将该定期的时间设置为管理周期时间的n倍，即将定期删除不更新的审计记录的时间与管理周期时间同步，可以避免因删除周期和管理周期不一致而使得系统删除数据错误的情况发生。

本发明相比现有技术，在实现去重处理的同时，可节省存储空间，有效降低网络负荷，简化了审计中心对审计记录的去重处理，整体提高了审计记录处理速度。

附图说明

本发明可以通过附图给出的非限定性实施例进一步说明；

图1为现有分布式网络审计系统结构示意图；

图2为实施例1中审计中心首次收到审计记录a的结构示意图；

图3为实施例1中审计单元再次采集到审计记录a的结构示意图；

具体实施方式

为了使本领域的技术人员可以更好地理解本发明，下面结合附图和实施例对本发明技术方案进一步说明。

实施例1

一种网络审计数据去重系统，包括审计中心的软件处理和各审计单元上的软件处理两部分。

如图2、图3所示，审计单元，用于采集审计记录，并同时用于对所采集的审计记录作出第一次判断，若重复，则不用上报给审计中心，若不重复，则上报给审计中心。

审计中心，用于接收及存储各审计单元上报的审计记录的信息，并根据储存的审计记录的信息对接收到的审计记录作出第二次判断，若不包含，则储存，若包含，则更新审计记录。

其中，审计记录的信息包括：审计记录主索引、该条审计记录的源审计单元信息、记录内容、审计记录时间；审计记录主索引是能唯一区分审计记录的标识。

具体地，如图2所示，审计单元有多个，包括审计单元a、审计单元b、审计单元c……审计单元z，当审计单元a首次采集到审计记录a时，因审计中心并未发出通知报文信息，审计单元a判断该审计记录a为不重复的，并将该审计记录a上传至审计中心，审计中心根据审计记录主索引与审计中心存储的审计记录的信息，判断出审计中心不包含新上传的审计记录a，则将审计记录a储存在审计中心中，并同时会基于该审计记录a以通知报文信息形式下发给各审计单元，通知报文信息包括：审计记录主索引、该条审计记录的源审计单元信息，记录内容，审计记录时间，管理周期时间，同步时间信息。

如图3所示，若审计单元b、审计单元c……审计单元z再次采集到审计记录a时，审计单元b、审计单元c……审计单元z将会判断该审计记录a为重复记录，直接丢弃，不上报至审计中心，从而节约网络负荷，减少审计中心工作量；若审计单元a再次采集到审计记录a时，审计单元a将会判断该审计记录a为不重复记录，更新审计记录时间，并上传至审计中心。

审计中心再次根据审计记录主索引与审计中心存储的审计记录的信息判断出包含该审计记录，并更新审计记录时间。

实施例2

一种网络审计数据去重系统，包括审计中心的软件处理和各审计单元上的软件处理两部分。

审计单元，用于采集审计记录，并同时用于对所采集的审计记录作出第一次判断，若重复，则不用上报给审计中心，若不重复，则上报给审计中心。

审计中心，用于接收及存储各审计单元上报的审计记录的信息，并根据储存的审计记录的信息对接收到的审计记录作出第二次判断，若不包含，则储存，若包含，则更新审计记录。

其中，审计记录的信息包括：审计记录主索引、该条审计记录的源审计单元信息、记录内容、审计记录时间；审计记录主索引是能唯一区分审计记录的标识。

审计中心周期性地维护一个管理周期时间，一个管理周期时间结束的同时，新的管理周期时间开始生效。在每个新的管理周期时间内，审计中心首次收到审计记录b时，会基于该审计记录b以通知报文形式下发给各审计单元，定义上报首次审计记录b的源审计单元为该审计记录主上报人，其它审计单元为该审计记录非主上报人；主上报人在管理周期时间内，如再次采集到该审计记录b时，需立即上报给审计中心，非主上报人则不需要上报给审计中心。在管理周期时间外，无论是主上报人还是非主上报人，在采集到该审计记录b时，均需上报审计中心。

其中，通知报文信息包括：审计记录主索引、该条审计记录的源审计单元信息、记录内容、审计记录时间、终止窗口时间、同步时间信息。

各审计单元在收到审计中心的审计记录通知报文信息时，依据是否是审计记录的源上报审计单元，作不同的处理。

如果是审计记录b的源上报审计单元，区分是在通知报文中规定的管理周期时间内、外两种情况分别处理；在管理周期时间内，本审计单元为主上报人，具有该审计记录上报责任，如果再次采集到该审计记录b时，更新审计记录时间信息，同时，必须把审计记录b上报给审计中心；在管理周期时间外，本审计单元在未收到审计中心关于该审计记录的新的通知报文前，如果再采集到该审计记录b时，更新审计记录时间信息，同时，把审计记录b上报给审计中心。

如果不是审计记录的源上报审计单元，区分是在通知报文中规定的管理周期时间内、外两种情况分别处理；在管理周期时间内，本审计单元为该条审计记录非主上报人，如果采集到该审计记录b时，不上报给审计中心，直接丢弃掉；在管理周期时间外，本审计单元在未收到审计中心关于该审计记录b的新的通知报文前，如果采集到该审计记录b时，更新审计记录时间信息，同时，把审计记录b上报给审计中心。

以上对本发明提供的一种分布式部署的审计数据去重系统进行了详细介绍。具体实施例的说明只是用于帮助理解本发明的系统及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。