一种基于大数据的日志审计系统的制作方法

本发明涉及日志审计领域，特别是涉及一种基于大数据的日志审计系统。

背景技术：

1、目前进行日志审计的系统从展现或者模型上还存在不完整，或者不完善，或存在集中在某个领域内的现象，这个平台属于日志审计平台产品，通过此产品能够比较快速及时的审计出运维运营人员的操作是否存在违规操作，从而发现日常操作中的问题，从而对不符合规范的操作进行整改或者处罚。现有技术都是基于批处理或者流处理单一模式进行的，无法同时进行批流一体进行实时处理，因此，数据处理的实时性差，处理效率低。

技术实现思路

1、基于此，本发明实施例提供一种基于大数据的日志审计系统，以提高数据处理的实时性。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于大数据的日志审计系统，包括：

4、端侧日志采集平台，用于采集并上传日志数据；所述日志数据，包括：系统日志、应用日志、主机日志和各业务系统数据；

5、文件传输协议服务器，与所述端侧日志采集平台连接，用于接收并存储所述日志数据，得到文件传输协议数据文件；

6、消息队列集群，与所述端侧日志采集平台连接，用于接收并存储所述日志数据，得到消息队列数据；

7、数据处理模块，与所述文件传输协议服务器和所述消息队列集群连接，用于采用数据同步工具对所述文件传输协议数据文件和所述消息队列数据进行数据补全、数据解析、数据标准化和数据清洗，得到清洗后日志数据，并将所述清洗后日志数据写入分布式文件系统；

8、分布式文件系统，与所述数据处理模块连接，用于采用修复表操作，将写入的清洗后日志数据加载为贴源数据层表数据；

9、稽核模块，与所述分布式文件系统连接，用于对所述贴源数据层表数据中的每个字段按照设定稽核标准进行稽核，得到稽核通过数据；

10、审计模块，与所述稽核模块连接，用于采用审计模型按照设定审计标准对所述稽核通过数据进行审计，确定所述稽核通过数据中的违规信息；

11、其中，所述设定审计标准，包括：数据是否为登录日志，数据的登录账号是否在白名单中，数据的源地址是否在堡垒机信息中和数据是否在数据资产中。

12、可选地，所述基于大数据的日志审计系统，还包括：

13、审计结果展示模块，用于基于微服务框架展示所述违规数据。

14、可选地，所述基于大数据的日志审计系统，还包括：

15、关系数据库，与所述审计模块连接，用于存储所述违规信息，并为所述审计结果展示模块提供所述违规信息。

16、可选地，所述基于大数据的日志审计系统，还包括：

17、接口平台，分别与所述关系数据库和所述审计结果展示模块连接，用于调用所述违规信息，以在所述审计结果展示模块中展示。

18、可选地，所述基于大数据的日志审计系统，还包括：

19、调度系统，用于将所述违规信息调度到所述关系数据库中。

20、可选地，所述稽核模块，具体包括：

21、字段判断单元，用于对于所述贴源数据层表数据中的每个字段，判断所述字段是否为空，若为空，则稽核不通过，若不为空，则稽核通过，将所述字段确定为稽核通过数据。

22、可选地，所述审计模块，具体包括：

23、日志判断单元，用于判断所述稽核通过数据中类型为登录日志的数据，得到第一数据；

24、白名单过滤单元，用于获取所述第一数据的源地址、目的地址以及登录账号，根据所述源地址和所述目的地址过滤白名单信息，得到白名单，并确定所述第一数据中所述登录账号不在白名单中的数据，得到第二数据；

25、堡垒机信息判断单元，用于确定所述第二数据的源地址不在堡垒机信息中的数据，得到第三数据；

26、资产匹配单元，用于将所述第三数据与数据资产进行匹配，若所述第三数据不在数据资产中，则判断所述第三数据为违规信息，且违规类型为外部绕行，若所述第三数据在数据资产中，则判断所述第三数据为违规信息，且违规类型为内部绕行。

27、可选地，所述系统日志，包括：认证日志、授权日志、账号日志和审计日志；

28、所述各业务系统数据，包括：性能管理系统数据、资源管理系统数据、客服管理系统数据、检测系统数据、分析系统数据和日志留存系统数据。

29、根据本发明提供的具体实施例，本发明公开了以下技术效果：

30、本发明实施例提出了一种基于大数据的日志审计系统，数据处理模块分别与文件传输协议服务器和消息队列集群连接，采用数据同步工具对文件传输协议数据文件和消息队列数据进行数据补全、数据解析、数据标准化和数据清洗，并将清洗后日志数据写入分布式文件系统，本发明对两种数据进行处理，采用批流融合技术解决了只有一种单一处理模式的问题，使得以前按照批次进行传输的处理的数据，可以实时进行上传处理，提高了数据处理的实时性；通过采集、传输、转换、分析挖掘全量的操作日志，解决了传统行为日志审计效率低下问题，提高了数据处理能力、数据分析的时效性和数据处理效率。

技术特征：

1.一种基于大数据的日志审计系统，其特征在于，包括：

2.根据权利要求1所述的一种基于大数据的日志审计系统，其特征在于，还包括：

3.根据权利要求2所述的一种基于大数据的日志审计系统，其特征在于，还包括：

4.根据权利要求3所述的一种基于大数据的日志审计系统，其特征在于，还包括：

5.根据权利要求3所述的一种基于大数据的日志审计系统，其特征在于，还包括：

6.根据权利要求1所述的一种基于大数据的日志审计系统，其特征在于，所述稽核模块，具体包括：

7.根据权利要求1所述的一种基于大数据的日志审计系统，其特征在于，所述审计模块，具体包括：

8.根据权利要求1所述的一种基于大数据的日志审计系统，其特征在于，所述系统日志，包括：认证日志、授权日志、账号日志和审计日志；

技术总结
本发明公开了一种基于大数据的日志审计系统，涉及日志审计领域，该系统包括：端侧日志采集平台，用于采集并上传日志数据；文件传输协议服务器、消息队列集群，与端侧日志采集平台连接；数据处理模块，与文件传输协议服务器和消息队列集群连接，用于将文件传输协议数据文件和消息队列数据融合并写入分布式文件系统；分布式文件系统，用于加载贴源数据层表数据；稽核模块，用于对贴源数据层表数据进行稽核；审计模块，用于采用审计模型对稽核通过数据进行审计，确定稽核通过数据中的违规信息。本发明通过采集、传输、转换、分析挖掘全量的操作日志，解决了传统行为日志审计效率低下问题，提高了数据处理能力、数据分析的时效性和数据处理效率。

技术研发人员：许彬彬,孙娜,杨京波
受保护的技术使用者：北京志行正科技有限公司
技术研发日：
技术公布日：2024/1/11