一种防篡改的日志收集系统的制作方法

文档序号:34912957发布日期:2023-07-27 22:20阅读:19来源:国知局

本发明涉及日志收集系统,具体为一种防篡改的日志收集系统。


背景技术:

1、随着网络规模的不断扩大,当校园网中网络扩展到包含了许多主机、应用系统和各种网络设备时,管理与安全相关的事件就变成了越来越复杂的任务。

2、在这些运营设备中,操作系统本身能够提供一些日志管理工具,但是由于其孤立于其他组网设施,对运营管理并不能提供所需的综合信息,此外操作系统本身的日志管理工具也无法提供对关键业务应用的审计功能,而更多的其他组网设备,如路由器、交换机、防火墙等,很少提供日志管理工具。

3、对于目前越来越复杂的网络环境,日志管理的问题越来越严重:

4、首先,日志凌乱地散落在网络中各个设备上,发生在网络不同部分的安全事件无法关联起来;

5、随着网络攻击技术的不断发展,系统本地的日志非常容易被篡改用来消除各种非法入侵行为痕迹;随着时间和容量的变化,日志数据常常会被自动删除或者覆盖,无法通过长期的日志数据挖掘形成用户行为统计。


技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足,本发明提供了一种防篡改的日志收集系统。

3、(二)技术方案

4、为实现上述目的,本发明提供如下技术方案:一种防篡改的日志收集系统,包括应用日志、promtail、loki及grafana,所述loki设置有image:grafana/loki、container_name:lpg-loki,所述promtail设置有image:grafana/promtail、container_name:lpg-promtai,所述grafana设置有image:grafana/grafana、container_name:lpg-grafana、ports:-3000:3000,所述loki和promtail的配置文件设置在主机上,所述loki的配置文件/mydata/loki/loki.yml为默认配置,所述promtail的配置文件/mydata/loki/promtail.yml为默认配置。

5、进一步的,本发明改进有,所述应用日志包括日志采集模块、发送模块、数据库及日志存储模块,所述数据库与日志存储模块用于对所有日志的储存,所述日志采集模块用于采集日志。

6、进一步的,本发明改进有,所述promtail包括日志统计模块、日志分类模块及日志推送模块,所述日志统计模块用于对所有日记进行统计,并通过日记分类模块对日志进行分类处理,所述日志推动模块用于将对应日志推送至loki内。

7、进一步的,本发明改进有,所述loki包括日志分析模块及日志解析模块,所述日志分析模块用于日志进行分析筛选,并通过日志解析模块对日志解析。

8、进一步的,本发明改进有,所述grafana包括日志检索模块、用户权限设置模块及日志展示单元,所述日志检索模块用于对日志的检查,所述用户权限设置模块用于对使用人员的访问权利的限制,所述日志展示单元使日志可视化。

9、进一步的,本发明改进有,所述loki还包括修改默认配置的文件路径:command:-config.file=/etc/loki/loki.yml,ports:-3100:3100。

10、进一步的,本发明改进有,所述promtail中设置有日志所在目录,所述目录为:

11、-/mydata/app/mal l-tiny-loki/logs/:/var/log/

12、-/mydata/promtail:/etc/promtail/。

13、进一步的,本发明改进有,所述promtail还包括修改默认文件路径:command:-config.file=/etc/promtail/promtail.yml。

14、(三)有益效果

15、与现有技术相比,本发明提供了一种防篡改的日志收集系统,具备以下有益效果:

16、该防篡改的日志收集系统,实现日志收集的方案需要安装loki、grafana及promtail,并直接使用docker-compose命令运行即可,将需要收集的日志通过日志采集模块采集到数据库内,再由日志存储模块对其进行保存,然后通过发送模块到promtail内,在将日志所在的模块挂载到promtail的容器中,由于loki和promtail的配置文件挂载到主机,运行之前,需先准备两个配置文件;loki的配置文件/mydata/loki/loki.yml使用的是默认配置,可先不挂载配置文件运行loki的docker容器,从容器中拷贝出来即可,promtail的配置文件/mydata/loki/promtail.yml使用的也是默认配置,然后运行运行docker-compose.yml脚本安装,运行成功后,使用docker ps|grep lpg命令便可查看服务状态运行,且promtail中日志统计模块和日志分类模块能够对日志进行统计并进行合理分类,使日志的推动更加合理有效,本发明的防篡改的日志收集系统具有内存占用小,经济高效、可视化展示、方便查找、安装较方便及容易上手的有益效果。



技术特征:

1.一种防篡改的日志收集系统,其特征在于:包括应用日志、promtail、loki及grafana,所述loki设置有image:grafana/loki、container_name:lpg-loki,所述promtail设置有image:grafana/promtail、container_name:lpg-promtai,所述grafana设置有image:grafana/grafana、container_name:lpg-grafana、ports:-3000:3000,所述loki和promtail的配置文件设置在主机上,所述loki的配置文件/mydata/loki/loki.yml为默认配置,所述promtail的配置文件/mydata/loki/promtail.yml为默认配置。

2.根据权利要求1所述的一种防篡改的日志收集系统,其特征在于:所述应用日志包括日志采集模块、发送模块、数据库及日志存储模块,所述数据库与日志存储模块用于对所有日志的储存,所述日志采集模块用于采集日志。

3.根据权利要求2所述的一种防篡改的日志收集系统,其特征在于:所述promtail包括日志统计模块、日志分类模块及日志推送模块,所述日志统计模块用于对所有日记进行统计,并通过日记分类模块对日志进行分类处理,所述日志推动模块用于将对应日志推送至loki内。

4.根据权利要求3所述的一种防篡改的日志收集系统,其特征在于:所述loki包括日志分析模块及日志解析模块,所述日志分析模块用于日志进行分析筛选,并通过日志解析模块对日志解析。

5.根据权利要求4所述的一种防篡改的日志收集系统,其特征在于:所述grafana包括日志检索模块、用户权限设置模块及日志展示单元,所述日志检索模块用于对日志的检查,所述用户权限设置模块用于对使用人员的访问权利的限制,所述日志展示单元使日志可视化。

6.根据权利要求5所述的一种防篡改的日志收集系统,其特征在于:所述loki还包括修改默认配置的文件路径:

7.根据权利要求6所述的一种防篡改的日志收集系统,其特征在于:所述promtail中设置有日志所在目录,所述目录为:

8.根据权利要求7所述的一种防篡改的日志收集系统,其特征在于:所述promtail还包括修改默认文件路径:


技术总结
本发明涉及日志收集系统技术领域,具体为一种防篡改的日志收集系统,一种防篡改的日志收集系统,包括应用日志、Promtail、Loki及Grafana,实现日志收集的方案需要安装Loki、Grafana及Promtail,并直接使用docker‑compose命令运行即可,将需要收集的日志通过日志采集模块采集到数据库内,再由日志存储模块对其进行保存,然后通过发送模块到Promtail内,在将日志所在的模块挂载到Promtail的容器中,由于Loki和Promtail的配置文件挂载到主机,运行之前,需先准备两个配置文件;Loki的配置文件/mydata/loki/loki.yml使用的是默认配置,可先不挂载配置文件运行Loki的Docker容器,从容器中拷贝出来即可,本发明的防篡改的日志收集系统具有内存占用小,经济高效、可视化展示、方便查找、安装较方便及容易上手的有益效果。

技术研发人员:方飞
受保护的技术使用者:江苏银承网络科技股份有限公司
技术研发日:
技术公布日:2024/1/13
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1