一种基于Linux操作系统的系统日志自动删除重复内容的方法
【技术领域】
[0001]本发明涉及计算机存储技术领域，具体地说是一种基于Linux操作系统的系统日志自动删除重复内容的方法。
【背景技术】
[0002]随着云计算、大数据等新型技术的发展，人们对服务器的稳定、可靠地工作的需求和平均无故障运行时间(MTBF)要求越来越高，如何有效缩短服务器故障修复时间，提高故障分析的效率和准确度是摆在每个维护人员面前的难题。
[0003]然而，由于操作系统工作过程中会不停的在/var/log/messages文件中写入当前系统所在做的工作、硬件设备反馈的状态等信息，当机器操作系统或者硬件设备出现异常情况时，日志中就会出现相关信息的记录，但操作系统只会忠实的记录这些信息，即不停的写入相同的内容到日志文件中，并不会考虑如果写入的重复内容过多对日志分析的工作并没有帮助，还会导致日志文件的体积过大，最终出现日志文件难以导出、难以打开阅读、难以分析的问题。
【发明内容】
[0004]本发明的技术任务是针对上述现有技术的不足，提供一种基于Linux操作系统的系统日志自动删除重复内容的方法，具有自动收集日志，自动缩小操作系统日志体积，无人值守自动完成等特点。
[0005]本发明的技术任务是按以下方式实现的:一种基于Linux操作系统的系统日志自动删除重复内容的方法，其特点是通过Linux操作系统下的crontab工具自动触发收集系统日志功能，自动触发压缩日志文件体积的操作，并自动的将收集处理完成后的信息保存到指定目录下，能够保证了整个操作无需有人值守。
[0006]为了实现收集信息过程的自动化，可编写脚本程序，通过Linux操作系统下的脚本程序，开始整个收集信息和处理信息的过程。
[0007]在服务器操作系统的Cixmtab表中添加执行命令，当系统定义的时间间隔到后，就会自动开始调用自动处理系统日志的脚本程序，开始处理的过程。
[0008]上述方法中涉及的方法及设备包括:(I)Linux操作系统日志；(2)uniq工具；(3)crontab工具。其中:
[0009](1)、Linux操作系统日志:系统日志对于系统安全来说，非常重要，它记录了系统每天发生的各种各样的事情，你可以通过他来检查错误发生的原因，或者受到攻击时攻击者留下的痕迹。日志主要的功能有:审计和监测，还可以实时的监测系统状态，监测和追踪侵入者等等
[0010](2)、uniq工具:uniq命令删除文件中的重复行。uniq命令读取由InFile参数指定的标准输入或文件。该命令首先比较相邻的行，然后除去第二行和该行的后续副本。
[0011](3)、crontab工具:用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。该词来源于希腊语chronos ( x P ν ο )，原意是时间。crontab储存的指令被守护进程激活，crond常常在后台运行，每一分钟检查是否有预定的作业需要执行。这类作业一般称为cron jobs。
[0012]与现有技术相比，本发明的基于Linux操作系统的系统日志自动删除重复内容的方法具有以下特点:
[0013](I)能够自动收集日志，实现自动缩小操作系统日志体积，且无人值守自动完成；
[0014](2)利用简单的脚本程序实现整个收集信息和处理信息的过程，具有良好的通用性；
[0015](3)只用将脚本文件拷贝到相应的操作系统下，执行命令后就可以完成无人值守的日志收集和处理过程，具有良好的易用性，提高故障分析的准确度。
【附图说明】
[0016]图1为实施例中收集处理日志文件脚本和收集工具示意图；
图2为实施例执行完自动收集处理过程后得到日志文件示意图。
【具体实施方式】
[0017]以具体实施例对本发明的基于Linux操作系统的系统日志自动删除重复内容的方法作以下详细地说明。
[0018]实施例:
[0019]本发明方法针对服务器操作系统日志的收集和缩小体积的处理过程，编制对应的脚本文件(如附图1所示)，可以自动的完成对系统日志的自动处理，处理完成后的文件会自动保存到指定的目录下，方便后续维护人员的查看和导出。
[0020]由于服务器操作系统的crontab表中添加了一条执行命令，当系统定义的时间间隔到后，就会自动开始调用自动处理系统日志的脚本程序，开始处理的过程，命令(编辑定时执行(每天执行一次))如下:
[0021]rootilc log]#crontab-u root-1
[0022]* * */1 * */var/log/log/logmaintenance.sh
[0023][rootilc log] #
[0024]收集过程开始的准备工作，需要将收集和处理日志执行的脚本程序放置到操作系统的某一个目录下，系统下需要的脚本文件如下:
[0025][rootilc log]#11
[0026]total 4
[0027]-rxrwxrwx.1 root root 94 Dec 13 10:52 logmaintenance.sh
[0028][rootilc log] #
[0029]这个目录就是后续收集、处理完成后得到的文件所存放的位置，如需要分析信息就可以直接到此目录查看，本发明的易用性得以体现。
[0030]本发明方法中编写的脚本程序，可以自动的调用收集过程中需要的工具程序，同时在执行此脚本程序时，程序本身会自动将处理完成后的日志信息按照自动开始操作的时间进行命名，并保存到指定的目录下，不论Linux操作系统的版本是32位还是64位都可以通用此脚本程序。
[0031]最终收集到的信息文件样本如附图2所示。
【主权项】
1.一种基于Linux操作系统的系统日志自动删除重复内容的方法，其特征在于:通过Linux操作系统下的crontab工具自动触发收集系统日志功能，自动触发压缩日志文件体积的操作，并自动的将收集处理完成后的信息保存到指定目录下。
2.根据权利要求1所述的基于Linux操作系统的系统日志自动删除重复内容的方法，其特征在于，通过Linux操作系统下的脚本程序，开始整个收集信息和处理信息的过程。
3.根据权利要求2所述的基于Linux操作系统的系统日志自动删除重复内容的方法，其特征在于，在服务器操作系统的crontab表中添加执行命令，以自动开始调用自动处理系统日志的脚本程序。
【专利摘要】本发明公开了一种基于Linux操作系统的系统日志自动删除重复内容的方法，属于计算机存储技术领域，尤其涉及一种机器故障异常问题分析所需要的信息自动收集功能实现。所述方法通过Linux操作系统下的crontab工具自动触发收集系统日志功能，自动触发压缩日志文件体积的操作，并自动的将收集处理完成后的信息保存到指定目录下。与现有技术相比，本发明的提出了自动删除操作系统日志中重复内容的方法，易用性上可以做到无人值守、Linux系统下全自动完整的操作系统日志信息，提高故障分析的准确度，具有很好的推广应用价值。
【IPC分类】G06F9-44, G06F11-34
【公开号】CN104636242
【申请号】CN201510064528
【发明人】刘兢, 任华进
【申请人】浪潮电子信息产业股份有限公司
【公开日】2015年5月20日
【申请日】2015年2月6日