一种系统日志数据传输方法及装置的制造方法
【技术领域】
[0001 ] 本发明涉及系统日志数据技术领域，特别是涉及一种系统日志数据传输方法及装置。
【背景技术】
[0002]日志(log)能够用来储存和记录系统运行情况以及用户使用情况的详细信息，这些信息是查看系统运行状态和排查问题的主要依据。例如，某个软件中应用程序出现崩溃情况，那么可以从程序事件日志中找到相应的记录，从而帮助相关技术人员分析并解决问题。
[0003]以线上系统日志信息为例，日志信息可以用来对线上业务运行过程进行记录和运行程序进行监控，通过分析记录的日志信息可以为出现和可能出现的错误进行提示、警告，还可以统计业务信息，为业务逻辑的改进和应用程序的升级提供可靠的依据。
[0004]现有日志传输方法，应用服务器上各应用程序模块产生的日志信息通过LIB库发送给日志客户端，日志客户端保存所收到的日志，再根据配置的日志服务器IP地址和相关端口号，将所收到的日志发送给日志服务器。日志服务器接收日志，将所接收到的日志统一保存到DB中。
[0005]这种方案一旦应用服务器发生宕机，未及时发送出去的日志就会丢失，在日志服务器处理完日志之前，是无法查看到当前发生的日志。另外，这种方案将在应用服务器上和日志服务器上分别建立一套数据库，存储了两套日志数据，造成了存储资源的浪费。
【发明内容】
[0006]本发明的目的是提供一种系统日志数据传输方法及装置，目的在于降低日志数据丢失的风险以及减少存储的冗余。
[0007]为解决上述技术问题，本发明提供一种系统日志数据传输方法，包括:
[0008]从应用服务器抓取日志数据；
[0009]根据抓取的日志数据生成新日志文件；
[0010]将所述新日志文件与日志数据库中原有的日志文件进行比较，提取新增的内容作为增量日志文件；
[0011 ] 将所述增量日志文件写入日志数据库中，并从所述应用服务器中删除已写入日志数据库的日志数据。
[0012]可选地，所述从应用服务器抓取日志数据包括:
[0013]根据预定时间间隔定时从应用服务器抓取当天的全量日志数据。
[0014]可选地，所述将所述新日志文件与日志数据库中原有的日志文件进行比较，提取新增的内容作为增量日志文件包括:
[0015]判断所述日志数据库中是否存在与所述新日志文件相对应的旧日志文件；
[0016]当存在所述旧日志文件时，将所述新日志文件与旧日志文件进行比较，提取新增的内容作为增量日志文件；当不存在所述旧日志文件时，创建一个空文件作为旧日志文件，提取所述新日志文件的内容作为增量日志文件。
[0017]可选地，在将所述新日志文件与日志数据库中原有的日志文件进行比较，提取新增的内容作为增量日志文件之后还包括:
[0018]判断所述日志数据库中是否存在与当前增量日志文件相对应的旧增量日志文件；
[0019]当存在所述旧增量日志文件时，采用当前增量日志文件替换所述旧增量日志文件。
[0020]可选地，所述将所述增量日志文件写入日志数据库中包括:
[0021 ] 当增量日志文件写入所述日志数据库时发生错误，将写入的日志数据进行回滚。
[0022]本发明还提供了一种系统日志数据传输装置，包括:
[0023]抓取模块，用于从应用服务器抓取日志数据；
[0024]生成模块，用于根据抓取的日志数据生成新日志文件；
[0025]提取模块，用于将所述新日志文件与日志数据库中原有的日志文件进行比较，提取新增的内容作为增量日志文件；
[0026]写入模块，用于将所述增量日志文件写入日志数据库中，并从所述应用服务器中删除已写入日志数据库的日志数据。
[0027]可选地，所述抓取模块用于从应用服务器抓取日志数据包括:
[0028]所述抓取模块具体用于根据预定时间间隔定时从应用服务器抓取当天的全量日志数据。
[0029]可选地，所述提取模块包括:
[0030]判断单元，用于判断所述日志数据库中是否存在与所述新日志文件相对应的旧日志文件；
[0031]提取单元，用于当存在所述旧日志文件时，将所述新日志文件与旧日志文件进行比较，提取新增的内容作为增量日志文件；当不存在所述旧日志文件时，创建一个空文件作为旧日志文件，提取所述新日志文件的内容作为增量日志文件。
[0032]可选地，还包括:
[0033]替换模块，用于在将所述新日志文件与日志数据库中原有的日志文件进行比较，提取新增的内容作为增量日志文件之后，判断所述日志数据库中是否存在与当前增量日志文件相对应的旧增量日志文件；当存在所述旧增量日志文件时，采用当前增量日志文件替换所述旧增量日志文件。
[0034]可选地于，所述写入模块用于将所述增量日志文件写入日志数据库中包括:
[0035]所述写入模块具体用于当增量日志文件写入所述日志数据库时发生错误，将写入的日志数据进行回滚。
[0036]本发明所提供的系统日志数据传输方法及装置，通过从应用服务器中抓取日志数据，生成新日志文件；将新日志文件与日志数据库中原有的日志文件进行比较，提取出新增的内容作为增量日志文件；将该增量日志文件写入日志数据库中，并从应用服务器中删除已写入日志数据库的日志数据。可见，本发明所提供的系统日志数据传输方法及装置，能够对抓取到的日志数据进行备份，在应用服务器发生宕机，未及时发送出去的日志不会丢失。另外，本发明只在日志服务器建立了一套数据库，节约了存储的资源。
【附图说明】
[0037]图1为本发明所提供的系统日志数据传输方法的一种【具体实施方式】的流程图；
[0038]图2为本发明所提供的系统日志数据传输方法的另一种【具体实施方式】的流程图；
[0039]图3为本发明所提供的系统日志数据传输装置的一种【具体实施方式】的结构框图。
【具体实施方式】
[0040]为了使本技术领域的人员更好地理解本发明方案，下面结合附图和【具体实施方式】对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]本发明所提供的系统日志数据传输方法的一种【具体实施方式】的流程图如图1所示，该方法包括:
[0042]步骤SlOl:从应用服务器抓取日志数据；
[0043]步骤S102:根据抓取的日志数据生成新日志文件；
[0044]步骤S103:将所述新日志文件与日志数据库中原有的日志文件进行比较，提取新增的内容作为增量日志文件；
[0045]步骤S104:将所述增量日志文件写入日志数据库中，并从所述应用服务器中删除已写入日志数据库的日志数据。
[0046]本发明所提供的系统日志数据传输方法，通过从应用服务器中抓取日志数据，生成新日志文件；将新日志文件与日志数据库中原有的日志文件进行比较，提取出新增的内容作为增量日志文件；将该增量日志文件写入日志数据库中，并从应用服务器中删除已写入日志数据库的日志数据。可见，本发明所提供的系统日志数据传输方法，能够对抓取到的日志数据进行备份，在应用服务器发生宕机，未及时发送出去的日志不会丢失。另外，本发明只在日志服务器建立了一套数据库，节约了存储的资源。
[0047]本发明所提供的系统日志数据传输方法的另一种【具体实施方式】的流程图如图2所示，该方法包括:
[0048]步骤S201:根据预定时间间隔定时从应用服务器抓取当天的全量日志数据；
[0049]步骤S202:根据抓取的日志数据生成新日志文件；
[0050]步骤S203:判断日志数据库中是否存在与新日志文件相对应的旧日志文件；
[0051 ] 步骤S204:当存在旧日志文件时，将新日志文件与旧日志文件进行比较，提取新增的内容作为增量日志文件；当不存在旧日志文件时，创建一个空文件作为旧日志文件，提取新日志文件的内容作为增量日志文件；
[0052]步骤S205:将增量日志文件写入日志数据库中，并从应用服务器中删除已写入日志数据库的日志数据；
[0053]步骤S206:判断日志数据库中是否存在与当前增量日志文件相对应的旧增量日志文件；当存在旧增量日志文件时，采用当前增量日志文件替换旧增量日志文件。
[0054]可选地，本实施例所提供的系统日志数据传输方法在上述将所述增量日志文件写Λ日志数据库的过程中，当增量日志文件写入所述日志数据库时发生错误，则将写入的日志数据进行回滚。
[0055]本发明所提供的系统日志数据传输方法能够降低日志数据丢失的风险，减少存储的冗余。
[0056]为使本领域技术人员更好地理解本发明，以下通过一个具体示例更好地阐述本发明实施例的处理过程:
[0057]步骤S301:设定每半个小时日志服务器从应用服务器上抓取日志文件到日志服务器上，例如今天是2012年8月31日，日志服务器便会每半个小时抓取今天的全量日志数据，例如:GatewayServer_INFO_log.2Ol2O8310
[0058]步骤S302:日志服务器抓取到日志数据后，对日志数据进行重命名，命名为以new结尾的文件，例如GatewayServer_INFO_log.20120831.new，表示这个文件是新日志文件。
[0059]步骤S303:判断日志服务器中是否存有 GatewayServer-_INFO_log.2012083