专利名称：一种基于日志信息处理的写磁盘方法和系统的制作方法
技术领域：
本发明涉网站日志信息处理领域，特别是涉及一种基于日志信息处理的写磁盘方
法和系统。
背景技术：
随着信息社会的到来，人们越来越依靠网络来获取庞大的信息量。大型网站服务器众多，网站访问量大，致使日志的收集成为棘手的难题。目前大多解决方案是采用Apache或lighthttp等Http Server收集日志到本地，然后通过FTP，远程文件拷贝等方式将日志拷贝到统一的服务器合并后分析。 现有技术中，Http Server在处理大规模并发情况时存在不稳定性。在日志信息处理系统中，所有日志信息最终汇总到一台单独的服务器上，日志信息在这台服务器上的汇总是整个系统中最后的瓶颈。将日志信息写入磁盘是一个独占系统中断的过程，频繁写磁盘操作会严重影响其他进程工作，降低系统响应性能。
发明内容
本发明所要解决的技术问题是提供一种基于日志信息处理的写磁盘方法和系统，
以解决日志信息处理过程中写磁盘对其他进程的影响。 为实现上述发明目的，本发明提供以下方案 —种基于日志信息处理的写磁盘方法，其特征在于，包括以下步骤 网站服务器接收日志信息，将日志信息发送至Spread环路； 创建固定大小的FIFO Buffer,将日志信息存入上述FIFO Buffer ; 当上述FIFO Buffer中的数据存量达到预警值时，将FIFO Buffer中的数据全部
读出，写入磁盘。 本发明还提供一种基于日志信息处理的写磁盘系统，包括网站服务器、Spread环路和磁盘；其特征在于，所述Spread环路和磁盘之间连接有写磁盘模块，所述写磁盘模块包括日志信息存储子模块和磁盘写入子模块； 所述日志信息存储子模块，用于从Spread环路接收日志信息，并将日志信息保存到系统的固定大小的FIFO Buffer中； 所述磁盘写入子模块，用于监控上述FIFO Buffer的状态，当所述FIFOBuffer中的日志信息存储量达到预警值时，一次将所述FIFO Buffer中的数据全部读出，写入磁盘中。 与现有技术相比，本发明具有以下优点 将日志信息从Spread环路中读入固定大小的FIFO Buffer中，有效缓冲了爆发式请求发生时对系统的冲击。系统监控FIFO Buffer中日志信息的存储量，当存储量达到预警值时，一次将FIFO Buffer中的日志信息全部写入磁盘中，减少了磁盘写入的次数，避免了频繁写入磁盘操作对其他进程的影响，提高了系统的响应性能。
图1为本发明方法流程示意 图2为本发明系统模块示意图。
具体实施例方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式
对本发明作进一步详细的说明。
本发明提供一种基于日志信息处理的写磁盘方法，参照图l，包括
步骤SlOl，网站服务器接收日志信息，将日志信息发送至Spread环路；
步骤S102，创建固定大小的FIFO Buffer,将日志信息存入上述FIFOBuffer ;
步骤S103，当上述FIFO Buffer中的数据存量达到预警值时，将FIFOBuffer中的数据全部读出，写入磁盘。 在日志信息处理过程中，最后所有的日志信息都将通过Spread环路写入至一台单独的服务器上，即所述的磁盘中。频繁的写入磁盘会造成本地磁盘负载增加，写入日志还会受到移动大量日志时造成的对磁盘操作的抢夺冲突，容易致使写入的日志丢失。本实施例中，将日志信息先从Spread环路读取到FIFOBuffer中，将日志信息缓冲起来，当日志信息数量达到一定大小时再一次性写入磁盘，减少了磁盘的写入次数，有效缓解磁盘频繁写入造成的磁盘操作冲突，提升系统的响应性能，解决日志信息处理系统中集中存储时所面临的瓶颈问题。 本发明还提供一种基于日志信息处理的写磁盘系统，参见图2，包括网站服务器11、 Spread环路12和磁盘13 ;网站服务器11接收日志信息，将日志信息发送至Spread环路12，再由Spread环路12写入磁盘13 ;Spread环路12和磁盘13之间连接有写磁盘模块14，所述写磁盘模块14包括日志信息存储子模块141和磁盘写入子模块142 ;
所述日志信息存储子模块141 ，用于从Spread环路12接收日志信息，并将日志信息保存到系统的固定大小的FIFO Buffer中； 所述磁盘写入子模块142，用于监控上述FIFO Buffer的状态，当所述FIFOBuffer中的日志信息存储量达到预警值时， 一次将所述FIFO Buffer中的数据全部读出，写入磁盘13中。 本系统中，日志信息存储子模块141将Spread环路发送的日志信息存储在固定大小的FIFO Buffer中，起到了缓冲的作用，有效缓解爆发式请求发生时对系统的冲击。磁盘写入子模块142监控FIFO Buffer中的日志信息存储情况，当FIFO Buffer中的日志信息存储量达到预警值时，磁盘写入子模块142 —次将FIFO Buffer中的日志信息全部写入磁盘中，减少了磁盘的写入次数，有效缓解磁盘频繁写入造成的磁盘操作的冲突，提升系统的响应性能，解决日志信息处理系统中集中存储时所面临的瓶颈问题。 以上对本发明所提供的一种基于日志信息处理的写磁盘方法、系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制(
权利要求
一种基于日志信息处理的写磁盘方法，其特征在于，包括以下步骤网站服务器接收日志信息，将日志信息发送至Spread环路；创建固定大小的FIFO Buffer，将日志信息存入上述FIFO Buffer；当上述FIFO Buffer中的数据存量达到预警值时，将FIFO Buffer中的数据全部读出，写入磁盘。
2. —种基于日志信息处理的写磁盘系统，包括网站服务器、Spread环路和磁盘；其特征在于，所述Spread环路和磁盘之间连接有写磁盘模块，所述写磁盘模块包括日志信息存储子模块和磁盘写入子模块；所述日志信息存储子模块，用于从Spread环路接收日志信息，并将日志信息存入到系统的固定大小的FIFO Buffer中；所述磁盘写入子模块，用于监控上述FIFO Buffer的状态，当所述FIFOBuffer中的日志信息存储量达到预警值时，一次将所述FIFO Buffer中的数据全部读出，写入磁盘中。
全文摘要
本发明涉及网站日志信息处理技术领域，并具体公开了一种基于日志信息处理的写磁盘方法，包括步骤网站服务器接收日志信息，将日志信息发送至Spread环路；创建固定大小的FIFO Buffer，将日志信息存入上述FIFO Buffer；当上述FIFO Buffer中的数据存量达到预警值时，将FIFO Buffer中的数据全部读出，写入磁盘。本发明还公开了一种基于日志信息处理的写磁盘系统。将日志信息存入FIFO Buffer，有效缓冲了爆发式请求对系统的冲击，待日志信息存储量达到预警值再一次性写入磁盘，有效避免频繁写入磁盘对系统性能的影响。
文档编号H04L12/24GK101764705SQ20091023874
公开日2010年6月30日 申请日期2009年11月24日 优先权日2009年11月24日
发明者吴帅, 左鹞飞, 王国腾, 绍军 申请人:北京雷霆万钧网络科技有限责任公司