专利名称：一种日志分布式采集分析方法及系统的制作方法
技术领域：
本发明涉及计算机领域，特别是涉及一种计算机日志管理领域的日志分布式采集分析方法及系统。
背景技术：
目前业界有SIME\SOC\SIM\SEM等日志管理产品，其中都涉及到日志采集和分析模块，这些产品的日志大部分瓶颈都在分析服务器IO上，对海量日志的处理速度很慢，导致采集分析整体效率都不是很高，这无疑会影响上游使用日志的系统(前端应用)，用户体验不到及时性。同时，长时间的海量日志处理，长时间的处在IO峰值，甚至导致日志采集分析系统的崩盘，日志采集分析服务器的死机，严重影响系统的使用。目前，有一种做法是，将多台服务器做分布式采集服务器，多台服务器做分布式分析服务器，分析服务器之间策略是平等的。这种技术有分布式采集，分布式分析，却没有结合起来的分布式系统，分析服务器过多的承担了压力，在经过长时间的海量日志处理，长时间的处在IO峰值，会导致分析服务器死机，严重影响系统的使用。所以，有必要提出一种新的技术，可以使分析服务器快速处理海量日志的同时减少分析服务器的负担，提升整体日志采集分析性能，同时使上游前端应用能够获得最及时有效的数据展示，给用户带来更好的体验。
发明内容
本发明的目的在于提供一种日志分布式采集分析方法及系统，可以使分析服务器快速处理海量日志的同时减少分析服务器的负担，提升整体日志采集分析性能，同时使上游前端应用能够获得最及时有效的数据展示，给用户带来更好的体验。为解决以上技术问题，本发明提供一种日志分布式采集分析方法，包括日志采集分布式模块采集日志数据流；日志采集分布式模块对日志数据流进行过滤和格式化处理，再将格式化后的数据流发送给日志分析分布式模块；日志分析分布式模块根据分析策略对数据流进行分析，并将分析后的日志数据流发送给前端应用。进一步地，所述日志采集分布式模块采用日志采集服务器分布式部署，各日志采集服务器分别采集各自有限日志源的日志。 进一步地，所述日志分析分布式模块采用日志分析服务器分布式部署，各日志分析服务器分别接收日志采集服务器的日志流据流。进一步地，所述分析策略是由日志分析策略分发模块分发给各日志分析服务器。为解决以上技术问题，本发明还提供一种日志分布式采集分析系统，包括日志采集分布式模块、日志分析分布式模块、日志分析策略分发模块，所述日志采集分布式模块，由2个或2个以上的日志采集服务器分布式部署，用于采集日志数据流，并对日志数据流进行过滤和格式化处理，发送数据流给日志分析服务器；所述日志分析策略分发模块，用于将分析策略分发给日志分析分布式模块；所述日志分析分布式模块，由2个或多个日志分析服务器分布式部署，用于接收日志采集服务器格式化后的数据流，并根据分析策略，对数据流进行分析，并将分析后的日志数据流发送给前端应用。与现有技术相比，本发明提供的一种日志分布式采集分析方法及系统，将多台服务器做分布式采集服务器，分布式采集服务器在采集日志数据流的同时也承担过滤处理和格式化处理的初步分析，提升整理日志处理能力；多台服务器做分布式分析服务器，分析服务器之间策略可以灵活配置，增加了灵活性。所以，本发明的技术可以使分析服务器快速处理海量日志的同时减少分析服务器的负担，提升整体日志采集分析性能，同时使上游前端应用能够获得最及时有效的数据展示，给用户带来更好的体验。
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中图1是本发明提供的一种海量日志分布式采集分析的系统结构示意图；图2是本发明提供的一种海量日志分布式采集分析的方法的流程图。
具体实施例方式为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。本方案的目标是为处理海量日志做到速度最快，使上游的系统能够获得最及时有效的数据展示，给用户带来更好的体验。本发明的方法如下多台服务器做分布式采集服务器，采集服务器同时做过滤处理和格式化处理，多台服务器做分布式分析服务器，分析服务器之间策略可以灵活配置。如图1所示，本发明提供一种海量日志分布式采集分析的系统，主要利用分布式的特点，提高整体IO (Input/Output，输出/输入，分为IO设备和IO接口两个部分)吞吐量来无限提升海量日志的采集分析能力。该系统包括日志采集分布式模块10、日志分析分布式模块20、日志分析策略分发模块30。其中，日志采集分布式模块10，主要是用于提升日志采集能力，由2个或2个以上的日志采集服务器分布式部署，每个日志采集服务器采集2个或2个以上的日志源。例如日志采集服务器A采集2个或2个以上的日志源，日志采集服务器B采集2 个或多个日志源，日志采集服务器C、D、E分别采集2个或多个日志源。这样可以充分利用加大日志采集服务器的数量来规避单台日志采集服务器的IO瓶颈问题，理论上可以无限扩展采集无限个日志源，采集无限的日志规模。日志采集分布式模块10中的日志采集服务器对日志源的数据过滤不需要的日志和日志格式化处理等初次分析，再将格式化后的数据流发送给日志分析分布式模块20中的日志分析服务器。日志分析策略分发模块30，用于将前端应用制定的分析策略分发给日志分析分布式模块中的日志分析服务器，实现日志分析服务器的灵活配置。例如日志分析服务器A和B可以分析甲种分析策略，日志分析服务器C和D可以分析乙种分析策略，通过配置日志分析服务器A、B、C、D可能有(甲且乙)(甲)(乙)三种分析策略。 日志分析分布式模块20，主要用于提升日志分析能力，由2个或多个日志分析服务器分布式部署，日志分析服务器只能接收日志采集服务器格式化后的数据流，并根据日志分析策略分发模块30分发的分析策略，对数据流进行分析，并将分析后的日志数据流发送给前端应用40使用。例如日志采集服务器A、B、C采集日志之后发送到日志分析服务器M来分析，日志采集服务器D、E、F采集日志之后发送到日志分析服务器N来分析。这样可以充分利用加大日志分析服务器的数量来规避单台日志分析服务器的IO瓶颈问题，理论上可以无限扩展分析无限个日志采集服务器源，分析无限的日志规模。如图2所示，本发明提供一种海量日志分布式采集分析的方法，包括步骤1，日志源主动发送或日志采集分布式模块中的日志采集服务器主动采集日志文件或日志数据流。具体包括日志采集分布式模块中的日志采集服务器分布式部署，分别采集各自有限日志源的日志，理论上可以采集无限大的日志。步骤2，日志采集服务器对日志数据流进行过滤不需要的日志和日志格式化处理等初次分析，之后再发送格式化后的数据流给日志分析服务器。步骤3，日志分析策略分发模块将前端应用制定的分析策略分发给日志分析分布式模块中的日志分析服务器，实现日志分析服务器的灵活配置。步骤4，日志分析分布式模块的日志分析服务器分别接收日志服务器的日志数据流，根据分析策略对数据流进行分析，并将分析后的日志数据流发送给前端应用使用。具体包括日志分析分布式模块中的日志分析服务器分布式部署，分别接收有限日志采集服务器的日志流据流，在接收到分析策略的控制下，对日志数据流进行分析，并将日志分析服务器分析之后的日志直接发送数据流给前端应用使用。在上述步骤中，步骤3的操作可以放在步骤1或步骤2之前进行操作。上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、 修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
权利要求
1.一种日志分布式采集分析方法，其特征在于，包括，日志采集分布式模块采集日志数据流；日志采集分布式模块对日志数据流进行过滤和格式化处理，再将格式化后的数据流发送给日志分析分布式模块；日志分析分布式模块根据分析策略对数据流进行分析，并将分析后的日志数据流发送给前端应用。
2.如权利要求1所述的方法，其特征在于，所述日志采集分布式模块采用日志采集服务器分布式部署，各日志采集服务器分别采集各自有限日志源的日志。
3.如权利要求1所述的方法，其特征在于，所述日志分析分布式模块采用日志分析服务器分布式部署，各日志分析服务器分别接收日志采集服务器的日志流据流。
4.如权利要求3所述的方法，其特征在于，所述分析策略是由日志分析策略分发模块分发给各日志分析服务器。
5.一种日志分布式采集分析系统，其特征在于，包括日志采集分布式模块、日志分析分布式模块、日志分析策略分发模块，所述日志采集分布式模块，由2个或2个以上的日志采集服务器分布式部署，用于采集日志数据流，并对日志数据流进行过滤和格式化处理，发送数据流给日志分析服务器；所述日志分析策略分发模块，用于将分析策略分发给日志分析分布式模块；所述日志分析分布式模块，由2个或多个日志分析服务器分布式部署，用于接收日志采集服务器格式化后的数据流，并根据分析策略，对数据流进行分析，并将分析后的日志数据流发送给前端应用。
全文摘要
本发明提供一种日志分布式采集分析方法，包括日志采集分布式模块采集日志数据流；日志采集分布式模块对日志数据流进行过滤和格式化处理，再将格式化后的数据流发送给日志分析分布式模块；日志分析分布式模块根据分析策略对数据流进行分析，并将分析后的日志数据流发送给前端应用。本发明还提供一种日志分布式采集分析系统。通过本发明的日志分布式采集分析方法及系统，可以使分析服务器快速处理海量日志的同时减少分析服务器的负担，提升整体日志采集分析性能，同时使上游前端应用能够获得最及时有效的数据展示，给用户带来更好的体验。
文档编号H04L29/08GK102307111SQ20111025917
公开日2012年1月4日 申请日期2011年9月2日 优先权日2011年9月2日
发明者温小明 申请人:深圳中兴网信科技有限公司