专利名称：日志处理系统、日志处理方法、节点服务器和中心服务器的制作方法
技术领域：
本发明涉及日志处理技术，尤其涉及日志处理系统、日志处理方法、节点服务器和 中心服务器。
背景技术：
通常，内容分发网络(CDN，Content Delivery Network)服务提供商在为客户提供 加速服务的同时，还要为客户提供多种实时带宽图以及各种非实时的统计分析报图表等。 实时带宽图及流量数据是CDN服务提供商向客户收费的重要依据；统计分析报图表能够客 观地反映加速网站对外服务的情况以及终端用户的行为，能够为CDN服务提供商进行客户 决策提供非常有价值的参考依据。无论是实时带宽图还是各种统计分析报图表，其最原始的数据来源都是各类服 务器的用户访问日志。在实际应用中，CDN服务提供商是通过大量的边缘服务器(Edge Server)的组合来为客户提供加速服务的，这种情况下，这些边缘服务器产生的日志数量是 巨大的，而且由于边缘服务器的种类不同，产生的日志的类型和格式也就不同，常见的类型 禾口格式有 squid、nginx、apache、lighttp、fms、wms 等。在传统的⑶N部署中，将每一种边缘服务器的日志都配置为一种格式，例如，所有 的squid服务器都配置为一种固定的格式，所有的nginx服务器都配置为另一种格式，以此 类推。所有的边缘服务器都需要将日志推送到中心服务器，这样，中心服务器需要处理大量 的不同格式的日志。由此可见，在现有技术中，中心服务器处理日志的复杂度较高。
发明内容
本发明提供日志处理系统、日志处理方法、节点服务器和中心服务器，用以降低中 心服务器处理日志的复杂度。本发明技术方案的实现过程如下一种日志处理系统，包括边缘服务器，节点服务器和中心服务器，一个节点服务器对应至少一个边缘服务 器，一个中心服务器对应至少一个节点服务器；边缘服务器用于产生日志，并将日志上传到对应的节点服务器；节点服务器用于将边缘服务器上传的日志转换为预定义格式的日志，并将预定义 格式的日志上传到对应的中心服务器；中心服务器用于对节点服务器上传的预定义格式的日志进行处理。一种日志处理方法，适用于上述日志处理系统，所述方法包括节点服务器获得对应的边缘服务器上传的日志；节点服务器将对应的边缘服务器上传的日志转换为预定义格式的日志；节点服务器将预定义格式的日志上传到对应的中心服务器。一种节点服务器，适用于上述日志处理系统，所述节点服务器包括
5
获得单元，用于获得对应的边缘服务器上传的日志；转换单元，用于将对应的边缘服务器上传的日志转换为预定义格式的日志；上传单元，用于将预定义格式的日志上传到对应的中心服务器。一种日志处理方法，适用于上述日志处理系统，所述方法包括中心服务器获得对应的节点服务器上传的预定义格式的日志；中心服务器对预定义格式的日志进行处理。一种中心服务器，适用于上述日志处理系统，所述中心服务器包括获得单元，用于获得对应的节点服务器上传的预定义格式的日志；处理单元，用于对预定义格式的日志进行处理。在本发明中，边缘服务器和中心服务器之间设置有节点服务器，节点服务器可以 将边缘服务器上传的日志转换为预定义格式的日志，并将预定义格式的日志上传到中心服 务器，这样，中心服务器只需对预定义格式的日志进行处理即可，而无需处理大量的不同格 式的日志，从而降低了中心服务器处理日志的复杂度。
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中 记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。图1为本发明的日志处理系统的逻辑结构示意图；图2为本发明的节点服务器存储日志的一种形式的示意图；图3为本发明的中心服务器存储日志的一种形式的示意图；图4为本发明的一种日志处理方法的流程图；图5为本发明的一种节点服务器的逻辑结构示意图；图6为本发明的一种日志处理方法的流程图；图7为本发明的一种中心服务器的逻辑结构示意图。
具体实施例方式为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的 上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详 细的说明。首先介绍本发明的日志处理系统。如图1所示，日志处理系统包括边缘服务器、节点服务器和中心服务器。一个节点 服务器对应至少一个边缘服务器，一个中心服务器对应至少一个节点服务器。边缘服务器产生日志，并将日志上传到对应的节点服务器。边缘服务器产生的日 志格式与边缘服务器的类型相对应，例如，squid服务器产生对应squid的格式的日志。边缘服务器产生日志后，可以将日志在本地存储一段时间，例如存储7天。边缘服 务器可以每隔一段时间生成一个日志，例如，每隔5分钟生成一个日志，日志名称的形式可 以为=ISP缩写-城市名缩写_节点序号_物理服务器序号_服务角色缩写_时间戳_随机数，例如 CNC-BJ-l-N002-Cbk-201005010800-001. log。节点服务器可以将边缘服务器上传的日志转换为预定义格式的日志，并将预定义 格式的日志上传到对应的中心服务器。一个节点服务器可能会收到多种格式的日志。本发 明根据这些日志的特点，将这些日志统一归为两种格式的日志一种是提供web访问服务 的服务器产生的日志，统一定义为clog格式的日志，也可以称为预定义第一格式的日志， 表1示出了 clog格式的一种形式；另一种是提供流媒体服务的边缘服务器产生的日志，统 一定义为flog格式的日志，也可以称为预定义第二格式的日志，表2示出了 flog格式的一 种形式。节点服务器收到边缘服务器上传的日志后，确定日志是由哪种边缘服务器产生的， 确定后，将日志转换为预定义格式的日志，并将预定义格式的日志提供给中心服务器。具体 的，节点服务器如果确定日志是由提供web访问服务的边缘服务器产生的，则将提供web访 问服务的边缘服务器上传的日志转换为预定义第一格式的日志，并将预定义第一格式的日 志上传到中心服务器；如果确定日志是由提供流媒体服务的边缘服务器产生的，则将提供 流媒体服务的边缘服务器上传的日志转换为预定义第二格式的日志，并将预定义第二格式 的日志提供给中心服务器。表 1
字段说明date发出请求的日期。
权利要求
一种日志处理系统，其特征在于，包括边缘服务器，节点服务器和中心服务器，一个边缘服务器至少对应一个节点服务器，一个节点服务器至少对应一个台中心服务器；边缘服务器用于产生日志，并将日志上传到对应的节点服务器；节点服务器用于将边缘服务器上传的日志转换为预定义格式的日志，并将预定义格式的日志上传到对应的中心服务器；中心服务器用于对节点服务器上传的预定义格式的日志进行处理。
2.如权利要求1所述的系统，其特征在于，预定义格式的日志为预定义第一格式的日 志或预定义第二格式的日志，预定义第一格式的日志对应提供web访问服务的边缘服务器 产生的日志，预定义第二格式的日志对应提供流媒体服务的边缘服务器产生的日志；节点服务器具体用于将提供web访问服务的边缘服务器上传的日志转换为预定义第 一格式的日志，将提供流媒体服务的边缘服务器上传的日志转换为预定义第二格式的日ο
3.如权利要求1或2所述的系统，其特征在于，节点服务器还根据边缘服务器上传的日 志生成计费信息，并将计费信息上传到对应的中心服务器。
4.如权利要求1或2所述的系统，其特征在于，中心服务器按照运营商划分；节点服务器将预定义格式的日志上传到对应的中心服务器具体为节点服务器将预定 义格式的日志上传到所述节点服务器对应的且是所述预定义格式的日志所属运营商的中 心服务器。
5.如权利要求1或2所述的系统，其特征在于，中心服务器对节点服务器上传的预定义 格式的日志进行处理具体为中心服务器按照频道存储预定义格式的日志。
6.如权利要求1或2所述的系统，其特征在于，中心服务器对节点服务器上传的预定义 格式的日志进行处理具体为如果中心服务器获得客户端下载指定格式的日志的请求，则 中心服务器将预定义格式的日志转换为指定格式的日志，并将指定格式的日志提供给客户 端。
7.—种日志处理方法，其特征在于，适用于权利要求1所述的系统，所述方法包括节点服务器获得对应的边缘服务器上传的日志；节点服务器将对应的边缘服务器上传的日志转换为预定义格式的日志；节点服务器将预定义格式的日志上传到对应的中心服务器。
8.如权利要求7所述的方法，其特征在于，预定义格式的日志为预定义第一格式的日 志或预定义第二格式的日志，预定义第一格式的日志对应提供web访问服务的边缘服务器 产生的日志，预定义第二格式的日志对应提供流媒体服务的边缘服务器产生的日志；节点服务器将对应的边缘服务器上传的日志转换为预定义格式的日志具体为将提供 web访问服务的边缘服务器上传的日志转换为预定义第一格式的日志，将提供流媒体服务 的边缘服务器上传的日志转换为预定义第二格式的日志。
9.如权利要求7所述的方法，其特征在于，节点服务器在获得对应的边缘服务器上传 的日志后，还包括节点服务器根据对应的边缘服务器上传的日志生成计费信息，并将计费 信息上传到对应的中心服务器。
10.一种节点服务器，其特征在于，适用于权利要求1所述的系统，所述节点服务器包括获得单元，用于获得对应的边缘服务器上传的日志；转换单元，用于将对应的边缘服务器上传的日志转换为预定义格式的日志；上传单元，用于将预定义格式的日志上传到对应的中心服务器。
11.如权利要求10所述的节点服务器，其特征在于，预定义格式的日志为预定义第一 格式的日志或预定义第二格式的日志，预定义第一格式的日志对应提供web访问服务的边 缘服务器产生的日志，预定义第二格式的日志对应提供流媒体服务的边缘服务器产生的日 志；转换单元具体用于将提供web访问服务的边缘服务器上传的日志转换为预定义第一 格式的日志，将提供流媒体服务的边缘服务器上传的日志转换为预定义第二格式的日志。
12.如权利要求10所述的节点服务器，其特征在于，还包括生成单元，用于在获得单 元获得对应的边缘服务器上传的日志后，根据对应的边缘服务器上传的日志生成计费信 息；上传单元还将计费信息上传到对应的中心服务器。
13.—种日志处理方法，其特征在于，适用于权利要求1所述的系统，所述方法包括中心服务器获得对应的节点服务器上传的预定义格式的日志；中心服务器对预定义格式的日志进行处理。
14.如权利要求13所述的方法，其特征在于，预定义格式的日志为预定义第一格式的 日志或预定义第二格式的日志，预定义第一格式的日志对应提供web访问服务的边缘服务 器产生的日志，预定义第二格式的日志对应提供流媒体服务的边缘服务器产生的日志。
15.如权利要求13或14所述的方法，其特征在于，中心服务器对预定义格式的日志进 行处理具体为中心服务器按照频道存储预定义格式的日志。
16.如权利要求13或14所述的方法，其特征在于，中心服务器对节点服务器上传的 预定义格式的日志进行处理具体为如果中心服务器获得客户端下载指定格式的日志的请 求，则中心服务器将预定义格式的日志转换为指定格式的日志，并将指定格式的日志提供 给客户端。
17.—种中心服务器，其特征在于，适用于权利要求1所述的系统，所述中心服务器包括获得单元，用于获得对应的节点服务器上传的预定义格式的日志；处理单元，用于对预定义格式的日志进行处理。
18.如权利要求17所述的中心服务器，其特征在于，预定义格式的日志为预定义第一 格式的日志或预定义第二格式的日志，预定义第一格式的日志对应提供web访问服务的边 缘服务器产生的日志，预定义第二格式的日志对应提供流媒体服务的边缘服务器产生的日志。
19.如权利要求17或18所述的中心服务器，其特征在于，处理单元具体用于按照频道 存储预定义格式的日志。
20.如权利要求17或18所述的中心服务器，其特征在于，获得单元还获得客户端下载 指定格式的日志的请求；处理单元还将预定义格式的日志转换为指定格式的日志，并将指定格式的日志提供给客户端。
全文摘要
本发明涉及一种日志处理系统、日志处理方法、节点服务器和中心服务器；所述日志处理系统包括边缘服务器，节点服务器和中心服务器，一个边缘服务器至少对应一个节点服务器，一个节点服务器至少对应一个台中心服务器；边缘服务器用于产生日志，并将日志上传到对应的节点服务器；节点服务器用于将边缘服务器上传的日志转换为预定义格式的日志，并将预定义格式的日志上传到对应的中心服务器；中心服务器用于对节点服务器上传的预定义格式的日志进行处理。采用本发明的日志处理系统、日志处理方法、节点服务器和中心服务器，可以有效降低中心服务器处理日志的复杂度，提高了处理效率。
文档编号H04L29/06GK101958837SQ20101050419
公开日2011年1月26日 申请日期2010年9月30日 优先权日2010年9月30日
发明者井卫军, 姚永壮, 杨利军, 蒋建平, 郜时红 申请人:北京世纪互联工程技术服务有限公司;北京云快线软件服务有限公司