日志文件的查询和处理的方法及装置的制作方法

专利名称：日志文件的查询和处理的方法及装置的制作方法
背景技术：
在通用用户数据平台(USPP, Universal Subscriber Profile Platform )双层 组网网管系统架构中，网元侧用于收集和存储受理日志，网元层管理系统 (EMS ， Element Management Systems )用于查询各网元的受理日志。由于用户多，受理日志的信息量巨大。目前网元侧(OMM)通过数据库 系统(例如，Oracle)来存储受理日志信息，Oracle数据库成本较高，无法存 储海量的受理日志信息，当数据库受理日志信息达到存储上限时，网元侧会把 数据库记录导出为文本文件， 一个文本文件大致存放300万条记录，文本文件 压缩后存储在网元侧。EMS从网元侧采集压缩后的日志文件。当对记录进行检索时，首先需要 解压，然后逐条解析每条记录，根据用户要求的查询条件找到匹配的记录。这 样的查询过程非常耗时，平均每个压缩日志文件的查询耗时50秒左右。发明内容本发明要解决的技术问题是提供一种提高查询速度的日志文件的查询和 处理的方法及装置。为解决上述技术问题，本发明的实施例提供技术方案如下 一方面，提供一种日志文件的查询方法，包括 日志文件查询装置获取至少一个类型的待查询索引值； 所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的 至少一个记录的序号，所述索引文件包括所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号；所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所 述待查询索引值对应的记录，所述日志文件包括至少一个记录、所述记录的 序号。其中，所述日志文件还包括所述记录在所述日志文件中的存储位置信息；所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所 述待查询索引值对应的记录的步骤包括所述日志文件查询装置根据所述曰志 文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息；所述日 志文件查询装置根据获取的所述记录的存储位置信息，从所述日志文件中获取 所述待查询索$ I值对应的记录。其中，所述日志文件具体包括至少一个记录数据块、所述记录数据块的 序号以及所述记录数据块在所述日志文件中的存储位置信息，所述记录数据块 包括至少一个记录；所述索引文件具体包括所述记录数据块的序号和所述记录数据块的序号 对应的至少 一个类型的索引值的范围；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的 至少一个记录的序号的步骤具体为所述日志文件查询装置根据所述索引文 件，查找所述待查询索卩I值对应的至少一个记录数据块的序号；所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号 对应的所述记录的存储位置信息的步骤具体为所述日志文件查询装置根据所 述日志文件，获取查找到的所述记录数据块的序号对应的存储位置信息；所述日志文件查询装置根据获取的所述记录的存储位置信息，从所述曰志 文件中获取所述待查询索引值对应的记录的步骤具体为所述日志文件查询装 置根据获取的所述记录数据块的存储位置信息，从所述日志文件中获取所述待 查询索引值对应的记录数据块；所述日志文件查询装置从获取的所述记录数据 块中，获取包含所述待查询索引值对应的记录。其中，所述记录数据块还包括所述记录的序号以及所述记录的存储位置 信息；所述索引文件还包括所述至少一个类型的索引值、所述索引值对应的记 录数据块的序号以及所述索引值对应的记录的序号；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的 至少一个记录凄t据块的序号的步骤具体为所述日志文件查询装置根据所述索 1文件，查找所述待查询索？ 1值对应的至少 一个记录数据块的序号以及所述待 查询索引值对应的至少一个记录的序号；所述日志文件查询装置从获取的所述记录数据块中，获取包含所述待查询 索引值对应的记录的步骤具体为所述日志文件查询装置根据获取的所述记录 数据块，获取所述待查询索引值对应的记录的序号对应的存储位置信息；所述 日志文件查询装置根据获取的所述记录的序号的存储位置信息，从所述日志文 件中获取所述待查询索引值对应的记录。其中，所述索引文件具体包括至少一个索引值数据块、所述索引值数据 块在所述索引文件中的存储位置信息以及所述索引值数据块对应的索引值的 范围；所述索引值数据块包括至少一个索引值、所述索引值对应的记录的序号 以及所述索引值对应的记录数据块的序号；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的 至少一个记录数据块的序号以及所述待查询索引值对应的至少一个记录的序 号的步骤包括所述日志文件查询装置根据所述索引文件，查找包括所述待查询索？I值对 应的索引值数据块的存储位置信息；所述日志文件查询装置根据获取的所述索引值数据块的存储位置信息，获 取所述待查询索51值对应的索引值数据块；所述日志文件查询装置在获取到的所述索引值数据块中，查找所述待查询 索？ 1值对应的记录号以及所述待查询索弓I值对应的记录数据块的序号。其中，所述记录包含至少两个类型的索引值；所述索引文件包含所述至少两个类型的索引文件；所述待查询索引值为所述至少两个类型的待查询索引值；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号的步骤包括所述日志文件查询装置根据第一类型的所述索引文件，查找第一类型的所 述待查询索？ 1值对应的至少一个记录的序号，作为第一集合；所述日志文件查询装置根据第二类型的索引文件，查找第二类型的所述待 查询索引值对应的至少一个记录的序号，作为第二集合；所述日志文件查询装置获取所述第一集合和所迷第二集合的交集，作为查 找到的所述记录的序号。其中，所述记录在所述日志文件中的存储位置信息占用的字节长度固定， 所述记录的存储位置信息的存储地址标示所述记录的序号；所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号 对应的所述记录的存储位置信息的步骤包括所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号 对应的所述记录的存储位置信息的存储地址所述日志文件查询装置根据所述 记录的存储位置信息的存储地址，获取所述记录的存储位置信息。另一方面，提供一种对日志文件进行处理的方法，包括日志文件的生成装置获取原始日志文件，所述原始日志文件包括至少一个记录；所述日志文件的生成装置获取所述记录的序号；所述日志文件的生成装置生成新的日志文件，所述新的日志文件包括所 述记录和所述记录的序号；所述日志文件的生成装置从所述至少一个记录中获取至少一个类型的索 引值；所述日志文件的生成装置获取所述索？I值对应的记录的序号； 所述日志文件的生成装置生成索引文件，所述索引文件包括所述至少一个类型的索引值以及所述索引值对应的记录的序号。其中，所述新的日志文件还包括所述记录在所述新的日志文件中的存储位置信息。其中，所述日志文件的生成装置获取所述记录的序号的步骤之前，还包括页 所述日志文件的生成装置将所述原始日志文件分成至少一个记录数据块，所述至少一个记录lt据块包括第一预定数量的记录；所述日志文件的生成装置获取所述记录的序号的步骤具体为所述日志文 件的生成装置获取所述记录数据块的序号；所述日志文件的生成装置生成索引文件的步骤之前，还包括所述日志文 件的生成装置获取所述记录数据块的序号对应的索引值的范围；所述新的日志文件具体包括至少一个记录数据块、所述记录数据块的序 号以及所述记录数据块在所述新的日志文件中的存储位置信息；所述索引文件具体包括所述记录数据块的序号和所述记录数据块的序号 对应的索引值的范围。其中，所述日志文件的生成装置将所述原始日志文件分成至少一个记录数 据块的步骤具体为所述日志文件的生成装置将所述原始日志文件分成至少一 个记录组，所述记录组包括第一预定数量的记录，所述日志文件的生成装置获 取所述记录的序号以及所述记录在所述新的日志文件中的存储位置信息；所述 日志文件的生成装置组成记录数据块，所述记录数据块包括所述至少一个记 录、所述记录的序号以及所述记录在所述新的日志文件中的存储位置信息；所述日志文件的生成装置获取所述索引值对应的记录的序号的步骤具体 为所述日志文件的生成装置获取所述索？I值对应的记录数据块的序号以及所 述索引值对应的记录的序号；所述索引文件具体包括所述至少一个类型的索引值、所述至少一个类型 的索引值对应的记录数据块的序号以及所述至少一个类型的索引值对应的记 录的序号。其中，所述日志文件的生成装置生成索引文件的步骤之前，还包括 所述日志文件的生成装置获取第二预定数量的索引值；所述日志文件的生 成装置生成索引值数据块，所述索引值数据块包括至少一个索引值、所述索引 值对应的记录数据块的序号以及所述索引值对应的记录的序号；所述日志文件 的生成装置获取所述索引值数据块在所述索引文件中的存储位置信息、所述索 引值数据块对应的索引值的范围；所述索引文件具体包括至少一个索引值数据块、所述索引值数据块在所述索引文件中的存储位置信息以及所述索引值数据块对应的索引值的范围。 其中，所述记录在所述新的日志文件中的存储位置信息占用的字节长度固定，所述记录的存储位置信息的存储地址标示所述记录的序号。 另一方面，提供一种日志文件的查询装置，包括 第一获取单元，用于获取至少一个类型的待查询索引值； 查找单元，用于根据索引文件，查找所述待查询索引值对应的至少一个记录的序号，所述索引文件包括所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号；第二获取单元，用于根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录，所述日志文件包括至少一个记录、所述记录的序号。另一方面，提供一种日志文件的生成装置，包括第三获取单元，用于获取原始日志文件，所述原始日志文件包括至少一个记录；第四获取单元，用于获取所述记录的序号；曰志生成单元，用于生成新的日志文件，所述新的日志文件包括所述记录和所述记录的序号；第五获取单元，用于从所述至少一个记录中获取至少一个类型的索引值；第六获取单元，用于获取所述索引值对应的记录的序号；索引生成单元，用于生成索引文件，所述索引文件包括所述至少一个类型的索引值以及所述索引值对应的记录的序号。 本发明的实施例具有以下有益效果上述方案中，所述日志文件查询装置根据所述索引文件，查找所述待查询 索引值对应的至少一个记录的序号；所述日志文件查询装置根据查找的所述记 录的序号，从日志文件中获取所述待查询索引值对应的记录。在查询的时候， 不需要逐条解析每条记录，因此加快了查询速度。


图1为所述的一种曰志文件的查询方法的第一实施例的流程示意图； 图2为所述的 一种日志文件的查询方法的第二实施例的流程示意图； 图3为所述的一种日志文件的查询方法的第三实施例的流程示意图； 图4为所述的 一种日志文件的查询方法的第四实施例的流程示意图； 图5为所述的一种日志文件的查询方法的第五实施例的流程示意图； 图6为所述的对日志文件进行处理的方法的第一实施例的流程示意图； 图7为所述的对日志文件进行处理的方法的第三实施例的流程示意图； 图8为所述的对日志文件进行处理的方法的第四实施例的流程示意图； 图9为所述的对日志文件进行处理的方法的第五实施例的流程示意图； 图10为本发明所述的日志文件的查询装置的结构示意图； 图11为本发明所述的日志文件的生成装置的结构示意图； 图12为本发明所述的应用场景中对原始压缩的受理日志文件进行处理的 流程示意图；图13是为本发明所述的应用场景中数据查询的流程示意图。
具体实施方式
为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚，下面 将结合附图及具体实施例进行详细描述。本发明的实施例针对现有技术中查询速度慢的的问题，提供一种日志文件 的查询和处理的方法及装置。如图l所示，为本发明所述的一种日志文件的查询方法的第一实施例，包括步骤11，日志文件查询装置获取至少一个类型的待查询索引值。步骤12，所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号；所述索引文件包括所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号。步骤13，所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录；所述日志文件包括至少一个记录、所述记录的序号，所述记录包含至少一个类型的索引值。上述方案中，所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号；所述日志文件查询装置根据查找的所述记 录的序号，从日志文件中获取所述待查询索引值对应的记录，不需要逐条解析 每条记录，因此加快了查询速度。如图2所示，为本发明所述的一种日志文件的查询方法的第二实施例，包括步骤21,日志文件查询装置获取至少一个类型的待查询索引值。 步骤22,所述日志文件查询装置根据所述索引文件，查找所述待查询索 引值对应的至少一个记录的序号；所述索引文件包括所述至少一个类型的索 引值以及所述索引值对应的至少一个记录的序号。可选的，所述记录包含至少 两个类型的索引值；所述索引文件包含所述至少两个类型的索引文件；所述待 查询索引值为所述至少两个类型的待查询索引值；所述日志文件查询装置根据 所述索引文件，查找所述待查询索引值对应的至少一个记录的序号的步骤包 括所述日志文件查询装置根据第一类型的所述索引文件，查找第一类型的所 述待查询索引值对应的至少一个记录的序号，作为第一集合；所述日志文件查 询装置根据第二类型的索引文件，查找第二类型的所述待查询索弓1值对应的至 少一个记录的序号，作为第二集合；所述日志文件查询装置获取所述第一集合 和所述第二集合的交集，作为查找到的所述记录的序号。步骤23,所述日志文件查询装置根据所述日志文件，获取查找到的所述 记录的序号对应的所述记录的存储位置信息；所述日志文件包括至少一个记 录、所述记录的序号以及所述记录在所述日志文件中的存储位置信息；所述记 录包含至少一个类型的索引值。所述日志文件中还包括记录的存储位置信息， 在后续流程中，能够根据记录的存储位置信息迅速获取记录，提高了查询速度。 可选的，所述记录在所述日志文件中的存储位置信息占用的字节长度固定，所 述记录的存储位置信息的存储地址标示所述记录的序号。并且，记录在所述日 志文件中的存储位置信息占用的存储空间可以为顺序连续的。步骤23包括 所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号对应询装置根据所述记录 的存储位置信息的存储地址，获取所述记录的存储位置信息。因此不需要专门 的字段来存放记录的序号，因此节省了存储空间。步骤24,所述日志文件查询装置根据获取的所述记录的存储位置信息， 从所述日志文件中获取所述待查询索《I值对应的记录。如图3所示，为本发明所述的一种日志文件的查询方法的第三实施例，包括步骤31，日志文件查询装置获取至少一个类型的待查询索引值。步骤32，所述日志文件查询装置根据索引文件，查找所述待查询索引值 对应的至少一个记录数据块的序号；所述索引文件具体包括所述记录数据块 的序号和所述记录数据块的序号对应的至少一个类型的索引值的范围。步骤33，所述日志文件查询装置根据日志文件，获取查找到的所述记录 数据块的序号对应的存储位置信息；所述日志文件具体包括至少一个记录数 据块、所述记录数据块的序号以及所述记录数据块在所述日志文件中的存储位 置信息，所述记录数据块包括至少一个记录，使用记录数据块的存储结构，在 查找记录的时候，不需要在整个日志文件中查找，只需要在相应序号的记录数 据块中查找，节省了查询时间。步骤34,所述日志文件查询装置根据获取的所述记录数据块的存储位置 信息，从所述日志文件中获取所述待查询索引值对应的记录数据块。可选的， 所述记录数据块可以为压缩记录数据块；当所述记录数据块为压缩记录数据块 时，步骤34具体为所述日志文件查询装置根据获取的所述记录数据块的存 储位置信息，从所述日志文件中获取所述待查询索引值对应的压缩记录数据 块；所述日志文件查询装置解压所述压缩记录数据块，使用压缩记录数据块的 存储结构减少了存储空间。并且，在查找记录时，只需要将相应序号的压缩记 录数据块解压出来，不需要解压整个日志文件，节省了查询时间。步骤35,所述日志文件查询装置从获取的所述记录数据块中，获取包含 所述待查询索引值对应的记录。可选的，当所述记录数据块为压缩记录数据块 时，步骤35具体为所述日志文件查询装置从解压的所述记录数据块中，获取包含所述待查询索引值对应的记录。如图4所示，为本发明所述的一种日志文件的查询方法的第四实施例，包括步骤41,日志文件查询装置获取至少一个类型的待查询索引值。步骤42，所述日志文件查询装置根据索引文件，查找所述待查询索引值 对应的至少一个记录数据块的序号以及所述待查询索引值对应的至少一个记 录的序号；所述索引文件具体包括所述记录数据块的序号和所述记录数据块 的序号对应的至少一个类型的索引值的范围；所述至少一个类型的索引值、所 述索引值对应的记录数据块的序号以及所述索引值对应的记录的序号。步骤43，所述日志文件查询装置根据日志文件，获取查找到的所述记录 数据块的序号对应的存储位置信息；所述日志文件具体包括至少一个记录数 据块、所述记录数据块的序号以及所述记录数据块在所述日志文件中的存储位 置信息，所述记录数据块包括至少一个记录、所述记录的序号以及所述记录的 存储位置信息。该实施例不仅通过数据块的序号进行查找，而且通过记录的序 号进行查找，因此相对于上述实施三的查询速度更快。步骤44，所述日志文件查询装置根据获取的所述记录数据块的存储位置 信息，从所述日志文件中获取所述待查询索引值对应的记录数据块。步骤45，所述日志文件查询装置根据获取的所述记录数据块，获取所述 待查询索引值对应的记录的序号对应的存储位置信息。步骤46,所述日志文件查询装置根据获取的所述记录的序号的存储位置 信息，从所述日志文件中获取所述待查询索引值对应的记录。如图5所示，为本发明所述的一种日志文件的查询方法的第五实施例，包括步骤51,日志文件查询装置获取至少一个类型的待查询索引值。 步骤52,所述日志文件查询装置根据索引文件，查找包括所述待查询索 引值对应的索引值数据块的存储位置信息；所述索引文件具体包括至少一个 索引值数据块、所述索引值数据块在所述索引文件中的存储位置信息以及所述 索引值数据块对应的索引值的范围；所述索引值数据块包括至少一个索引值、 所述索引值对应的记录的序号以及所述索引值对应的记录数据块的序号。在索引文件中查找时，可以先才艮据索引值数据块对应的索引值范围，查找到带查询 索引值对应的索引值数据块，然后在索引值数据块中查找索引值，不需要在整 个索引文件中查找索引值，缩小了查询范围，因此加快了查询速度。步骤53,所述日志文件查询装置根据获取的所述索引值数据块的存储位 置信息，获取所述待查询索引值对应的索引值数据块。步骤54，所述日志文件查询装置在获取到的所述索引值数据块中，查找 所述待查询索引值对应的记录号以及所述待查询索引值对应的记录数据块的 序号。可选的，所述索引值数据块为压缩索引值数据块；当所述索引值数据块 为压缩索引值数据块时，步骤54包括所述日志文件查询装置解压获取到的 所述索引值数据块；所述日志文件查询装置在解压的所述索引值数据块中，查 找所述待查询索引值对应的记录号以及所述述待查询索引值对应的数据块的 序号。步骤55,所述日志文件查询装置根据日志文件，获取查找到的所述记录 数据块的序号对应的存储位置信息；所述日志文件具体包括至少一个记录数 据块、所述记录数据块的序号以及所述记录数据块在所述日志文件中的存储位 置信息，所述记录数据块包括至少一个记录、所述记录的序号以及所述记录的 存储位置信息。其中，所述记录数据块在所述日志文件中的存储位置信息占用 的字节长度固定，所述记录数据块的存储位置信息的存储地址标示所述记录的 序号。并且，记录数据块在所述日志文件中的存储位置信息占用的存储空间可 以为顺序连续的。步骤55具体包括所述日志文件查询装置根据所述日志文 件，获取查找到的所述记录数据块的序号对应的所述记录数据块的存储位置信 息的存储地址所述日志文件查询装置根据所述记录存储块的存储位置信息的 存储地址，获取所述记录存储块的存储位置信息。步骤56,所述日志文件查询装置根据获取的所述记录数据块的存储位置 信息，从所述日志文件中获取所述待查询索引值对应的记录数据块。步骤57,所述日志文件查询装置根据获取的所述记录数据块，获取所述 待查询索引值对应的记录的序号对应的存储位置信息。步骤58，所述日志文件查询装置根据获取的所述记录的序号的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录。上述方案中，同时通过索引值查询到记录数据块的序号和记录在记录数据 块中的序号，能够加快查询速度。如图6所示，为本发明所述的一种对日志文件进行处理的方法的第一实施 例，该第一实施例生成的新的日志文件和索引文件与日志文件的查询方法的第 一实施例相对应，也就是说，该实施例生成的新的日志文件和索引文件对应于 查询过程中使用的索引文件和日志文件。所述对日志文件进行处理的方法包 括步骤61,日志文件的生成装置获取原始日志文件，所述原始日志文件包 括至少一个记录。步骤62，所述日志文件的生成装置获取所述记录的序号。 步骤63,所述日志文件的生成装置生成新的日志文件，所述新的日志文 件包括所述记录和所述记录的序号；可选的，所述记录在所述新的日志文件 中的存储位置信息占用的字节长度固定，所述记录的存储位置信息的存储地址 标示所述记录的序号。因此，不需要专门的字段存储记录的序号，节省了存储 空间。步骤64,所述日志文件的生成装置从所述至少一个记录中获取至少一个 类型的索引值。步骤65，所述日志文件的生成装置获取所述索引值对应的记录的序号。 步骤66，所述日志文件的生成装置生成索引文件，所述索引文件包括所述至少一个类型的索引值以及所述索引值对应的记录的序号。上述方案中，后续的查询过程中，根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号；根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录。不需要逐条解析每条记录，加快了查询速度。在本发明所述的对日志文件进行处理的方法的第二实施例中，所述新的曰 志文件还包括所述记录在所述新的日志文件中的存储位置信息。该方法生成 的新的日志文件与日志文件的查询方法的第二实施例相对应。所述日志文件中还包括记录的存储位置信息，在后续查询流程中，能够根据记录的存储位置信 息迅速获取记录，提高了查询速度。如图7所示，为本发明所述的一种对日志文件进行处理的方法的第三实施 例，该第三实施例生成的新的日志文件和索引文件与日志文件的查询方法的第 三实施例相对应。步骤71,日志文件的生成装置获取原始日志文件，所述原始日志文件包 括至少一个记录。步骤72，所述日志文件的生成装置将所述原始日志文件分成至少一个记 录数据块，所述至少一个记录数据块包括第一预定数量的记录。步骤73,所述日志文件的生成装置获取所述记录数据块的序号。步骤74，所述日志文件的生成装置生成新的日志文件，生成的所述新的 日志文件具体包括至少一个压缩记录数据块、所述压缩记录数据块的序号以 及所述压缩记录数据块在所述新的日志文件中的存储位置信息。步骤75,所述日志文件的生成装置从所述至少一个记录中获取至少一个 类型的索引值。步骤76,所述日志文件的生成装置获取所述索引值对应的记录的序号。 步骤77，所述日志文件的生成装置获取所述记录数据块的序号对应的索 引值的范围。步骤78,所述日志文件的生成装置生成索引文件，所述索引文件具体包 括所述记录数据块的序号和所述记录数据块的序号对应的索引值的范围。使用记录数据块的存储结构，在查找记录的时候，不需要在整个日志文件 中查找，只需要在相应序号的记录数据块中查找，节省了查询时间。上述实施例中，可选的，所述记录数据块为压缩记录数据块，所述日志文 件的生成装置生成新的日志文件的步骤之前，还包括将所述记录数据块进行 压缩，生成压缩记录数据块；生成的所述新的日志文件具体包括至少一个压 缩记录数据块、所述压缩记录数据块的序号以及所述压缩记录数据块在所述新 的日志文件中的存储位置信息。使用压缩记录数据块的存储结构减少了存储空 间。并且，在查找记录时，只需要将相应序号的压缩记录数据块解压出来，不需要解压整个日志文件，节省了查询时间。可选的，上述实施例中，所述索引值数据块包括至少两个索引值，所述日志文件的生成装置生成索引文件的步骤之前，还包括所述日志文件的生成装 置按照索引值的大小，对所述索引值数据块中的索引值进行排序。所述压缩索 51值数据块包括排序后的至少两个索引值、所述两个索引值对应的记录数据块 的序号以及所述两个索引值对应的记录的序号。如图8所示，为本发明所述的一种对日志文件进行处理的方法的第四实施 例，该第四实施例生成的新的日志文件和索引文件与日志文件的查询方法的第 四实施例相对应。步骤81,日志文件的生成装置获取原始日志文件，所述原始日志文件包 括至少一个记录。步骤82，所述日志文件的生成装置将所述原始日志文件分成至少一个记 录数据块，所述至少一个记录数据块包括第一预定数量的记录。可选的，步骤 82具体为所述日志文件的生成装置将所述原始日志文件分成至少一个记录 组，所述记录组包括第一预定数量的记录；所述日志文件的生成装置获取所述 记录的序号以及所述记录在所述新的日志文件中的存储位置信息；所述日志文 件的生成装置组成记录数据块，所述记录数据块包括所述至少一个记录、所述 记录的序号以及所述记录在所述新的日志文件中的存储位置信息。步骤83,所述日志文件的生成装置获取所述记录数据块的序号。步骤84,所述日志文件的生成装置生成新的日志文件，所述新的日志文 件具体包括至少一个记录lt据块、所述记录数据块的序号以及所述记录数据 块在所述新的日志文件中的存储位置信息。步骤85,所述日志文件的生成装置从所述至少一个记录中获取至少一个 类型的索引值。步骤86，所述日志文件的生成装置获取所述索引值对应的记录数据块的 序号以及所述索引值对应的记录的序号。步骤87，所述日志文件的生成装置获取所述记录数据块的序号对应的索 引值的范围。页步骤88，所述日志文件的生成装置生成索引文件，所述索引文件具体包 括所述至少一个类型的索引值、所述至少一个类型的索引值对应的记录数据 块的序号以及所述至少一个类型的索引值对应的记录的序号。该实施例不仅通过数据块的序号进行查找，而且通过记录的序号进行查 找，提高了查询速度。如图9所示，为本发明所述的一种对日志文件进行处理的方法的第五实施 例，该第五实施例生成的新的日志文件和索引文件与日志文件的查询方法的第 五实施例相对应。步骤91,日志文件的生成装置获取原始日志文件，所述原始日志文件包 括至少一个记录。步骤92，所述日志文件的生成装置将所述原始日志文件分成至少一个记 录数据块，所述至少一个记录数据块包括第一预定数量的记录。步骤92具体 为所述日志文件的生成装置将所述原始日志文件分成至少一个记录组，所述 记录组包括第一预定数量的记录；所述日志文件的生成装置获取所述记录的序 号以及所述记录在所述新的日志文件中的存储位置信息；所述日志文件的生成 装置组成记录lt据块，所述记录数据块包括所述至少一个记录、所述记录的序 号以及所述记录在所述新的日志文件中的存储位置信息。步骤93,所述日志文件的生成装置获取所述记录数据块的序号。步骤94,所述日志文件的生成装置生成新的日志文件，所述新的日志文 件具体包括至少一个记录数据块、所述记录数据块的序号以及所述记录数据 块在所述新的日志文件中的存储位置信息。步骤95,所述日志文件的生成装置从所述至少一个记录中获取至少一个 类型的索引值。步骤96，所述日志文件的生成装置获取所述索引值对应的记录数据块的 序号以及所述索引值对应的记录的序号。步骤97,所述日志文件的生成装置获取所述记录数据块的序号对应的索 引值的范围。步骤98，所述日志文件的生成装置获取第二预定 量的索引值。步骤99,所述日志文件的生成装置生成索引值数据块，所述索引值数据 块包括至少一个索引值、所述索引值对应的记录数据块的序号以及所述索引值 对应的记录的序号。步骤910,所述日志文件的生成装置获取所述索引值数据块在所述索引文 件中的存储位置信息、所述索引值数据块对应的索引值的范围。步骤911，所述日志文件的生成装置生成索引文件，所述索引文件具体包 括至少一个索引值数据块、所迷索引值数据块在所述索引文件中的存储位置 信息以及所述索引值数据块对应的索引值的范围。在索引文件中查找时，可以先根据索引值数据块对应的索引值范围，查找 到带查询索引值对应的索引值数据块，然后在索引值数据块中查找索引值，不 需要在整个索引文件中查找索引值，缩小了查询范围，因此加快了查询速度。上述实施例中，可选的，所述索引值数据块为压缩索引值数据块；所述曰 志文件的生成装置生成索引文件的步骤之前，还包括将所述索引值数据块进 行压缩，生成压缩索引值数据块。生成的所述索引文件具体包括至少一个压 缩索引值数据块、所述压缩索引值数据块的在所述索引文件中的存储位置信息 以及所述压缩索引值数据块对应的索引值的范围。使用压缩的索引值的数据结 构，节省了存^^者空间。上述实施例中，可选的，所述新的日志文件包括至少两个索引值数据块；所述日志文件的生成装置生成索引文件的步骤之前，还包括所述日志文 件的生成装置按照所述索引值数据块对应的索引值的范围的大小，对所述索引 值数据块进行排序。生成的所述索引文件具体包括至少两个排序后的所述索 引值数据块、两个排序后的所述索引值数据块在所述索引文件中的存储位置信 息以及两个排序后的所述索？ j值数据块对应的索引值的范围。可以按照以上对日志文件进^f亍处理的方法，对所述记录中的每个类型的索 引值生成一个索引文件。如图10所示，为本发明所述的一种日志文件的查询装置10,包括第一获取单元101,用于获取至少一个类型的待查询索引值；查找单元102，用于根据索引文件，查找所述待查询索引值对应的至少一个记录的序号，所述索引文件包括所述至少一个类型的索引值以及所述索引 值对应的至少一个记录的序号；第二获取单元103，用于根据查找的所述记录的序号，从日志文件中获取 所述待查询索引值对应的记录，所述日志文件包括至少一个记录、所述记录 的序号。上述方案中，所述日志文件查询装置根据所述索引文件，查找所述待查询 索引值对应的至少一个记录的序号；所述日志文件查询装置根据查找的所述记 录的序号，从日志文件中获取所述待查询索引值对应的记录，不需要逐条解析 每条记录，因此加快了查询速度。并且，本领域^支术人员可以理解，上述曰志 文件的查询方法的第一实施例至第五实施例与该日志文件的查询装置相对应， 日志文件的查询装置能够实现查询方法的功能。如图ll所示，为本发明所述的日志文件的生成装置，包括 第三获取单元lll,用于获取原始日志文件，所述原始日志文件包括至少 一个记录；第四获取单元112,用于获取所述记录的序号；日志生成单元113，用于生成新的日志文件，所述新的日志文件包括所 述记录和所述记录的序号；第五获取单元114，用于从所述至少一个记录中获取至少一个类型的索引值；第六获取单元115,用于获取所述索引值对应的记录的序号； 索引生成单元116,用于生成索引文件，所述索引文件包括所述至少一 个类型的索引值以及所述索引值对应的记录的序号。上述方案中，后续的查询过程中，根据所述索引文件，查找所述待查询索 引值对应的至少一个记录的序号；4艮据查找的所述记录的序号，从日志文件中 获取所述待查询索引值对应的记录。不需要逐条解析每条记录，加快了查询速 度。并且，本领域技术人员可以理解，上述对日志文件进行处理的第一实施例 至第五实施例与该日志文件的生成装置相对应，日志文件的生成装置能够实现 查询方法的功能。可选的，日志文件的生成装置和日志文件的查询装置可以设置在一个装置上。以下以EMS为例，说明本发明所述的方案的应用场景。该应用场景中， 日志文件的查询装置和日志文件的生成装置都为EMS。包含以下步骤步骤一、EMS定期从OMM侧采集原始的压缩的历史受理日志文件，对 压缩的历史受理日志文件解压后，按照新的压缩规则进行压缩，生成新的压缩 文件。新的压缩规则为对原始的压缩的历史受理日志文件中的每100条记录进 行压缩，生成一个压缩数据块。然后将多个压缩数据块组成新的压缩文件。按照新规则压缩后的数据文件存储结构为 {*头部长度4byte(头部长度代表参数，4byte代表参数占用的字节 数，以下类似)*版本号1 byte*时间戳8 byte*记录总凄史4 byte*数据压缩块总数4 byte*每个数据压缩块中的记录数量lbyte*第一压缩数据块的起始位置4 byte ,第一压缩数据块的数据大小4 byte}*第二压缩数据块的起始位置4byte,第二压缩数据块的数据大小4 byte*第一压缩数据块的内容 *第二压缩数据块的内容 …)其中，每个压缩数据块的存储结构为 {*本压缩数据块中记录的数量*第一记录的开始位置 4 byte,第一记录的字节大小2 byte *第二记录的开始位置 4byte，第二记录的字节大小2 byte*第一记录的字节块 *第二记录的字节块 ...}步骤二、在对原始的压缩文件解压并重新压缩的同时，对新的压缩文件分别生成索引文件。该索引文件中，分别以IMSI (国际移动用户标识号， International Mobile Subscriber Identification Number )、 MSISDN (移动台国际 综合业务数字网号码，MSISDN,Mobile Station international Integrated Services DigitalNetworknumber)以及时间作为索引值生成三个索引文件。因此，在后 续查询过程中，EMS层受理日志能够按照用户信息和时间来查询。为每个记录建立索引，索引包括每条记录中包含的索引值，记录所在数 据压缩块的序号号、记录的序号。当记录数达到10000条后，根据索引值的大 小进行排序，写入临时文件。当为全部记录建立索引后，将所有临时文件进行 归并堆排序，形成一个大的索引文件。其中，索引文件的存储结构为{*头部长度4 byte*版本号lbyte*时间戳8 byte*索引压缩块的数量4 byte*索引文件的最小索引值*索引文件的最大索引值*每个索引压缩块中的记录数量2 byte*第一索引压缩块的起始位置4 byte*第一索引压缩块首索引值lbyte*第一索引压缩块的字节大小2 byte*第一索引压缩块的最小索引值*第一索引压缩块的最大索引值*第二索引压缩块的起始位置4 byte*第二索引压缩块首索引值lbyte*第二索引压缩块的字节大小2byte *第二索引压缩块的最小索引值 *第二索引压缩块的最大索引值 *第 一索引压缩块的压缩数据 *第二索引压缩块的压缩数据其中，每个索引压缩块的数据结构为{*索引块首个索引值--本值不压缩*本索引块的索引值的数量2 byte*第一索引值对应的记录数据块序号和记录号4 byte*第一索引值字节的开始位置2 byte*第一索引值的字节大小2 byte第二索引值对应的记录数据块的序号和记录号4 byte*第二索引值字节的开始位置2 byte*第二索引值的字节大小2 byte*第一索引值的字节块*第二索引值的字节块…〉对原始压缩文件处理后，生成一个压缩后的日志文件和3个索引文件，其 中三个索引文件分别是以索引值为IMSI的索引文件，索引值为MSISDN的索 引文件和索引值为时间的索引文件。索引文件与数据文件存放在不同目录下，便于查询。索引文件与数据文件一一对应，在数据量特别大的情况下，可以存在多个 索引文件和数据文件。索引是排序的，为了提高效率， 一个索引文件前面部分 记录了本索引文件中包含的最小索引值和最大索引值，如果需要找到索引值不 在最小值和最大索引值的范围之内，则不需要在本索引文件中进行查找。步骤三、数据查询对IMSI/MSISDN和时间的组合查询条件，EMS先从IMSI的索引文件中 找到匹配记录的数据集合，再从MSISDN索引文件中找到匹配记录的数据集 合，再从时间索引文件中找到匹配记录的数据集合。数据集合中记录的是数据 文件中记录的位置，将两个数据集合做交集，最后得出的是符合查询条件的记 录的位置。EMS根据符合查询条件的记录的位置从数据文件中获取压缩的记录数据 块，对记录数据块解压后获取受理日志记录，返回给用户。使用该方法的查询 速度比现有技术的查询速度可以提高IO倍以上。其中，如图12所示，上述步骤一和步骤二中，对原始压缩的受理日志文 件的处理流程包括步骤121, EMS通过FTP方式从OMM获取原始的历史受理日志压缩文 件，OMM生成历史受理日志文件时间不确定， 一般每周生成一个，EMS可以 选择在晚上业务量不大的时候获取文件并处理。步骤122， EMS读取压缩受理日志内容，对原始压缩日志进行解压，数据 记录一条一条读取。步骤123,记录每条记录的索引值信息。步骤124，判断lt据记录条数是否达IOO条，如果是，转步骤125,否则 转步骤126。步骤125，每100条数据记录压缩成一个数据记录块。 步骤126，判断数据记录条数是否读完，如果是，转步骤1210;如果否， 转步骤122。执行步骤123的同时，执行步骤127,判断索引记录条数是否达10000条， 如果是，转步骤128,否则，转步骤126。步骤128,每10000条索引信息按索引值排序。 步骤129,每10000条索引信息形成临时文件，然后转向步骤126。 步骤1210,在压缩数据块的基础上，创建新的压缩数据文件。 步骤12U，临时索引文件归并排序，创建新的压缩的索引文件。 其中，如图13所示，上述步骤三的对数据查询的处理流程包括步骤131，根据查询条件中的用户类型和用户号码查询IMSI索引文件， 获得符合条件的索引信息集合。步骤132，根据查询条件中的用户类型和用户号码查询MSISDN索引文 件，获得符合条件的索引信息集合。步骤133，根据查询条件中的时间段查询时间索引文件，获得符合条件的 索引信息集合。步骤134，将步骤131、 132、 133获得结果集合进行交集处理，获得最终 满足条件的索引信息集合步骤135，索引信息放置的是记录的压缩块号和记录块号，根据这些信息 从数据文件中获得数据。步骤136，解压压缩的记录数控块，获得真实日志信息，返回给用户以一个索引值进行查询为例，MSISDN号码为1381380000，通过此值与 索引值压缩块中的索引值比较，可以从索引文件中找到若干索引值压缩块的序 号号和索引值压缩块在索引文件中的的存储位置，每个索引压缩块中有记录 号、索引值的开始位置以及索引值的大小。通过索引值开始位置和索引值大小， 可以获取到索引值本身的信息，把它与13813800000比较,如果相同，记录下 对应的记录号，这个记录号在数据文件中对应一条记录。然后，通过以上步骤查找的记录号到数据文件中查找具体的记录信息。数 据文件最前面的部分是一些常量信息，之后是一个序列表格，表格中一条记录 代表一个数据压缩块。假设获取到记录号是32349,每个压缩数据块中可以存 放的记录数是固定的，这里设为100, 32349除以100,整数为323，余数49。 323代表压缩记录块的序号，49代表序号为323的压缩记录块中的记录的序号。 通过记录压缩块序号找到记录压缩块的起始位置和大小，解压出记录压缩块， 再找到第49条记录的起始位置和大小，然后读取该条记录。通常， 一条受理日志记录最大长度为3K， 80%左右的受理日志记录长度 在400个字节左右。现有技术中的所有日志压缩比在11%左右，单条日志的压 缩比在65%左右，本发明采取每100条记录进行压缩，压缩比在19%左右。 新规则压缩后的文件空间比原先的压缩文件大一倍左右，得到的查询效率高出 10多倍。。本发明在时间-空间之间达成一种平衡，以牺牲一部分的容量空间，获取最大程度上时间和空间的效率。按照本发明的方法，将原始的海量压缩数 据文件重新处理，建立索引和使用新的压缩机制，因此查询受理日志信息的性 能大大提高，提高了系统的性能，改进了易用性。
本发明不限于通信领域的日志管理，还可用于各个领域的日志管理。
该实施例中，存储位置可以表示为起始位置和结束位置，或者起始位置 以及字节大小。
第一预定数量可以为固定，也就是说，每个记录数据块包括相同数量的记 录数据块，第一预定数量可以不固定，也就是说，每个记录数据块包括不同数 量的记录。第二预定数量可以为固定，也就是说，每个索引值数据块包括相同 数量的索引值凄t据块，第二预定数量可以不固定，也就是说，每个索引值数据 块包括不同数量的索引值。
所述记录的序号可以为所述记录相对整个日志中的所有记录的总序号，也 可以为记录相对整个记录凄t据块中的所有记录的相对序号。
所述记录的存储位置信息可以为记录在日志中的存储位置信息，也可以 为记录在记录lt据块中的相对存储位置信息。
所述方法实施例是与所述装置实施例相对应的，在方法实施例中未详细描 述的部分参照装置实施例中相关部分的描述即可，在装置实施例中未详细描述 的部分参照方法实施例中相关部分的描述即可。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤 是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可 读取存储介质中，该程序在执行时，包括如上述方法实施例的步骤，所述的存 储介质，如磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或 随机存储记忆体(Random Access Memory, RAM)等。
在本发明各方法实施例中，所述各步骤的序号并不能用于限定各步骤的先 后顺序，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，对 各步骤的先后变化也在本发明的保护范围之内。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技 术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1.一种日志文件的查询方法，其特征在于，包括日志文件查询装置获取至少一个类型的待查询索引值；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号，所述索引文件包括所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号；所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录，所述日志文件包括至少一个记录、所述记录的序号。
2. 根据权利要求1所述的日志文件的查询方法，其特征在于， 所述日志文件还包括所述记录在所述日志文件中的存储位置信息； 所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录的步骤包括所述日志文件查询装置根据所述曰志 文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息；所述曰 志文件查询装置根据获取的所述记录的存储位置信息，从所述日志文件中获取 所述待查询索引值对应的记录。
3. 根据权利要求2所述的日志文件的查询方法，其特征在于， 所述日志文件具体包括至少一个记录数据块、所述记录数据块的序号以及所述记录数据块在所述日志文件中的存储位置信息，所述记录数据块包括至 少一个i己录；所述索引文件具体包括所述记录数据块的序号和所述记录数据块的序号 对应的至少一个类型的索引值的范围；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的 至少一个记录的序号的步骤具体为所述日志文件查询装置根据所述索引文 件，查找所述4寺查询索？ 1值对应的至少 一个记录数据块的序号；所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号 对应的所述记录的存^f渚位置信息的步骤具体为所述日志文件查询装置根据所述日志文件，获取查找到的所述记录数据块的序号对应的存储位置信息；所述日志文件查询装置根据获取的所述记录的存储位置信息，从所述曰志 文件中获取所述待查询索SI值对应的记录的步骤具体为所述日志文件查询装 置根据获取的所述记录数据块的存储位置信息，从所述日志文件中获取所述待 查询索引值对应的记录数据块；所述日志文件查询装置从获取的所述记录数据 块中，获取包含所述待查询索引值对应的记录。
4. 根据权利要求3所述的日志文件的查询方法，其特征在于， 所述记录数据块还包括所述记录的序号以及所述记录的存储位置信息； 所述索引文件还包括所述至少一个类型的索引值、所述索引值对应的记录数据块的序号以及所述索《1值对应的记录的序号；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的 至少一个记录数据块的序号的步骤具体为所述日志文件查询装置根据所述索 引文件，查找所述待查询索引值对应的至少一个记录数据块的序号以及所述待 查询索引值对应的至少一个记录的序号；所述日志文件查询装置从获取的所述记录数据块中，获取包含所述待查询 索引值对应的记录的步骤具体为所述日志文件查询装置根据获取的所述记录 数据块，获取所述待查询索引值对应的记录的序号对应的存储位置信息；所述 日志文件查询装置4艮据获取的所述记录的序号的存储位置信息，从所述日志文 件中获取所述待查询索引值对应的记录。
5. 根据权利要求4所述的日志文件的查询方法，其特征在于， 所述索引文件具体包括至少一个索引值数据块、所述索引值数据块在所述索引文件中的存储位置信息以及所述索引值数据块对应的索引值的范围；所 述索引值数据块包括至少一个索引值、所述索引值对应的记录的序号以及所述 索《1值对应的记录数据块的序号；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的 至少一个记录数据块的序号以及所述待查询索引值对应的至少一个记录的序 号的步骤包括所述日志文件查询装置根据所述索引文件，查找包括所述待查询索引值对应的索引值数据块的存储位置信息；所述日志文件查询装置根据获取的所述索引值数据块的存储位置信息，获 取所述待查询索？ 1值对应的索引值数据块；所述日志文件查询装置在获取到的所述索引值数据块中，查找所述待查询 索引值对应的记录号以及所述待查询索引值对应的记录数据块的序号。
6. 根据权利要求1所述的日志文件的查询方法，其特征在于， 所述记录包含至少两个类型的索引值；所述索引文件包含所述至少两个类型的索引文件；所述待查询索引值为所述至少两个类型的待查询索引值；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号的步骤包括所述日志文件查询装置根据第一类型的所述索引文件，查找第一类型的所述待查询索《I值对应的至少一个记录的序号，作为第一集合；所述日志文件查询装置根据第二类型的索引文件，查找第二类型的所述待查询索引值对应的至少一个记录的序号，作为第二集合；所述日志文件查询装置获取所述第一集合和所述第二集合的交集，作为查找到的所述记录的序号。
7. 根据权利要求2所述的日志文件的查询方法，其特征在于， 所述记录在所述日志文件中的存储位置信息占用的字节长度固定，所述记录的存储位置信息的存储地址标示所述记录的序号；所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号 对应的所述记录的存储位置信息的步骤包括所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号 对应的所述记录的存储位置信息的存储地址所述日志文件查询装置根据所述 记录的存储位置信息的存储地址，获取所述记录的存储位置信息。
8. —种对日志文件进行处理的方法，其特征在于，包括日志文件的生成装置获取原始日志文件，所述原始日志文件包括至少一个记录；所述日志文件的生成装置获取所述记录的序号；所述日志文件的生成装置生成新的日志文件，所述新的日志文件包括所 述记录和所述记录的序号；所述日志文件的生成装置从所述至少一个记录中获取至少一个类型的索 引值；所述日志文件的生成装置获取所述索引值对应的记录的序号； 所述日志文件的生成装置生成索引文件，所述索引文件包括所述至少一 个类型的索引值以及所述索引值对应的记录的序号。
9. 根据权利要求8所述的对日志文件进行处理的方法，其特征在于， 所述新的日志文件还包括所述记录在所述新的日志文件中的存储位置信自
10. 根据权利要求8所述的对日志文件进行处理的方法，其特征在于， 所述日志文件的生成装置获取所述记录的序号的步骤之前，还包括所述日志文件的生成装置将所述原始日志文件分成至少一个记录数据块，所述至少 一个记录数据块包括第一预定数量的记录；所述日志文件的生成装置获取所述记录的序号的步骤具体为所述日志文 件的生成装置获取所述记录数据块的序号；所述日志文件的生成装置生成索引文件的步骤之前，还包括所述日志文 件的生成装置获取所述记录数据块的序号对应的索引值的范围；所述新的日志文件具体包括至少一个记录数据块、所述记录数据块的序 号以及所述记录数据块在所述新的日志文件中的存储位置信息；所述索引文件具体包括所述记录数据块的序号和所述记录数据块的序号 对应的索引值的范围。
11. 根据权利要求IO所述的对日志文件进行处理的方法，其特征在于， 所述日志文件的生成装置将所述原始日志文件分成至少一个记录数据块的步骤具体为所述日志文件的生成装置将所述原始日志文件分成至少一个记 录组，所述记录组包括第一预定数量的记录，所述日志文件的生成装置获取所 述记录的序号以及所述记录在所述新的日志文件中的存储位置信息；所述日志文件的生成装置组成记录数据块，所述记录数据块包括所迷至少一个记录、所述记录的序号以及所述记录在所述新的日志文件中的存储位置信息；所述日志文件的生成装置获取所述索引值对应的记录的序号的步骤具体为所述日志文件的生成装置获取所述索引值对应的记录数据块的序号以及所述索引值对应的记录的序号；所述索引文件具体包括所述至少一个类型的索引值、所述至少一个类型的索引值对应的记录数据块的序号以及所述至少 一个类型的索引值对应的记录的序号。
12. 根据权利要求11所述的对日志文件进行处理的方法，其特征在于， 所述日志文件的生成装置生成索引文件的步骤之前，还包括所述日志文件的生成装置获取第二预定数量的索引值；所述日志文件的生 成装置生成索引值数据块，所述索引值数据块包括至少一个索引值、所述索引 值对应的记录数据块的序号以及所述索引值对应的记录的序号；所述日志文件 的生成装置获取所述索引值数据块在所述索引文件中的存储位置信息、所述索 引值数据块对应的索引值的范围；所述索引文件具体包括至少一个索引值数据块、所述索引值数据块在所 述索引文件中的存储位置信息以及所述索引值数据块对应的索引值的范围。
13. 根据权利要求11所述的对日志文件进行处理的方法，其特征在于， 所述记录在所述新的日志文件中的存储位置信息占用的字节长度固定，所述记录的存储位置信息的存储地址标示所述记录的序号。
14. 一种日志文件的查询装置，其特征在于，包括 第一获取单元，用于获取至少一个类型的待查询索引值；查找单元，用于根据索引文件，查找所述待查询索引值对应的至少一个记 录的序号，所述索引文件包括所述至少一个类型的索引值以及所述索引值对 应的至少一个记录的序号；第二获取单元，用于根据查找的所述记录的序号，从日志文件中获取所述 待查询索引值对应的记录，所述日志文件包括至少一个记录、所述记录的序 号。
15. —种日志文件的生成装置，其特征在于，包括第三获取单元，用于获取原始日志文件，所述原始日志文件包括至少一个记录；第四获取单元，用于获取所述记录的序号；日志生成单元，用于生成新的日志文件，所述新的日志文件包括所述记录和所述记录的序号；第五获取单元，用于从所述至少一个记录中获取至少一个类型的索引值；第六获取单元，用于获取所述索引值对应的记录的序号；索引生成单元，用于生成索引文件，所述索引文件包括所述至少一个类型的索引值以及所述索引值对应的记录的序号。
全文摘要
本发明提供一种日志文件的查询和处理的方法及装置，涉及日志管理领域，为解决现有技术中在日志文件中查询记录比较慢的技术问题而发明。所述日志文件的查询方法包括，包括日志文件查询装置获取至少一个类型的待查询索引值；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号，所述索引文件包括所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号；所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录，所述日志文件包括至少一个记录、所述记录的序号。本发明能提高在日志文件中查询记录的速度。
文档编号G06F17/30GK101620617SQ20091008906
公开日2010年1月6日 申请日期2009年7月28日 优先权日2009年7月28日
发明者燕 吕, 科 洪 申请人:中兴通讯股份有限公司