列表页识别系统及方法
【专利说明】
[0001] 本发明专利申请是申请日为2012年09月29日、申请号为201210376384. 8、名称 为"列表页识别系统及方法"的中国发明专利申请的分案申请。
技术领域
[0002] 本发明设及互联网技术领域，具体设及一种列表页识别系统及方法。
【背景技术】
[0003] 在捜索技术中，基本上分为两大类。一类是W整个互联网为对象，抓取全部网页 (目前在一个站点内会限制抓取深度，且一般不处理js(javascript),而且只是处理部分 动态页面），并对网页进行处理和分析的网页捜索，即全网捜索。另一类是只针对某类页面 进行抓取和分析处理的垂直捜索，如：图片捜索、视频捜索、博客捜索、论坛捜索、新闻捜索 等。对于大部分垂直捜索来说，目前都是基于种子（也称作列表页）进行处理。垂直捜索 的处理可分为两个部分：其一是找种子；其二是从种子页面上发现具体产品页面，即不同 类别（图片、视频、新闻等）的页面，然后对运些产品页面进行处理。
[0004] 基于列表页进行垂直捜索。先W人工或W某些预先指定的规则发现种子，然后对 列表页进行变频抓取，从列表页面上发现垂直捜索产品的具体产品页面，对运些产品页面 进行下载、分析处理，最终形成垂直捜索系统需要的数据。 阳〇化]传统的W人工方式或已知的一些规则收集列表页，很难把所有的列表页面收集 全。而且网站改版后，旧的列表页会失效，而新的列表页又可能会漏掉。所W，在传统的垂 直捜索引擎内，总有很多内容捜索不到，导致捜索的准确度不高。
【发明内容】
[0006] 鉴于上述问题，提出了本发明W便提供一种克服上述问题或者至少部分地解决上 述问题的列表页识别系统及方法。
[0007] 依据本发明的一个方面，提供了一种列表页识别系统，包括：
[0008] 页面框架ID计算模块，适于抽取预先获取的网页的页面框架，计算页面框架ID;
[0009] 模式累计模块，适于累计相同ID的页面框架数量达到阔值时，计算页面框架模 式；
[0010] 列表页识别模块，适于按所述页面框架模式与事先建立的产品知识库中列表页的 页面框架模式比对，W识别出列表页。
[0011] 可选地，页面框架ID计算模块进一步包括：页面框架抽取模块，适于根据网页源 代码中的html语言标签抽取所述网页的页面框架。
[0012] 可选地，页面框架ID计算模块进一步包括：页面框架抽取模块，适于按标点识别 出网页正文，去除正文W得到所述网页的页面框架。
[0013] 可选地，所述模式累计模块进一步包括：阔值调节模块，适于判断在预定时间内对 应同一ID的页面框架数量是否累计达到所述阔值，若没有，则将该ID对应的阔值W-定的 步长递减。
[0014] 可选地，所述模式累计模块进一步包括：
[0015] 待定列表页识别模块，适于判断是否有位于页面内固定位置块内且稳定存在一定 时间的链接，若有，则设定该网页为待定列表页；
[0016] 列表页框架模式确定模块，适于每隔一段时间内调度一次所述待定列表页，如果 所述链接不断更新为新链接，就将所述网页的页面框架模式设为列表页框架模式。
[0017] 可选地，所述产品知识库存储有已知类别页面框架模式及该模式下各网页特征的 权重，所述列表页识别模块进一步包括：
[0018] 特征匹配模块，适于将所述页面框架模式的各网页特征与知识库中已知类别的页 面框架模式的各网页特征进行匹配；
[0019] 特征评分模块，适于对匹配上的网页特征按不同的类别为所述页面框架模式增加 相应的权重；
[0020] 权重累计模块，适于按类别累计所述页面框架模式在该类别下所得的权重，若对 应列表页类别所得的权重最高，则所述页面为列表页。
[0021] 可选地，所述系统还包括：列表页处理模块，适于若识别出网页为列表页，则提取 所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页。
[0022] 可选地，所述系统还包括：网页获取模块，适于通过全网捜索获取网页，并W站点 为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。
[0023] 根据本发明的另一方面，提供了一种列表页识别方法，包括W下步骤：
[0024] 抽取预先获取的网页的页面框架，并计算页面框架ID ;
[0025] 累计相同ID的页面框架数量达到阔值时，计算页面框架模式；
[0026] 按所述页面框架模式与事先建立的产品知识库中列表页的页面框架模式比对，W 识别出列表页。
[0027] 可选地，抽取所述网页的页面框架的方式为：根据网页源代码中的html语言标签 抽取所述网页的页面框架。
[0028] 可选地，抽取所述网页的页面框架的方式为：按标点识别出网页正文，去除正文W 得到所述网页的页面框架。
[0029] 可选地，判断在预定时间内对应同一ID的页面框架数量是否累计达到所述阔值， 若没有，则将该ID对应的阔值W-定的步长递减。
[0030] 可选地，所述列表页框架模式的计算方式为：
[0031] 判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定 该网页为待定列表页；
[0032] 每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就 将所述网页的页面框架模式设为列表页框架模式。
[0033] 可选地，所述产品知识库存储有已知类别页面框架模式及该模式下各网页特征的 权重，将所述页面框架模式与事先建立的产品知识库中已知类别的页面框架模式比对的方 式为：
[0034] 将所述页面框架模式的各网页特征与知识库中已知类别的页面框架模式的各网 页特征进行匹配；
[0035] 对匹配上的网页特征按不同的类别为所述页面框架模式增加相应的权重；
[0036] 按类别累计所述页面框架模式在该类别下所得的权重，若对应列表页类别所得的 权重最高，则所述页面为列表页。
[0037] 可选地，若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表 页中列出的信息对应的网页。
[003引可选地，通过全网捜索获取网页，并W站点为单位获取网页，同一站点下不同域名 的对应的网页存储在相同的根目录下。
[0039] 根据本发明的列表页识别系统及方法通过计算网页的页面框架模式并按模式在 产品知识库比对，W识别出列表页，由此解决了列表页很难捜集全的问题，取得了全面捜集 列表页，捜索的准确度高的有益效果。
[0040] 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段， 而可依照说明书的内容予W实施，并且为了让本发明的上述和其它目的、特征和优点能够 更明显易懂，W下特举本发明的【具体实施方式】。
【附图说明】
[0041] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通 技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明 的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0042] 图1示出了根据本发明一个实施例的列表页识别方法流程图；
[0043] 图2示出了图1中步骤S130的具体流程图；
[0044] 图3示出了根据本发明一个实施例的列表页识别系统结构示意图； W45] 图4示出了图3中列表页识别模块的具体结构示意图。
【具体实施方式】
[0046] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开 的示例性实施例，然而应当理解，可各种形式实现本公开而不应被运里阐述的实施例 所限制。相反，提供运些实施例是为了能够更透彻地理解本公开，并