一种关联网页数据库的建立方法和装置制造方法

一种关联网页数据库的建立方法和装置制造方法
【专利摘要】本发明公开了一种关联网页数据库的建立方法和装置，所述方法包括：判断抓取到的网页是否包括关联网页URL模式；若是，则获取所述关联网页URL模式；采用所述关联网页URL模式获取对应的关联网页；采用所述关联网页URL模式对应的关联网页建立关联网页数据库。本发明基于当前抓取到的网页提取关联网页URL模式，采用关联网页URL模式对应的关联网页建立关联网页数据库，避免了重复抓取网页，减少了系统资源的占用，大大提高了数据库的建立效率。
【专利说明】一种关联网页数据库的建立方法和装置
【技术领域】
[0001]本发明涉及数据库的【技术领域】，具体涉及一种关联网页数据库的建立方法、一种关联网页数据库的建立装置。
【背景技术】
[0002]随着因特网的发展，愈来愈多的信息是通过网页方式呈现在因特网上供用户查询，同样的通过搜寻引擎在因特网中查询数据也成为最常使用的数据搜寻方法。
[0003]搜索引擎收录网页时需要针对不同种类的网页采取不同的调度策略，网页种类的识别是一项基础工作，其中翻页(Page turning)网页的识别是一项比较关键的工作。所谓翻页网页，即查看分页文件的上一个页面、下一个页面或任意存在的非当前页面。翻页网页可以将实体书或者移动Web窗体中的内容进行改变，以观看不同内容。在互联网上运用时该机制还呈现可用于浏览到其他页的用户界面元素。
[0004]现有的翻页网页的识别方法是根据网页的URL(Uniform Resource Locator,统一资源定位符)所包含的关键词来识别是否是索引页。例如，当URL包含有page、pn、p等关键词以及关键词后面有数字时，判断该URL对应的网页为翻页网页。
[0005]但是，这种识别方法召回率低，并且很多网站的翻页是不具有这些关键词的，t匕如 “http://cq.ABC.com/lvshi/ol2/，，、“http: //bbs.BCA.com/t661_10，，、“http://china.BCD.com/product/20110617/2647”，但是这些网页依然是翻页，使得这些识别方法容易造成误操作，实用性低。

【发明内容】

[0006]鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种关联网页数据库的建立方法和相应的一种关联网页数据库的建立装置。
[0007]依据本发明的一个方面，提供了一种关联网页数据库的建立方法，包括:
[0008]判断抓取到的网页是否包括关联网页URL模式；若是，则获取所述关联网页URL模式；
[0009]基于所述关联网页URL模式获取对应的关联网页；
[0010]采用所述关联网页URL模式对应的关联网页建立关联网页数据库。
[0011]可选地，所述判断抓取到的网页是否包括关联网页URL模式的步骤包括:
[0012]判断当前网页的页面元素中是否具有翻页特征字符串；若是，则提取所述翻页特征字符串链接的URL ；
[0013]采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀；其中，所述数字块为被间隔标识分割出的单个数字或多个数字；
[0014]采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀；
[0015]当所述第一特征URL前缀与所述第二特征URL前缀相同时，则判定抓取到的网页是否包括关联网页URL模式。
[0016]可选地，所述判断当前网页的页面元素中是否具有翻页特征字符串的步骤包括:
[0017]采用翻页特征字符串在当前网页的DOM树节点中进行匹配；
[0018]当匹配成功时，则判断当前网页具有翻页特征字符串。
[0019]可选地，所述采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀的步骤为:
[0020]采用相同的替换字符替换当前网页的URL中不同位置的数字块，获得第一特征URL前缀；
[0021]所述采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀的步骤为:
[0022]采用相同的替换字符替换所述特征字符串链接的URL中不同位置的数字块，获得第二特征URL前缀。
[0023]可选地，所述采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀的步骤为:
[0024]分别采用不同的替换字符，替换当前网页的URL中不同位置的数字块，获得第一特征URL前缀；
[0025]所述采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀的步骤为:
[0026]分别采用与第一特征URL相同的替换字符替换所述翻页特征字符串链接的URL在相同位置的数字块，获得第二特征URL前缀。
[0027]可选地，所述采用所述关联网页URL模式获取对应的关联网页的步骤包括:
[0028]将所述第一特征URL前缀或第二特征URL前缀作为所述当前网页的对应的关联网页URL模式。
[0029]可选地，所述获取所述关联网页URL模式对应的关联网页的步骤包括:
[0030]通过对关联网页URL模式中的共性部分进行结构分析，提取关联网页URL模式中的翻页块，将所述翻页块替换为首页标识获得首页关联网页的URL ;其中，所述翻页块为多个关联网页URL模式中位置相同但数字不同的数字块；
[0031]访问所述首页关联网页的URL获取所述首页关联网页。
[0032]可选地，所述首页标识包括0、1和/或当前关联网页中的最大数值。
[0033]根据本发明的另一方面，提供了一种关联网页数据库的建立装置，包括:
[0034]关联网页URL判断模块，适于判断抓取到的网页是否包括关联网页URL模式；若是，则调用关联网页URL模式获取模块；
[0035]关联网页URL模式获取模块，适于获取所述关联网页URL模式；
[0036]关联网页获取模块，适于基于所述关联网页URL模式获取对应的关联网页；
[0037]关联网页数据库建立模块，适于采用所述关联网页URL模式对应的关联网页建立关联网页数据库。
[0038]可选地，所述关联网页URL模式模块包括:
[0039]翻页特征字符串判断单元，适于判断当前网页的页面元素中是否具有翻页特征字符串；若是，则调用URL提取单元；[0040]URL提取单元，适于提取所述翻页特征字符串链接的URL ；
[0041]第一特征RUL前缀获得单元，适于采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀；其中，所述数字块为被间隔标识分割出的单个数字或多个
数字；
[0042]第二特征RUL前缀获得单元，适于采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀；
[0043]判定单元，适于关联网页URL模式当所述第一特征URL前缀与所述第二特征URL前缀相同时，则判定抓取到的网页是否包括关联网页URL模式。
[0044]可选地，所述翻页特征字符串判断单元还适于:
[0045]采用翻页特征字符串在当前网页的DOM树节点中进行匹配；
[0046]当匹配成功时，则判断当前网页具有翻页特征字符串。
[0047]可选地，所述第一特征RUL前缀获得单元还适于:
[0048]采用相同的替换字符替换当前网页的URL中不同位置的数字块，获得第一特征URL前缀；
[0049]所述第二特征RUL前缀获得单元还适于:
[0050]采用相同的替换字符替换所述特征字符串链接的URL中不同位置的数字块，获得第二特征URL前缀。
[0051]可选地，所述第一特征RUL前缀获得单元还适于:
[0052]分别采用不同的替换字符，替换当前网页的URL中不同位置的数字块，获得第一特征URL前缀；
[0053]所述第二特征RUL前缀获得单元还适于:
[0054]分别采用与第一特征URL相同的替换字符替换所述翻页特征字符串链接的URL在相同位置的数字块，获得第二特征URL前缀。
[0055]可选地，所述关联网页URL模式获取模块还适于:
[0056]将所述第一特征URL前缀或第二特征URL前缀作为所述当前网页的对应的关联网页URL模式。
[0057]可选地，所关联网页获取模块还适于:
[0058]通过对关联网页URL模式中的共性部分进行结构分析，提取关联网页URL模式中的翻页块，将所述翻页块替换为首页标识获得首页关联网页的URL ;其中，所述翻页块为多个关联网页URL模式中位置相同但数字不同的数字块；
[0059]访问所述首页关联网页的URL获取所述首页关联网页。
[0060]可选地，所述首页标识包括0、1和/或当前关联网页中的最大数值。
[0061]本发明基于当前抓取到的网页提取关联网页URL模式，采用关联网页URL模式对应的关联网页建立关联网页数据库，避免了重复抓取网页，减少了系统资源的占用，大大提高了数据库的建立效率。
[0062]本发明在当前网页的页面元素中具有翻页特征字符串时，采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀，并采用预置的替换字符替换翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀，当所述第一特征URL前缀与所述第二特征URL前缀相同时，将所述第一特征URL前缀或第二特征URL前缀作为所述当前网页的对应的关联网页URL模式，本发明采用翻页特征字符串进行识别关联网页，识别准确率高，采用URL的共性部分进行匹配，进一步提高了关联网页的识别准确率，使得召回率大幅提高，在实际应用中可以识别90%以上的关联网页。
[0063]本发明将关联网页URL模式的翻页块替换为首页标识获得首页关联网页的URL，同理，也可以将翻页块替换为其他挂链网页标识获得其他关联网页的URL，从而增加了关联网页的覆盖率，使得能够获取更加全面的关联网页，进而实现了细颗粒度的操作。
[0064]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【专利附图】

【附图说明】
[0065]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0066]图1示出了根据本发明一个实施例的一种关联网页数据库的建立方法实施例的步骤流程图；
[0067]图2示出了根据本发明一个实施例的一种网页结构示例图；
[0068]图3示出了示出了本发明一个实施例的一种翻页块的示例图；以及，
[0069]图4示出了根据本发明一个实施例的一种关联网页数据库的建立装置实施例的结构框图。
【具体实施方式】
[0070]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0071]参照图1，示出了本发明一个实施例的一种关联网页数据库的建立方法实施例的步骤流程图，具体可以包括如下步骤:
[0072]步骤101，判断抓取到的网页是否包括关联网页URL模式；若是，则执行步骤102 ；
[0073]需要说明的是，搜索引擎从万维网上自动提取网页的功能可以是通过网络爬虫实现的。网络爬虫又称为网络蜘蛛，即Web Spider，网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
[0074]关联网页URL模式可以为翻页网页的共性部分Pattern，即长相或者功能类似的URL/网页聚在一起形成的集合。
[0075]在本发明的一种优选实施例中，所述步骤101具体可以包括如下子步骤:
[0076]子步骤S11，判断当前网页的页面元素中是否具有翻页特征字符串；若是，则提取所述翻页特征字符串链接的URL ；
[0077]网页按照功能可以划分为多个区域，以某一个论坛(Bulletin Board System,BBS)的页面为例，如图2所示，该页面可以划分为导航块(I)、垃圾块(2、4)、翻页块(3)、标题块(5)、作者信息块(6)、发表日期块(7)、正文块(8)。其中，导航块可以位于网页页眉顶部，或者banner (网页的横幅广告)下部，用于指向网页的信息栏目。垃圾块可以为与网页主题相关度很低的页面元素所在的区域，例如“发帖”、“回复”等功能按钮。翻页块可以为指示翻页的区域。标题块可以为网页主题的标题(例如图2所示的“安全浏览器聚集黑色星期四”)所在的区域。作者信息块为记载该网页主题作者信息的区域。正文块为记载该网页主题正文的区域。
[0078]参照图3，示出了示出了本发明一个实施例的一种翻页块的示例图。
[0079]如图3所示，翻页块主要可以由翻页特征字符串组成，而翻页特征字符串可以为用于标识翻页的页面元素。
[0080]在具体实现中，翻页特征字符串可以包括以下的一种或多种:
[0081][〈〈]、[>>]、[<<]、[>>]、[?]、[?]、[>]、[〈]、[下一页]、[上一页]、[上一]、
[下一]、[next]、[末页]、[尾页]、[前页]、[后页]、[〈上一页]、[〈上一]、[下一〉]、[下一页 >]、[1...]。
[0082]当然，上述翻页特征字符串只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他翻页特征字符串，本发明实施例对此不加以限制。
[0083]需要说明的是，当前网页可以为被抓取到的网页。
[0084]在本发明的一种优选实施例中，所述子步骤Sll进一步可以包括如下子步骤:
[0085]子步骤S111，采用翻页特征字符串在当前网页的DOM树节点中进行匹配；
[0086]子步骤S112，当匹配成功时，则判断当前网页具有翻页特征字符串。
[0087]DOM (文件对象模型,Document Object Model)是处理可扩展置标语言的标准编程接口。DOM可以以一种独立于平台和语言的方式访问和修改一个文档的内容和结构，是表示和处理一个HTML或XML文档的常用方法。
[0088]DOM实际上是以面向对象方式描述的文档模型。DOM定义了表示和修改文档所需的对象、这些对象的行为和属性以及这些对象之间的关系。可以把DOM认为是页面上数据和结构的一个树形表示，不过页面当然可能并不是以这种树的方式具体实现。
[0089]通过JavaScript可以重构整个HTML文档，可以添加、移除、改变或重排页面上的项目。
[0090]要改变页面的某个东西， JavaScript就需要获得对HTML文档中所有元素进行访问的入口。这个入口，连同对HTML元素进行添加、移动、改变或移除的方法和属性，都是通过文档对象模型来获得的(D0M)。
[0091]可以将HTML文档视作树结构，而这种结构被称为节点树(HTML DOM)。通过HTMLD0M，树中的所有节点均可通过JavaScript进行访问。所有HTML元素(节点)均可被修改，也可以创建或删除节点。
[0092]节点树中的节点彼此拥有层级关系。可以采用父(parent)、子(child)和同胞(sibling)等术语用于描述这些关系。其中，父节点拥有子节点。同级的子节点被称为同胞(兄弟或姐妹)。在节点树中，顶端节点被称为根(root)。每个节点都有父节点、除了根(它没有父节点)。一个节点可拥有任意数量的子，同胞是拥有相同父节点的节点。
[0093]具体可以通过若干种方法在节点树来查找希望操作的网页元素:
[0094]例如，可以通过使用getElementByldO 和 getElementsByTagName O 方法进行查找。
[0095]又例如，可以通过使用一个元素节点的parentNode、firstChild以及IastChild属性。
[0096]其中，getElementByldO和 getElementsByTagName O 这两种方法，可查找整个HTML文档中的任何HTML元素。而这两种方法会忽略文档的结构。假如查找文档中所有的〈P〉元素，getElementsByTagName O会把它们全部找到，不管〈P〉元素处于文档中的哪个层次。同时，getElementByldO方法也会返回正确的元素，不论它被隐藏在文档结构中的什么位置。这两种方法会提供任何所需要的HTML元素，不论它们在文档中所处的位置。
[0097]此外，getElementByldO可通过指定的ID来返回网页元素。
[0098]在具体实现中，可以通过识别该网页的HTML文本DOM树中超链接<a> (anchor,锚点)标识是否包括[〈〈]、[>>]、[<<]、[>>]、[?]、[?]、[>]、[〈]、[下一页]、[上一页]、[上一]、[下一]、[next]、[末页]、[尾页]、[前页]、[后页]、[〈上一页]、[〈上一]、[下一 >]、[下一页〉]、[1...]中的一种或多种，若是，则判断当前网页具有翻页特征字符串O
[0099]其中，<a>可以用于把当前位置的文本或图片连接到其他的页面、文本或图像等。
[0100]< a >标识的基本语法结构可以如下:
[0101]< a
[0102]class=type
[0103]id = value
[0104]href = reference
[0105]name = value
[0106]rel=same | next | parent | previous
[0107]rev = value
[0108]target = window
[0109]style = value
[0110]title=title
[0111]onclick = function
[0112]onmouseout = function
[0113]onMouse0ver=function >显不文字或者图片的代码< /a >
[0114]例如以下一种HTML文本中<a>标识的内容为:
[0115]<div id=" pgt" class=" bm bwO pgs cl" >
[0116]〈span id=" fd—page—top" >
[0117]<div class=" pg" >
[0118]<a
[0119]href=" forum-99-l.html" class=" prev" ></a>
[0120]<a[0121]href=" forum-99-1, html" >l</a><strong>2<>
[0122]<a
[0123]href=" forum-99-3, html" >3</a>
[0124]<a [0125]href=" forum-99-4, html" >4</a>
[0126]<a
[0127]href=" forum-99-5, html" >5</a>
[0128]<a
[0129]href=" forum-99-6, html" >6</a>
[0130]<a
[0131]href=" forum-99-7, html" >7〈/a>
[0132]<a
[0133]href=" forum-99-8, html" >8</a>
[0134]<a
[0135]href=" forum-99-9, html" >9</a>
[0136]<a
[0137]href=" forum-99-10, html" >10〈/a>
[0138]<a
[0139]href=" forum-99-1000, html" class=" last" >...2107〈/a>
[0140]〈label〉
[0141]〈inputtype=〃 text" name=" custompage" class=" px" size=" 2〃 title="输入页码，按回车快速跳转"value=" 2" onkeydown= " if (event.keyCode==13){window, location= ' forum.php?mod=forumdisplay&fid=99&page= ' +this.value;doane(event) ;} " />
[0142]〈spantitle="共 1000 页">/1000 页〈/span〉
[0143]〈/label〉
[0144]<a
[0145]href=" forum-99-3, html " class=" nxt" >下一页 </a>
[0146]</div>
[0147]〈/span〉
[0148]通过HTML文本中<a>标识的匹配，可以判断该网页具有一个或多个翻页特征字符串。在识别出该一个或多个翻页特征字符串之后，提取该一个或多个翻页特征字符串链接的一个或多个URL，该一个或多个URL指向其他的与当前网页关联的翻页网页。
[0149]子步骤S12，采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀；其中,所述数字块为被间隔标识分割出的单个数字或多个数字；
[0150]子步骤S13，采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀；
[0151]需要说明的是，替换字符可以为任意字符，本发明实施例对此不加以限制。间隔标识可以为URL中用于间隔的符号，例如: ”等等。数字块需要为间隔标识中连续的数字，例如“ 123ABC”不为数字块。
[0152]在本发明的一种实施例中，所述子步骤S12进一步可以包括如下子步骤:
[0153]子步骤S121，采用相同的替换字符替换当前网页的URL中不同位置的数字块，获得第一特征URL前缀；
[0154]与子步骤S121相对应地,所述子步骤S13进一步可以包括如下子步骤:
[0155]子步骤S131，采用相同的替换字符替换所述特征字符串链接的URL中不同位置的数字块，获得第二特征URL前缀。
[0156]在具体实现中，当前网页的URL和翻页特征字符串连接的URL可以具有一个或多个数字块，为减少替换的操作步骤和系统的资源占用，可以用相同的替换字符替换数字块。
[0157]例如，当前网页的URL 为 http://bbs.XXX.com/forum-99-2, html,翻页特征字符串连接的 URL 为 http://bbs.XXX.com/forum-99-3, html，其中 “99”、“2” 被识别出为数字块，以“(\d+) ”作为替换字符的一种示例，则第一特征URL前缀可以为http://bbs.XXX.com/forum-(\d+) -(\d+).html,第二特征 URL 前缀可以为 http://bbs.XXX.com/forum-(\d+) -(\d+).html。
[0158]在本发明的一种实施例中，所述子步骤S12进一步可以包括如下子步骤:
[0159]子步骤S122，分别采用不同的替换字符，替换当前网页的URL中不同位置的数字块，获得第一特征URL前缀；
[0160]与子步骤S122相对应地，所述子步骤S13进一步可以包括如下子步骤:
[0161]子步骤S132，分别采用与第一特征URL相同的替换字符替换所述特征字符串链接的URL在相同位置的数字块，获得第二特征URL前缀。
[0162]在具体实现中，当前网页的URL和翻页特征字符串连接的URL可以具有一个或多个数字块，为提高后续第一特征URL前缀与第二特征URL是否相同的判断以及对数字块的标识的效率，可以采用不同的替换字符替换数字块。
[0163]例如，当前网页的URL 为 http://bbs.XXX.com/forum-99-2, html,翻页特征字符串连接的 URL 为 http://bbs.XXX.com/forum-99-3, html，其中 “99”、“2” 被识别出为数字块，以“(\d+) ”、“ (\e+) ”作为替换字符的一种示例，则第一特征URL前缀可以为http://bbs.XXX.com/forum-(\d+) -(\e+).html,第二特征 URL 前缀可以为 http://bbs.XXX.com/forum-(\d+)-(\e+).html0
[0164]子步骤S14，当所述第一特征URL前缀与所述第二特征URL前缀相同时，则判定抓取到的网页是否包括关联网页URL模式。
[0165]在实际应用中，第一特征URL前缀与第二特征URL前缀相同时，表明当前网页的URL和翻页特征字符串链接的URL的共性相同，可以判定当前网页和翻页特征字符串链接的URL对应的网页包括关联的翻页网页。
[0166]步骤102，获取所述关联网页URL模式；
[0167]在本发明的一种实施例中，所述步骤102具体可以包括如下子步骤:
[0168]子步骤S21，将所述第一特征URL前缀或第二特征URL前缀作为所述当前网页的对应的关联网页URL模式。
[0169]因为第一特征URL前缀和第二特征URL相同，则以第一特征URL前缀或第二特征URL前缀作为当前网页的对应的关联网页URL模式Pattern均可。[0170]本发明在当前网页的页面元素中具有翻页特征字符串时，采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀，并采用预置的替换字符替换翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀，当所述第一特征URL前缀与所述第二特征URL前缀相同时，将所述第一特征URL前缀或第二特征URL前缀作为所述当前网页的对应的关联网页URL模式，本发明采用翻页特征字符串进行识别关联网页，识别准确率高，采用URL的共性部分进行匹配，进一步提高了关联网页的识别准确率，使得召回率大幅提高，在实际应用中可以识别90%以上的关联网页。
[0171]步骤103，基于所述关联网页URL模式获取对应的关联网页；
[0172]在具体实现中，关联网页可以包括首页关联网页和其他关联网页，其中，首页关联网页一般会记载有重要的内容，例如图3所示的正文块，因此首页关联网页的重要性比较高，因此获知首页关联网页具有比较重要的意义。
[0173]在本发明的一种优选实施例中，所述步骤103具体可以包括如下子步骤:
[0174]子步骤S31，通过对关联网页URL模式中的共性部分进行结构分析，提取关联网页URL模式中的翻页块，将所述翻页块替换为首页标识获得首页关联网页的URL;其中，所述翻页块为多个关联网页URL模式中位置相同但数字不同的数字块；
[0175]子步骤S32，访问所述首页关联网页的URL获取所述首页关联网页。
[0176]在实际应用中，URL可以包括以下的一种或多种结构:
[0177]Uprotocol (协议):指定使用的传输协议，最常用的是HTTP协议，它也是目前WWW中应用最广的协议。具体地，传输协议包括file协议(资源是本地计算机上的文件，格式为file:///)、ftp协议(通过FTP访问资源，格式为FTP://)、gopher (通过Gopher协议访问资源)、http协议(通过HTTP访问资源，格式为HTTP://)、https协议(通过安全的HTTPS访问资源，格式为HTTPS://)等等。
[0178]2、hostname (主机名):指存放资源的服务器的域名系统(DNS)主机名或IP地址。有时，在主机名前也可以包含连接到服务器所需的用户名和密码(格式为username: password)。
[0179]3、port (端口号):省略时使用方案的默认端口，各种传输协议都有默认的端口号，如http的默认端口为80。如果输入时省略，则使用默认端口号。有时候出于安全或其他考虑，可以在服务器上对端口进行重定义，即采用非标准端口号，此时，URL中就不能省略端口号这一项。
[0180]4、path (路径):由零或多个“/”符号隔开的字符串，一般用来表示主机上的一个目录或文件地址。
[0181]5> parameters (参数):可以用于指定特殊参数的可选项。
[0182]6、query (查询):可以用于给动态网页(如使用 CG1、ISAP1、PHP/JSP/ASP/ASP.NET等技术制作的网页)传递参数，可有多个参数，用“&”符号隔开，每个参数的名和值用“=”符号隔开。
[0183]7,fragment (信息片断):可以用于指定网络资源中的片断。例如一个网页中有多个名词解释，可使用fragment直接定位到某一名词解释。
[0184]在具体实现中，通过对多个关联网页URL模式中的共性部分进行结构分析，提取关联网页URL模式中的翻页块，然后将所述翻页块替换为首页标识获得首页关联网页的URL。
[0185]例如，对于上述示例的关联网页URL模式一http: //bbs.XXX.com/forum- (\d+)-(\e+).html，在识别出(\e+)为翻页块，然后将翻页块替换为首页标识后，获得首页关联网页的 URL—http://bbs.XXX.com/forum-99-1, html。
[0186]在本发明实施例的一种优选示例中，所述首页标识可以包括O、I和/或当前关联网页中的最大数值。
[0187]不同的网站会采用不同的翻页结构，造成了首页关联网页的不同。例如，某些网站会采用第O页作为首页关联网页，某些网站会采用第I页作为首页关联网页，某些网站会采用最大页(例如图3所示的2100)作为首页关联网页，等等。
[0188]当然，上述首页关联网页只是作为示例，在实施本发明实施例时，可以根据实际情况将数字快替换为任一关联网页的标识获取对应的关联网页，本发明实施例对此不一一加以详述。
[0189]本发明将关联网页URL模式的翻页块替换为首页标识获得首页关联网页的URL，同理，也可以将翻页块替换为其他挂链网页标识获得其他关联网页的URL，从而增加了关联网页的覆盖率，使得能够获取更加全面的关联网页，进而实现了细颗粒度的操作。
[0190]步骤104，采用所述关联网页URL模式对应的关联网页建立关联网页数据库。
[0191]在具体实现中，关联网页URL模式对应的关联网页可以包括首页关联网页和其他关联网页，可以是所有关联网页的全部，也可以是所有关联网页的部分，本发明实施例对此不加以限制。
[0192]作为一种优选示例，可以对蜘蛛抓取的网页文件进行数据处理，具体可以包括:
[0193]1、网页结构化。即关联网页的HTML代码删掉，提取出网页内容。
[0194]2、消噪。在网页结构化中，已经删掉了 HTML代码，剩下了网页内容，那么消噪指的就是留下网页的主题内容，删掉没用的内容，比如版权。
[0195]3、查重。查找重复的网页与内容，如果找到重复的页面，就删除。
[0196]4、分词。提取出网页内容，然后分成N个词语，排列出来，存入索引库，同时也会计算这一个词在这个页面出现了多少次。
[0197]5、链接分析。查询页面的反向链接，导出链接有多少以及内链，然后给这个页面多少的权重等。
[0198]在进行了上边的数据处理之后，就可以把这些处理好的数据存储在关联网页数据库中。
[0199]本发明基于当前抓取到的网页提取关联网页URL模式，采用关联网页URL模式对应的关联网页建立关联网页数据库，避免了重复抓取网页，减少了系统资源的占用，大大提高了数据库的建立效率。
[0200]对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0201]参照图4，示出了本发明的一种关联网页数据库的建立装置实施例的结构框图，具体可以包括如下模块:[0202]关联网页URL判断模块401，适于判断抓取到的网页是否包括关联网页URL模式；若是，则调用关联网页URL模式获取模块402 ；
[0203]关联网页URL模式获取模块402，适于获取所述关联网页URL模式；
[0204]关联网页获取模块403，适于基于所述关联网页URL模式获取对应的关联网页；
[0205]关联网页数据库建立模块404，适于采用所述所述关联网页URL模式对应的关联网页建立关联网页数据库。
[0206]在本发明的一种优选实施例中，所述关联网页URL模式模块401具体可以包括如下单元:
[0207]翻页特征字符串判断单元，适于判断当前网页的页面元素中是否具有翻页特征字符串；若是，则调用URL提取单元；
[0208]URL提取单元，适于提取所述翻页特征字符串链接的URL ；
[0209]第一特征RUL前缀获得单元，适于采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀；其中，所述数字块为被间隔标识分割出的单个数字或多个
数字；
[0210]第二特征RUL前缀获得单元，适于采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀；
[0211]判定单元，适于关联网页URL模式当所述第一特征URL前缀与所述第二特征URL前缀相同时，则判定抓取到的网页是否包括关联网页URL模式。
[0212]在本发明的一种优选实施例中，所述翻页特征字符串判断单元还可以适于:
[0213]采用翻页特征字符串在当前网页的DOM树节点中进行匹配；
[0214]当匹配成功时，则判断当前网页具有翻页特征字符串。
[0215]在本发明的一种优选实施例中，所述第一特征RUL前缀获得单元还可以适于:
[0216]采用相同的替换字符替换当前网页的URL中不同位置的数字块，获得第一特征URL前缀；
[0217]所述第二特征RUL前缀获得单元还适于:
[0218]采用相同的替换字符替换所述特征字符串链接的URL中不同位置的数字块，获得第二特征URL前缀。
[0219]在本发明的一种优选实施例中，所述第一特征RUL前缀获得单元还可以适于:
[0220]分别采用不同的替换字符，替换当前网页的URL中不同位置的数字块，获得第一特征URL前缀；
[0221 ] 所述第二特征RUL前缀获得单元还适于:
[0222]分别采用与第一特征URL相同的替换字符替换所述翻页特征字符串链接的URL在相同位置的数字块，获得第二特征URL前缀。
[0223]在本发明的一种优选实施例中，所述关联网页URL模式获取模块还可以适于:
[0224]将所述第一特征URL前缀或第二特征URL前缀作为所述当前网页的对应的关联网页URL模式。
[0225]在本发明的一种优选实施例中，所关联网页获取模块还可以适于:
[0226]通过对关联网页URL模式中的共性部分进行结构分析，提取关联网页URL模式中的翻页块，将所述翻页块替换为首页标识获得首页关联网页的URL ;其中，所述翻页块为多个关联网页URL模式中位置相同但数字不同的数字块；
[0227]访问所述首页关联网页的URL获取所述首页关联网页。
[0228]在本发明实施例的一种优选示例中，所述首页标识包括0、1和/或当前关联网页中的最大数值。
[0229]对于图4的装置实施例而言，由于其与图1的方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0230]在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0231]在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0232]类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循【具体实施方式】的权利要求书由此明确地并入该【具体实施方式】，其中每个权利要求本身都作为本发明的单独实施例。
[0233]本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0234]此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0235]本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的关联网页数据库的建立设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0236]应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
【权利要求】
1.一种关联网页数据库的建立方法，包括: 判断抓取到的网页是否包括关联网页URL模式；若是，则获取所述关联网页URL模式； 基于所述关联网页URL模式获取对应的关联网页； 采用所述关联网页URL模式对应的关联网页建立关联网页数据库。
2.如权利要求1所述的方法，其特征在于，所述判断抓取到的网页是否包括关联网页URL模式的步骤包括: 判断当前网页的页面元素中是否具有翻页特征字符串；若是，则提取所述翻页特征字符串链接的URL ； 采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀；其中，所述数字块为被间隔标识分割出的单个数字或多个数字； 采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀； 当所述第一特征URL前缀与所述第二特征URL前缀相同时，则判定抓取到的网页是否包括关联网页URL模式。
3.如权利要求2所述的方法，其特征在于，所述判断当前网页的页面元素中是否具有翻页特征字符串的步骤包括: 采用翻页特征字符串在当前网页的DOM树节点中进行匹配； 当匹配成功时，则判断当前网页具有翻页特征字符串。
4.如权利要求2所述的方法，其特征在于，所述采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀的步骤为: 采用相同的替换字符替换当前网页的URL中不同位置的数字块，获得第一特征URL前三双； 所述采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀的步骤为: 采用相同的替换字符替换所述特征字符串链接的URL中不同位置的数字块，获得第二特征URL前缀。
5.如权利要求2所述的方法，其特征在于，所述采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀的步骤为: 分别采用不同的替换字符，替 换当前网页的URL中不同位置的数字块，获得第一特征URL前缀； 所述采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀的步骤为: 分别采用与第一特征URL相同的替换字符替换所述翻页特征字符串链接的URL在相同位置的数字块，获得第二特征URL前缀。
6.如权利要求2或3或4或5所述的方法，其特征在于，所述采用所述关联网页URL模式获取对应的关联网页的步骤包括: 将所述第一特征URL前缀或第二特征URL前缀作为所述当前网页的对应的关联网页URL模式。
7.如权利要求2或3或4或5所述的方法，其特征在于，所述获取所述关联网页URL模式对应的关联网页的步骤包括: 通过对关联网页URL模式中的共性部分进行结构分析，提取关联网页URL模式中的翻页块，将所述翻页块替换为首页标识获得首页关联网页的URL ;其中，所述翻页块为多个关联网页URL模式中位置相同但数字不同的数字块； 访问所述首页关联网页的URL获取所述首页关联网页。
8.如权利要求7所述的方法，其特征在于，所述首页标识包括O、I和/或当前关联网页中的最大数值。
9.一种关联网页数据库的建立装置，包括: 关联网页URL判断模块，适于判断抓取到的网页是否包括关联网页URL模式；若是，则调用关联网页URL模式获取模块； 关联网页URL模式获取模块，适于获取所述关联网页URL模式； 关联网页获取模块，适于基于所述关联网页URL模式获取对应的关联网页； 关联网页数据库建立模块，适于采用所述关联网页URL模式对应的关联网页建立关联网页数据库。
10.如权利要求9所述的装置，其特征在于，所述关联网页URL模式模块包括: 翻页特征字符串判断单元，适于判断当前网页的页面元素中是否具有翻页特征字符串；若是，则调用URL提取单元； URL提取单元，适于提取所述翻页特征字符串链接的URL ； 第一特征RUL前缀获得单元，适于采用预置的替换字符替换当前网页的URL中的数字块，获得第一特征URL前缀；其中，所述数字块为被间隔标识分割出的单个数字或多个数字； 第二特征RUL前缀获得单元，适于采用预置的替换字符替换所述翻页特征字符串链接的URL中的数字块，获得第二特征URL前缀； 判定单元，适于关联网页URL模式当所述第一特征URL前缀与所述第二特征URL前缀相同时，则判定抓取到的网页是否包括关联网页URL模式。
【文档编号】G06F17/30GK103617229SQ201310607854
【公开日】2014年3月5日 申请日期:2013年11月25日 优先权日:2013年11月25日
【发明者】王智广 申请人:北京奇虎科技有限公司, 奇智软件（北京）有限公司