专利名称：一种基于用户本体的初始URLs选择方法
技术领域：
本发明涉及一种基于用户本体的初始URLs选择方法，属于搜索引擎技术领域。
背景技术：
随着Web应用的迅猛发展，传统的通用搜索引擎存在着网页更新速度过慢、有效性差等缺点。“面向主题的智能搜索引擎”在这种背景下应运而生。这类搜索引擎区别于通用搜索引擎的主要特点是，具有一个实时的、智能的、能够识别主题信息的爬行虫来选择爬行区域。目前，大多数主题搜索的研究主要集中在确定主题区域以及在主题区域内的爬行策略上。但是关于如何根据用户查询词自动选择初始URLs的研究相对较少。网页间的超链接反映了网页创建者的一种判断同时也引导网页浏览的过程，即有理由认为，如果网页A存在一条超链接指向网页B，那么网页A的作者是认为网页B包含了有价值的信息。因此，充分利用互联网的链接结构信息对互联网应用技术的研究将具有极为重要的意义。事实上，越来越多的学者已经开始致力于互联网链接结构的研究。总体来说主要包括以下几个方面1.链接结构分析在Web信息搜索中的应用；2.链接结构特征与互联网中出现的潜在主题区域之间的关联；3.链接结构在理解互联网自身属性特点和成长模式方面所处的地位和作用。另一方面，受到自然语言的限制，使得大多数基于关键字匹配的检索结果有效性非常低。将本体应用于智能搜索引擎，可以把信息采集从基于关键词的相关度匹配技术层面提高到基于语义层面的查找。因此，把面向用户的个性化智能搜索引擎和本体这两种技术结合起来，为开发新一代网络信息检索系统提供了广阔的天地。总的来说，目前国内外很多研究都表明初始URLs对于一个主题爬行虫的重要性。 但是真正关于如何在不同主题或者主题区域间选择初始URLs的方法凤毛麟角。因此，关于主题爬行虫初始URLs的选择方法有很大的研究空间。
发明内容
本发明所要解决的技术问题是针对现有技术的不足提供一种基于用户本体的初始URLs选择方法。一种基于用户本体的初始URLs选择方法，包括以下步骤第一步提交用户关键词给搜索引擎，获得用户日志。该用户日志主要用来构建用户本体和用户兴趣特征向量。第二步处理用户特征文件，提取特征词汇，并向量化；第三步构建用户本体，利用提取的特征词并结合WordNet来构建用户本体；第四步用户提交关键词到Google，并得到搜索结果，通过HITS算法，可以得到根集，包含了权威网页和中心网页集合，从而，得到候选页面；第五步用户关键词提交给用户本体，进行加权扩展，得到扩展的特征向量，结合候选页面，得到语义化的页面向量；
第六步计算第二步得到的用户兴趣特征向量和语义化的页面向量的相似度，排序，选择相似度闻的加入根集得到基础集；第七步对得到的基础集，通过改进的HITS算法，获取二分图；第八步针对二分图，采用完全二分有向图获取算法得到完全二分图；第九步通过选取完全二分图中的URLs作为初始URLs，具体实现步骤D1、通过第八步从二分图中提取完全二分图，得到权威网页集和中心网页集两个集合；D2、从中心网页集合中选择一个网页作为爬行虫的一个初始URL ；D3、使用中心网页和权威网页存在链接，发现完全二分图的其他部分，作为初始 URLs加入到结果集中；D4、把发现的中心网页和权威网页分别从两个集合中删除，更新集合中权威网页和中心网页的权威值和中心值；D5、如果初始URLs结果集的数量不够，再次返回步骤I ;否则，结束。所述的基于用户本体的初始URLs选择方法，所述第七步，改进的HITS算法，获取二分图的方法为BI、搜集特定关键词的网页集合，存储网页链接关系；B2、对于每一个网页分为链入和链出页面集合，通过语义化页面构建方法重新构建页面；B3、计算语义化页面和返回结果的相似度，满足条件的作为候选集合，并得到基础集;B4、通过迭代算法计算基础集每个网页的权威值和中心值，由此得到二分图。所述的基于用户本体的初始URLs选择方法，所述第八步，所述完全二分有向图获取算法；Cl、按照权威值大小依次选取网页，并通过对应页面得到链接中心值网页；选取的网页标记，以防止再次选取；C2、按照中心值大小依次选取网页；并通过对应页面得到权威值网页；选取的网页标记，以防止再次选取；C3、重复C1-C2操作,直到遍历完所有网页为止,得到完全二分图。
图I为本发明方法流程图；图2为DSl在不同的迭代次数时抽取的Hset and Aset的大小；图3为DS2在不同的迭代次数时抽取的Hset and Aset的大小；图4为比较数据集DSl上得到的网页的PageRank值；图5为比较数据集DSl上得到的网页的数量；图6为比较数据集DS2上得到的网页的PageRank值；图7为比较数据集DS2上得到的网页的数量。
具体实施方式
以下结合具体实施例，对本发明进行详细说明。实施例I第一步提交用户关键词给搜索引擎，获得用户日志。该用户日志主要用来构建用户本体和用户兴趣特征向量。第二步处理用户特征文件(预处理等方法)，提取特征词汇，并向量化。第三步构建用户本体，利用提取的特征词并结合WordNet来构建用户本体。构建用户本体方法很多，但大都是比较繁琐的。有很多成熟的方法，手动构建、半自动构建方法
坐寸ο第四步用户提交关键词到Google，并得到搜索结果，通过HITS算法，可以得到根集，包含了权威网页和中心网页集合，从而，得到候选页面。第五步用户关键词提交给用户本体，进行加权扩展，得到扩展的特征向量，结合候选页面，得到语义化的页面向量。加权扩展方法定义I 一个用户本体Ou = (C，R，H，I)，其中概念Ci, Cj e C。对于该用户本体中的任意一个概念Ci而言，他与其他任何一个概念h之间可能存在的关系有以下三种I. Cj是Ci的子概念，即满足关系Cj e Subclass of (Ci),那么把Cj记为Lci ；2. C」是Ci的父概念，即满足关系C」e Superclass of (Ci),那么把C」记为Hci ；3. C」与Ci是同义词,那么把C」记为Sci,(这种关系借用WordNet来得到)。因此，把关系集合M={Sc; , Hc. , Lc. }称为概念c i的可被扩展的关系集合。Ma表示其中的一个可扩展关系，a = 1，2或3。也就是说Ml= Sc,.，依次类推。“信息内容相似度”表示一个本体上词之间的关系，计算公式如下
./、_ 2 X log/(c)—c,，Cp =log/(ci) + log/(c;)其中Ci和是两个不同的词，c是Ci和&的共同父接点。f(c)
M其中freq(c)是词c在文本集中出现的频率，M是文本集中所有词的数量。由于本体中的概念是单独的词表示，因此，借助“信息内容相似度”的公式，可以计算一个本体上概念之间的相似度。定义2对一个词ki;他可能扩展的关系M={ Sk. , Uki ,Iki }。因此，ki与它可扩展的词之间的“信息内容相似度”分别是ice (k,., S,(), ice (k,.，H&)和ice (k,., U,.)。“信
息内容相似度”的值越大，则可扩展词的内容与h越相似。将这3个“信息内容相似度”值表示成可扩展词在用户本体上的权重，即％ = ice(ki； Ma)，根据权重来决定k ,是否要扩展某个关系。如果权重大，即相似度大，那么这个关系应该被扩展；反之，不能扩展。这个过程称为“加权扩展”。构建语义化的页面方法通过用户本体来获取与用户兴趣主题相关的语义信息，使用这些语义信息来表示网页，这样的页面称为语义化页面。构建语义化页面的具体的方法如下Al、通过用户日志得到兴趣特征词向量；
A2、候选集页面也通过向量形式表示；A3、通过用户本体对兴趣特征词进行扩展；A4、计算扩展后的特征词在候选页面向量的TF值，重新利用该值来表示候选集页面得到语义化页面。第六步计算第二步得到的用户兴趣特征向量和语义化的页面向量的相似度，排序，选择相似度闻的加入根集得到基础集。第七步对得到的基础集，通过改进的HITS算法，获取二分图。该算法是对HITs 算法的改进，通过改进基础集来提高精度。BI、搜集特定关键词的网页集合，存储网页链接关系；B2、针对于每一个网页分为链入和链出页面集合，通过语义化页面构建方法重新构建页面；B3、计算语义化页面和返回结果的相似度，满足条件的作为候选集合，并得到基础集;B4、通过迭代算法计算基础集每个网页的权威值和中心值，由此得到二分图。第八步针对于二分图，采用完全二分有向图获取算法得到完全二分图。下面是完全二分有向图获取算法。Cl、按照权威值大小依次选取网页，并通过对应页面得到链接中心值网页；选取的网页标记，以防止再次选取；C2、按照中心值大小依次选取网页；并通过对应页面得到权威值网页；选取的网页标记，以防止再次选取；C3、重复C1-C2操作，直到遍历完所有网页为止，得到完全二分图。第九步通过选取完全二分图中的URLs作为初始URLs。具体实现步骤D1、通过第八步从二分图中提取完全二分图，得到权威网页集和中心网页集两个集合；D2、从中心网页集合中选择一个网页作为爬行虫的一个初始URL ；D3、使用中心网页和权威网页存在链接，发现完全二分图的其他部分，作为初始 URLs加入到结果集中；D4、把发现的中心网页和权威网页分别从两个集合中删除，更新集合中权威网页和中心网页的权威值和中心值；D5、如果初始URLs结果集的数量不够，再次返回步骤I ;否则，结束。实施例2实验过程与结果评价通过实验，验证了本发明所提出的方法的有效性。在实验过程中，先通过本发明提出的选择初始URLs的算法，在以前爬取的网页所组成的Web图上来选择初始URLs。然后， 让爬行虫从这些指定的初始URLs开始在这个数据集上爬取。最后通过2种评价策略来评价本发明提出的算法是否有效。2. I数据集米兰大学的Web算法实验室提供了不同的Web结构图。实验中使用了由 EuropeanProject-DELIS 提供的 UK-2007-02 和 UK-2007-05 两个数据集，分别记为 DSl 和DS2，是爬行虫在2007年2月和2007年5月分别进行爬取的结果。DSl对应的图结构包括 105，896，555个结点和3，738，733，648条边。DS2对应的图结构包括了 110，123，614个结点和 3,944,932，566 条边。2. 2数据集特征Web图的直径是指图中任意两个关联的结点之间的最短路径的总和与图中边的数目的比值。两个没有关联的结点之间的距离认为是无穷大的，这种距离不考虑。爬行深度是爬行虫下载网页时爬行的最大层次。表I是获取的DSl和DS2两个数据集的特征描述。表I两个数据集的特征
权利要求
1.一种基于用户本体的初始URLs选择方法，其特征在于，包括以下步骤第一步提交用户关键词给搜索引擎，获得用户日志；该用户日志主要用来构建用户本体和用户兴趣特征向量。第二步处理用户特征文件，提取特征词汇，并向量化；第三步构建用户本体，利用提取的特征词并结合WordNet来构建用户本体；第四步用户提交关键词到Google，并得到搜索结果，通过HITS算法，可以得到根集， 包含了权威网页和中心网页集合，从而，得到候选页面；第五步用户关键词提交给用户本体，进行加权扩展，得到扩展的特征向量，结合候选页面，得到语义化的页面向量；第六步计算第二步得到的用户兴趣特征向量和语义化的页面向量的相似度，排序，选择相似度高的加入根集得到基础集；第七步对得到的基础集，通过改进的HITS算法，获取二分图；第八步针对于二分图，采用完全二分有向图获取算法得到完全二分图；第九步通过选取完全二分图中的URLs作为初始URLs，具体实现步骤D1、通过第八步从二分图中提取完全二分图，得到权威网页集和中心网页集两个集D2、从中心网页集合中选择一个网页作为爬行虫的一个初始URL ；D3、使用中心网页和权威网页存在链接，发现完全二分图的其他部分，作为初始URLs 加入到结果集中；D4、把发现的中心网页和权威网页分别从两个集合中删除，更新集合中权威网页和中心网页的权威值和中心值；D5、如果初始URLs结果集的数量不够，再次返回步骤I ;否则，结束。
2.根据权利要求I所述的基于用户本体的初始URLs选择方法，其特征在于，所述第七步，改进的HITS算法，获取二分图的方法为BI、搜集特定关键词的网页集合，存储网页链接关系；B2、针对于每一个网页分为链入和链出页面集合，通过语义化页面构建方法重新构建页面；B3、计算语义化页面和返回结果的相似度，满足条件的作为候选集合，并得到基础集；B4、通过迭代算法计算基础集每个网页的权威值和中心值，由此得到二分图。
3.根据权利要求I所述的基于用户本体的初始URLs选择方法，其特征在于，所述第八步，所述完全二分有向图获取算法Cl、按照权威值大小依次选取网页，并通过对应页面得到链接中心值网页；选取的网页标记，以防止再次选取；C2、按照中心值大小依次选取网页；并通过对应页面得到权威值网页；选取的网页标记，以防止再次选取；C3、重复C1-C2操作，直到遍历完所有网页为止，得到完全二分图。
全文摘要
本发明公开了基于用户本体的初始URLs选择方法包括以下步骤第一步提交用户关键词给搜索引擎，获得用户日志；第二步处理用户特征文件，提取特征词汇，并向量化；第三步构建用户本体，利用提取的特征词并结合WordNet来构建用户本体；第四步得到根集、候选页面；第五步得到语义化的页面向量；第六步计算第二步得到的用户兴趣特征向量和语义化的页面向量的相似度，排序，选择相似度高的加入根集得到基础集；第七步获取二分图；第八步得到完全二分图；第九步选取完全二分图中的URLs作为初始URLs。本发明提出的方法在较少迭代数的情况下，使用本发明提出的方法可以下载更多与用户兴趣主题相关的网页。
文档编号G06F17/30GK102591926SQ20111043613
公开日2012年7月18日 申请日期2011年12月23日 优先权日2011年12月23日
发明者李曦, 杜亚军, 王玉婷, 韩保川 申请人:西华大学