识别网页类型的方法和装置制造方法
【专利摘要】本发明提供了一种识别网页类型的方法和装置，包括：确定预定时间内待识别网页中多个位置处链接的平均用户访问次数；根据多个位置处链接的平均用户访问次数，确定待识别网页基于不同位置的用户访问次数的差异度；当用户访问次数的差异度达到阈值时，确定待识别网页的类型为人工编辑网页。待识别网页基于不同位置的用户访问次数的差异度较大，即该待识别网页具有明显的人工参与特性，可判定为人工编辑网页；从而区别于机器生成网页，可以对人工编辑网页做不同的区分处理，也使得搜索引擎可以获取更多有价值、有针对性的信息，也更有效利用了网络资源。
【专利说明】识别网页类型的方法和装置
【技术领域】
[0001]本发明涉及互联网【技术领域】，具体而言，本发明涉及一种识别网页类型的方式和
>J-U ρ?α装直。
【背景技术】
[0002]互联网上的索引页，即网站中的导航页，为用户提供网站或者一组网页的索弓丨，帮助用户较快的找到想要获取的信息。目前，一部分索引页是人工编辑的，比如新浪等门户网站的首页；还有一部分索引页是机器自动生成的，比如普通的新闻索引页就是机器自动生成的。人工编辑索引页的和机器生成索引页具有不同的特点，例如，人工编辑索引页的和机器生成索引页的更新及调度周期设定上是不同的，机器生成索引页的更新频率比较快，人工编辑索引页的更新频率相对比较慢；另外，人工编辑索引页会因时间段的不同而在网页上产生新链接的速度不同，具有明显的人工参与的特色；人工编辑索引页会带有明显的人为参与色彩，例如，人工编辑索引页上的链接内容是经过编辑者人工筛选的，可能具有倾向性和偏好特点。但是当前，搜索引擎在爬取互联网网页时并不能有效区分人工编辑网页和机器生成网页两种类型，因此导致网页的获取和利用不能得到有效区分，从而很多人工编辑网页中的高价值内容没有得到充分利用，使得搜索引擎的效用没有最大化，也造成一定程度的网络资源浪费。
【发明内容】
[0003]本发明的目的旨在至少解决上述技术缺陷之一，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种识别网页类型的方法，包括:
[0004]确定预定时间内待识别网页中多个位置处链接的平均用户访问次数；
[0005]根据多个位置处链接的平均用户访问次数，确定待识别网页基于不同位置的用户访问次数的差异度；
[0006]当用户访问次数的差异度达到阈值时，确定待识别网页的类型为人工编辑网页。
[0007]本发明还提供了一种识别网页类型的装置，包括:
[0008]次数确定模块，用于确定预定时间内待识别网页中多个位置处链接的平均用户访问次数；
[0009]差异度确定模块，用于根据多个位置处链接的平均用户访问次数，确定待识别网页基于不同位置的用户访问次数的差异度；
[0010]识别模块，用于当用户访问次数的差异度达到阈值时，确定待识别网页的类型为人工编辑网页。
[0011]本方案的实施例中，通过计算预定时间内多个位置处链接的平均用户访问次数，来确定待识别网页基于不同位置的用户访问次数的差异度，若差异度大于或等于阈值，可判定待识别网页中，对于任意两个前后位置关系的链接处，靠前位置处链接的平均用户访问次数大于靠前位置处链接的平均用户访问次数的情形占全部比较结果的大部分，即待识别网页基于不同位置的用户访问次数的差异度较大，该待识别网页具有明显的人工参与特性，可判定为人工编辑网页；从而区别于机器生成网页，可以对人工编辑网页做不同的区分处理，也使得搜索引擎可以获取更多有价值、有针对性的信息，也更有效利用了网络资源。
[0012]本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
【专利附图】
【附图说明】
[0013]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中:
[0014]图1为本发明中的识别网页类型的方法一个实施例的流程图；
[0015]图2为本发明中的识别网页类型的装置一个实施例的结构示意图；
[0016]图3为本发明中的用于识别网页类型的一个实施例的示例图；
[0017]图4为本发明中的用于识别网页类型的另一实施例的示例图。
【具体实施方式】
[0018]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0019]本【技术领域】技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
[0020]本【技术领域】技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
[0021]图1为本发明中的识别网页类型的方法一个实施例的流程图。
[0022]根据本发明的方法包括由网络设备执行的步骤S110、步骤S120和步骤S130。
[0023]其中，网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云,其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
[0024]在步骤SllO中，确定预定时间内待识别网页中多个位置处链接的平均用户访问次数；在步骤S120中，根据多个位置处链接的平均用户访问次数，确定待识别网页基于不同位置的用户访问次数的差异度；在步骤S130中，当用户访问次数的差异度达到阈值时，确定待识别网页的类型为人工编辑网页。
[0025]本实施例中，通过计算预定时间内多个位置处链接的平均用户访问次数，来确定待识别网页基于不同位置的用户访问次数的差异度，若差异度大于或等于阈值，可判定待识别网页中，对于任意两个前后位置关系的链接处，靠前位置处链接的平均用户访问次数大于靠前位置处链接的平均用户访问次数的情形占全部比较结果的大部分，即待识别网页基于不同位置的用户访问次数的差异度较大，该待识别网页具有明显的人工参与特性，可判定为人工编辑网页；为后续搜索引擎的网页爬虫设定较佳的网页爬取频率提供了可靠保证，对于更新频率相对较低的人工编辑网页，可设置相对较低的爬取频率，节约网络资源。
[0026]在步骤SllO中，确定预定时间内待识别网页中多个位置处链接的平均用户访问次数。
[0027]其中，待识别网页中多个位置处的链接是指网页中特定展现位置的链接，例如，新闻索引页中的特定展现位置的链接为新闻网页的链接；视频索引页中的特定展现位置的链接为视频播放网页的链接；其中，特定展现位置是以前后位置顺序排列在待识别网页中。
[0028]该方法(参照图1)还包括步骤S150(图中未示出)，在步骤S150中，基于待识别网页的结构特征信息，确定待识别网页中的多个位置。
[0029]具体地，对多次抓取获得的待识别网页进行结构特征分析，确定待识别网页中的多个特定展现位置。例如，对待识别网页中全部链接的更新频率进行统计，确定更新频率高于预定更新频率阈值的链接所在位置处为该待识别网页中的特定展现位置；和/或读取待识别网页中全部链接的锚文本，提取锚文本的文本关键词，通过对文本关键词进行语义分析，来确定与待识别网页的主题相关联的多个链接的锚文本，并确定该多个链接所在位置处为该待识别网页中的特定展现位置。
[0030]例如，参照图3，待识别网页为第一新闻索引页，基于第一新闻索引页的结构特征信息，可确定第一新闻索引页中方框区域中的链接均为新闻类链接，链接更新频率较高，即确定第一新闻索引页方框区域中的链接所在位置为特定展现位置；而第一新闻索引页椭圆框区域中的链接为广告类链接，链接更新频率较低且链接价值度较低，本方案的实施例中对广告类链接所在位置不予考虑。参照图4，待识别网页为第二新闻索引页，基于第二新闻索引页的结构特征信息，可确定第二新闻索引页中方框区域中的链接均为新闻类链接，即确定方框区域中的链接位置均为特定展现位置。
[0031]步骤SllO包括步骤Slll (图中未示出)和步骤S112(图中未示出)；在步骤Slll中，确定预定时间内待识别网页中多个位置处链接的更新次数及每次更新后的更新链接对应的用户访问次数；在步骤S112中，基于更新次数及每次更新后的更新链接对应的用户访问次数，确定预定时间内多个位置处链接的平均用户访问次数。
[0032]具体地，首先，在预定时间内以固定频率多次抓取待识别网页，随后，基于预先已确定的该待识别网页中的多个特定展现位置，在多次抓取的待识别网页中提取每个特定展现位置处的多个链接，通过比较一个特定展现位置处的多个链接来确定该特定展现位置处在预定时间内的更新链接的个数，即确定链接的更新次数；同时，通过在用户历史访问记录查询，确定每次更新后的更新链接对应的用户访问次数，其中，用户历史访问记录中包括网页中的多个链接及其各自对应的用户点击和/或浏览记录；随后，基于更新次数及每次更新后的更新链接对应的用户访问次数，通过预定的平均值计算公式进行计算，来确定预定时间内多个位置处链接的平均用户访问次数。
[0033]例如，如图3所示，预定时间内第一新闻索引页中位置A处链接的更新次数3次，第一次更新后的更新链接对应的用户访问次数位1000次，第二次更新后的更新链接对应的用户访问次数位1200次，第三次更新后的更新链接对应的用户访问次数位800次，则可确定在预定时间内位置A处链接的平均用户访问次数为1000次(1000 =(1000+1200+800)/3);预定时间内该第一新闻索引页中位置B处链接的更新次数3次，第一次更新后的更新链接对应的用户访问次数位700次，第二次更新后的更新链接对应的用户访问次数位600次，第三次更新后的更新链接对应的用户访问次数位800次，则可确定在预定时间内位置B处链接的平均用户访问次数为700次(700 = (600+700+800)/3)。
[0034]在步骤S120中，根据多个位置处链接的平均用户访问次数，确定待识别网页基于不同位置的用户访问次数的差异度。
[0035]步骤S120包括步骤S121(图中未示出)和步骤S122(图中未示出)；在步骤S121中，比较待识别网页中任意前后位置关系链接的平均用户访问次数；在步骤S122中，根据比较结果，确定待识别网页基于不同位置的用户访问次数的差异度。
[0036]具体地，比较待识别网页中任意前后位置关系链接的平均用户访问次数，当待识别网页中任意两个前后位置关系的链接中，靠前链接的平均用户访问次数大于靠后链接的平均用户访问次数，则增加该待识别网页基于不同位置的用户访问次数的差异度。
[0037]例如，待识别网页中有η个位置，每个位置处链接的平均用户访问次数为kx(x =1,2……η)，其中X代表任意位置处，且设置变量r = 0,w = O ;对于任意两个前后位置处的平均用户访问次数K和kj (其中i〈j,并且1〈 = i, j〈 = η),如果kp = k」,则r = r+1,否则w = w+i ;遍历n个位置中所有任意两个前后位置处i和j，并比较前后位置处i和j的平均用户访问次数h和kj后，通过公式s = r/(w+r)，计算该待识别网页基于不同位置的用户访问次数的差异度S。如图3所示，图中第一新闻索引页中位置A与位置B的位置关系为位置A靠前，位置B靠后，位置A处链接的平均用户访问次数kA为1000次，新闻索引页中位置B处链接的平均用户访问次数为kB 700次，比较确定kA> = kB，则r = r+1。如图4所示，图中第二新闻索引页中位置C与位置D的位置关系为位置C靠前，位置D靠后，位置C处链接的平均用户访问次数k。为1000次，新闻索引页中位置D处链接的平均用户访问次数为kD 1200次，比较确定kc〈kD,贝丨J w = w+lo
[0038]在步骤S130中，当待识别网页基于不同位置的用户访问次数的差异度达到阈值时，确定待识别网页的类型为人工编辑网页。
[0039]具体地，将待识别网页基于不同位置的用户访问次数的差异度与预定差异度的阈值进行比较，若差异度大于或等于阈值，确定待识别网页的类型为人工编辑网页。
[0040]例如，接上例，若待识别网页基于不同位置的用户访问次数的差异度s大于或等于预定差异度的阈值，则确定待识别网页的类型为人工编辑网页。如图3所示，通过比较第一新闻索引页中任意前后位置关系链接的平均用户访问次数，可判断该新闻索引页基于不同位置的用户访问次数的差异度s大于或等于预定差异度的阈值，则确定该新闻索引页的类型为人工编辑网页。
[0041]本实施例中，通过计算预定时间内多个位置处链接的平均用户访问次数，来确定待识别网页基于不同位置的用户访问次数的差异度，若差异度大于或等于阈值，可判定待识别网页中，对于任意两个前后位置关系的链接处，靠前位置处链接的平均用户访问次数大于靠前位置处链接的平均用户访问次数的情形占全部比较结果的大部分，即待识别网页基于不同位置的用户访问次数的差异度较大，该待识别网页具有明显的人工参与特性，可判定为人工编辑网页；从而区别于机器生成网页，可以对人工编辑网页做不同的区分处理，也使得搜索引擎可以获取更多有价值、有针对性的信息，也更有效利用了网络资源。
[0042]优选地，该方法还包括步骤S140(图中未示出);在步骤S140中，当用户访问次数的差异度未达到阈值时，确定待识别网页的类型为机器生成网页。
[0043]具体地，将待识别网页基于不同位置的用户访问次数的差异度与预定差异度的阈值进行比较，若差异度小于阈值，确定待识别网页的类型为机器生成网页。
[0044]如图4所示，通过比较第二新闻索引页中任意前后位置关系链接的平均用户访问次数，可判断该新闻索引页基于不同位置的用户访问次数的差异度s小于预定差异度的阈值，则确定该新闻索引页的类型为机器生成网页。
[0045]本优选实施例中，若待识别网页基于不同位置的用户访问次数的差异度小于阈值，可判定待识别网页中，对于任意两个前后位置关系的链接处，靠前位置处链接的平均用户访问次数大于靠前位置处链接的平均用户访问次数的情形并不占全部比较结果的大部分，即待识别网页基于不同位置的用户访问次数的差异度不足够大，该待识别网页具有机器生成特性，可判定为机器生成网页；为后续搜索引擎的网页爬虫设定较佳的网页爬取频率提供了可靠保证，对于更新频率相对较高的机器生成网页，可设置相对较高的爬取频率，以保证能够及时爬取到更新频率较高的机器生成网页。
[0046]图2为本发明中的识别网页类型的装置一个实施例的结构示意图。
[0047]本实施例中，识别网页类型的装置包括次数确定模块210、差异度确定模块220和识别模块230。
[0048]首先，次数确定模块210确定预定时间内待识别网页中多个位置处链接的平均用户访问次数；接着，差异度确定模块220根据多个位置处链接的平均用户访问次数，确定待识别网页基于不同位置的用户访问次数的差异度；随后，识别模块230当用户访问次数的差异度达到阈值时，确定待识别网页的类型为人工编辑网页。
[0049]本实施例中，通过计算预定时间内多个位置处链接的平均用户访问次数，来确定待识别网页基于不同位置的用户访问次数的差异度，若差异度大于或等于阈值，可判定待识别网页中，对于任意两个前后位置关系的链接处，靠前位置处链接的平均用户访问次数大于靠前位置处链接的平均用户访问次数的情形占全部比较结果的大部分，即待识别网页基于不同位置的用户访问次数的差异度较大，该待识别网页具有明显的人工参与特性，可判定为人工编辑网页；从而区别于机器生成网页，可以对人工编辑网页做不同的区分处理，也使得搜索引擎可以获取更多有价值、有针对性的信息，也更有效利用了网络资源。
[0050]次数确定模块210确定预定时间内待识别网页中多个位置处链接的平均用户访问次数。
[0051]其中，待识别网页中多个位置处的链接是指网页中特定展现位置的链接，例如，新闻索引页中的特定展现位置的链接为新闻网页的链接；视频索引页中的特定展现位置的链接为视频播放网页的链接；其中，特定展现位置是以前后位置顺序排列在待识别网页中。
[0052]例如，参照图3，待识别网页为第一新闻索引页，基于第一新闻索引页的结构特征信息，可确定第一新闻索引页中方框区域中的链接均为新闻类链接，链接更新频率较高，即确定第一新闻索引页方框区域中的链接所在位置为特定展现位置；而第一新闻索引页椭圆框区域中的链接为广告类链接，链接更新频率较低，本方案的实施例中对广告类链接所在位置不予考虑。参照图4，待识别网页为第二新闻索引页，基于第二新闻索引页的结构特征信息，可确定第二新闻索引页中方框区域中的链接均为新闻类链接，即确定方框区域中的链接位置均为特定展现位置。
[0053]该装置(参照图2)还包括位置确定模块(图中未示出)，位置确定模块基于待识别网页的结构特征信息，确定待识别网页中的多个位置。，用于基于所述待识别网页的结构特征信息，确定所述待识别网页中的所述多个位置具体地，对多次抓取获得的待识别网页进行结构特征分析，确定待识别网页中的多个特定展现位置。例如，对待识别网页中全部链接的更新频率进行统计，确定更新频率高于预定更新频率阈值的链接所在位置处为该待识别网页中的特定展现位置；和/或读取待识别网页中全部链接的锚文本，提取锚文本的文本关键词，通过对文本关键词进行语义分析，来确定与待识别网页的主题相关联的多个链接的锚文本，并确定该多个链接所在位置处为该待识别网页中的特定展现位置。
[0054]次数确定模块210包括第一确定单元(图中未示出)和第二确定单元(图中未示出)。第一确定单元确定预定时间内待识别网页中多个位置处链接的更新次数及每次更新后的更新链接对应的用户访问次数；随后，第二确定单元基于更新次数及每次更新后的更新链接对应的用户访问次数，确定预定时间内多个位置处链接的平均用户访问次数。
[0055]具体地，首先，在预定时间内以固定频率多次抓取待识别网页，随后，基于预先已确定的该待识别网页中的多个特定展现位置，在多次抓取的待识别网页中提取每个特定展现位置处的多个链接，通过比较一个特定展现位置处的多个链接来确定该特定展现位置处在预定时间内的更新链接的个数，即确定链接的更新次数；同时，通过在用户历史访问记录查询，确定每次更新后的更新链接对应的用户访问次数，其中，用户历史访问记录中包括网页中的多个链接及其各自对应的用户点击和/或浏览记录；随后，基于更新次数及每次更新后的更新链接对应的用户访问次数，通过预定的平均值计算公式进行计算，来确定预定时间内多个位置处链接的平均用户访问次数。
[0056]例如，如图3所示，预定时间内第一新闻索引页中位置A处链接的更新次数3次，第一次更新后的更新链接对应的用户访问次数位1000次，第二次更新后的更新链接对应的用户访问次数位1200次，第三次更新后的更新链接对应的用户访问次数位800次，则可确定在预定时间内位置A处链接的平均用户访问次数为1000次(1000 =(1000+1200+800)/3);预定时间内该第一新闻索引页中位置B处链接的更新次数3次，第一次更新后的更新链接对应的用户访问次数位700次，第二次更新后的更新链接对应的用户访问次数位600次，第三次更新后的更新链接对应的用户访问次数位800次，则可确定在预定时间内位置A处链接的平均用户访问次数为700次(700 = (600+700+800)/3)。
[0057]差异度确定模块220根据多个位置处链接的平均用户访问次数，确定待识别网页基于不同位置的用户访问次数的差异度。
[0058]差异度确定模块220包括比较单元(图中未示出)和差异度确定单元(图中未示出)；比较单元比较待识别网页中任意前后位置关系链接的平均用户访问次数；随后，差异度确定单元根据比较结果，确定待识别网页基于不同位置的用户访问次数的差异度。
[0059]具体地，比较待识别网页中任意前后位置关系链接的平均用户访问次数，当待识别网页中任意两个前后位置关系的链接中，靠前链接的平均用户访问次数大于靠后链接的平均用户访问次数，则增加该待识别网页基于不同位置的用户访问次数的差异度。
[0060]例如，待识别网页中有η个位置，每个位置处链接的平均用户访问次数为kx(x =1,2……η)，其中X代表任意位置处，且设置变量r = 0,w = O ;对于任意两个前后位置处的平均用户访问次数K和kj (其中i〈j,并且1〈 = i, j〈 = η),如果kp = k」,则r = r+1,否则w = w+i ;遍历n个位置中所有任意两个前后位置处i和j，并比较前后位置处i和j的平均用户访问次数h和kj后，通过公式s = r/(w+r)，计算该待识别网页基于不同位置的用户访问次数的差异度S。如图3所示，图中第一新闻索引页中位置A与位置B的位置关系为位置A靠前，位置B靠后，位置A处链接的平均用户访问次数kA为1000次，新闻索引页中位置B处链接的平均用户访问次数为kB 700次，比较确定kA> = kB，则r = r+1。如图4所示，图中第二新闻索引页中位置C与位置D的位置关系为位置C靠前，位置D靠后，位置C处链接的平均用户访问次数k。为1000次，新闻索引页中位置D处链接的平均用户访问次数为kD 1200次，比较确定kc〈kD,贝丨J w = w+lo
[0061]识别模块230当待识别网页基于不同位置的用户访问次数的差异度达到阈值时，确定待识别网页的类型为人工编辑网页。
[0062]具体地，将待识别网页基于不同位置的用户访问次数的差异度与预定差异度的阈值进行比较，若差异度大于或等于阈值，确定待识别网页的类型为人工编辑网页。
[0063]例如，接上例，若待识别网页基于不同位置的用户访问次数的差异度s大于或等于预定差异度的阈值，则确定待识别网页的类型为人工编辑网页。如图3所示，通过比较第一新闻索引页中任意前后位置关系链接的平均用户访问次数，可判断该新闻索引页基于不同位置的用户访问次数的差异度s大于或等于预定差异度的阈值，则确定该新闻索引页的类型为人工编辑网页。
[0064]本实施例中，通过计算预定时间内多个位置处链接的平均用户访问次数，来确定待识别网页基于不同位置的用户访问次数的差异度，若差异度大于或等于阈值，可判定待识别网页中，对于任意两个前后位置关系的链接处，靠前位置处链接的平均用户访问次数大于靠前位置处链接的平均用户访问次数的情形占全部比较结果的大部分，即待识别网页基于不同位置的用户访问次数的差异度较大，该待识别网页具有明显的人工参与特性，可判定为人工编辑网页；从而区别于机器生成网页，可以对人工编辑网页做不同的区分处理，也使得搜索引擎可以获取更多有价值、有针对性的信息，也更有效利用了网络资源。
[0065]优选地，识别模块230当用户访问次数的差异度未达到阈值时，确定待识别网页的类型为机器生成网页。
[0066]具体地，将待识别网页基于不同位置的用户访问次数的差异度与预定差异度的阈值进行比较，若差异度小于阈值，确定待识别网页的类型为机器生成网页。
[0067]如图4所示，通过比较第二新闻索引页中任意前后位置关系链接的平均用户访问次数，可判断该新闻索引页基于不同位置的用户访问次数的差异度s小于预定差异度的阈值，则确定该新闻索引页的类型为机器生成网页。
[0068]本优选实施例中，若待识别网页基于不同位置的用户访问次数的差异度小于阈值，可判定待识别网页中，对于任意两个前后位置关系的链接处，靠前位置处链接的平均用户访问次数大于靠前位置处链接的平均用户访问次数的情形并不占全部比较结果的大部分，即待识别网页基于不同位置的用户访问次数的差异度不足够大，该待识别网页具有机器生成特性，可判定为机器生成网页；为后续搜索引擎的网页爬虫设定较佳的网页爬取频率提供了可靠保证，对于更新频率相对较高的机器生成网页，可设置相对较高的爬取频率，以保证能够及时爬取到更新频率较高的机器生成网页。
[0069]本【技术领域】技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、⑶-ROM、和磁光盘)、R0M(Read-Only Memory,只读存储器)、RAM (Random Access Memory,随即存储器)、EPROM (Erasable ProgrammableRead-Only Memory,可擦写可编程只读存储器)、EEPROM(ElectricalIy ErasableProgrammable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
[0070]本【技术领域】技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本【技术领域】技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
[0071 ] 本【技术领域】技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
[0072] 以上所述仅是本发明的部分实施方式，应当指出，对于本【技术领域】的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
【权利要求】
1.一种识别网页类型的方法，其特征在于，包括: 确定预定时间内待识别网页中多个位置处链接的平均用户访问次数； 根据所述多个位置处链接的平均用户访问次数，确定所述待识别网页基于不同位置的用户访问次数的差异度； 当所述用户访问次数的差异度达到阈值时，确定所述待识别网页的类型为人工编辑网页。
2.根据权利要求1所述的识别网页类型的方法，其特征在于，确定待识别网页中多个位置处链接的平均用户访问次数，包括: 确定预定时间内所述待识别网页中多个位置处链接的更新次数及每次更新后的更新链接对应的用户访问次数； 基于所述更新次数及每次更新后的更新链接对应的用户访问次数，确定预定时间内多个位置处链接的平均用户访问次数。
3.根据权利要求1或2所述的识别网页类型的方法，其特征在于，根据所述多个位置处链接的平均用户访问次数，确定所述待识别网页基于不同位置的用户访问次数的差异度，包括: 比较所述待识别网页中任意前后位置关系链接的平均用户访问次数； 根据比较结果，确定所述待识别网页基于不同位置的用户访问次数的差异度。
4.根据权利要求1-3任一项所述的识别网页类型的方法，其特征在于，还包括: 当所述用户访问次数的差异度未达到阈值时，确定所述待识别网页的类型为机器生成网页。
5.根据权利要求1-4任一项所述的识别网页类型的方法，其特征在于，还包括: 基于所述待识别网页的结构特征信息，确定所述待识别网页中的所述多个位置。
6.一种识别网页类型的装置，其特征在于，包括: 次数确定模块，用于确定预定时间内待识别网页中多个位置处链接的平均用户访问次数； 差异度确定模块，用于根据所述多个位置处链接的平均用户访问次数，确定所述待识别网页基于不同位置的用户访问次数的差异度； 识别模块，用于当所述用户访问次数的差异度达到阈值时，确定所述待识别网页的类型为人工编辑网页。
7.根据权利要求6所述的识别网页类型的装置，其特征在于，所述次数确定模块包括: 第一确定单元，用于确定预定时间内所述待识别网页中多个位置处链接的更新次数及每次更新后的更新链接对应的用户访问次数； 第二确定单元，用于基于所述更新次数及每次更新后的更新链接对应的用户访问次数，确定预定时间内多个位置处链接的平均用户访问次数。
8.根据权利要求6或7所述的识别网页类型的装置，其特征在于，所述差异度确定模块包括: 比较单元，用于比较所述待识别网页中任意前后位置关系链接的平均用户访问次数；差异度确定单元，用于根据比较结果，确定所述待识别网页基于不同位置的用户访问次数的差异度。
9.根据权利要求6-8任一项所述的识别网页类型的装置，其特征在于，所述识别模块还用于当所述用户访问次数的差异度未达到阈值时，确定所述待识别网页的类型为机器生成网页。
10.根据权利要求6-9任一项所述的识别网页类型的装置，其特征在于，还包括: 位置确定模块，用于基于所述待识别网页的结构特征信息，确定所述待识别网页中的所述多个位置。
【文档编号】G06F17/30GK104408175SQ201410771952
【公开日】2015年3月11日 申请日期:2014年12月12日 优先权日:2014年12月12日
【发明者】王智广 申请人:北京奇虎科技有限公司, 奇智软件（北京）有限公司