网页页面内容的获取方法和装置制造方法
【专利摘要】本发明公开了一种网页页面内容的获取方法和装置。该方法包括：对加载的原始网页页面进行处理，生成初始网页页面，以读取初始网页页面的文本信息，从初始网页页面中查找到按钮集合，依据按钮集合创建和触发初始网页页面的点击事件，生成目标网页页面，读取目标网页页面的文本信息，依据初始网页页面的文本信息和目标网页页面的文本信息获取原始网页页面的文本信息。本发明解决了利用翻页按钮获取网页页面内容的问题。
【专利说明】网页页面内容的获取方法和装置
【技术领域】
[0001]本发明涉及计算机互联网领域，具体而言，涉及一种网页页面内容的获取方法和
>J-U ρ?α装直。
【背景技术】
[0002]随着富客户端(Rich Client)技术的发展，越来越多的网页会使用js在页面内容的渲染上做一些包装。对于长篇的页面内容，很多时候制作人员并不会选择在一个初始页面完整显示网页全文，一般网页会提供一个翻页按钮或者加载更多的选项来让访客可以浏览全文内容。
[0003]由于传统的爬虫并不支持网页js的渲染，这种通过js来加载网页全文的做法会令爬虫仅仅只能获取一部分网页内容。而一般的爬虫往往需要全文数据。
[0004]传统的爬虫只截获http请求的文本内容，不对其中的js代码进行解析，从而不能获取网页通过js渲染出的正文内容，即翻页按钮所渲染出的内容。一般这类翻页按钮或选项可能有以下几种情况:
[0005]1.下一页按钮会触发一条ajax请求,返回下一页的内容；
[0006]2.下一页按钮会导致整个页面转向另一个页面，那个页面包括所有的内容或者下一页内容；
[0007]3.单页应用中会进行更为复杂的处理。
[0008]针对相关技术中获取网页页面内容不够完整的问题，目前尚未提出有效的解决方案。
【发明内容】
[0009]本发明的主要目的在于提供一种网页页面内容的获取方法和装置，以解决现有技术中利用翻页按钮获取网页页面内容的问题。
[0010]为了实现上述目的，根据本发明实施例的一个方面，提供了一种网页页面内容的获取方法，该方法包括:对加载的原始网页页面进行处理，生成初始网页页面，以读取初始网页页面的文本信息，从初始网页页面中查找到按钮集合，依据按钮集合创建和触发初始网页页面的点击事件，生成目标网页页面，读取目标网页页面的文本信息，依据初始网页页面的文本信息和目标网页页面的文本信息获取原始网页页面的文本信息。
[0011]为了实现上述目的，根据本发明实施例的另一方面，提供了一种网页页面内容的获取装置，该装置包括:加载模块，用于对加载的原始网页页面进行处理，生成初始网页页面，以读取初始网页页面的文本信息，查找模块，用于从初始网页页面中查找到按钮集合，生成模块，用于依据按钮集合创建和触发目标网页页面的点击事件，生成目标网页页面以读取目标网页页面的文本信息，获取模块，用于依据初始网页页面的文本信息和目标网页页面的文本信息获取原始网页页面的文本信息。
[0012]根据本发明实施例，通过网页页面内容的获取方法，解决了相关技术中利用翻页按钮获取网页页面内容的问题，达到了获取网页页面全文内容的效果。
【专利附图】
【附图说明】
[0013]构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0014]图1是根据本发明实施例的网页页面内容的获取方法的流程示意图；
[0015]图2是根据本发明实施例的网页页面内容的获取装置的结构示意图。
【具体实施方式】
[0016]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
[0017]为了使本【技术领域】的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0018]需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0019]下面就对本申请涉及到的名词概念进行说明:
[0020]js: Javascript,—种由Netscape的LiveScript发展而来的脚本语言，主要目的是为了解决服务器终端语言。
[0021]phantomjs:是一个基于js的webkit内核无头浏览器,也就是没有显示界面的浏览器，这样访问网页就省去了浏览器的界面绘制所消耗的系统资源，比较合适用于网络测试。
[0022]实施例1
[0023]根据本发明实施例，提供了一种网页页面内容的获取方法的方法实施例。需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0024]本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。
[0025]图1是根据本发明实施例的网页页面内容的获取方法流程示意图。出于描述的目的，所绘的体系结构仅为合适环境的一个示例，并非对本申请的使用范围或功能提出任何局限。也不应该将该网页页面内容的获取方法为对图1所示的任一组件或组合具有任何依赖或需求。
[0026]如图1所示，该网页页面内容的获取方法可以包括:
[0027]S11，对加载的原始网页页面进行处理，生成初始网页页面，以读取初始网页页面的文本信息；
[0028]其中，在步骤Sll中，加载原始网页页面是利用phantomjs构建一个浏览器平台，以此来对要分析的页面中的js来进行解析，通过phantomjs构建一个浏览器平台，将原始网页页面加载进来，这样访问网页就省去了浏览器界面绘制所消耗的系统资源，对于原始网页页面中包含的是代码，通过对加载的原始网页页面进行处理，得到初始网页页面，而初始网页页面中包含的是对象，例如初始网页页面中包含初始网页页面的文本信息，但是从原始网页页面中无法读取文本信息，所以，经过对加载的原始网页页面进行处理后可以读取到初始网页的文本信息，进而最终来获取原始网页页面的文本信息。
[0029]S13，从初始网页页面中查找到按钮集合；
[0030]其中，在步骤S13中，在得到初始网页页面后，从上述初始网页页面中查找得到按钮集合，由于初始网页页面中包含的是对象，所以可以从初始网页页面中来查找按钮集合，得到按钮集合后可以进一步生成目标网页页面，以完整地获取原始网页页面的文本信息。
[0031]S15，依据按钮集合创建和触发初始网页页面的点击事件，生成目标网页页面；
[0032]其中，在步骤S15中，在得到按钮集合后，依据按钮集合通过调用创建函数创建初始网页页面的点击事件，并通过调用触发函数触发初始网页页面的点击事件，即模拟浏览器的点击事件对上述按钮集合进行点击，最后生成目标网页页面，通过模拟浏览器的点击行为可以生成目标网页页面，得到目标网页页面才能将原始网页页面所链接的所有下一页网页页面找到，这样，才能够保证最终获取到的原始网页页面的所链接的所有下一页网页页面的完整性。
[0033]S17，读取目标网页页面的文本信息；
[0034]其中，在步骤S17中，在生成目标网页页面之后，由于是在phantomjs中生成的目标网页页面，所以可以从目标网页页面中读取目标网页页面的文本信息，只有得到目标网页页面的文本信息，才能保证原始网页页面的文本信息的完整性。
[0035]S19，依据初始网页页面的文本信息和目标网页页面的文本信息获取原始网页页面的文本信息。
[0036]其中，在步骤S19中，在得到初始网页页面的文本信息和目标网页页面的文本信息后，通过初始网页页面的文本信息和目标网页页面的文本信息来读取原始网页页面的文本信息，这样，将初始网页页面所链接的所有下一页网页页面的文本信息都读取到，使得原始网页页面的文本信息中没有遗漏，最终读取到原始网页页面的全文内容。
[0037]本申请上述实施例1的方法，提供了一种网页页面内容的获取方法，该方法通过对加载的原始网页页面进行处理，生成初始网页页面，以读取初始网页页面的文本信息，从初始网页页面中查找到按钮集合，依据按钮集合创建和触发初始网页页面的点击事件，生成目标网页页面，读取目标网页页面的文本信息，依据初始网页页面的文本信息和目标网页页面的文本信息获取原始网页页面的文本信息；与现有技术相比，达到了完整地智能获取网页页面内容的目的。
[0038]具体地，在步骤S13之前，该方法还包括:
[0039]S12，调用判断函数判断初始网页页面是否存在点击按钮，得到判断结果。
[0040]在步骤Sll中，是利用phantomjs构建一个浏览平台,对加载的原始网页页面进行处理，得到初始网页页面，而初始网页页面中包含的是对象，通过调用判断函数判断初始网页页面中是否存在点击按钮，例如，可以根据使用者的需求配置点击按钮，开发人员在设计时根据用户的需求提前配置好点击按钮，这样灵活的配置可以满足不同用户的不同需求，帮助用户有选择地读取原始网页页面的文本信息。
[0041]具体地，在步骤S12中，该方法还包括:
[0042]S121，在判断结果为存在点击按钮的情况下，从初始网页页面中查找到按钮集合的步骤包括:调用第一查找函数从初始网页页面中查找点击按钮，以得到按钮集合；
[0043]在步骤S121中，在得出的判断结果为存在点击按钮的情况下，也就是说，已经配置好需要点击的对象，所以，上述从初始网页页面中查找到按钮集合的步骤就包括:通过第一查找函数来查找点击按钮，其中，第一查找函数是用于查找已经配置好的点击按钮的，这样，在根据需求配置好需要点击的对象后，直接查找点击按钮，可以满足用户的需求。
[0044]S123，在判断结果为不存在点击按钮的情况下，从初始网页页面中查找到按钮集合的步骤包括:调用第二查找函数从初始网页页面中查找点击元素、标签、翻页类，以得到按钮集合；
[0045]在步骤S123中，在得出的判断结果为不存在点击按钮的情况下，也就是说，没有配置好的点击的对象，所以，上述从初始网页页面中查找到按钮集合的步骤就包括:通过第二查找函数来查找点击按钮，其中，第二查找函数是用于查找智能判断中所包含的类型，其中，查找智能判断包括:查找所有button元素、查找所有<a>标签和如果网页加载了bootstrap,查找bootstrap中对应的翻页类class ;在查找到的智能判断后,则上述按钮集合为查找到的智能判断；通过第二查找函数的查找，将未进行配置点击按钮的初始网页页面通过查找智能判断的方法得到按钮集合；这种智能查找网页按钮集合的方法使得可以更加高效更加智能地获取原始网页页面的全文信息，并且上述方法适应性强，可以广泛应用于翻页技术进行智能判断，也可以根据配置进行更高效的判断。
[0046]具体地,步骤S19之前,还包括:
[0047]S18，通过调用比较函数对初始网页页面的文本信息和目标网页页面的文本信息进行比较，比较初始网页页面的文本信息和目标网页页面的文本信息是否相同。
[0048]在步骤S18中，在得到初始网页页面的文本信息和目标网页页面的文本信息后，调用比较函数，对初始网页页面的文本信息和目标网页页面的文本信息进行比较分析，得到初始网页页面的文本信息和目标网页页面的文本信息是否相同，比较的目的在于需要得到目标网页页面的文本信息是否与初始网页页面的文本信息存在内容上的差异，上述比较函数有个明确的算法，即:将每个页面标签的包含关系构建为一颗树，这颗树的每个节点即为某个页面标签。该算法的目的是比较两个网页的页面结构是否相似。首先获取到两颗树每两个叶子节点之间的最近公共祖先，每个叶子节点的公共祖先中，可能存在公共祖先就为自身的叶子节点，计算这样的叶子节点在所有叶子节点中所占的比例，超过一个定值则为相似网页。
[0049]具体地,步骤S19中，该方法还包括:
[0050]S191，在比较初始网页页面的文本信息和目标网页页面的文本信息相同的情况下，则目标网页页面的文本信息为原始网页页面的文本信息；
[0051]在步骤S191中，在对初始网页页面的文本信息和目标网页页面的文本信息进行比较分析后，得到比较结果为初始网页页面的文本信息和目标网页页面的文本信息相同的情况下，说明得到的目标网页页面的文本信息中没有新的内容，所以，目标网页页面的文本信息为原始网页页面的文本信息。
[0052]或S193，在比较初始网页页面的文本信息和目标网页页面的文本信息不相同的情况下，调用并集函数对初始网页页面的文本信息和目标网页页面的文本信息取并集，以获取原始网页页面的文本信息。
[0053]在步骤S193中，在对初始网页页面的文本信息和目标网页页面的文本信息进行比较分析后，得到比较结果为初始网页页面的文本信息和目标网页页面的文本信息不相同的情况下，说明得到的目标网页页面的文本信息中有新的内容，通过调用并集函数对初始网页页面的文本信息和目标网页页面的文本信息取并集，将初始网页页面的文本信息和目标网页页面的文本信息的内容汇集起来作为原始网页页面的文本信息，然后从上述目标网页页面查找按钮集合，在得到按钮集合的情况下，模拟浏览器进行点击，以读取目标网页页面的下一页网页页面的文本信息，在求并集，这样循环下去，直至不能查找到下一页网页页面的按钮集合为止，这样，就得到了完整地原始网页页面的文本信息，通过全自动化且可并发的对网页进行分析，可以高效智能地获取全文信息。
[0054]本发明提出的一种网页页面内容的获取方法，通过对加载的原始网页页面进行处理，生成初始网页页面，以读取初始网页页面的文本信息，从初始网页页面中查找到按钮集合，依据按钮集合创建和触发初始网页页面的点击事件，生成目标网页页面，读取目标网页页面的文本信息，依据初始网页页面的文本信息和目标网页页面的文本信息获取原始网页页面的文本信息；因此，本申请提供了一种高效地智能获取目标网页页面内容的方法，即力口载原始网页页面之后，生成初始网页页面后可以读取初始网页页面的文本信息，然后从初始网页页面中查找按钮集合，智能查找按钮集合使得自动化地对初始网页页面进行查找，从而创建和触发初始网页页面的点击事件，生成目标网页页面，读取目标网页页面的文本信息，最后通过初始网页页面的文本信息和目标网页页面的文本信息获取原始网页页面的文本信息，那么原始网页信息中包含了初始网页页面的按钮集合所链接的目标网页页面的文本信息，使得得到的原始网页页面的文本信息更加完整，所以，通过上述方法，可以解决了相关技术中利用翻页按钮获取网页页面内容的问题，达到了获取网页页面全文内容的效果O
[0055]实施例2
[0056]本发明实施例还提供了一种网页页面内容的获取装置，本申请上述实施例所提供的装置可以在计算机终端或移动终端上运行，但不限于此。
[0057]图2是根据本发明是实施例的网页页面内容的获取装置的结构示意图。如图2所示，该装置包括:加载模块21、查找模块22、生成模块23、读取模块24和获取模块25 ；
[0058]其中，加载模块21，用于对加载的原始网页页面进行处理，生成初始网页页面，以读取初始网页页面的文本信息；
[0059]在上述加载模块21中，加载原始网页页面是利用phantomjs构建一个浏览器平台，以此来对要分析的页面中的js来进行解析，通过phantomjs构建一个浏览器平台，将原始网页页面加载进来，这样访问网页就省去了浏览器界面绘制所消耗的系统资源，对于原始网页页面中包含的是代码，通过对加载的原始网页页面进行处理，得到初始网页页面，而初始网页页面中包含的是对象，例如初始网页页面中包含初始网页页面的文本信息，但是从原始网页页面中无法读取文本信息，所以，经过对加载的原始网页页面进行处理后可以读取到初始网页的文本信息，进而最终来获取原始网页页面的文本信息。
[0060]查找模块22，连接至加载模块21，用于从初始网页页面中查找到按钮集合；
[0061]在上述查找模块22中，在得到初始网页页面后，从上述初始网页页面中查找得到按钮集合，由于初始网页页面中包含的是对象，所以可以从初始网页页面中来查找按钮集合，得到按钮集合后可以进一步生成目标网页页面，以完整地获取原始网页页面的文本信肩、O
[0062]生成模块23，连接至查找模块22，用于依据按钮集合创建和触发目标网页页面的点击事件，生成目标网页页面。
[0063]在上述生成模块23中，在得到按钮集合后，依据按钮集合通过调用创建函数创建初始网页页面的点击事件，并通过调用触发函数触发初始网页页面的点击事件，即模拟浏览器的点击事件对上述按钮集合进行点击，最后生成目标网页页面，通过模拟浏览器的点击行为可以生成目标网页页面，得到目标网页页面才能将原始网页页面所链接的所有下一页网页页面找到，这样，才能够保证最终获取到的原始网页页面的所链接的所有下一页网页页面的完整性。
[0064]读取模块24，连接至生成模块25，用于读取目标网页页面的文本信息。
[0065]在上述读取模块24中，在生成目标网页页面之后，由于是在phantomjs中生成的目标网页页面，所以可以从目标网页页面中读取目标网页页面的文本信息，只有得到目标网页页面的文本信息，才能保证原始网页页面的文本信息的完整性。
[0066]获取模块25，连接至读取模块24，用于依据初始网页页面的文本信息和目标网页页面的文本信息获取原始网页页面的文本信息。
[0067]在上述获取模块25中，在得到初始网页页面的文本信息和目标网页页面的文本信息后，通过初始网页页面的文本信息和目标网页页面的文本信息来读取原始网页页面的文本信息，这样，将初始网页页面所链接的所有下一页网页页面的文本信息都读取到，使得原始网页页面的文本信息中没有遗漏，最终读取到原始网页页面的全文内容。
[0068]本申请上述实施例2的装置，提供了一种网页页面内容的获取装置，该装置通过加载模块21对加载的原始网页页面进行处理，生成初始网页页面，以读取初始网页页面的文本信息，通过查找模块22从初始网页页面中查找到按钮集合，通过生成模块23依据按钮集合创建和触发初始网页页面的点击事件，生成目标网页页面，通过读取模块24读取目标网页页面的文本信息，通过获取模块25依据初始网页页面的文本信息和目标网页页面的文本信息获取原始网页页面的文本信息，与现有技术相比，达到了完整地智能获取网页页面内容的目的。
[0069]一种优选的方案中，该装置包括图2所示的所有结构外，还包括:判断模块，下面对该装置进行说明。
[0070]判断模块，连接至加载模块21与查找模块22之间，用于从初始网页页面中查找到按钮集合之前，调用判断函数判断初始网页页面是否存在点击按钮，得到判断结果。
[0071]在上述判断模块中，是利用phantomjs构建一个浏览平台，对加载的原始网页页面进行处理，得到初始网页页面，而初始网页页面中包含的是对象，通过调用判断函数判断初始网页页面中是否存在点击按钮，例如，可以根据使用者的需求配置点击按钮，开发人员在设计时根据用户的需求提前配置好点击按钮，这样灵活的配置可以满足不同用户的不同需求，帮助用户有选择地读取原始网页页面的文本信息。
[0072]一种优选的方案中，该装置包括上述结构，其中，该查找模块包括:第一查找单元和第二查找单元，下面对该装置进行说明。
[0073]第一查找单元，用于在判断结果为存在点击按钮的情况下，从初始网页页面中查找到目标网页页面按钮包括:调用第一查找函数从初始网页页面中查找点击按钮，以得到按钮集合。
[0074]在上述第一查找单元中，在得出的判断结果为存在点击按钮的情况下，也就是说，已经配置好需要点击的对象，所以，上述从初始网页页面中查找到按钮集合的步骤就包括:通过第一查找函数来查找点击按钮，其中，第一查找函数是用于查找已经配置好的点击按钮的，这样，在根据需求配置好需要点击的对象后，直接查找点击按钮，可以满足用户的需求。
[0075]第二查找单元，连接至第一查找单元，用于在判断结果为不存在点击按钮的情况下，从初始网页页面中查找到目标网页页面按钮包括:调用第二查找函数从初始网页页面中查找点击元素、标签、翻页类，以得到按钮集合。
[0076]在上述第二查找单元中，在得出的判断结果为不存在点击按钮的情况下，也就是说，没有配置好的点击的对象，所以，上述从初始网页页面中查找到按钮集合的步骤就包括:通过第二查找函数来查找点击按钮，其中，第二查找函数是用于查找智能判断中所包含的类型，其中，查找智能判断包括:查找所有button元素、查找所有<a>标签和如果网页加载了 bootstrap,查找bootstrap中对应的翻页类class ;在查找到的智能判断后,则上述按钮集合为查找到的智能判断；通过第二查找函数的查找，将未进行配置点击按钮的初始网页页面通过查找智能判断的方法得到按钮集合；这种智能查找网页按钮集合的方法使得可以更加高效更加智能地获取原始网页页面的全文信息，并且上述方法适应性强，可以广泛应用于翻页技术进行智能判断，也可以根据配置进行更高效的判断。
[0077]一种优选的方案中，，该装置上述结构，其中，该获取模块25包括:比较单元，下面对该装置进行说明。
[0078]比较单元，用于依据初始网页页面的文本信息和目标网页页面的文本信息获取原始网页页面的文本信息之前，通过调用比较函数对初始网页页面的文本信息和目标网页页面的文本信息进行比较，比较初始网页页面的文本信息和目标网页页面的文本信息是否相同。
[0079]在上述比较单元中，在得到初始网页页面的文本信息和目标网页页面的文本信息后，调用比较函数，对初始网页页面的文本信息和目标网页页面的文本信息进行比较分析，得到初始网页页面的文本信息和目标网页页面的文本信息是否相同，比较的目的在于需要得到目标网页页面的文本信息是否与初始网页页面的文本信息存在内容上的差异，上述比较函数有个明确的算法，即:将每个页面标签的包含关系构建为一颗树，这颗树的每个节点即为某个页面标签。该算法的目的是比较两个网页的页面结构是否相似。首先获取到两颗树每两个叶子节点之间的最近公共祖先，每个叶子节点的公共祖先中，可能存在公共祖先就为自身的叶子节点，计算这样的叶子节点在所有叶子节点中所占的比例，超过一个定值则为相似网页。
[0080]一种优选的方案中，，该装置包括上述结构外，其中该获取模块25还包括:第一获取单元或第二获取单元，下面对该装置进行说明。
[0081]第一获取单元，连接至比较单元，用于在比较初始网页页面的文本信息和目标网页页面的文本信息相同的情况下，则目标网页页面的文本信息为原始网页页面的文本信肩、O
[0082]在上述第一获取单元中，在对初始网页页面的文本信息和目标网页页面的文本信息进行比较分析后，得到比较结果为初始网页页面的文本信息和目标网页页面的文本信息相同的情况下，说明得到的目标网页页面的文本信息中没有新的内容，所以，目标网页页面的文本信息为原始网页页面的文本信息。
[0083]或，第二获取单元，连接至比较单元，用于在所述初始网页页面的文本信息和目标网页页面的文本信息不相同的情况下，调用并集函数对初始网页页面的文本信息和目标网页页面的文本信息取并集，以获取原始网页页面的文本信息。
[0084]在上述第二获取单元中，在对初始网页页面的文本信息和目标网页页面的文本信息进行比较分析后，得到比较结果为初始网页页面的文本信息和目标网页页面的文本信息不相同的情况下，说明得到的目标网页页面的文本信息中有新的内容，通过调用并集函数对初始网页页面的文本信息和目标网页页面的文本信息取并集，将初始网页页面的文本信息和目标网页页面的文本信息的内容汇集起来作为原始网页页面的文本信息，然后从上述目标网页页面查找按钮集合，在得到按钮集合的情况下，模拟浏览器进行点击，以读取目标网页页面的下一页网页页面的文本信息，在求并集，这样循环下去，直至不能查找到下一页网页页面的按钮集合为止，这样，就得到了完整地原始网页页面的文本信息，通过全自动化且可并发的对网页进行分析，可以高效智能地获取全文信息。
[0085]本发明提出的一种网页页面内容的获取装置，通过加载模块21对加载的原始网页页面进行处理，生成初始网页页面，以读取初始网页页面的文本信息，通过查找模块22从初始网页页面中查找到按钮集合，通过生成模块23依据按钮集合创建和触发初始网页页面的点击事件，生成目标网页页面，通过读取模块24读取目标网页页面的文本信息，通过获取模块25依据初始网页页面的文本信息和目标网页页面的文本信息获取原始网页页面的文本信息；因此，本申请提供了一种高效地智能获取目标网页页面内容的装置，即力口载原始网页页面之后，生成初始网页页面后可以读取初始网页页面的文本信息，然后从初始网页页面中查找按钮集合，智能查找按钮集合使得自动化地对初始网页页面进行查找，从而创建和触发初始网页页面的点击事件，生成目标网页页面，读取目标网页页面的文本信息，最后通过初始网页页面的文本信息和目标网页页面的文本信息获取原始网页页面的文本信息，那么原始网页信息中包含了初始网页页面的按钮集合所链接的目标网页页面的文本信息，使得得到的原始网页页面的文本信息更加完整，所以，通过上述装置，可以解决了相关技术中利用翻页按钮获取网页页面内容的问题，达到了获取网页页面全文内容的效果O
[0086]需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0087]在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0088]在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0089]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0090]另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0091]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、移动终端、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM, Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0092]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种网页页面内容的获取方法，其特征在于，包括: 对加载的原始网页页面进行处理，生成初始网页页面，以读取所述初始网页页面的文本信息； 从所述初始网页页面中查找到按钮集合； 依据所述按钮集合创建和触发所述初始网页页面的点击事件，生成目标网页页面； 读取所述目标网页页面的文本信息； 依据所述初始网页页面的文本信息和所述目标网页页面的文本信息获取所述原始网页页面的文本信息。
2.根据权利要求1所述的方法，其特征在于，在从所述初始网页页面中查找到按钮集合之前，所述方法还包括: 调用判断函数判断所述初始网页页面是否存在所述点击按钮，得到判断结果。
3.根据权利要求2所述的方法，其特征在于，在所述判断结果为存在所述点击按钮的情况下，从所述初始网页页面中查找到按钮集合的步骤包括: 调用第一查找函数从所述初始网页页面中查找所述点击按钮，以得到所述按钮集合； 在所述判断结果为不存在所述点击按钮的情况下，从所述初始网页页面中查找到按钮集合的步骤包括:调用第二查找函数从所述初始网页页面中查找点击元素、标签、翻页类，以得到所述按钮集合。
4.根据权利要求1所述的方法，其特征在于，在依据所述初始网页页面的文本信息和所述目标网页页面的文本信息获取所述原始网页页面的文本信息之前，所述方法还包括: 通过调用比较函数对所述初始网页页面的文本信息和所述目标网页页面的文本信息进行比较，比较所述初始网页页面的文本信息和所述目标网页页面的文本信息是否相同。
5.根据权利要求4所述的方法，其特征在于，依据所述初始网页页面的文本信息和所述目标网页页面的文本信息获取所述原始网页页面的文本信息的步骤包括: 在比较所述初始网页页面的文本信息和所述目标网页页面的文本信息相同的情况下，则所述目标网页页面的文本信息为所述原始网页页面的文本信息； 或，在比较所述初始网页页面的文本信息和所述目标网页页面的文本信息不相同的情况下，调用并集函数对所述初始网页页面的文本信息和所述目标网页页面的文本信息取并集，以获取所述原始网页页面的文本信息。
6.一种网页页面内容的获取装置，其特征在于，包括: 加载模块，用于对加载的原始网页页面进行处理，生成初始网页页面，以读取所述初始网页页面的文本信息； 查找模块，用于从所述初始网页页面中查找到按钮集合； 生成模块，用于依据所述按钮集合创建和触发目标网页页面的点击事件，生成所述目标网页页面； 读取模块，用于读取所述目标网页页面的文本信息； 获取模块，用于依据所述初始网页页面的文本信息和所述目标网页页面的文本信息获取所述原始网页页面的文本信息。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括: 判断模块，用于从所述初始网页页面中查找到按钮集合之前，调用判断函数判断所述初始网页页面是否存在点击按钮，得到判断结果。
8.根据权利要求7所述的装置，其特征在于，所述查找模块包括: 第一查找单元，用于在所述判断结果为存在所述点击按钮的情况下，从所述初始网页页面中查找到目标网页页面按钮包括:调用第一查找函数从所述初始网页页面中查找所述点击按钮，以得到所述按钮集合； 第二查找单元，用于在所述判断结果为不存在所述点击按钮的情况下，从所述初始网页页面中查找到目标网页页面按钮包括:调用第二查找函数从所述初始网页页面中查找点击元素、标签、翻页类，以得到所述按钮集合。
9.根据权利要求6所述的装置，其特征在于，所述获取模块包括: 比较单元，用于依据所述初始网页页面的文本信息和所述目标网页页面的文本信息获取所述原始网页页面的文本信息之前，通过调用比较函数对所述初始网页页面的文本信息和所述目标网页页面的文本信息进行比较，比较所述初始网页页面的文本信息和所述目标网页页面的文本信息是否相同。
10.根据权利要求9所述的装置，其特征在于，所述获取模块还包括: 第一获取单元，用于在比较所述初始网页页面的文本信息和所述目标网页页面的文本信息相同的情况下，则所述目标网页页面的文本信息为所述原始网页页面的文本信息； 或，第二获取单元，用于在比较所述初始网页页面的文本信息和所述目标网页页面的文本信息不相同的情况下，调用并集函数对所述初始网页页面的文本信息和所述目标网页页面的文本信息取并集，以获取所述原始网页页面的文本信息。
【文档编号】G06F17/30GK104408198SQ201410779588
【公开日】2015年3月11日 申请日期:2014年12月15日 优先权日:2014年12月15日
【发明者】李浛天 申请人:北京国双科技有限公司