专利名称:一种在对等网络中建立索引的方法、装置与系统的制作方法
技术领域:
本发明涉及网络搜索技术领域,尤其涉及一种在对等网络中建立索引的技术。
背景技术:
目前,互联网中的各种信息量呈爆炸式增长。传统地,当互联网用户需要在浩瀚的网络资源中获得特定的资源时,要通过搜索服务器对网络中的大量资源进行搜索才可能达成目标。在传统的客户机/服务器组网模式中,用户通过搜索服务器进行网络资源的搜索,搜索服务器根据其建立的索引为用户提供相应的搜索结果。在此过程中,该索引是影响用户的搜索体验的关键因素之一。索引的建立,一方面受限于搜索服务器的处理性能,即搜索服务器需要具备较高的运算处理能力,以进行大量而广泛的资源爬取与处理;另一方面受限于网络带宽,即需要足够的网络带宽以支持搜索服务器的资源爬取,这两方面的限制进一步导致索引建立效率的降低,从而影响用户使用。由此,搜索服务器的性能以及网络带宽制约已成为互联网搜索技术发展的瓶颈。有鉴于此,有必要提出一种对等网络中建立索引的技术,以解决传统的互联网搜索技术的问题,例如,可有效解决因服务器性能和/或网络带宽限制导致的搜索效率低下等问题。
发明内容
本发明的目的是提供一种在对等网络中建立索引的方法、装置与系统。根据本发明的一个方面,提供了一种在对等网络的第一节点中建立索引的方法, 其中,该方法包括以下步骤A接收自至少一第二节点发送的至少一第二索引;B对所述至少一第二索引进行优选,以建立与所述第二索引相对应的第一索引。根据本发明的另一个方面,提供了一种在对等网络的第二节点中辅助第一节点建立索引的方法,其中,该方法包括以下步骤a获取第一级资源爬取任务;b根据所述第一级资源爬取任务进行资源爬取,以建立与所述第一级资源爬取任务相对应的第二索引;c发送所述第二索引至至少一第一节点。根据本发明的又一个方面,还提供了一种在对等网络的网络设备中辅助建立索引的方法,其中,该方法包括-预设第一节点信息;-获取登入所述对等网络中的至少一节点的信息;-当所述节点的信息符合所述第一节点信息时,发送第一节点指定信息至所述节
点ο
根据本发明的一个方面,提供了一种用于在对等网络中建立索引的第一节点,其中,该第一节点包括第一索引接收装置,用于接收自至少一第二节点发送的至少一第二索引;第一索引处理装置,用于对所述至少一第二索引进行优选,以建立与所述第二索引相对应的第一索引。根据本发明的另一个方面,还提供了一种用于在对等网络中辅助第一节点建立索引的第二节点,其中,该第二节点包括第二任务获取装置,用于获取第一级资源爬取任务;第二索引建立装置,用于根据所述第一级资源爬取任务进行资源爬取,以建立与所述第一级资源爬取任务相对应的第二索引;第二索引发送装置,用于发送所述第二索引至至少一第一节点。根据本发明的又一个方面,还提供了一种用于在对等网络中辅助建立索引的网络设备,其中,该网络设备包括节点信息设定装置,用于预设第一节点信息;节点信息获取装置,用于获取登入所述对等网络中的至少一节点的信息;节点指定装置,用于当所述节点的信息符合所述第一节点信息时,发送第一节点指定信息至所述第一节点。根据本发明的再一方面,还提供了一种用于在对等网络中建立索引的系统,该系统包括如前述根据本发明的一个方面的用于在对等网络中建立索引的第一节点以及如前述根据本发明的另一个方面的在对等网络中辅助第一节点建立索引的第二节点。根据本发明的还一方面,还提供了一种用于在对等网络中建立索引的系统,该系统包括如前述根据本发明的一个方面的用于在对等网络中建立索引的第一节点,如前述根据本发明的另一个方面的用于在对等网络中辅助第一节点建立索引的第二节点,以及如前述根据本发明的又一个方面的用于在对等网络中辅助建立索引的网络设备。由此,通过本发明的网络搜索方法与装置、系统,可有效解决传统的互联网搜索技术的问题,如因服务器性能和/或网络带宽限制导致的搜索效率低下等问题。此外,本发明还可以提高对等网络中资源搜索效率。本发明中,由第一节点和第二节点组成的系统,通过由第二节点根据第一级资源爬取任务建立第二索引,第一节点根据第二索引建立第一索引来实现该系统的索引建立。 在此,第二节点根据第一级资源爬取任务建立第二索引,使得第二索引中资源的来源可以根据对等网络中的节点进行扩展,从而比仅根据第二节点自身存储的资源建立的索引,获得更多的资源及其来源;并且,第一节点对从第二节点接收的第二索引进行优选,以获得第一索引,从而在减轻第一节点的索引存储及读取压力的基础上,获得较好的资源索引。进一步地,第一节点也可以根据资源爬取任务获得的资源更新信息,更新其第一索引,从而扩展第一索引中的资源及其来源。其中,为了有效利用第二节点的资源爬取能力,第一节点不仅可以向第二节点发送完整的资源爬取任务,还可以将完整的资源爬取任务拆分成多个资源爬取任务发送给第二节点,从而确保第一节点能够获得包括较全面的资源及其来源的第一索引。进一步地,在基于前述由第一节点和第二节点组成的系统进行资源搜索时,由于第一索引由多个第二索引优选获得,系统可从第一节点向第二节点逐级进行查找,以有效提高资源搜索效率。本发明中,由第一节点、第二节点和网络设备组成的系统,通过由网络设备指定对等网络中的节点成为第一节点;第二节点根据第一级资源爬取任务建立第二索引,第一节点根据第二索引建立第一索引来实现该系统的索引建立。进一步地,第一节点将第一索引发送至网络设备,网络设备对第一索引优选后,建立本地索引,从而在减轻网络设备及第一节点的索引存储及读取压力的基础上,获得较好的资源索引。其中,为了有效利用第一节点及第二节点的资源爬取能力,网络设备将初始资源爬取任务拆分为多个资源爬取任务发送给第一节点,第一节点即可以向第二节点发送完整的资源爬取任务,也可以将完整的资源爬取任务拆分成多个资源爬取任务发送给第二节点,以确保第一节点能够获得与其资源爬取任务相对应且较全面的第一索引,从而确保网络设备能够获得包括较全面的资源及其来源的本地索引。进一步地,在基于前述由第一节点、第二节点和网络设备组成的系统进行资源搜索时,由于本地索引由多个第一索引优选获得,第一索引由多个第二索引优选获得,系统可从网络设备向第一节点、第二节点逐级进行查找,以有效提高资源搜索效率。
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显图1示出根据本发明一个方面的对等网络中的第一节点和第二节点配合实现建立索引的系统拓扑图;图2示出根据本发明一个方面的对等网络中配合实现建立索引的第一节点和第二节点的装置示意图;图3示出根据本发明一个优选实施例的对等网络中配合实现建立索引的第一节点和第二节点的装置示意图;图4示出根据本发明另一个优选实施例的对等网络中配合实现建立索引及进行资源搜索的第一节点和第二节点的装置示意图;图5示出根据本发明一个方面的用于对等网络中第一节点和第二节点配合实现建立索引的方法流程图;图6示出根据本发明一个优选实施例的用于对等网络中第一节点和第二节点配合实现建立索引的方法流程图;图7示出本发明另一个优选实施例的用于对等网络中第一节点和第二节点配合实现建立索引及进行资源搜索的方法流程图;图8示出根据本发明一个方面的对等网络中第一节点、第二节点以及网络设备配合实现建立索引的系统拓扑图;图9示出根据本发明一个方面的对等网络中配合实现建立索引的第一节点、第二节点以及网络设备的装置示意图;图10示出根据本发明一个优选实施例的用于对等网络中配合实现建立索引的第一节点、第二节点以及网络设备的装置示意图11示出根据本发明另一个优选实施例的用于对等网络中配合实现建立索引的第一节点、第二节点以及网络设备的装置示意图;图12示出根据本发明一个方面的用于对等网络中第一节点、第二节点以及网络设备配合实现建立索引的方法流程图;图13示出根据本发明一个优选实施例的用于对等网络中第一节点、第二节点以及网络设备配合实现建立索引的方法流程图;图14示出本发明另一个优选实施例的用于对等网络中第一节点、第二节点以及网络设备配合实现建立索引及进行资源搜索的方法流程图。附图中相同或相似的附图标记代表相同或相似的部件。
具体实施例方式下面结合附图对本发明作进一步详细描述。图1为根据本发明一个方面的系统拓扑图,示出对等网络中的第一节点和第二节点配合实现建立索引的系统。其中,该系统包括多个第一节点10以及多个与之经由网络相连接的第二节点20。具体地,一个第一节点10可与多个第二节点20经由网络相连接,第二节点20获取第一级资源爬取任务,并根据所述第一级资源爬取任务进行资源爬取,以建立与所述第一级资源爬取任务相对应的第二索引,并发送所述第二索引至对应的至少一第一节点10 ;相应地,对应的第一节点10接收自至少一第二节点20发送的至少一第二索引,并对所述至少一第二索引进行优选,以建立与所述第二索引相对应的第一索引。在此,“网络”包括但不限于电信网络、有线电视网络、计算机网络等各种网络;其中,计算机网络是用通信线路和通信设备将分布在不同地点的多台自治计算机系统互相连接起来,按照共同的网络协议,共享硬件、软件和数据资源的系统。为简化说明起见,本发明以计算机网络为例对网络进行阐述,尤其以因特网为例予以说明,然而,本领域的技术人员应能理解,该种举例仅为简便地阐述本发明之用,而不应理解为对本发明的任何限制。此外,第一节点10和第二节点20包括但不限于接入网络中的任何网络设备或用户设备,其中,网络设备包括但不限于网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合,在此,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机;用户设备包括但不限于任何一种能与用户进行交互的电子产品,例如计算机、手机、PDA、平板电脑、PSP、掌上电脑PPC等。进一步地,第一节点10与第二节点20通过点对点或对等(Peer to Peer ;P2P)协议通信,从而第一节点10与第二节点20更组成对等网络。具体地,第一节点10与第二节点 20可通过如Skype与Coolstream等平台进行通信和/或交互,又或是通过例如Napster、 Gnotella、Freenet、CAN、eDonkey、eMule、BitTorrent 等对等协议进行通信,实现资源共享或交互。然而,本领域的技术人员应能理解,本发明中,第一节点10与第二节点20组成对等网络,并通过对等协议通信,并不限于上述举例的各种协议,其他现有的或今后可能出现的基于对等网络的通信或传输协议、和/或组网模式如可适用于本发明,也应包含在本发明保护范围以内,并以引用方式包含于此。本领域技术人员应能理解上述第一节点、第二节点以及连接其间的网络及通信方式仅为举例,其他现有的或今后可能出现的第一节点、第二节点、或者连接其间的网络、或者通信方式如可适用于本发明,也应包含在本发明保护范围以内,并以引用方式包含于此。本领域技术人员还应能理解,图1中仅为简明起见而示出的各类网络元素的数量可能小于一个实际网络中的数量,但这种省略无疑地是以不会影响对本发明进行清楚、充分的公开为前提的。为简明起见,下面以一个第一节点10、多个第二节点20组成的系统为例进行描述。本领域技术人员应能理解,多个第一节点10中的每一个可以同时与其对应的多个第二节点20交互。具体地,一个第一节点10可与多个第二节点20经由对等协议相连接,多个第二节点20分别获取第一级资源爬取任务,并根据所述第一级资源爬取任务进行资源爬取, 以建立与所述第一级资源爬取任务相对应的第二索引;多个节点20还分别发送所述第二索引至与其对应连接的至少一个第一节点10,相应地,对应的第一节点10接收自多个第二节点20分别发送的第二索引,并对所述多个第二索引进行优选,以建立与所述第二索引相对应的第一索引。在本发明中,所述优选,包括但不限于对所述多个第二索引进行排序、筛选、去重、合并、和/或对所述第二索引中的资源信息进行权值调整等。本领域的技术人员应能理解,上述处理方式仅为举例说明优选之方式,而并不应理解为对本发明的任何限制。图2为根据本发明一个方面的装置示意图,示出对等网络中配合实现建立索引的第一节点和第二节点。其中,第一节点10与至少一个第二节点20通过对等网络通信或交互。在本发明的一个优选实施例中,所述第一节点10通过对等协议与所述第二节点20组成/或加入对等网络,并通过所述对等协议通信或交互;其中,所述对等协议包括但不限于基于Skype与Coolstream的平台进行通信或交互,以及如Napster、Gnotella、Freenet、 CAN、eDonkey, eMule、BitTorrent等协议。然而,本领域技术人员应能理解,本发明所述对等协议并不限于上述举例的各种协议,其他现有的或今后可能出现的基于对等网络的通信或传输协议、和/或组网模式如可适用于本发明,也应包含在本发明保护范围以内,并以引用方式包含于此。优选地,第一节点10可通过对等协议与多个第二节点20通信和/或交互。为简明阐述起见,本实施例中仅以一个第一节点10与一个第二节点20为例予以说明。但是,本领域技术人员应能理解,在本发明的其他实施方式中,多个第一节点10中的每一个可以同时与其对应的多个第二节点20交互。具体地,第一节点10包括第一索引接收装置211和第一索引处理装置212,第二节点20包括第二任务获取装置221、第二索引建立装置222和第二索引发送装置223。更具体地,第二节点20的第二任务获取装置221获取第一级资源爬取任务;接着,第二索引建立装置222根据所述第一级资源爬取任务进行资源爬取,以建立与所述第一级资源爬取任务相对应的第二索引;随后,第二索引发送装置223将所述第二索引发送至第一节点10,相应地,第一节点10的第一索引接收装置211接收自第二节点20发送的第二索引;接着,第一索引处理装置212对所述第二索引进行优选,以建立与所述第二索引相对应的第一索引。具体地,第二节点20的第二任务获取装置221获取第一级资源爬取任务。在此,所述第一级资源爬取任务可以来自用户或者来自第一节点10,所述第一级资源爬取任务包括但不限于爬取特定的资源、爬取包括特定资源的网页、或者爬取特定网络节点等。例如,用户经由键盘向第二节点20输入第一级资源爬取任务,如爬取包括特定关键字的新闻资源, 指向、包括和/或链接至该新闻资源的网页和/或网络节点;相应地,第二节点20的第二任务获取装置221通过接收该用户输入的该第一级资源爬取任务获取相应的第一级资源爬取任务。在此,本领域技术人员应能理解,本发明所述的网络资源以及获取第一级资源爬取任务的方式,并不限于前文所列举之资源,所有存储于现有网络中的各种资源以及网页链接,或者获取第一级资源爬取任务的方式,均不脱离本发明之范畴。第二节点20的第二索引建立装置222根据第二任务获取装置221获取的第一级资源爬取任务进行资源爬取,并建立与所述第一级资源爬取任务相对应的第二索引。在此,第二索引建立装置222进行资源爬取的操作可以通过网络爬取工具,诸如网络爬虫 (crawler)、网络蜘蛛(spider)或者机器人(robot)等执行。所述第二索引包括但不限于资源的关键字信息以及资源的地址信息;在本发明的其他实施例中,所述第二索引还可以进一步包括其他附加信息,诸如所述资源来源的权威度信息、所述资源的更新时间信息以及所述资源的用户访问量信息等。为简明起见,本发明仅以所述第二索引包括资源的关键字信息以及资源的地址信息为例予以说明。举例而言,第二任务获取装置201获取的第一级资源爬取任务为爬取特定的多媒体影音资源,如影片《乱世佳人》,指向或包括《乱世佳人》 的网页,以及存储《乱世佳人》的网络节点;第二索引建立装置202依据所述第一级资源爬取任务爬取指向或包括《乱世佳人》的网页,和/或储存《乱世佳人》的网络节点,并建立第二索引,如下表一所示
权利要求
1.一种在对等网络的第一节点中建立索引的方法,其中,该方法包括以下步骤 A接收自至少一第二节点发送的至少一第二索引;B对所述至少一第二索引进行优选,以建立与所述第二索引相对应的第一索引。
2.根据权利要求1所述的方法,其中,该方法还包括 M获取资源爬取任务;N将所述资源爬取任务作为第一级资源爬取任务发送至所述至少一第二节点; 其中,所述步骤A包括-接收自所述至少一第二节点发送的基于所述第一级资源爬取任务的所述至少一第二索引。
3.根据权利要求2所述的方法,其中,所述步骤N包括-拆分所述资源爬取任务,以获得与所述资源爬取任务相对应的资源爬取子任务; -将所述资源爬取子任务作为所述第一级资源爬取任务发送至所述至少一第二节点。
4.根据权利要求2或3所述的方法,其中,该方法还包括-根据所述资源爬取任务进行资源爬取,以获得与所述资源爬取任务相对应的资源更新信息;-根据所述资源更新信息,更新所述第一索引。
5.根据权利要求1至4中任一项所述的方法,其中,该方法还包括步骤P -获取搜索指令;-根据所述搜索指令搜索所述第一索引,以获得与所述搜索指令相对应的第一搜索结^ ο
6.根据权利要求5所述的方法,其中,该方法还包括 -发送所述搜索指令至所述第二节点;-接收自所述第二节点发送的基于所述搜索指令的第二搜索结果; -根据所述第二搜索结果,更新所述第一搜索结果。
7.根据权利要求1至6中任一项所述的方法,其中,该方法还包括 -接收来自网络设备的第一节点指定信息;-依据所述第一节点指定信息成为第一节点。
8.根据权利要求7所述的方法,其中,权利要求7包括权利要求2至4中任一项所述的方法,其中,所述步骤M包括-接收来自所述网络设备的所述资源爬取任务; 其中,该方法还包括 R发送所述第一索弓I至所述网络设备。
9.根据权利要求8所述的方法,其中,所述步骤R包括-对所述第一索引进行筛选,以获得筛选后的所述第一索引; -将所述筛选后的第一索引发送至所述网络设备。
10.根据权利要求7至9中任一项所述的方法,其中,权利要求7包括权利要求5或6 所述的方法,其中,所述步骤P包括-接收来自所述网络设备的所述搜索指令; 其中,该方法还包括-发送所述第一搜索结果至所述网络设备。
11.一种在对等网络的第二节点中辅助第一节点建立索引的方法,其中,该方法包括以下步骤a获取第一级资源爬取任务;b根据所述第一级资源爬取任务进行资源爬取,以建立与所述第一级资源爬取任务相对应的第二索引;c发送所述第二索引至至少一第一节点。
12.根据权利要求11所述的方法,其中,所述步骤c包括 -对所述第二索引进行筛选,以获得筛选后的第二索引;-将所述筛选后的第二索引发送至所述至少一第一节点。
13.根据权利要求11或12所述的方法,其中,所述第一级资源爬取任务包括来自所述第一节点的资源爬取任务或者资源爬取子任务。
14.根据权利要求11至13中任一项所述的方法,其中,该方法还包括 -接收来自所述第一节点的搜索指令;-根据所述搜索指令搜索所述第二索引,以获得与所述搜索指令相对应的第二搜索结果;-发送所述第二搜索结果至所述第一节点。
15.一种在对等网络的网络设备中辅助建立索引的方法,其中,该方法包括 -预设第一节点信息;-获取登入所述对等网络中的至少一节点的信息;-当所述节点的信息符合所述第一节点信息时,发送第一节点指定信息至所述节点。
16.根据权利要求15所述的方法,其中,该方法还包括 X接收自至少一所述第一节点发送的至少一第一索引;Y对所述至少一第一索引进行优选,以获取与所述第一索引相对应的本地索引。
17.根据权利要求16所述的方法,其中,该方法还包括 -获取初始资源爬取任务;-拆分所述初始资源爬取任务,以获取与所述初始资源爬取任务相对应的资源爬取任务;-发送所述资源爬取任务至所述至少一第一节点; 其中,所述步骤X包括-接收自所述至少一第一节点发送的基于所述资源爬取任务的所述至少一第一索引。
18.根据权利要求16或17所述的方法,其中,该方法还包括 -获取搜索指令;-根据所述搜索指令,搜索所述本地索引,以获得与所述搜索指令相对应的本地搜索结果 ο
19.根据权利要求18所述的方法,其中,该方法还包括 -发送所述搜索指令至所述第一节点;-接收自所述第一节点发送的基于所述搜索指令的第一搜索结果; -根据所述第一搜索结果,更新所述本地搜索结果。
20.一种用于在对等网络中建立索引的第一节点,其中,该第一节点包括 第一索引接收装置,用于接收自至少一第二节点发送的至少一第二索引;第一索引处理装置,用于对所述至少一第二索引进行优选,以建立与所述第二索引相对应的第一索引。
21.根据权利要求20所述的第一节点,其中,该第一节点还包括 第一任务获取装置,用于获取资源爬取任务;第一任务处理装置,用于将所述资源爬取任务作为第一级资源爬取任务发送至所述至少一第二节点;其中,所述第一索引接收装置用于-接收自所述至少一第二节点发送的基于所述第一级资源爬取任务的所述至少一第二索引。
22.根据权利要求21所述的第一节点,其中,所述第一任务处理装置用于 -拆分所述资源爬取任务,以获得与所述资源爬取任务相对应的资源爬取子任务; -将所述资源爬取子任务作为第一级资源爬取任务发送至所述至少一第二节点。
23.根据权利要求21或22所述的第一节点,其中,该第一节点还包括第一索引更新装置,所述第一索引更新装置用于-根据所述资源爬取任务进行资源爬取,以建立与所述资源爬取任务相对应的资源更新信息;-根据所述资源更新信息,更新所述第一索引。
24.根据权利要求20至23中任一项所述的第一节点,其中,该第一节点还包括第一搜索装置,所述第一搜索装置用于-获取搜索指令;-根据所述搜索指令搜索所述第一索引,以获取与所述搜索指令相对应的第一搜索结^ ο
25.根据权利要求M所述的第一节点,其中,所述第一搜索装置还用于 -发送所述搜索指令至所述第二节点;-接收自所述第二节点发送的基于所述搜索指令的第二搜索结果; -根据所述第二搜索结果,更新所述第一搜索结果。
26.根据权利要求20至25中任一项所述的第一节点,其中,该第一节点还包括节点执行装置,其中,所述节点执行装置用于-接收来自网络设备的第一节点指定信息;-根据所述第一节点指定信息指定所述节点成为第一节点。
27.根据权利要求沈所述的第一节点,其中,权利要求沈包括权利要求21至23中任一项所述的第一节点,其中,所述第一任务获取装置还用于-接收来自所述网络设备的所述资源爬取任务; 其中,该第一节点还包括第一索引发送装置,用于发送所述第一索引至所述网络设备。
28.根据权利要求27所述的第一节点,其中,所述第一索引发送装置用于 -对所述第一索引进行筛选,以获得筛选后的所述第一索引;-将所述筛选后的第一索引发送至所述网络设备。
29.根据权利要求沈至观中任一项所述的第一节点,其中,权利要求沈包括权利要求 24或25所述的第一节点,其中,所述第一搜索装置还用于-接收来自所述网络设备的所述搜索指令; -发送所述第一搜索结果至所述网络设备。
30.一种用于在对等网络中辅助第一节点建立索引的第二节点,其中,该第二节点包括第二任务获取装置,用于获取第一级资源爬取任务;第二索引建立装置,用于根据所述第一级资源爬取任务进行资源爬取,以建立与所述第一级资源爬取任务相对应的第二索引;第二索引发送装置,用于发送所述第二索引至至少一第一节点。
31.根据权利要求30所述的第二节点,其中,所述第二索引发送装置用于 -对所述第二索引进行筛选,以获得筛选后的第二索引;-将所述筛选后的第二索引发送至所述至少一第一节点。
32.根据权利要求30或31所述的第二节点,其中,所述第一级资源爬取任务包括来自所述第一节点的第一级资源爬取任务或者资源爬取子任务。
33.根据权利要求30至32中任一项所述的第二节点,其中,该第二节点还包括第二搜索装置,所述第二搜索装置用于-接收来自所述第一节点的搜索指令;-根据所述搜索指令搜索所述第二索引,以获得与所述搜索指令相对应的第二搜索结果;-发送所述第二搜索结果至所述第一节点。
34.一种用于在对等网络中辅助建立索引的网络设备,其中,该网络设备包括 节点信息设定装置,用于预设第一节点信息;节点信息获取装置,用于获取登入所述对等网络中的至少一节点的信息; 节点指定装置,用于当所述节点的信息符合所述第一节点信息时,发送第一节点指定信息至所述第一节点。
35.根据权利要求34所述的网络设备,其中,该网络设备还包括索引接收装置,用于接收自至少一所述第一节点发送的至少一第一索引; 本地索引获取装置,用于对所述至少一第一索引进行优选,以获取与所述第一索引相对应的本地索引。
36.根据权利要求35所述的网络设备,其中,该网络设备还包括任务处理装置,所述任务处理装置用于-获取初始资源爬取任务;-拆分所述初始资源爬取任务,以获取与所述初始资源爬取任务相对应的资源爬取任务;-发送所述资源爬取任务至所述至少一第一节点; 其中,所述索引接收装置用于-接收自所述至少一第一节点发送的基于所述资源爬取任务的至少一第一索引。
37.根据权利要求35或36所述的网络设备,其中,该网络设备还包括本地搜索装置,所述本地搜索装置用于-获取搜索指令;-根据所述搜索指令,搜索所述本地索引,以获得与所述搜索指令相对应的本地搜索结果。
38.根据权利要求37所述的网络设备,其中,所述本地搜索装置还用于 -发送所述搜索指令至所述第一节点;-接收自所述第一节点发送的基于所述搜索指令的第一搜索结果; -根据所述第一搜索结果,更新所述本地搜索结果。
39.一种用于在对等网络中建立索引的系统,其中,该系统包括如权利要求20至25中任一项所述的第一节点和如权利要求30至33中任一项所述的第二节点。
40.一种用于在对等网络中建立索引的系统,其中,该系统还包括如权利要求34至38 中任一项所述的网络设备、如权利要求26至四中任一项所述的第一节点,以及如权利要求 30至33中任一项所述的第二节点。
全文摘要
本发明的目的是提供一种在对等网络中建立索引的方法、装置与系统。其中,第二节点获取第一级资源爬取任务;根据所述第一级资源爬取任务进行资源爬取,以建立与所述第一级资源爬取任务相对应的第二索引;发送所述第二索引至至少一第一节点。第一节点接收自至少一第二节点发送的至少一第二索引;对所述至少一第二索引进行优选,以建立与所述第二索引相对应的第一索引。由此,通过本发明的网络搜索方法与装置、系统,可有效解决传统的互联网搜索技术的问题,如因服务器性能和/或网络带宽限制导致的搜索效率低下等问题。此外,本发明还可以提高对等网络中资源搜索效率。
文档编号H04L29/08GK102402587SQ201110328020
公开日2012年4月4日 申请日期2011年10月25日 优先权日2011年10月25日
发明者王闻宇 申请人:上海聚力传媒技术有限公司