专利名称:一种基于对等计算技术的复合知识云方法
技术领域:
本发明是一种用于在基于互联网的开放网络计算环境中,采用对等计算技术 (Peer-to-Peer Computing)和云计算计算技术(Cloud Computing)来构建一种更为
灵活的适用于各种文件类型的百科知识信息资源广泛共享的复合知识云方法。本技 术属于分布式计算、计算机网络、信息系统等信息技术类应用领域。
背景技术:
互联网己经成为快速获得知识的重要媒介,网络知识处于飞快发展的状态下, 通过技术手段产生的自动搜索结果,已经无法满足用户的搜索需求。竞价排名、大 量的商业内容使得搜索引擎对知识的搜索结果令人失望。搜索引擎中众多的无法到 达页面,让它逐渐跟不上互联网的需求。
针对广大的互联网用户对于"广求知、求真知"的需求,目前已经诞生了一些 广受欢迎的知识共享系统。其中全球最著名的是维基百科(Wikipedia,维基媒体基 金会的商标),是一个基于wiki (wiki—词来源于夏威夷语的"weekeeweekee",这 里的wiki指一种超文本系统,支持面向社群的协作式写作,同时也包括一组支持这 种写作的辅助工具)技术的多语言的网络百科全书,是一个动态的、可自由访问和 编辑的全球知识体。也被称作"人民的百科全书"。维基百科自2001年1月15日正 式成立以来,由维基媒体基金会负责维持,维基百科每天都有来自世界各地的许多 参与者进行数千次的编辑和创建新条目。截至2008年4月4日,维基百科条目数第 一的英文维基百科己有231万个条目,而所有255种语言的版本共突破1000万个条 目,总登记用户也超越1000万人,大部分页面都可以由任何人使用浏览器进行阅览 和修改。中文维基百科正式开始于2002年10月,目前已经有250000个条目(数据 统计截止2009年4月,来源于维基百科中文站统计)。
另一个著名的网络百科全书是"百度百科",它旨在创造一个涵盖所有领域知识、 服务所有互联网用户的中文知识性百科全书。百度百科提供了一个互联网所有用户 均能平等的浏览、创造、完善内容的平台。所有中文互联网用户在百度百科都能找 到自己想要的全面、准确、客观的定义性信息,还可以创建符合规则、尚没有收录 的内容,或对已有词条进行有益的补充完善。
而互动百科则是由互动在线科技有限公司创建的知识互动网站,效仿一些在20 世纪最重要的志愿者项目,邀请网民通过编写,完成全球最大的中文百科全书的编 纂。用户可以实时在线与来自全球的互联网用户共同就感兴趣的内容进行创作、协作、编辑和发布。互动百科是含有最广泛内容,以人工编辑为主的网络中文百科, 截止2007年12月18日,仅建站2年多的互动百科词条数达到160万,编辑员达到 27万,已经远远超过耗时15年的《中国大百科全书》第一版7.8万条目,2万站务。 互动百科为搜索引擎和众多网站提供内容服务,经过人工手动筛选过的内容,省去 了繁琐的搜索过程,直接到达内容丰富的词条页面,充分优化了用户体验。
为了支持信息量和用户数均规模庞大的网络知识共享系统,必须采用先进的信 息技术,云计算技术是理想的选择。云计算这个名词可能是借用了量子物理中的"电 子云"(Electron Cloud),强调说明信息处理的弥漫性、无所不在的分布性和社会 性特征。云计算通过构建高性价比的计算机集群,使计算处理和数据存储分布在大 量的廉价的计算设备上,从而提供海量的分布式存储和简单的分布式计算平台。云 计算平台的易编程、高容错、方便扩展等特性,使得处理超大规模数据的分布式处 理成为现实。在谷歌(Google)、雅虎(Yahoo)和亚马逊(Amazon)等公司,云计 算技术已得到了广泛的应用。
将云计算思想和技术用于大规模网络知识共享系统,即构成了"知识云"环境。 但是从宏观的角度来看,目前的知识云对于用户的使用体验而言,还仅仅是一种基 于传统的浏览器/服务器模式(Browser/Server,简称B/S)的网络服务方式,因为所 有的知识性信息资源虽然是由站点的信息服务提供商和用户共同来创建和维护的, 但信息存储、搜索等任务都是在服务器端进行的进行,数据也均存储于服务器端。 目前的知识云中的信息类型大多是文本,或者至多辅之以说明性图片和相关超链接, 表现形式单一,还存在着负载不均、单点失效、资源浪费等一系列的问题。针对这 些问题,本发明提出了构建一种更为灵活的适用于各种文件类型的百科知识信息资 源广泛共享的基于对等计算技术的复合知识云方法。
发明内容
技术问题本发明的目的是提出一种基于对等计算技术的复合知识云方法,基 于该方法可以构建一种比现有的各种网络百科全书更为灵活的、更为可靠、资源共 享更为广泛的、适用于各种文件类型的百科知识信息资源共享平台。
技术方案本发明的目的是提供一种基于对等计算技术的复合知识云方法,该 方法本着平等、协作、分享、自由的互联网精神,并利用对等计算技术所推崇的"节
点对等"思想,所有人不但共同贡献智慧和知识来协作编写百科全书,还共同贡献 各个用户计算机上的存储资源和各种数据、软件等信息资源,充分调动互联网所有 用户的力量,积极进行交流和分享。
一、基于对等计算技术的复合知识云方法的体系结构
随着互联网技术的广泛应用,涌现出云计算等一系列新型的网络计算技术、平 台和应用系统,已逐步成为具有典型性的网络计算模式,基于充分利用网络化计算与存储资源,更好地整合互联网和不同设备上的信息和应用,把所有的计算、存储 资源连结在一起,实现最大范围的协作与资源分享,达成高效率、低成本的计算目 标。云计算平台的易编程、高容错、方便扩展等特性,使得处理超大规模数据的分 布式计算成为现实。这就使得采用云计算技术来构建信息量和用户规模均非常庞大 的网络百科全书知识共享系统成为理想的选择。基于云计算技术的知识共享系统即 称之为"知识云"。
但是,目前的云计算虽然也倾向于利用廉价计算和存储设备来提供各种服务, 但是简单认为网络终端节点(用户所有)仅仅是计算服务的消费者,各种计算、处 理、存储等均在服务器端进行,对于终端节点所蕴含的各种可利用的潜在资源考虑 并不足够。事实上,终端节点本身也拥有各种计算、存储甚至信息资源,且常常处 于闲置状态,接入互联网的海量终端节点所拥有的海量资源被浪费了。
对等计算技术则重点关注基于互联网的边缘节点,对等计算的思想改变Internet 原来的C/S计算(Client/Server Computing,客户/服务器计算)或是B/S计算这样不 对称的计算模式,每个节点(Peer)地位对等,可以同时成为服务的使用者和提供 者,这为大规模的信息共享、直接通信和协同工作提供了灵活的、可扩展的计算平 台。对等计算环境中的对等节点拥有的资源包括CPU、内存、外存储器等硬件资源, 还包括数据、程序等软件资源。节点的所有者拥有支配这些资源的权利,即资源的 所有者可以决定资源使用的时机、数量和方式,可以进一步发挥云计算的跨时空、 多媒体、交互性、高效性等优势。
将对等计算技术应用于云计算平台,在基于互联网的云计算环境中,聚合的各
种资源(计算、存储、数据等)将并不仅仅来自于服务器节点,云计算环境中的每 个终端节点在获取服务和资源的同时,也是完全可以利用自身的计算存储等能力同 时提供一定的服务。当然,不同于可以稳定运行的高性能服务器节点,也不同于系 统可直接集中管理控制的集群服务器节点,大量的终端节点可以动态地、随机地加 入和退出云计算环境。
基于对等计算技术的复合知识云环境包含了以下几种节点,如图1所示-
(1) 门户及任务调度服务器节点
(2) 数据处理及存储服务器节点
(3) 用户终端节点
从资源的角度来看,在基于对等计算技术的复合知识云中的资源不仅仅是传统 知识共享系统中的纯文本或是超文本,还包括多媒体、RTF (Rich Text Format,丰
富文本格式)文档、软件、图形图像和电影动画等。同样的资源可以同时存在于数 据处理及存储服务器节点和用户终端节点上,为了减轻服务器节点的负担,某一终 端节点要想获取某一知识信息资源时,首先从用户终端节点上获取该资源,如果用 户终端节点上没有该资源时,才到服务器节点上去获取该资源。
6但是如果将所有终端节点上的资源都在服务器节点备份的话,将占用大量的服 务器存储资源,并且很多资源可能是虚假的或是错误的。因此系统必须设立合适的 信息价值评估机制,选出终端节点上有价值的资源备份到服务器节点上。
具体通过服务器节点集中评价和各终端用户分布式评价相结合的方式来进行评 价,评价的过程是
1、 当某一用户节点在阅读另一节点提供的信息资源后,对该资源的价值进行评 价,认为有价值的给予正面评价,认为没有价值的即给予负面评价,评价结果均存 储在门户及任务调度服务器节点;
2、 门户及任务调度服务器节点对所有评价进行累计计算,并设置阈值,为一个 三元组
(正面评价次数,负面评价次数,正面评价次数/总评价次数)
门户及任务调度服务器节点对总体评价值达到所设置阈值的信息资源再在服务 器端通过人工细致审核,将审核通过的信息资源提取并备份到数据处理及存储服务 器节点上。
二、基于对等计算技术的复合知识云的工作流程
该复合知识云方法将对等计算技术、云计算和知识共享系统有机融合在一起, 基于对等计算技术的复合知识云环境中包含了门户及任务调度服务器节点、数据处 理及存储服务器节点、用户终端节点;基于对等计算技术的复合知识云方法强调在 查询某一词条和创建某一词条时充分利用对等节点上的资源;基于对等计算技术的 复合知识云方法中包含信息价值评估机制,利用该机制选出终端节点上有价值的资 源备份到服务器节点上。 当查询某一词条时,
步骤21:用户终端节点首先登录知识云系统的门户及任务调度服务器节点, 并输入要查询的词条名称或关键词;
步骤22:门户及任务调度服务器节点根据查询请求来搜寻当前所有用户终端 节点的登录在线信息和知识信息列表信息;
步骤23:如果搜索到当前用户所查询的词条信息存在于当前在线的某些用户终 端节点上,则将这些用户的地址和信息反馈给当前用户节点,否则转步骤5;
步骤24: 当前用户节点根据服务器提供的信息直接向拥有该词条相关知识信 息的终端节点发出请求,愿意向该用户节点提供知识信息的节点就会将知识信息反 馈该节点;如果用户还需要数据处理及存储服务器节点上的官方信息,转步骤5, 否则转步骤6;
7步骤25:当前用户节点向门户及任务调度服务器发出需要数据处理及存储服 务器节点上的官方信息请求,门户及任务调度服务器将该请求作为一次任务发给数 据处理及存储服务器节点,数据处理及存储服务器节点在处理后就会将相关的知识 信息反馈该节点。
步骤26:用户节点在查阅过该词条相关信息后对信息进行评价。
当创建某一词条时
步骤31:首先査询是否已经存在该词条,如果有则查看自身关于现有词条的 相关信息是否己经存在了,如果有且相关信息已经存在则放弃返回,如果有但相关 信息与自己关于该词条的信息不同则在服务器页面上创建一条链接指向本地资源, 并将资源简介发送服务器页面上供其它节点査询,如果没有该词条则转步骤2;
步骤32:在服务器页面上新创建该词条,并将资源简介发送服务器端供其它 节点查询,创建相关链接,指向自己的本地资源。
所述的信息价值评估机制为
1) 具体通过服务器节点集中评价和各终端用户分布式评价相结合的方式来进行 评价;
2) 评价的过程是当某一用户节点在阅读另一节点提供的信息资源后,对该资
源的价值进行评价,认为有价值的给予正面评价,认为没有价值的即给予负面评价,
评价结果均存储在门户及任务调度服务器节点;门户及任务调度服务器节点对所有
评价进行累计计算,并设置阈值,为一个正面评价次数、负面评价次数、正面评
价次数/总评价次数的三元组;门户及任务调度服务器节点对总体评价值达到所设置
阈值的信息资源再在服务器端通过人工集中进行细致审核,将审核通过的信息资源
提取并备份到数据处理及存储服务器节点上。
有益效果基于对等计算技术的复合知识云方法可以有效扩充现有的网络知识 共享系统的功能和提升性能,达到以下的有益效果
(1) 负载分担。由于信息资源分散于数据处理及存储服务器节点和用户节点, 用户节点优先成为信息资源的提供者,因此减轻了数据处理及存储服务器节点的负 担;
(2) 高资源利用率。方法不但利用了数据处理及存储服务器节点的稳定资源, 也利用了众多闲置的普通用户节点上蕴含的巨大的计算和存储资源;
G)高鲁棒性。由于方法采用了备份冗余的机制,重要的信息资源在 据处理 及存储服务器节点和普通用户节点,因此系统不会存在单点失效问题,具有较高的鲁棒性。
图1是基于对等计算技术的复合知识云环境,包含了门户及任务调度服务器节 点、数据处理及存储服务器节点和用户终端节点三类节点。
图2是基于对等计算技术的复合知识云的工作流程,包括在査询词条和创建词 条两种情况。
具体实施例方式
基于对等计算技术的复合知识云的工作流程如图2所示 当査询某一词条时
步骤1用户终端节点首先登录知识云系统的门户及任务调度服务器节点,并输 入要查询的词条名称或关键词;
步骤2门户及任务调度服务器节点根据查询请求来搜寻当前所有用户终端节点 的登录在线信息和知识信息列表信息;
步骤3如果搜索到当前用户所查询的词条信息存在于当前在线的某些用户终端 节点上,则将这些用户的地址和信息反馈给当前用户节点,否则转步骤5;
步骤4当前用户节点根据服务器提供的信息直接向拥有该词条相关知识信息的 终端节点发出请求,愿意向该用户节点提供知识信息的节点就会将知识信息直接反 馈该节点;如果用户还需要数据处理及存储服务器节点上的官方信息,转步骤5, 否则转步骤6;
步骤5当前用户节点向门户及任务调度服务器发出需要数据处理及存储服务器 节点上的官方信息请求,门户及任务调度服务器将该请求作为一次任务发给数据处 理及存储服务器节点,数据处理及存储服务器节点在处理后就会将相关的知识信息 反馈该节点。
步骤6用户节点在查阅过该词条相关信息后对信息进行评价。 当创建某一词条时
步骤l首先査询是否己经存在该词条,如果有则査看自身关于现有词条的相关 信息是否已经存在了,如果有且相关信息已经存在则放弃返回,如果有但相关信息 与自己关于该词条的信息不同则在服务器页面上创建一条链接指向本地资源,并将
资源简介发送服务器页面上供其它节点査询,如果没有该词条则转步骤2;
步骤2在服务器页面上新创建该词条,并将资源简介发送服务器端供其它节点
查询,创建相关链接,指向自己的本地资源。
本发明所提出的基于对等计算技术的复合知识云方法应部署在分布式计算环境
中。为了方便描述,我们假设以下的应用实例利用集线器等网络互联设备和6台主流配置的计算机构成典型的分布式计算环境,分别担任不同的角色
(1) 门户及任务调度服务器节点(l台计算机,命名为J1)
(2) 数据处理及存储服务器节点(2台计算机,命名为S1、 S2)
(3) 用户终端节点G台计算机,命名为U1、 U2、 U3) 门户及任务调度服务器节点上包含以下基本模块
(1) Web服务器模块,提供用户接入的Web页面,用户通过页面来注册、查 询和添加词条内容;
(2) 数据库模块,存储并管理用户节点信息、服务器资源索引目录和用户节点 资源索引目录;
(3) 任务调度模块,负责接受来自用户的请求,并将请求作为任务发给数据处 理及存储服务器节点和用户终端节点;
(4) 信息评价模块,负责将节点对信息的评价进行汇总和计算。 数据处理及存储服务器节点包含以下基本模块
(1) 数据库模块,存储服务器端信息资源;
(2) 信息检索模块,负责根据用户需求从本地数据库中检索相关的信息并返回 给用户节点;
(3) 信息更新模块,负责将来自用户节点的信息添加到数据库中,或是对数据 库中的信息进行修改。
用户终端节点上包含以下基本模块-
(1) 数据库模块,存储本地信息资源;
(2) 信息及相关资源管理模块,利用数据库和文件系统管理用户终端节点本地 的相关可共享的信息资源;
(3) 信息检索模块,负责根据其它用户需求从本地提取相关信息并返回给用户节点。
权利要求
1.一种基于对等计算技术的复合知识云方法,其特征在于该复合知识云方法将对等计算技术、云计算和知识共享系统有机融合在一起,基于对等计算技术的复合知识云环境中包含了门户及任务调度服务器节点、数据处理及存储服务器节点、用户终端节点;基于对等计算技术的复合知识云方法强调在查询某一词条和创建某一词条时充分利用对等节点上的资源;基于对等计算技术的复合知识云方法中包含信息价值评估机制,利用该机制选出终端节点上有价值的资源备份到服务器节点上。
2、 根据权利要求1所述的基于对等计算技术的复合知识云方法,其特征在于当 查询某一词条时步骤21:用户终端节点首先登录知识云系统的门户及任务调度服务器节点, 并输入要査询的词条名称或关键词;步骤22:门户及任务调度服务器节点根据查询请求来搜寻当前所有用户终端 节点的登录在线信息和知识信息列表信息;步骤23:如果搜索到当前用户所查询的词条信息存在于当前在线的某些用户终 端节点上,则将这些用户的地址和信息反馈给当前用户节点,否则转步骤5;步骤24: 当前用户节点根据服务器提供的信息直接向拥有该词条相关知识信息的终端节点发出请求,愿意向该用户节点提供知识信息的节点就会将知识信息反馈该节点;如果用户还需要数据处理及存储服务器节点上的官方信息,转步骤5, 否则转步骤6;步骤25:当前用户节点向门户及任务调度服务器发出需要数据处理及存储服 务器节点上的官方信息请求,门户及任务调度服务器将该请求作为一次任务发给数 据处理及存储服务器节点,数据处理及存储服务器节点在处理后就会将相关的知识 信息反馈该节点。步骤26:用户节点在査阅过该词条相关信息后对信息进行评价。
3、 根据权利要求1所述的基于对等计算技术的复合知识云方法,其特征在于当 创建某一词条时步骤31:首先查询是否已经存在该词条,如果有则查看自身关于现有词条的 相关信息是否已经存在了,如果有且相关信息己经存在则放弃返回,如果有但相关 信息与自己关于该词条的信息不同则在服务器页面上创建一条链接指向本地资源,并将资源简介发送服务器页面上供其它节点查询,如果没有该词条则转步骤2;步骤32:在服务器页面上新创建该词条,并将资源简介发送服务器端供其它 节点查询,创建相关链接,指向自己的本地资源。
4、根据权利要求1所述的基于对等计算技术的复合知识云方法,其特征在于所 述的信息价值评估机制为1) 具体通过服务器节点集中评价和各终端用户分布式评价相结合的方式来进行 评价;2) 评价的过程是当某一用户节点在阅读另一节点提供的信息资源后,对该资 源的价值进行评价,认为有价值的给予正面评价,认为没有价值的即给予负面评价, 评价结果均存储在门户及任务调度服务器节点;门户及任务调度服务器节点对所有 评价进行累计计算,并设置阈值,为一个正面评价次数、负面评价次数、正面评 价次数/总评价次数的三元组;门户及任务调度服务器节点对总体评价值达到所设置 阈值的信息资源再在服务器端通过人工集中进行细致审核,将审核通过的信息资源 提取并备份到数据处理及存储服务器节点上。
全文摘要
基于对等计算技术的复合知识云方法提出了一种适用于各种文件类型的百科知识信息资源广泛共享的基于对等计算技术的复合知识云方法。为了支持信息量和用户数均规模庞大的网络知识共享系统,必须采用先进的信息技术,云计算技术是理想的选择。但是单纯采用云计算技术来构建知识云还存在着一系列问题。本发明本利用对等计算技术“节点对等”的思想,所有人不但共同贡献智慧和知识,还共同贡献各个用户计算机上的存储资源和各种数据、软件等信息资源,从而调动互联网所有用户的力量,积极进行交流和分享。本发明专利提出了基于对等计算技术的复合知识云的体系结构和基于对等计算技术的复合知识云的关于词条查询和输入时的工作流程。
文档编号G06F17/30GK101667187SQ20091003582
公开日2010年3月10日 申请日期2009年9月23日 优先权日2009年9月23日
发明者孙力娟, 徐小龙, 梅哲滔, 熊婧夷, 王汝传, 窦孝晨, 陈丹伟, 翔 高 申请人:南京邮电大学