基于局部迭代的MapReduce模型的图结点的权威值计算方法
【专利摘要】本发明提供一种基于局部迭代的MapReduce模型的图结点的权威值计算方法，包括：数据预处理与子图划分，采取随机的划分方式和基于社团结构的划分方式来进行子图的划分；迭代执行MapReduce任务进行PageRank计算，Map阶段对各个子图进行独立的基于内存的PageRank计算，Reduce阶段reduce函数将各个子图产生的新的权威值按照结点ID进行归约求和，得到最终的结点的权威值；算法收敛检测。本方法既保留了内存算法的高效性，又得益于MapReduce处理海量数据的可扩展性，高可用性和容错性。
【专利说明】基于局部迭代的MapReduce模型的图结点的权威值计算方法
【技术领域】
[0001]本发明涉及一种基于局部迭代的MapReduce模型的图结点的权威值计算方法，应用于社会网络范畴，属于数据挖掘的【技术领域】。
【背景技术】
[0002]互联网时代信息的飞速膨胀使得搜索引擎成为人们必不可少的信息检索工具。网页排序作为搜索引擎的关键技术之一，它的好坏将直接影响用户对信息的准确查找。目前，有许多排序算法，不过应用最成功、最具研究价值的是由斯坦福大学的Larry Page和Sergey Brin提出PageRank算法。该算法是通过分析网络的链接结构来获得网络中网页的重要性排名。PageRank算法作为最著名的网页排序和社会网络声望度量的方法之一，自从它诞生以来便为众多学者所瞩目。PageRank算法最初是用于计算Web中网页的权威值，PageRank算法认为一个网页的权威值可以通过网络的链接结构来传递,在Web的链接图中，如果存在一个页面a指向另一个页面b的链接,贝U表明a对b的认可，即a将自己的权威值部分传递给了 b。因此，一方面，指向一个页面b的页面越多，则该页面得到的权威值越高；另一方面，指向页面b的页面，如a，自身的权威值越高，则b得到的权威值也越高。随机行走模型模拟了一个随机用户在G上的访问行为:用户从任意的结点开始访问，每次行走，用户将依循从当前结点出发的有向边，以概率d随机选择下一个访问结点(概率d的取值在
0.1到0.2之间，通常为0.15)，或者跳转到任意的一个结点以ι-d的概率开始新一轮的随机行走。用户不断的重复以上的随机行走行为，直到在某一时刻观察到用户停留在任意结点的概率保持稳定。该稳定 状态下的各结点概率分布即为每个结点的权威值。
[0003]对于有向图G(V，E)，结点u的PageRank值R(U)由公式(I)给出。
【权利要求】
1.一种基于局部迭代的MapReduce模型的图结点的权威值计算方法,其特征在于,包括下述步骤: 步骤a，数据预处理与子图划分，采取随机的划分方式和基于社团结构的划分方式来进行子图的划分； 步骤b,迭代执行MapReduce任务进行PageRank计算,Map阶段对各个子图进行独立的基于内存的PageRank计算,Reduce阶段reduce函数将各个子图产生的新的权威值按照结点ID进行归约求和，得到最终的结点的权威值； 步骤C，算法收敛检测，当数据集中的超过给定阈值的结点的权威值不再发生变化时，即算法收敛。
2.如权利要求1所述的基于局部迭代的MapReduce模型的图结点的权威值计算方法，其特征在于: 所述步骤a中，划分的各个子图的大小一致或尽量均衡。
3.如权利要求1所述的基于局部迭代的MapReduce模型的图结点的权威值计算方法，其特征在于: 所述步骤a中，随机的划分方式包括对图的邻接表进行水平划分和垂直划分相结合的划分方式。
4.如权利要求1所述的基于局部迭代的MapReduce模型的图结点的权威值计算方法，其特征在于: 步骤b中，所述迭代执行MapReduce任务进行PageRank计算，Map阶段对各个子图进行独立的基于内存的PageRank计算，具体包括: 把子图作为map函数输入的单位，根据公式(3)，每一个子图的所有结点完成一次PageRank迭代的权威值传播；虽然各个子图之间存在链接关系，子图中结点的权威值计算可以并行进行计算；每个子图的数据结构包括该子图中的结点ID，该结点在子图中的邻居以及该结点的出度；Mapper缓存在mapper初始化时从HDFS文件系统读取上一次迭代该mapper处理的所有子图所对应的权威值表；
【文档编号】G06F17/30GK103793525SQ201410060170
【公开日】2014年5月14日 申请日期:2014年2月21日 优先权日:2014年2月21日
【发明者】王文 申请人:江苏唯实科技有限公司