一种基于MapReduce的数据挖掘算法的制作方法

文档序号:20600356发布日期:2020-05-01 21:35阅读:来源:国知局

技术特征:

1.一种基于mapreduce的数据挖掘算法,其特征在于,包括步骤:

s100、对mapreduce模型进行包括支配分析、索引分析、提出局限的标号传播和分析大规模图的具体划分在内的扩展;

s200、将扩展后的mapreduce模型与云计算结合,形成分布式计算机和多维数据计算机的对虚拟资源拓展的数据挖掘模型;

s300、利用数据挖掘模型,并按照生物信息领域的基因模式进行网络作用分析,获取大规模的网络信息数据内容;

s400、再通过数据挖掘模型中的分布式计算机将数据交通、传播、文献、信息关系进行引入数据挖掘模型中;

s500、最后通过数据挖掘模型完成互联网操作下的数据挖掘。

2.根据权利要求1所述的一种基于mapreduce的数据挖掘算法,其特征在于,在s100中,对mapreduce进行具体划分扩展的依据包括步骤:

s101、按照数据传播分析提出局部敏感函数,对所述mapreduce模型进行具体划分规模引导;

s102、通过局部敏感函数的数据分配来获取有效的数据精度函数,进而获取具体划分的类别;

s103、按照数据精度函数,通过分布式计算机的增减操作,确定不断提升运行效果的中心质量模式,满足当下运行操作的基础效率,更新具体划分的类别。

3.根据权利要求1所述的一种基于mapreduce的数据挖掘算法,其特征在于,在s200,分布式计算机和多维数据计算机的对虚拟资源拓展的具体步骤包括:

s201、依照k-means算法,依照海量高维数据问题,实施中心多叠加代算法分析,从中获取直观的批量数据处理操作;

s202、通过集合点的分析,判断海量数据信息内容;

s203、按照数据聚合的多类别对海量的额数据进行区分。

4.根据权利要求3所述的一种基于mapreduce的数据挖掘算法,其特征在于,依照海量高维数据问题,实施中心多叠加代算法分析,从中获取直观的批量数据处理操作,其具体的批量数据操作是依照数据集中分析,判断k-means算法的k值标准中心意识表示,分析计算价值下的消耗资源比例关系,并在mapreduce条件下,分析高维数据下的k值情况。

5.根据权利要求4所述的一种基于mapreduce的数据挖掘算法,其特征在于,依照海量高维数据问题,实施中心多叠加代算法分析,从中获取直观的批量数据处理操作,具体的高维数据通过多项叠加操作,分析数据的局限性;

通过改变局部叠加模式,对高维数据局部性进行多项重组,完成高维数据的综合性应用。

6.根据权利要求5所述的一种基于mapreduce的数据挖掘算法,其特征在于,对所述的mapreduce中高维数据叠加模式的适用分析包括:

mapreduce叠加按照数据分片操作,通过map函数,写入磁盘,reduce阶段完成远程任务的数据读取,完成数据文件的系统转化;

mapreduce文件依照不同的阶段,获取磁盘数据信息,按照逐步降低系统性能操作的模式,从mapreduce中完成叠加编程操作;

依照mapreduce作业操作,重复的对数据信息进行集中移动操作,调整i/o数据操作结构;

依照作业任务的模式,分析逐步减少mapreduce初始化、调度模式,提升计算的比率关系;

按照节点进行数据索引分析,逐步减少远程访问数据的比例,减少系统消息传递通信过程;

通过过缓存文件的分析,对循环的不变量进行存储,确定数据的存取过程。

7.根据权利要求5所述的一种基于mapreduce的数据挖掘算法,其特征在于,所述mapreduce的局部叠加模式包括:

按照mapreduce叠加模式的复杂结构情况,对数据进行支撑操作,提出符合mapreduce的核心思路;

加强大数据之间的操作,逐步增加缓存、索引的支持分配;

采用数据随机存取的操作,实施多方面的缓存索引分配;

在mapreduce任务中,mapreduce任务的文件系统写入对各个节点的数据进行计算分析,确定mapreduce所有适用符合局部叠加的计算模式要求;

考虑局部性分片技术,根据计算机信息的具体缓存标准要求,获取信息节点;

通过改变局部叠加模式,对数据局部性进行多项重组,完成数据的综合性应用。

8.根据权利要求1所述的一种基于mapreduce的数据挖掘算法,其特征在于,所述s300的具体步骤包括:

s301、按照输分析进行汇集,依照相关数据集中区分,判断数据对象;

s302、依照海量高维数据进行挖掘,调整数据对象的不同类型;

s303、按照维度进行数据调整,判断平台上的高维数据汇聚,采用准确的信息系统规模分析,判断汇聚数据的对象标准;

s304、按照中心采样确定分布,明确各个区分之间的汇集情况,结合数据挖掘算法,确定编程系统;

s305、采用有效的数据扩展模式,对数据进行挖掘分析,调整数据分布的延展过程;

s306、通过云计算的高效挖掘,实施综合数据的规模化应用,获取高可用性,结合mapreduce算法,重点分析数据的并行算法流程。

9.根据权利要求1所述的一种基于mapreduce的数据挖掘算法,其特征在于,所述s400的其具体步骤包括:

s401、依照mapreduce模式,提出大数据的集成批量处理;

s402、依照mapreduce阶段,对数据进行挖掘分析,确定大规模下的数据分割明确拓展的数据权值;

s403、按照标准值的索引,通过分析索引服务器的具体内容,判断相关重点,明确快速检索的算法。

10.根据权利要求1所述的一种基于mapreduce的数据挖掘算法,其特征在于,所述s500的方法包括:对数据的变化量、分割数据、传输数据进行分析,完善算法的改在和运算过程。


技术总结
本发明实施例公开了一种基于MapReduce的数据挖掘算法,包括步骤:对MapReduce模型进行包括支配分析、索引分析、提出局限的标号传播和分析大规模图的具体划分在内的扩展;扩展后的MapReduce模型与云计算结合,实现分布式计算机、数据维多计算机虚拟资源的拓展;按照生物信息领域的基因模式进行网络作用分析,获取大规模的网络信息数据内容;通过分布式计算机数据结构对数据交通、传播、文献、信息关系进行引入;通过MapReduce完成预期引入数据的互联网操作下的数据挖掘,MapReduce大规模数据挖掘通过对数据的云平台技术存储,按照变化量、分割量调整数据的叠加汇集值,满足当下大数据规模综合应用,实现MapReduce大规模下数据的综合模式拓展。

技术研发人员:罗金满;温兆聪;赵善龙;刘丽媛;张谊
受保护的技术使用者:广东电网有限责任公司;广东电网有限责任公司东莞供电局
技术研发日:2019.11.12
技术公布日:2020.05.01
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1