本发明属于信息管理,尤其涉及应用于数据中心的信息管理方法及系统。
背景技术:
1、数据中心是全球协作的特定设备网络,用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。
2、信息管理是人类为了有效地开发和利用信息资源,以现代信息技术为手段,对信息资源进行计划、组织、领导和控制的社会活动。
3、在当前的数据中心的使用过程中,数据在数据中心进行存储,其中将会存在大量的重复数据,因此其内存的有效使用率不高。
技术实现思路
1、本发明实施例的目的在于提供应用于数据中心的信息管理方法,旨在解决数据在数据中心进行存储,其中将会存在大量的重复数据,内存的有效使用率不高的问题。
2、本发明实施例是这样实现的,一种应用于数据中心的信息管理方法,所述方法包括:
3、获取数据中心的总数据容量以及已存储数据量;
4、根据已存储数据量对总数据容量进行划分,划分为实时存储区和循环存储区,并确定存储顺序;
5、根据存储顺序从实时存储区中调取待校核数据,将其存储至循环存储区,对待校核数据进行重复性验证,判定是否为重复数据;
6、以预设的标志字符串对重复数据进行替换,并生成标志字符串对应的映射地址,对标志字符串进行存储。
7、优选的,所述根据已存储数据量对总数据容量进行划分,划分为实时存储区和循环存储区,并确定存储顺序的步骤,具体包括:
8、根据已存储数据量和总数据容量计算占用比例,根据占用比例划分实时存储区和循环存储区,所述实时存储区的容量与总数据容量的比值大于占用比例;
9、将实时存储区划分为多个第一子存储区,将循环存储区划分为多个第二子存储区;
10、对第一子存储区和第二子存储区进行编号,确定数据的存储顺序。
11、优选的,所述根据存储顺序从实时存储区中调取待校核数据,将其存储至循环存储区,对待校核数据进行重复性验证,判定是否为重复数据的步骤,具体包括:
12、根据存储顺序从实时存储区中调取待校核数据,将其存储至循环存储区,所述待校核数据按照数据属性进行划分;
13、从待校核数据中提取特征数据,基于特征数据对实时存储区中的数据进行检索,得到检索结果,所述检索结果中包含所有匹配数据;
14、比对待校核数据和匹配数据,若存在重合项,则判定该待校核数据为重复数据。
15、优选的,所述以预设的标志字符串对重复数据进行替换,并生成标志字符串对应的映射地址,对标志字符串进行存储的步骤,具体包括:
16、调取预设的标志字符串,所述标志字符串的内容固定;
17、查询实时存储区中与待校核数据对应的重复数据的地址,生成映射地址;
18、根据存储顺序将标志字符串及对应的映射地址存储至实时存储区中。
19、优选的,进行重复性验证时,将与待校核数据进行比对的数据暂存与循环存储区,比对完成后将两者删除。
20、优选的,统计各个特征数据的出现数量,若超过预设值,则对特征数据进行存储,将其存储于循环存储区。
21、本发明实施例的另一目的在于提供一种应用于数据中心的信息管理系统,所述系统包括:
22、数据获取模块,用于获取数据中心的总数据容量以及已存储数据量;
23、容量划分模块,用于根据已存储数据量对总数据容量进行划分,划分为实时存储区和循环存储区,并确定存储顺序;
24、数据验证模块,用于根据存储顺序从实时存储区中调取待校核数据,将其存储至循环存储区,对待校核数据进行重复性验证,判定是否为重复数据;
25、数据替换模块,用于以预设的标志字符串对重复数据进行替换,并生成标志字符串对应的映射地址,对标志字符串进行存储。
26、优选的,所述容量划分模块包括:
27、比例计算单元,用于根据已存储数据量和总数据容量计算占用比例,根据占用比例划分实时存储区和循环存储区,所述实时存储区的容量与总数据容量的比值大于占用比例;
28、存储区划分单元,用于将实时存储区划分为多个第一子存储区,将循环存储区划分为多个第二子存储区;
29、区域编号单元,用于对第一子存储区和第二子存储区进行编号,确定数据的存储顺序。
30、优选的,所述数据验证模块包括:
31、数据调取单元,用于根据存储顺序从实时存储区中调取待校核数据,将其存储至循环存储区,所述待校核数据按照数据属性进行划分;
32、数据检索单元,用于从待校核数据中提取特征数据,基于特征数据对实时存储区中的数据进行检索,得到检索结果,所述检索结果中包含所有匹配数据;
33、数据校核单元,用于比对待校核数据和匹配数据,若存在重合项,则判定该待校核数据为重复数据。
34、优选的,所述数据验证模块包括:
35、数据调取单元,用于根据存储顺序从实时存储区中调取待校核数据,将其存储至循环存储区,所述待校核数据按照数据属性进行划分;
36、数据检索单元,用于从待校核数据中提取特征数据,基于特征数据对实时存储区中的数据进行检索,得到检索结果,所述检索结果中包含所有匹配数据;
37、数据校核单元,用于比对待校核数据和匹配数据,若存在重合项,则判定该待校核数据为重复数据。
38、本发明实施例提供的一种应用于数据中心的信息管理方法,通过对当前数据中心的内容容量以及占用量进行分析,对数据中心的总容量进行划分,从而对实时存储区中的数据不断进行重复性验证,从而对重复性数据进行替换,避免了数据重复存储导致数据容量的有效利用率降低的问题。
1.一种应用于数据中心的信息管理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的应用于数据中心的信息管理方法,其特征在于,所述根据已存储数据量对总数据容量进行划分,划分为实时存储区和循环存储区,并确定存储顺序的步骤,具体包括:
3.根据权利要求1所述的应用于数据中心的信息管理方法,其特征在于,所述根据存储顺序从实时存储区中调取待校核数据,将其存储至循环存储区,对待校核数据进行重复性验证,判定是否为重复数据的步骤,具体包括:
4.根据权利要求1所述的应用于数据中心的信息管理方法,其特征在于,所述以预设的标志字符串对重复数据进行替换,并生成标志字符串对应的映射地址,对标志字符串进行存储的步骤,具体包括:
5.根据权利要求1所述的应用于数据中心的信息管理方法,其特征在于,进行重复性验证时,将与待校核数据进行比对的数据暂存与循环存储区,比对完成后将两者删除。
6.根据权利要求3所述的应用于数据中心的信息管理方法,其特征在于,统计各个特征数据的出现数量,若超过预设值,则对特征数据进行存储,将其存储于循环存储区。
7.一种应用于数据中心的信息管理系统,其特征在于,所述系统包括:
8.根据权利要求7所述的应用于数据中心的信息管理系统,其特征在于,所述容量划分模块包括:
9.根据权利要求7所述的应用于数据中心的信息管理系统,其特征在于,所述数据验证模块包括:
10.根据权利要求7所述的应用于数据中心的信息管理系统,其特征在于,所述数据替换模块包括: