本发明属于数据管理,具体的,涉及一种基于大数据的信息系统数据智能管理方法。
背景技术:
1、互联网技术的高速发展也为数据赋予了越来越高的价值,充分有效的利用数据能够为企业带来更高的收益,而随着数据的积累,数据的存储也成为一项重要的问题。
2、互联网上数据的保存需要最基本的原则为方便读取,现有技术中是通过服务器、磁盘等设备对数据进行保存,用户可以在终端设备上对这些存储设备内所存储的信息进行读取,然而随着数据的日益积累,大量的数据活跃程度较低,若采用具有较大传输能力的存储设备进行存储会显著的提升数据存储的成本,同时还会降低所需数据的检索效率,为了解决上述问题,提供一种能够对待存储的数据进行合理的分配,降低数据存储的成本的方法,本发明提供了以下技术方案。
技术实现思路
1、本发明的目的在于提供一种基于大数据的信息系统数据智能管理方法,解决现有技术中存储设备在对数据进行存储时,无差别的存储会显著提升数据存储成本,降低所需数据的检索效率的问题。
2、本发明的目的可以通过以下技术方案实现:
3、基于大数据的信息系统数据智能管理方法,包括如下步骤:
4、步骤一、通过传感器对对应信息进行采集;
5、将同一信息打包形成一个数据包;
6、将一个数据包按照时序划分为若干个数据集合,每个数据集合的时间跨度为预设值t2;
7、所述同一信息是指由同一传感器按照时序采集的一组信息;
8、步骤二、获取数据集合在过去的预设t1时间内的热度系数r;
9、步骤三、获取两种数据集合之间的关联系数l;
10、将一个数据集合标记为锚点集合,将另一个数据集合标记为对比集合;
11、当锚点集合内的信息被用户查看或者下载时,获取锚点集合内的信息被用户查看或者下载的时刻,将该时刻标记为锚点时刻;
12、获取在以锚点时刻为中心,锚点时刻之前的时长为预设值t1的时段以及锚点时刻之后的时长为预设值t1的时段这一时间段内,对比集合是否被对应用户查看或下载,若是,则将锚点集合与对比集合之间的响应次数加一,若否,则不做相应处理;
13、获取在过去的预设时间t2内,锚点集合与对比集合之间的响应次数a1;获取在过去的预设时间t2内,锚点集合被用户查看或下载的总次数a;根据公式l=a1/a计算得到锚点集合与对比集合之间的关联系数l;
14、步骤四、为分类存储单元设置n个存储等级,划分n个热度系数r的取值范围;
15、每个存储低等级对应热度系数r的一个取值范围,且存储等级越高,对应的热度系数r越大;
16、步骤五、将一个数据集合标记为目标集合,获取目标集合的热度系数r,并根据目标集合的热度系数r获取目标集合对应的存储等级;
17、根据目标集合的存储等级获取对应的分类存储单元,将这些分类存储单元标记为待选分类存储单元;
18、获取各待选分类存储单元内存储的与目标集合存在关联的数据集合与目标集合之间的关联系数;
19、对于一个待选分类存储单元,将其中存储的与目标集合存在关联的数据集合与目标集合之间的关联系数依次标记为lj;
20、其中1≤j≤m,m为对应待选分类存储单元中存储的数据集合的数量;
21、将对应的lj之和最大的待选分类存储单元标记为待接收存储单元;
22、步骤六,将属于目标集合所属的数据包中目标集合之后的数据集合内的数据标记为待传数据;
23、依次计算得到各待传数据对应的待接收存储单元;
24、将各待传数据优先传输至对应的待接收存储单元中存储。
25、作为本发明的进一步方案,数据集合在过去的预设t1时间内的热度系数r的计算方法为:
26、获取一个数据集合在过去的预设时间t1内被点击查询的次数cx、下载的次数xz;
27、根据公式r=α1*cx+α2*xz计算得到对应的数据集合在过去的t1时间内的热度系数r;其中α1与α2为预设值。
28、作为本发明的进一步方案,α1取值为0.4,α2取值为0.6。
29、作为本发明的进一步方案,在确定两个数据集合中的锚点集合与对比集合时,将在过去的t2时间内被查看或下载的次数较多的数据集合作为锚点集合。
30、作为本发明的进一步方案,当关联系数l≥ly时,则认为锚点集合与对比集合之间存在关联;其中ly为预设值;
31、在获取待接收存储单元时,lj之和为对应待选分类存储单元中存储的与目标集合存在关联的数据集合的lj之和。
32、作为本发明的进一步方案,对分类存储单元的存储等级进行划分的方法为:
33、获取各分类存储单元的总容量r1、已用容量r2以及各分类存储单元的数据吞吐量cs;
34、所述数据吞吐量cs为单位时间内对应数据分类存储单元可以成功传输的数据数量;
35、根据公式d=cs1+β*(r1-r2)/r1计算得到各分类存储单元对应的等级系数d;
36、其中β取值范围为0≤β≤1;
37、为分类存储单元设置n个存储等级,划分n个等级系数d取值范围;
38、每个存储等级对应等级系数d的一个取值范围,且存储等级越高,对应的等级系数d的取值越大。
39、本发明的有益效果:
40、1、本发明首先根据分类存储单元的性能对各分类存储单元进行分级,再根据一种数据在过去一段时间内的热度来对该数据所存储的分类存储单元进行分配,这种方法能够对数据进行合理分配,将热度高的数据传输至存储等级较高的分类存储单元中,将热度较低的数据传输至存储等级较低的分类存储单元中,这样能够在不明显影响数据的使用体验的同时,降低分类存储单元的整体使用成本;
41、2、本发明在进行数据存储时,考虑到了数据之间的相互联系,尽可能将相互联系紧密的数据集合存储在同一分类存储单元中,从而在用户对数据进行检索时,减少参与数据检索的分类数据单元的数量,从而提升了数据检索效率,降低了数据检索过程中的数据处理量。
1.基于大数据的信息系统数据智能管理方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的基于大数据的信息系统数据智能管理方法,其特征在于,数据集合在过去的预设t1时间内的热度系数r的计算方法为:
3.根据权利要求2所述的基于大数据的信息系统数据智能管理方法,其特征在于,α1取值为0.4,α2取值为0.6。
4.根据权利要求1所述的基于大数据的信息系统数据智能管理方法,其特征在于,在确定两个数据集合中的锚点集合与对比集合时,将在过去的t2时间内被查看或下载的次数较多的数据集合作为锚点集合。
5.根据权利要求1所述的基于大数据的信息系统数据智能管理方法,其特征在于,当关联系数l≥ly时,则认为锚点集合与对比集合之间存在关联;其中ly为预设值;
6.根据权利要求1所述的基于大数据的信息系统数据智能管理方法,其特征在于,对分类存储单元的存储等级进行划分的方法为: