本技术涉及计算机,具体涉及一种数据存储系统、方法、装置、电子设备和计算机存储介质。
背景技术:
1、随着科技的迅速发展,信息化与我们紧密相关,随之带来的就是海量信息存储的问题。针对超大规模的用户信息存储,现有的数据存储方式不但成本高昂,而且存在数据丢失的风险。因此,目前亟需提供一种针对海量数据存储的方案,以解决超大规模用户数据存储的问题。
技术实现思路
1、本技术实施例提供一种数据存储管理系统、方法、装置、电子设备以及计算机存储介质,所述数据存储系统能够实现低成本的数据存储。
2、本技术实施例提供一种数据存储管理系统,包括:管理平台,执行平台,基础设施层;所述管理平台包括:调度层和管理层;所述调度层用于决策是否需要针对云存储装置进行存储容量调整操作;所述管理层用于管理用户数据的存储路径;所述调度层包括调度决策模块和调度执行模块;所述调度决策模块用于生成调度指令,将所述调度指令发送给调度执行模块进行执行;所述调度执行模块用于基于所述调度指令,调用云存储装置管理服务模块的接口对云存储装置执行存储容量调整操作;所述管理层包括用户存储路径管理模块,所述用户存储路径管理模块用于针对用户数据的存储路径进行管理;所述执行平台包括:存储原子管控模块和云存储装置原子管控模块;所述存储原子管控模块用于针对用户数据的存储进行管控;所述云存储装置原子管控模块用于针对云存储装置进行管控;所述基础设施层包括多个分布式云存储装置,所述基础设施层用于存储用户数据;其中,所述管理平台用于根据用户数据管理需求和云存储装置管理需求向所述执行平台发送管控指令,所述执行平台用于执行所述管控指令,所述基础设置层用于为所述执行平台提供云存储装置管理接口,所述执行平台还用于利用所述云存储装置管理接口针对用户数据的存储以及云存储装置进行管控。
3、可选的,所述管理平台还包括:数据采集模块;
4、所述数据采集模块用于采集云存储装置的属性信息,并将所述属性信息发送给所述调度决策模块;
5、所述调度决策模块用于生成调度指令,包括:
6、所述调度决策模块用于根据所述属性信息生成调度指令,所述调度指令用于判断是否需要针对云存储装置执行存储容量调整操作。
7、可选的,所述属性信息包括以下信息中的至少一种信息:
8、云存储装置的存储容量信息;
9、云存储装置的用量信息;
10、用户在线状态信息;
11、云存储装置输入与输出数据信息。
12、可选的,所述调度指令包括:扩大容量的操作指令、缩小容量的操作指令、保持容量不变的操作指令;
13、所述存储容量调整操作包括:扩大容量的操作、缩小容量的操作、保持容量不变的操作。
14、可选的,所述调度层还包括:活动模块;所述活动模块用于记录每一次调度行为以及调度行为对应的执行日志;所述执行日志包括以下至少一种信息:活动创建的时间信息、活动周期信息、活动状态信息以及活动分类信息。
15、可选的,所述管理层还包括:存储策略模块;所述存储策略模块用于设置用户数据的存储策略;所述存储策略包括:存储扩缩容策略、存储漫游策略;所述存储扩缩容策略是指针对云存储装置执行扩大存储容量以及缩小存储容量的策略;所述存储漫游策略是指针对用户数据进行保留和清理的策略。
16、可选的,所述用户存储路径管理模块包括:分配存储路径子模块、更新存储路径子模块、删除存储路径子模块、查询存储路径子模块;所述分配存储路径子模块用于为用户数据分配存储路径,所述更新存储路径子模块用于在用户数据存储路径发生改变时更新用户数据的存储路径,所述删除存储路径子模块用于删除用户数据的存储路径,所述查询存储路径子模块用于查询用户的存储路径。
17、可选的,所述云存储装置管理服务模块包括云存储装置扩大容量管理子模块、云存储装置缩小容量管理子模块、云存储装置容量查询管理子模块以及用户数据存储路径管理子模块中的至少一个模块。
18、可选的,所述存储原子管控模块包括存储分类子模块、存储创建子模块、存储更新子模块、存储升配子模块、存储漫游策略子模块中的至少一个模块。
19、可选的,所述云存储装置原子管控包括云存储装置管控子模块、用户数据管控子模块、存储路径管控子模块中的至少一个模块;
20、所述云存储装置管控子模块用于对所述云存储装置进行管控,所述用户数据管控子模块用于对所述用户数据进行管控,所述存储路径子模块用于对用户数据存储路径进行管控。
21、本技术实施例还提供一种数据存储管理方法,包括:响应于用户的登录操作,获得用户端发出的用于询问当前用户的用户数据所分配存储路径的用户数据分配存储路径查询请求消息;根据所述用户数据分配存储路径查询请求消息,获得云存储装置的属性信息;根据所述云存储装置的属性信息为用户数据分配存储路径。
22、可选的,所述属性信息包括以下信息中的至少一种信息:
23、云存储装置的存储容量信息;
24、云存储装置的用量信息;
25、用户在线状态信息;
26、云存储装置输入与输出数据信息。
27、可选的,还包括:
28、获得多个分布式云存储装置,所述云存储装置用于存储用户数据。
29、可选的,在响应于用户的登录操作之后,还包括:判断所述用户是否为新用户;
30、若所述用户为新用户,则针对所述新用户进行授权管理;
31、若所述用户不是新用户,则针对所述用户进行权限验证。
32、可选的,还包括:
33、采集所述云存储装置的属性信息;
34、基于所述云存储装置的属性信息,生成调度指令,所述调度指令用于判断是否需要针对云存储装置执行存储容量调整操作;
35、基于所述调度指令,针对云存储装置执行存储容量调整操作。
36、可选的,所述调度指令包括:扩大容量的操作指令、缩小容量的操作指令、保持容量不变的操作指令;
37、所述存储容量调整操作包括:扩大容量的操作、缩小容量的操作、保持容量不变的操作。
38、可选的,还包括:
39、根据用户的登录状态,确定所述用户在预设时长内是否再次登录;
40、若否,则将所述用户数据迁移至指定的云存储装置。
41、可选的,所述根据用户的登录状态,确定所述用户在预设时长内是否再次登录,包括:
42、获得用户的登录操作记录数据;
43、根据所述登录操作记录数据以及预设的算法,获得用户使用桌面的周期数据;
44、基于所述周期数据,确定所述用户在预设时长内是否再次登录。
45、可选的,将所述用户数据迁移至指定的云存储装置后,还包括:更新当前用户的用户数据存储路径。
46、可选的,还包括:
47、查询所述云存储装置的用量;
48、若所述云存储装置的用量为未使用状态,则将未使用状态的云存储装置卸载。
49、可选的,还包括:
50、若用户被设置为删除状态,则将用户数据迁移至指定的云存储装置或将用户数据进行冷备存储;
51、若用户在指定时间内被恢复为正常状态,则将用户数据恢复至原始云存储装置中。
52、本技术实施例还提供一种数据存储管理装置,包括:第一获得单元,用于响应于用户的登录操作,获得用户端发出的用于询问当前用户的用户数据所分配存储路径的用户数据分配存储路径查询请求消息;第二获得单元,用于根据所述用户数据分配存储路径查询请求消息,获得云存储装置的属性信息;分配单元,用于根据所述云存储装置的属性信息为用户数据分配存储路径。
53、本技术还提供一种电子设备,所述电子设备包括处理器和存储器;所述存储器中存储有计算机程序,所述处理器运行所述计算机程序后,执行上述方法。
54、本技术还提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序被处理器运行后,执行上述方法。
55、与现有技术相比,本技术实施例具有以下优点:
56、本技术实施例提供一种数据存储管理系统,包括:管理平台,执行平台,基础设施层;所述管理平台包括:调度层和管理层;所述调度层用于决策是否需要针对云存储装置进行存储容量调整操作;所述管理层用于管理用户数据的存储路径;所述调度层包括调度决策模块和调度执行模块;所述调度决策模块用于生成调度指令,将所述调度指令发送给调度执行模块进行执行;所述调度执行模块用于基于所述调度指令,调用云存储装置管理服务模块的接口对云存储装置执行存储容量调整操作;所述管理层包括用户存储路径管理模块,所述用户存储路径管理模块用于针对用户数据的存储路径进行管理;所述执行平台包括:存储原子管控模块和云存储装置原子管控模块;所述存储原子管控模块用于针对用户数据的存储进行管控;所述云存储装置原子管控模块用于针对云存储装置进行管控;所述基础设施层包括多个分布式云存储装置,所述基础设施层用于存储用户数据;其中,所述管理平台用于根据用户数据管理需求和云存储装置管理需求向所述执行平台发送管控指令,所述执行平台用于执行所述管控指令,所述基础设置层用于为所述执行平台提供云存储装置管理接口,所述执行平台还用于利用所述云存储装置管理接口针对用户数据的存储以及云存储装置进行管控。
57、本技术实施例通过调度决策模块生成调度指令,通过调度执行模块执行调度指令,通过调用云存储装置管理服务模块的接口对云存储装置执行存储容量调整操作,能够根据用户数据实时弹性调度云存储装置容量;并且,通过设置多个分布式云存储装置,能够实现低成本的数据存储。