数据处理方法、装置、电子设备以及存储介质与流程

文档序号:31787451发布日期:2022-10-12 14:25阅读:来源:国知局

技术特征:
1.一种数据处理方法,其特征在于,包括:获取至少一个第一元数据表在相邻周期内的变化数据,生成至少一个第二元数据表,所述至少一个第一元数据表与所述至少一个第二元数据表一一对应;从所述至少一个第二元数据表中,提取与至少一个预置数据访问需求对应的数据,并将提取获得的数据存储至至少一个第三元数据表,所述至少一个第二元数据表的数量与所述至少一个第三元数据表的数量的对应关系包括以下任一项:一对多关系、多对一关系,以及多对多关系,所述至少一个第三元数据表与所述至少一个预置数据访问需求一一对应;将所述至少一个第三元数据表中的数据,存储至多个第一存储设备,每个所述第一存储设备用于存储至少一个所述第三元数据表中的数据。2.根据权利要求1所述的数据处理方法,其特征在于,所述将所述至少一个第三元数据表中的数据,存储至多个第一存储设备之后,所述方法还包括:响应于客户端发送的数据访问指令,确定目标第一存储设备,所述数据访问指令用于请求访问目标数据,所述目标第一存储设备为所述多个第一存储设备中存储所述目标数据的第一存储设备;从所述目标第一存储设备中获取所述目标数据,并将所述目标数据发送给所述客户端。3.根据权利要求2所述的数据处理方法,其特征在于,所述从所述至少一个第二元数据表中,提取与至少一个预置数据访问需求对应的数据,并将提取获得的数据存储至至少一个第三元数据表,包括:获取所述至少一个预置数据访问需求中的每个预置数据访问需求;从所述第二元数据表中,依次提取与每个所述预置数据访问需求对应的列数据,一个所述列数据对应一个数据标识;按照所述数据标识重新连接提取获得的所述列数据,并将所述连接的结果对应的数据,依次存储至所述至少一个第三元数据表中的每个第三元数据表。4.根据权利要求3所述的数据处理方法,其特征在于,所述将所述至少一个第三元数据表中的数据,存储至多个第一存储设备之前,所述方法还包括:在所述预置数据访问需求包括预置时间标识的情况下,为所述预置数据访问需求对应的第三元数据表中的数据增加时间戳信息;所述数据访问指令还包括所述目标数据对应的数据更新时间;所述从所述目标第一存储设备中获取所述目标数据,并将所述目标数据发送给所述客户端,包括:在所述目标第一存储设备中存储第一异常数据的情况下,如果所述数据更新时间在所述第一异常数据对应的时间戳信息之前,则从所述目标第一存储设备中获取所述目标数据,并将所述目标数据发送给所述客户端;在所述目标第一存储设备中存储第一异常数据的情况下,如果所述数据更新时间与所述第一异常数据对应的时间戳信息相同,或者所述数据更新时间在所述第一异常数据对应的时间戳信息之后,则获取与所述第一异常数据对应的异常数据标识信息,并将所述异常数据标识信息发送给所述客户端。5.根据权利要求4所述的数据处理方法,其特征在于,所述方法还包括:将所述至少一个第二元数据表中的数据,备份存储至第二存储设备;
在所述目标第一存储设备发生故障的情况下,从所述第二存储设备中获取所述目标数据,并将所述目标数据发送给所述客户端;在所述目标第一存储设备的故障已解除的情况下,从所述目标第一存储设备中获取所述目标数据,并将所述目标数据发送给所述客户端。6.根据权利要求5所述的数据处理方法,其特征在于,所述方法还包括:在所述第一存储设备中的第二异常数据满足预置条件的情况下,根据所述第二异常数据的存储时间,以及当前时间,在所述第二存储设备中查找与所述第二异常数据对应的异常恢复数据;将所述异常恢复数据作为所述第三元数据表中的数据,存储至所述多个第一存储设备;其中,所述预置条件为所述第二异常数据对应的数据列数大于预置数量。7.根据权利要求2所述的数据处理方法,其特征在于,所述方法还包括:在所述目标第一存储设备的负载状态大于预置阈值的情况下,响应于客户端发送的数据访问指令,确定所述多个第一存储设备中的协同第一存储设备,所述协同第一存储设备用于存储于所述目标数据中的全部或部分数据;根据数据包含关系,从至少一个动态第一存储设备中获取所述目标数据,并将所述目标数据发送给所述客户端;其中,所述数据包含关系为:所述协同第一存储设备中的存储数据,与所述目标数据之间的包含关系;所述至少一个动态第一存储设备包括:所述协同第一存储设备,或者,所述协同第一存储设备和所述目标第一存储设备。8.根据权利要求7所述的数据处理方法,其特征在于,所述根据数据包含关系,从至少一个动态第一存储设备中获取所述目标数据,包括:在所述协同第一存储设备存储所述目标数据中的全部数据的情况下,从所述协同第一存储设备中获取所述目标数据;在所述协同第一存储设备存储所述目标数据中的全部数据的情况下,根据所述目标第一存储设备的负载状态,从所述目标第一存储设备和所述协同第一存储设备中分别获取部分所述目标数据;在所述协同第一存储设备存储所述目标数据中的部分数据的情况下,从所述协同第一存储设备和所述目标第一存储设备中分别获取部分所述目标数据。9.一种数据处理装置,其特征在于,包括:获取单元、处理单元和存储单元;所述获取单元,用于获取至少一个第一元数据表在相邻周期内的变化数据,生成至少一个第二元数据表,所述至少一个第一元数据表与所述至少一个第二元数据表一一对应;所述处理单元,用于从所述至少一个第二元数据表中,提取与至少一个预置数据访问需求对应的数据,并将提取获得的数据存储至至少一个第三元数据表,所述至少一个第二元数据表的数量与所述至少一个第三元数据表的数量的对应关系包括以下任一项:一对多关系、多对一关系,以及多对多关系,所述至少一个第三元数据表与所述至少一个预置数据访问需求一一对应;所述存储单元,用于将所述至少一个第三元数据表中的数据,存储至多个第一存储设
备,每个所述第一存储设备用于存储至少一个所述第三元数据表中的数据。10.一种电子设备,其特征在于,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如权利要求1-8中任一项所述的数据处理方法。11.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令被处理器执行时,能够实现如权利要求1-8中任一项所述的数据处理方法。

技术总结
本公开关于一种数据处理方法、装置、电子设备以及存储介质,涉及数据处理技术领域。本公开至少解决相关技术中,同步存储效率较低的问题。该方法包括:获取至少一个第一元数据表在相邻周期内的变化数据,生成至少一个第二元数据表;从至少一个第二元数据表中,提取与至少一个预置数据访问需求对应的数据,并将提取获得的数据存储至至少一个第三元数据表;将至少一个第三元数据表中的数据,存储至多个第一存储设备。如此,将变化数据分散存储至多个第一存储设备中,能够横向提高存储变化数据的吞吐量,进而提高同步存储速度和效率、减少同步存储的耗时,最终提高对目标数据进行访问等处理的实时性和处理效率。理的实时性和处理效率。理的实时性和处理效率。


技术研发人员:班军成 纪艳辉 谢纳政 杨雨 郑涛
受保护的技术使用者:北京达佳互联信息技术有限公司
技术研发日:2022.09.07
技术公布日:2022/10/11
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1