一种基于多维度的数据管理方法及系统与流程

文档序号:31408592发布日期:2022-09-03 08:04阅读:来源:国知局

技术特征:
1.一种基于多维度的数据管理方法,其特征在于,所述方法包括:获取业务日志相关的多维度数据,其中,所述多维度数据包括以下至少一项或多项:认证日志多维度数据;开销户日志多维度数据;原始话单日志多维度数据;通过转化引擎,将所述多维度数据转化为目标格式数据,基于用户名和业务类型对多维度数据进行维护,并将所述多维度数据的时间字段由行数据转化为列数据,以获得所述目标格式数据;以所述时间字段作为所述目标格式数据的列名,所述时间字段对应的数据内容作为行级数据内容;其中,所述时间字段对应于一个自然日;将转化后的所述目标格式数据通过elasticsearch存储至服务器上;基于业务需求查询请求,对存储至服务器上的所述目标格式数据进行查询,获得查询结果。2.根据权利要求1所述的基于多维度的数据管理方法,其特征在于,所述转化引擎包括:kafka。3.根据权利要求2所述的基于多维度的数据管理方法,其特征在于, 所述获取业务日志相关的多维度数据,包括:实时获取业务日志相关的所述多维度数据并进行实时分析。4.根据权利要求1所述的基于多维度的数据管理方法,其特征在于, 所述基于业务需求查询请求,对存储至服务器上的所述目标格式数据进行查询,获得查询结果之后,还包括:将所述查询结果返回至请求用户。5.一种基于多维度的数据管理系统,其特征在于,所述系统包括:获取模块,用于获取业务日志相关的多维度数据,其中,所述多维度数据包括以下至少一项或多项:认证日志多维度数据;开销户日志多维度数据;原始话单日志多维度数据;转化模块,用于通过转化引擎,将所述多维度数据转化为目标格式数据,基于用户名和业务类型对多维度数据进行维护,并将所述多维度数据的时间字段由行数据转化为列数据,以获得所述目标格式数据;以所述时间字段作为所述目标格式数据的列名,所述时间字段对应的数据内容作为行级数据内容;其中,所述时间字段对应于一个自然日;存储模块,用于将转化后的所述目标格式数据通过elasticsearch存储至服务器上;查询模块,基于业务需求查询请求,对存储至服务器上的所述目标格式数据进行查询,获得查询结果。6.根据权利要求5所述的基于多维度的数据管理系统,其特征在于,所述转化引擎包括:kafka。7.根据权利要求6所述的基于多维度的数据管理系统,其特征在于, 所述获取模块,还执行如下操作包括:用于实时获取业务日志相关的所述多维度数据并进行实时分析。8.根据权利要求5所述的基于多维度的数据管理系统,其特征在于,还包括反馈模块:所述反馈模块,用于将所述查询结果返回至请求用户。9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至4中任意一项所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如权利要求1至4中任一所述的方法。

技术总结
本申请公开了一种基于多维度的数据管理方法及系统,获取业务日志相关的多维度数据;通过转化引擎,将多维度数据转化为目标格式数据,基于用户名和业务类型对多维度数据进行维护,并将多维度数据的时间字段由行数据转化为列数据,以获得目标格式数据;以时间字段作为目标格式数据的列名,时间字段对应的数据内容作为行级数据内容;其中,时间字段对应于一个自然日;将转化后的目标格式数据通过Elasticsearch存储至服务器上;基于业务需求查询请求,对存储至服务器上的所述目标格式数据进行查询,获得查询结果;通过本发明能够提高多维度数据的字段可扩展性,降低多维度数据占用的存储空间,同时提高查询效率。同时提高查询效率。同时提高查询效率。


技术研发人员:武云霞 李向峰 林锋 张树江 董芸
受保护的技术使用者:北京首信科技股份有限公司
技术研发日:2022.08.04
技术公布日:2022/9/2
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1