数据仓库构建方法、装置、计算机设备和存储介质与流程

文档序号:27769309发布日期:2021-12-04 02:13阅读:来源:国知局

技术特征:
1.一种数据仓库构建方法,其特征在于,包括:获取埋点数据,以及结构化数据;将所述埋点数据以及所述结构化数据分别存储至hive表中;对所述hive表中的数据进行数据主题划分,根据划分的数据主题确定数据仓库的构建类型;根据确定的数据仓库的构建类型构建数据仓库。2.根据权利要求1所述的方法,其特征在于,所述将所述埋点数据以及所述结构化数据分别存储至hive表中,包括:将所述埋点数据实时上传至分布式消息队列,将所述分布式消息队列中的数据存储至分布式文件系统,通过hive将所述分布式文件系统中的数据导入至hive表中;将所述结构化数据存储至所述hive表中。3.根据权利要求1所述的方法,其特征在于,所述根据确定的数据仓库的构建类型构建数据仓库,包括:根据确定的数据仓库的构建类型生成事实表与维度表;根据生成的事实表与维度表构建数据仓库。4.根据权利要求1所述的方法,其特征在于,所述获取埋点数据,包括:通过数据埋点追踪事件数据,利用flume收集数据埋点追踪的事件数据,将收集的事件数据作为埋点数据。5.根据权利要求1至4任意一项所述的方法,其特征在于,所述方法还包括:获取数据查询请求,所述数据查询请求携带请求参数;通过hive sql语言根据所述请求参数生成查询语句;执行所述查询语句,在所述数据仓库中进行数据查询。6.一种数据仓库构建装置,其特征在于,所述装置包括:通信模块,用于获取埋点数据,以及结构化数据;数据存储模块,用于将所述埋点数据以及所述结构化数据分别存储至hive表中;构建类型确定模块,用于对所述hive表中的数据进行数据主题划分,根据划分的数据主题确定数据仓库的构建类型;数据仓库构建模块,用于根据确定的数据仓库的构建类型构建数据仓库。7.根据权利要求6所述的装置,其特征在于,所述数据存储模块还用于将所述埋点数据实时上传至分布式消息队列,将所述分布式消息队列中的数据存储至分布式文件系统,通过hive将所述分布式文件系统中的数据导入至hive表中;将所述结构化数据存储至所述hive表中。8.根据权利要求6所述的装置,其特征在于,所述数据仓库构建模块还用于根据确定的数据仓库的构建类型生成事实表与维度表;根据生成的事实表与维度表构建数据仓库。9.一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

技术总结
本申请公开了一种数据仓库构建方法、装置、计算机设备和存储介质。该数据仓库构建方法包括:获取埋点数据,以及结构化数据;将所述埋点数据以及所述结构化数据分别存储至hive表中;对所述hive表中的数据进行数据主题划分,根据划分的数据主题确定数据仓库的构建类型;根据确定的数据仓库的构建类型构建数据仓库。本申请能够降低企业的数据仓库构建成本。本申请能够降低企业的数据仓库构建成本。本申请能够降低企业的数据仓库构建成本。


技术研发人员:王锦胤 马鑫
受保护的技术使用者:紫金诚征信有限公司
技术研发日:2021.08.05
技术公布日:2021/12/3
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1