一种多源数据融合方法、装置及电子设备与流程

文档序号:28625000发布日期:2022-01-22 14:03阅读:来源:国知局

技术特征:
1.一种多源数据融合方法,其特征在于,包括:基于待融合的多个数据源包含的各字段,在列式数据库中创建待融合数据的明细表,所述明细表中包括所述多个数据源的全部字段;将所述多个数据源包含的数据,按照所述明细表所包含的字段,添加到所述列式数据库中;按照与所述多个数据源包含的数据相关的业务逻辑,对所述列式数据库中的数据进行轻度汇总,得到多个汇总结果集。2.根据权利要求1所述的多源数据融合方法,其特征在于,所述基于待融合的多个数据源包含的各字段,在列式数据库中创建待融合数据的明细表,包括:基于待融合的多个数据源包含的各字段,按照所述多个数据源包含的各字段之间的相关性,在列式数据库中创建待融合数据的多个明细表,其中,每个明细表所包含的多个字段之间的相关性满足预设相关条件,所述多个明细表中包括所述多个数据源的全部字段。3.根据权利要求2所述的多源数据融合方法,其特征在于,所述按照与所述多个数据源包含的数据相关的业务逻辑,对所述列式数据库中的数据进行轻度汇总,包括:按照与所述多个数据源包含的数据相关的业务逻辑,分别针对每个明细表,对所述列式数据库中该明细表包含的数据进行轻度汇总。4.根据权利要求1所述的多源数据融合方法,其特征在于,还包括:获取数据查询条件;从所述多个汇总结果集中,选择与所述数据查询条件相匹配的汇总结果集,作为待查询汇总结果集;从所述待查询汇总结果集中,按照所述数据查询条件进行数据查询。5.根据权利要求1-4任一项所述的多源数据融合方法,其特征在于,所述列式数据库为clickhouse列式数据库。6.根据权利要求1-4任一项所述的多源数据融合方法,其特征在于,所述多个汇总结果集为多个物化视图结果集。7.一种多源数据融合装置,其特征在于,包括:明细表创建模块,用于基于待融合的多个数据源包含的各字段,在列式数据库中创建待融合数据的明细表,所述明细表中包括所述多个数据源的全部字段;数据添加模块,用于将所述多个数据源包含的数据,按照所述明细表所包含的字段,添加到所述列式数据库中;数据汇总模块,用于按照与所述多个数据源包含的数据相关的业务逻辑,对所述列式数据库中的数据进行轻度汇总,得到多个汇总结果集。8.根据权利要求7所述的多源数据融合装置,其特征在于,所述明细表创建模块,具体用于基于待融合的多个数据源包含的各字段,按照所述多个数据源包含的各字段之间的相关性,在列式数据库中创建待融合数据的多个明细表,其中,每个明细表所包含的多个字段之间的相关性满足预设相关条件,所述多个明细表中包括所述多个数据源的全部字段。9.根据权利要求8所述的多源数据融合装置,其特征在于,所述数据汇总模块,具体用于按照与所述多个数据源包含的数据相关的业务逻辑,分别针对每个明细表,对所述列式数据库中该明细表包含的数据进行轻度汇总。
10.根据权利要求7所述的多源数据融合装置,其特征在于,还包括:条件获取模块,用于获取数据查询条件;结果集选择模块,用于从所述多个汇总结果集中,选择与所述数据查询条件相匹配的汇总结果集,作为待查询汇总结果集;数据查询模块,用于从所述待查询汇总结果集中,按照所述数据查询条件进行数据查询。11.根据权利要求7-10任一项所述的多源数据融合装置,其特征在于,所述列式数据库为clickhouse列式数据库。12.根据权利要求7-10任一项所述的多源数据融合装置,其特征在于,所述多个汇总结果集为多个物化视图结果集。13.一种电子设备,其特征在于,所述电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述任一权利要求所述的方法。14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现前述任一权利要求所述的方法。

技术总结
本发明的实施例公开一种多源数据融合方法、装置及电子设备,包括:基于待融合的多个数据源包含的各字段,在列式数据库中创建待融合数据的明细表,明细表中包括多个数据源的全部字段;将多个数据源包含的数据,按照明细表所包含的字段,添加到列式数据库中;按照与多个数据源包含的数据相关的业务逻辑,对列式数据库中的数据进行轻度汇总,得到多个汇总结果集。采用本方案,降低了在多源数据融合时对原有数据库的不利影响。有数据库的不利影响。有数据库的不利影响。


技术研发人员:马孝明 杨飞
受保护的技术使用者:安天科技集团股份有限公司
技术研发日:2021.10.13
技术公布日:2022/1/21
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1