应用于ETL的数据加载、读取方法和装置及电子设备与流程

文档序号:28183730发布日期:2021-12-25 01:19阅读:来源:国知局

技术特征:
1.一种应用于etl的数据加载方法,其特征在于,应用于etl的控制端,所述控制端与配置中心关联,所述配置中心用于记录服务库中最新的生效表;所述方法包括:所述控制端在执行etl的数据加载时,获取所述etl在执行数据转换后生成的待加载数据;获取所述待加载数据的目标服务库,进而查询所述配置中心记录的所述目标服务库中最新的生效表;基于所述最新的生效表,确定所述目标服务库中与所述最新的生效表对应的备份表;向所述备份表中写入所述待加载数据,并更新所述配置中心记录的所述目标服务库中最新的生效表。2.根据权利要求1所述的方法,其特征在于,所述更新所述配置中心记录的所述目标服务库中最新的生效表,包括:将所述配置中心记录的所述目标服务库中最新的生效表修改为所述写入待加载数据的备份表,并将所述目标服务库中生效表切换为备份表。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:如果查询不到所述配置中心记录有所述目标服务库中最新的生效表,则在所述目标服务库中创建生效表和对应的备份表。4.一种应用于etl的数据读取方法,其特征在于,应用于etl的控制端,所述控制端与配置中心关联,所述配置中心用于记录服务库中最新的生效表;所述方法包括:接收目标应用发起针对目标服务库的数据读取请求;查询配置中心记录的所述目标服务库中最新的生效表;基于所述最新的生效表,从所述目标服务库的生效表中读取数据;将读取到的数据发送给所述目标应用。5.根据权利要求4所述的方法,其特征在于,所述数据读取请求包括待读取数据的数据范围;所述从所述目标服务库的生效表中读取数据,包括:从所述目标服务库的生效表中读取位于所述数据范围中的数据。6.一种应用于etl的数据加载装置,其特征在于,应用于etl的控制端,所述控制端与配置中心关联,所述配置中心用于记录服务库中最新的生效表所述装置包括:获取模块,用于在执行etl的数据加载时,获取所述etl在执行数据转换后生成的待加载数据;查询模块,用于获取所述待加载数据的目标服务库,进而查询所述配置中心记录的所述目标服务库中最新的生效表;确定模块,用于基于所述最新的生效表,确定所述目标服务库中与所述最新的生效表对应的备份表;加载模块,用于向所述备份表中写入所述待加载数据,并更新所述配置中心记录的所述目标服务库中最新的生效表。7.根据权利要求6所述的装置,其特征在于,所述加载模块,还用于将所述配置中心记录的所述目标服务库中最新的生效表修改为所述写入待加载数据的备份表,并将所述目标服务库中生效表切换为备份表。8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
创建模块,用于在查询不到所述配置中心记录有所述目标服务库中最新的生效表时,在所述目标服务库中创建生效表和对应的备份表。9.一种应用于etl的数据读取装置,其特征在于,应用于etl的控制端,所述控制端与配置中心关联,所述配置中心用于记录服务库中最新的生效表;所述装置包括:接收模块,用于接收目标应用发起针对目标服务库的数据读取请求;查询模块,用于查询配置中心记录的所述目标服务库中最新的生效表;读取模块,用于基于所述最新的生效表,从所述目标服务库的生效表中读取数据;发送模块,用于将读取到的数据发送给所述目标应用。10.根据权利要求9所述的装置,其特征在于,所述数据读取请求包括待读取数据的数据范围;所述读取模块,还用于从所述目标服务库的生效表中读取位于所述数据范围中的数据。11.一种电子设备,其特征在于,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为上述权利要求1

5中任一项所述的方法。

技术总结
公开了一种应用于ETL的数据加载、读取方法和装置及电子设备。可以包括:控制端在执行ETL的数据加载时,获取所述ETL在执行数据转换后生成的待加载数据;获取所述待加载数据的目标服务库,进而查询配置中心记录的所述目标服务库中最新的生效表;基于所述最新的生效表,确定所述目标服务库中与所述最新的生效表对应的备份表;向所述备份表中写入所述待加载数据,并更新所述配置中心记录的所述目标服务库中最新的生效表。中最新的生效表。中最新的生效表。


技术研发人员:查金祥
受保护的技术使用者:杭州数梦工场科技有限公司
技术研发日:2021.09.30
技术公布日:2021/12/24
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1