ETL数据同步方法及装置、电子设备、存储介质与流程

文档序号:23763312发布日期:2021-01-29 19:27阅读:来源:国知局

技术特征:
1.一种etl数据同步方法,其特征在于,应用于下游etl服务器,包括:获取上游etl服务器发送的经由网闸转发的配置文件,所述配置文件由所述上游etl服务器根据预设转换规则对etl任务进行转换得到;获取所述上游etl服务器发送的经由网闸转发的传输文件,所述传输文件由所述上游etl服务器根据所述etl任务对待同步数据进行格式转换得到;通过所述预设转换规则将所述配置文件解析为etl任务,并通过解析得到的etl任务将所述传输文件还原为所述待同步数据。2.根据权利要求1所述的方法,其特征在于,还包括:获取所述上游etl服务器发送的经由网闸转发的所有文件;将获取到的文件中包含配置文件标识的文件确定为所述配置文件、包含传输文件标识的文件确定为所述传输文件。3.根据权利要求1所述的方法,其特征在于,还包括:确定所述配置文件的相关信息;所述通过所述预设转换规则将所述配置文件解析为etl任务,包括:获取所述下游etl服务器中记录的若干预设转换规则,从所述若干预设转换规则中确定出与所述相关信息相对应的目标转换规则;基于确定的目标转换规则将所述配置文件解析为etl任务。4.根据权利要求3所述的方法,其特征在于,所述确定所述配置文件的相关信息,包括:确定所述配置文件的名称信息;所述从所述若干预设转换规则中确定出与所述相关信息相对应的目标转换规则,包括:在所述若干预设转换规则中匹配与所述名称信息的名称格式相对应的预设转换格式,将匹配得到的预设转换规则确定为所述目标转换规则。5.根据权利要求1所述的方法,其特征在于,所述确定所述配置文件的相关信息,包括:解析得到所述配置文件的文件内容,以确定所述文件内容的内容格式;所述从所述若干预设转换规则中确定出与所述相关信息相对应的目标转换规则,包括:在所述若干预设转换规则中匹配与所述内容格式相对应的预设转换规则,将匹配得到的预设转换规则确定为所述目标转换规则。6.一种etl数据同步方法,其特征在于,应用于上游etl服务器,包括:基于etl任务将待同步数据转换为传输文件,并将所述传输文件发送至网闸,以由所述网闸将所述传输文件转发至下游etl服务器;根据预设转换规则将etl任务转换为配置文件,并将转换得到的配置文件发送至网闸,以由所述网闸将所述配置文件转发至下游etl服务器,所述配置文件被所述下游etl服务器基于所述预设转换规则解析为etl任务;其中,解析得到的etl任务被所述下游etl服务器用于将接收到的传输文件还原为所述待同步数据。7.一种etl数据同步装置,其特征在于,应用于下游etl服务器,包括:第一获取单元,获取上游etl服务器发送的经由网闸转发的配置文件,所述配置文件由所述上游etl服务器根据预设转换规则对etl任务进行转换得到;第二获取单元,获取所述上游etl服务器发送的经由网闸转发的传输文件,所述传输文
件由所述上游etl服务器根据所述etl任务对待同步数据进行格式转换得到;解析单元,通过所述预设转换规则将所述配置文件解析为etl任务,并通过解析得到的etl任务将所述传输文件还原为所述待同步数据。8.一种etl数据同步装置,其特征在于,应用于上游etl服务器,包括:第一转换单元,基于etl任务将待同步数据转换为传输文件,并将所述传输文件发送至网闸,以由所述网闸将所述传输文件转发至下游etl服务器;第二转换单元,根据预设转换规则将etl任务转换为配置文件,并将转换得到的配置文件发送至网闸,以由所述网闸将所述配置文件转发至下游etl服务器,所述配置文件被所述下游etl服务器基于所述预设转换规则解析为etl任务;其中,解析得到的etl任务被所述下游etl服务器用于将接收到的传输文件还原为所述待同步数据。9.一种电子设备,其特征在于,包括:处理器;用于存储处理器可执行任务的存储器;其中,所述处理器通过运行所述可执行指令以实现如权利要求1-6中任一项所述的方法。10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1