跨区域的数据同步方法、系统及计算机可读介质与流程

文档序号:33470004发布日期:2023-03-15 08:04阅读:来源:国知局

技术特征:
1.一种跨区域的数据同步方法,其特征在于,包括:根据数据同步语言的语法结构提交数据同步语句;解析所述数据同步语句,获得同步计划,所述同步计划适于将一个或多个同步区域的单元节点的数据同步至中心节点;执行所述同步计划,获得执行结果。2.如权利要求1所述的数据同步方法,其特征在于,在根据数据同步语言的语法结构提交数据同步语句的步骤之前,还包括:配置alluxio数据编排服务的地址和目录,所述alluxio数据编排服务用于挂载底层文件系统供上层计算框架和应用访问。3.如权利要求2所述的数据同步方法,其特征在于,在根据数据同步语言的语法结构提交数据同步语句的步骤之前,还包括:配置元数据服务的地址、所述一个或多个同步区域的底层文件系统的地址、计算引擎的执行目录、同步引擎的通讯地址、所述同步引擎的端口、同步执行者的通讯地址、所述同步执行者的端口、同步网络服务的地址、所述同步网络服务的端口中的一项或任意项。4.如权利要求3所述的数据同步方法,其特征在于,所述语法结构包括配置项,所述配置项包括:调度周期、调度时区、计算引擎、是否选定当地区域时区、源数据表分区、目标数据表分区、需要同步的分区列表、视图名称中的一项或任意项,其中,所述源数据表对应于所述单元节点,所述目标数据表对应于所述中心节点。5.如权利要求4所述的数据同步方法,其特征在于,所述同步计划包括离线同步计划和/或实时同步计划,所述实时同步计划包括所述视图名称。6.如权利要求4所述的数据同步方法,其特征在于,解析所述数据同步语句的步骤包括:根据所述语法结构解析所述数据同步语句,获得解析结果;在所述解析结果为解析成功后获得数据同步语法树,所述数据同步语法树包括所述配置项的信息、所述源数据表的表名、所述目标数据表的表名;根据所述元数据服务的地址连接所述元数据服务,根据所述目标数据表的表名判断所述元数据服务中是否存在所述目标数据表;若所述目标数据表存在,则创建所述alluxio数据编排服务对应于所述源数据表的映射目录;将所述一个或多个同步区域的底层文件系统的地址中的源表目录挂载至所述映射目录;创建映射目录源表,所述映射目录源表的位置为所述映射目录;判断是否进行实时同步,若不进行实时同步则生成离线同步计划;若进行实时同步则根据所述视图名称创建视图,以及生成实时同步计划。7.如权利要求6所述的数据同步方法,其特征在于,解析所述数据同步语句的步骤还包括:根据所述配置项的信息、所述alluxio数据编排服务的地址和所述元数据服务的地址,生成所述alluxio数据编排服务的文件元数据同步计划和所述元数据服务的分区元数据同步计划;所述计算引擎读取所述映射目录源表中的数据字段,并将所述数据字段写入所述目标
数据表;将所述离线同步计划、所述实时同步计划、所述alluxio数据编排服务的文件元数据同步计划、所述元数据服务的分区元数据同步计划中的一个或多个存入所述中心节点的数据库。8.如权利要求1所述的数据同步方法,其特征在于,在解析所述数据同步语句,获得同步计划的步骤之后,还包括:定期读取所述同步计划,判断所述同步计划是否符合运行条件,所述运行条件包括计划执行时区和计划执行时间;若符合所述运行条件则执行所述同步计划。9.如权利要求1所述的数据同步方法,其特征在于,在执行所述同步计划,获得执行结果的步骤之后,还包括:判断所述执行结果是否成功,若所述执行结果为成功,则将成功的执行结果写入日志;若所述执行结果为失败,则进行报警并将失败的执行结果写入所述日志。10.如权利要求1所述的数据同步方法,其特征在于,在执行所述同步计划,获得执行结果的步骤之后,还包括显示所述同步计划和所述执行结果。11.如权利要求10所述的数据同步方法,其特征在于,在显示所述同步计划和所述执行结果的步骤中,所述同步计划包括存储在所述中心节点的数据库中的任意同步计划。12.一种跨区域的数据同步系统,其特征在于,包括:同步客户端模块,用于根据数据同步语言的语法结构提交数据同步语句;同步引擎模块,用于解析所述数据同步语句,获得同步计划,所述同步计划适于将一个或多个同步区域的单元节点的数据同步至中心节点;同步执行者模块,用于执行所述同步计划,获得执行结果;存储器,用于存储可由处理器执行的指令;处理器,用于执行所述指令以实现如权利要求1-11任一项所述的数据同步方法。13.如权利要求12所述的数据同步系统,其特征在于,还包括同步网络服务模块,用于前端显示所述同步计划和所述执行结果。14.一种存储有计算机程序代码的计算机可读介质,其特征在于,所述计算机程序代码在由处理器执行时实现如权利要求1-11任一项所述的数据同步方法。

技术总结
本发明涉及一种跨区域的数据同步方法、系统及计算机可读介质。该跨区域的数据同步方法,包括:根据数据同步语言的语法结构提交数据同步语句;解析数据同步语句,获得同步计划,同步计划适于将一个或多个同步区域的单元节点的数据同步至中心节点;执行同步计划,获得执行结果。本发明的技术方案通过统一的数据同步语言的语法结构来规范数据同步语句的内容,根据数据同步语句获得相应的同步计划,所有的同步计划无需借助额外的调度和开发,同步计划易维护且开发成本低;执行同步计划后,各个同步区域的单元节点的数据同步至中心节点,在中心节点统一部署跨区域的数据同步方法即可实现数据同步。现数据同步。现数据同步。


技术研发人员:孔祥强 林喆 于汉岭
受保护的技术使用者:深圳米开朗基罗科技有限公司
技术研发日:2022.11.02
技术公布日:2023/3/14
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1