数据传输系统、方法、装置及设备与流程

文档序号:19471994发布日期:2019-12-21 02:24阅读:来源:国知局

技术特征:

1.一种数据传输系统,其特征在于,所述系统包括:业务数据库、消息中间件和数据仓库,所述业务数据库用于将业务表变更日志集合中的业务变更日志进行编译后发送至所述消息中间件,所述数据仓库用于按照设定周期从所述消息中间件中获取编译后的各所述业务变更日志。

2.一种数据传输方法,其特征在于,所述方法包括:

获取业务数据库中的业务变更日志集合;

将所述业务变更日志集合中的每一条业务变更日志进行编译后,得到设定格式的消息,存放到消息队列中;

按照设定周期将所述消息队列中的所述设定格式的消息发送至数据仓库。

3.如权利要求2所述的方法,其特征在于,在所述将所述业务变更日志集合中的每一条业务变更日志进行编译后,得到设定格式的消息,存放到消息队列中之前,还包括:

获取业务数据库中的业务数据表结构信息;

所述将所述业务变更日志集合中的每一条业务变更日志进行编译后,得到设定格式的消息,具体包括:

根据所述业务数据表结构信息对所述业务变更日志集合中的每一条业务变更日志进行编译,得到设定格式的消息,所述设定格式包括:变更前数据、变更后数据、数据源信息和数据类型。

4.如权利要求2所述的方法,其特征在于,所述按照设定周期将所述消息队列中的所述设定格式的消息发送至数据仓库,具体包括:

确定所述消息队列中的第一断点位置;

获取所述消息队列中位于所述第一断点位置之后的设定格式的消息,其中,所述消息队列中的设定格式的消息按照进入所述消息队列的时间先后顺序进行排序;

将所述第一断点位置之后的设定格式的消息发送至数据仓库。

5.如权利要求2所述的方法,其特征在于,在所述将所述业务变更日志集合中的每一条变更日志进行编译后,得到设定格式的消息,存放到消息队列中之后,所述方法还包括:

基于分库分表的名称正则表达式,根据主题对符合设定格式的消息进行合并存储。

6.一种数据传输方法,其特征在于,所述方法包括:

捕获业务变更日志集合快照;

按照所述业务变更日志集合快照读取所述业务变更日志集合中的各业务变更日志;

将所述业务变更日志集合中的各业务变更日志发送至消息中间件。

7.如权利要求6所述的方法,其特征在于,在所述按照所述业务变更日志集合快照读取所述业务变更日志集合中的各业务变更日志之后,还包括:

在所述业务变更日志集合中的最后一条业务变更日志的位置进行标记。

8.如权利要求6所述的方法,其特征在于,所述按照所述业务变更日志集合快照读取所述业务变更日志集合中的各业务变更日志,具体包括:

确定业务变更日志集合中的第二断点位置;

获取所述业务变更日志集合中位于所述第二断点位置之后的一个或多个业务变更日志。

9.如权利要求6所述的方法,其特征在于,在所述捕获业务变更日志集合快照之后,还包括:

对所述业务变更日志集合快照加锁,屏蔽其他客户端的写操作;

在所述按照所述业务变更日志集合快照读取所述业务变更日志集合中的各业务变更日志之后,还包括:

释放对所述业务变更日志集合快照的锁。

10.一种数据传输装置,其特征在于,所述装置包括:

业务变更日志集合获取模块,用于获取业务数据库中的业务变更日志集合;

业务变更日志编译模块,用于将所述业务变更日志集合中的每一条业务变更日志进行编译后,得到设定格式的消息,存放到消息队列中;

设定格式的消息发送模块,用于按照设定周期将所述消息队列中的所述设定格式的消息发送至数据仓库。

11.一种数据传输装置,其特征在于,所述装置包括:

快照捕获模块,用于捕获业务变更日志集合快照;

读取模块,用于按照所述业务变更日志集合快照读取所述业务变更日志集合中的各业务变更日志;

发送模块,用于将所述业务变更日志集合中的各业务变更日志发送至消息中间件。

12.一种数据传输设备,其特征在于,所述设备包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:

获取业务数据库中的业务变更日志集合;

将所述业务变更日志集合中的每一条业务变更日志进行编译后,得到设定格式的消息,存放到消息队列中;

按照设定周期将所述消息队列中的所述设定格式的消息发送至数据仓库。

13.一种数据传输设备,其特征在于,所述设备包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:

捕获业务变更日志集合快照;

按照所述业务变更日志集合快照读取所述业务变更日志集合中的各业务变更日志;

将所述业务变更日志集合中的各业务变更日志发送至消息中间件。


技术总结
本说明书实施例公开了数据传输系统、方法、装置及设备。所述系统包括:业务数据库、消息中间件和数据仓库,所述业务数据库用于将业务表变更日志集合中的业务变更日志进行编译后发送至所述消息中间件,所述数据仓库用于按照设定周期从所述消息中间件中获取编译后的各所述业务变更日志。本技术方案从业务数据库中获取业务表变更日志集合中的业务变更日志,并将编译后的业务变更日志发送数据仓库中进行存储。由于传输到数据仓库中的是业务变更日志,无需直接从业务MySQL库中获取数据,不影响业务线上的其他正常服务。因此本方案可以做到业务数据的实时传输,大大提高数据传输的时效性。

技术研发人员:高元胜;刘少伟;陈璇;徐嘉亮;徐唐;沈仁奎;邓鑫鑫
受保护的技术使用者:北京思维造物信息科技股份有限公司
技术研发日:2019.09.18
技术公布日:2019.12.20
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1