一种同步业务数据的方法和设备与流程

文档序号:24075476发布日期:2021-02-26 16:46阅读:来源:国知局

技术特征:
1.一种同步业务数据的方法,其特征在于,包括:通过maxwell组件将作为业务数据的mysql数据同步到kafka集群;将所述kafka集群中的数据同步到所述hbase;将存储在所述hbase中的表映射到hive库,完成所述业务数据的同步。2.根据权利要求1所述的方法,其特征在于,所述“通过maxwell将作为业务数据的mysql数据同步到kafka集群”,包括:采用maxwell组件实时拉取mysql的binlog日志;通过所述maxwell组件将所述binlog日志解析成json格式,并将json格式的数据发送到kafka集群中的topic中。3.根据权利要求2所述的方法,其特征在于,在“采用maxwell组件实时拉取mysql的binlog日志”,之前还包括:在业务数据所在的mysql开启binlog日志配置;部署maxwell组件,修改所述maxwell组件的配置文件并启动,以使所述maxwell组件执行“实时拉取mysql的binlog日志”的操作。4.根据权利要求3所述的方法,其特征在于,所述在业务数据所在的mysql开启binlog日志配置是通过修改my.cnf文件实现的。5.根据权利要求3所述的方法,其特征在于,修改所述maxwell组件的配置文件包括:在maxwell组件目录下添加配置文件、同步源mysql实例信息、存放maxwell元数据的mysql实例信息、过滤规则、kafka集群信息以及topic名称。6.根据权利要求1或2所述的方法,其特征在于,所述“将所述kafka集群中的数据同步到所述hbase”,包括:通过通用解析服务实时消费kfaka集群topic中json格式的数据,以解析json格式的数据,按照配置规则组装数据,并写入到hbase。7.根据权利要求6所述的方法,其特征在于,所述“通过通用解析服务实时消费kfaka集群topic中json格式的数据,以解析json格式的数据,按照配置规则组装数据,并写入到hbasee”,包括:通过通用解析服务实时消费kfaka集群topic中json格式的数据,解析json格式的数据是否错误;若确定解析正确,则对解析得到的数据进行封装;判断key在配置信息map对象中是否存在;其中,所述key是基于topic名称与数据对象的属性拼接得到;所述配置信息map对象是基于读取所述maxwell组件的配置文件得到;若判断结果为是,则将封装后的数据写入所述hbase中。8.根据权利要求7所述的方法,其特征在于,还包括:若解析不正确,则将json格式的数据写入hdfs;若判断结果为key在配置信息map对象中不存在,则将json格式的数据写入hdfs。9.根据权利要求1所述的方法,其特征在于,还包括:将所述hbase或所述hive中的业务数据作为维表使用。10.一种同步业务数据的设备,其特征在于,包括:第一同步模块,用于通过maxwell组件将作为业务数据的mysql数据同步到kafka集群;
第二同步模块,用于将所述kafka集群中的数据同步到所述hbase;映射模块,用于将存储在所述hbase中的表映射到hive库,完成所述业务数据的同步。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1