数据处理方法、装置及计算机可读存储介质与流程

文档序号:24984961发布日期:2021-05-07 23:02阅读:来源:国知局

技术特征:

1.一种数据处理方法,其特征在于,包括:

获取业务数据流,并获取用于处理所述业务数据流的flinksql任务;

获取所述flinksql任务中的业务配置参数,并将所述业务配置参数写入至数据库中;

将所述数据库与所述业务数据流进行维表关联,生成处理数据。

2.根据权利要求1所述的方法,其特征在于,所述数据库为redis数据库;

所述将所述业务配置参数写入至数据库中,包括:

将所述业务配置参数写入至所述redis数据库中的redis维表;

所述将所述数据库与所述业务数据流进行维表关联,生成处理数据,包括:

读取所述redis数据库中的所述redis维表,将所述redis维表与所述业务数据流进行维表关联,得到目标数据表。

3.根据权利要求2所述的方法,其特征在于,所述获取所述flinksql任务中的业务配置参数,包括:

启动客户端服务,基于所述客户端服务拉取所述flinksql任务中的业务配置参数。

4.根据权利要求2所述的方法,其特征在于,所述将所述业务配置参数保存至所述redis数据库中的redis维表,包括:

采用预设的缓存机制将所述redis维表中的所述业务配置参数进行缓存。

5.根据权利要求1所述的方法,其特征在于,所述将所述数据库与所述业务数据流进行维表关联,生成处理数据之前,还包括:

若所述业务配置参数发生更新,则拉取所述更新的业务配置参数,并将所述更新的业务配置参数写入至所述数据库中;

所述将所述数据库与所述业务数据流进行维表关联,生成处理数据,包括:

将写入有所述更新的业务配置参数的所述数据库与所述业务数据流进行维表关联,得到目标数据表。

6.根据权利要求1所述的方法,其特征在于,所述获取业务数据流,包括:从kafka中获取所述业务数据流;所述kafka用于接收并保存所述业务数据流。

7.一种数据处理装置,其特征在于,包括:

获取模块,用于获取业务数据流,并获取用于处理所述业务数据流的flinksql任务;

第一处理模块,用于获取所述flinksql任务中的业务配置参数,并将所述业务配置参数写入至数据库中;

第二处理模块,用于将所述数据库与所述业务数据流进行维表关联,生成处理数据。

8.根据权利要求7所述的装置,其特征在于,所述数据库为redis数据库;

所述第一处理模块将所述业务配置参数写入至数据库中,包括:

将所述业务配置参数写入至所述redis数据库中的redis维表;

所述第二处理模块将所述数据库与所述业务数据流进行维表关联,生成处理数据,包括:

读取所述redis数据库中的所述redis维表,将所述redis维表与所述业务数据流进行维表关联,得到目标数据表。

9.一种数据处理装置,其特征在于,包括处理器、存储器以及通信接口;

所述处理器与所述存储器、所述通信接口相连;

所述存储器,用于存储可执行程序代码;

所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于如执行权利1-6任一项所述的数据处理方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一项所述的数据处理方法。


技术总结
本申请公开了一种数据处理方法、装置及计算机可读存储介质。该数据处理方法包括获取业务数据流,并获取用于处理业务数据流的Flink SQL任务;获取Flink SQL任务中的业务配置参数,并将业务配置参数写入至数据库中;将数据库与业务数据流进行维表关联,生成处理数据。本申请可在应用Flink SQL处理数据时将更改或新增的业务配置参数保存在可与Flink SQL进行维表关联的数据库中,以使Flink SQL在无需重新启动的情况下实时使用业务配置参数。

技术研发人员:陈泉
受保护的技术使用者:深圳市欢太科技有限公司;OPPO广东移动通信有限公司
技术研发日:2021.01.06
技术公布日:2021.05.07
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1