一种处理方法及计算机设备与流程

文档序号:21361550发布日期:2020-07-04 04:35阅读:来源:国知局

技术特征:

1.一种处理方法,包括:

从流编目中获得目标类别的流数据对应的目标类元数据;所述流编目中预先注册有至少一个类别的流数据对应的至少一类元数据,一类元数据对应一个按预定的格式规范定义的流表;

获得当前采集的目标类别的流数据;

基于所述目标类元数据,生成所述目标类别的流数据对应的流表实例;

基于所述流表实例,对所述目标类别的流数据进行流计算处理。

2.根据权利要求1所述的方法,所述从流编目中获得目标类别的流数据对应的目标类元数据,包括:

基于结构化查询语言sql查询语句,从所述流编目中查询目标类别的流数据对应的目标类元数据;

生成包括所述目标类元数据的会话接口。

3.根据权利要求2所述的方法,所述会话接口中还包括所述目标类别的流数据的来源方式;所述基于所述目标类元数据,生成所述目标类别的流数据对应的流表实例,包括:

调用所述会话接口;

根据所述会话接口中目标类别的流数据的来源方式,调用相应的流引擎;

获得用于实现流表写入功能的sql流表写入语句;

利用所述流引擎,基于所述sql流表写入语句从所述目标类别的流数据中抽取对应于所述目标类元数据的各个子数据,并按所述预定的格式规范将抽取的各个子数据写入所述目标类元数据对应的流表,得到所述流表实例;

其中,所述流表实例为创建于内存中的流表实例。

4.根据权利要求3所述的方法,所述基于所述流表实例,对所述目标类别的流数据进行流计算处理,包括:

调用所述会话接口;

根据所述会话接口中目标类别的流数据的来源方式,调用相应的流引擎;

获得用于进行流计算处理的sql流处理语句;

利用所述流引擎,基于所述sql流处理语句中的第一sql语句从所述流表实例中查询所需的目标子数据;

利用所述流引擎,基于所述sql流处理语句中的第二sql语句对所述目标子数据进行流计算,得到流计算结果。

5.根据权利要求1所述的方法,还包括:

利用相应的流引擎对流表或流编目中的元数据进行管理;

其中,所述对流表或流编目中的元数据进行管理,包括以下至少一种:

向流编目中注册元数据,并创建对应于所注册元数据的流表;

从流编目中清除元数据,并删除对应于所清除元数据的流表;

对流编目中的元数据进行升级,并调整对应于所升级元数据的流表;

从流编目中查询流表的元数据;

查询流表或流表列表;

判断流表是否存在。

6.根据权利要求1所述的方法,还包括:

通过流数据的会话接口,读取sql流控制语句,并利用sql流控制语句对流数据进行流控制;所述会话接口为包括流数据对应的元数据的接口;

所述流控制包括:查看流处理功能和/或关闭流处理功能。

7.一种计算机设备,包括:

存储器,用于至少存储一组指令集;

处理器,用于调用并执行所述存储器中的所述指令集,通过执行所述指令集进行以下操作:

从流编目中获得目标类别的流数据对应的目标类元数据;所述流编目中预先注册有至少一个类别的流数据对应的至少一类元数据,一类元数据对应一个按预定的格式规范定义的流表;

获得当前采集的目标类别的流数据;

基于所述目标类元数据,生成所述目标类别的流数据对应的流表实例;

基于所述流表实例,对所述目标类别的流数据进行流计算处理。

8.根据权利要求7所述的计算机设备,所述处理器从流编目中获得目标类别的流数据对应的目标类元数据,包括:

基于sql查询语句,从所述流编目中查询目标类别的流数据对应的目标类元数据;

生成包括所述目标类元数据的会话接口。

9.根据权利要求8所述的计算机设备,所述会话接口中还包括所述目标类别的流数据的来源方式;

所述处理器基于所述目标类元数据,生成所述目标类别的流数据对应的流表实例,包括:

调用所述会话接口;根据所述会话接口中目标类别的流数据的来源方式,调用相应的流引擎;获得用于实现流表写入功能的sql流表写入语句;利用所述流引擎,基于所述sql流表写入语句从所述目标类别的流数据中抽取对应于所述目标类元数据的各个子数据,并按所述预定的格式规范将抽取的各个子数据写入所述目标类元数据对应的流表,得到所述流表实例;其中,所述流表实例为创建于内存中的流表实例;

所述处理器基于所述流表实例,对所述目标类别的流数据进行流计算处理,包括:

调用所述会话接口;根据所述会话接口中目标类别的流数据的来源方式,调用相应的流引擎;获得用于进行流计算处理的sql流处理语句;利用所述流引擎,基于所述sql流处理语句中的第一sql语句从所述流表实例中查询所需的目标子数据;利用所述流引擎,基于所述sql流处理语句中第二sql语句对所述目标子数据进行流计算,得到流计算结果。

10.根据权利要求7所述的计算机设备,所述处理器还用于:

利用相应的流引擎对流表或流编目中的元数据进行管理;

其中,所述对流表或流编目中的元数据进行管理,包括以下至少一种:

向流编目中注册元数据,并创建对应于所注册元数据的流表;

从流编目中清除元数据,并删除对应于所清除元数据的流表;

对流编目中的元数据进行升级,并调整对应于所升级元数据的流表;

从流编目中查询流表的元数据;

查询流表或流表列表;

判断流表是否存在。


技术总结
本申请涉及一种处理方法及计算机设备,该方法利用流表管理流数据,并提出了流编目的概念,利用流编目进行流数据的元数据注册,具体向流编目中预先注册至少一个类别的流数据对应的至少一类元数据,一类元数据对应一个按预定的格式规范定义的流表。在采集目标类别流数据时,基于从流编目中获得的该类流数据对应的目标类元数据,将当前采集的该类流数据生成相对应的流表实例,生成的流表实例必然遵循定义其所对应的流表时采用的格式规范,以此实现对每类流数据的格式进行规范、统一,从而提供了一个稳定统一的流计算应用基础,后续可基于标准接口对流表实例中的流数据进行流计算,避免了定制化编制流计算程序的过程,降低了开发人员的工作量及难度。

技术研发人员:于连宇;高锋
受保护的技术使用者:联想(北京)有限公司
技术研发日:2020.03.03
技术公布日:2020.07.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1