数据包发布的方法、装置、电子设备及可读存储介质与流程

文档序号:29635632发布日期:2022-04-13 17:05阅读:来源:国知局

技术特征:
1.一种数据包发布的方法,其特征在于,包括:根据业务的业务属性,从多个待读取数据的业务中确定出目标业务;基于所述目标业务与数据源之间的对应关系,读取所述目标业务对应的数据源中的业务数据;当与所述目标业务对应的工作模式为第一工作模式时,对所述业务数据进行预处理,得到目标数据;获取预先为所述目标业务配置的、包括所述业务数据的处理流程的代码文件;确定所述目标业务应用的目标流式运算平台,将所述代码文件中的代码转换为应用于所述目标流式计算平台的目标代码;将所述目标数据和转换后的代码文件进行打包,并将打包后得到的目标数据包发布到所述目标流式计算平台。2.根据权利要求1所述的方法,其特征在于,根据业务的业务属性,从多个待读取数据的业务中确定出目标业务,包括:获取多个待读取数据的业务的业务属性,根据所述业务属性分别确定多个所述待读取数据的业务分别对应的业务类型;所述业务类型包括普通类型、实时类型以及批处理类型;若所述待读取数据的业务同时符合实时类型和批处理类型,则确定所述待读取数据的业务为目标业务。3.根据权利要求1所述的方法,其特征在于,所述读取所述目标业务对应的数据源中的业务数据,之后还包括:在对所述业务数据读取过程中,当与所述目标业务对应的工作模式改变为第二工作模式时,停止对读取到的所述业务数据进行预处理,将所述业务数据存储至缓冲区。4.根据权利要求1所述的方法,其特征在于,所述对读取到的所述业务数据进行预处理,得到目标数据,包括:为读取到的所述业务数据配置业务参数,将所述业务数据、所述业务参数进行封装,得到目标数据;所述业务参数包括所述业务数据的唯一标识、所属批次号以及所属批次的批次数据总量。5.根据权利要求1所述的方法,其特征在于,将所述代码文件中的代码转换为应用于所述目标流式计算平台的目标代码,包括:对所述代码文件进行解析,得到执行所述业务流程的各个数据处理节点以及各个数据处理节点在执行所述业务流程时的执行顺序;根据所述执行顺序构建包含各数据处理节点的目标拓扑图;所述目标拓扑图中的拓扑节点表征所述数据处理节点;所述目标拓扑图的有向边表征所述执行顺序;获取所述目标流式计算平台对应的代码生成规则,根据所述代码生成规则以及所述目标拓扑图将所述代码文件中的代码转换为应用于所述目标流式计算平台的目标代码。6.根据权利要求5所述的方法,其特征在于,所述根据所述代码生成规则以及所述目标拓扑图将所述代码文件中的代码转换为应用于所述目标流式计算平台的目标代码,包括:由下而上遍历所述目标拓扑图的各个拓扑节点,针对每一拓扑节点,确定当前时刻遍历到的拓扑节点所对应的当前数据处理节点,并在所述代码文件中确定所述当前数据处理节点对应的代码块;
根据所述代码生成规则对所述代码块进行转换,以使得转换后的代码块可应用于所述目标流式计算平台。7.根据权利要求5所述的方法,其特征在于,所述将打包后得到的目标数据包发布到所述目标流式计算平台,之后还包括:监听所述目标数据包在所述目标流式计算平台的运行状况,若监听到异常,则定位所述异常所在的数据处理节点,并对所述数据处理节点的所在的代码块进行修正。8.一种数据包发布的装置,其特征在于,包括:目标业务确定模块,用于根据业务的业务属性,从多个待读取数据的业务中确定出目标业务;业务数据读取模块,用于基于所述目标业务与数据源之间的对应关系,读取所述目标业务对应的数据源中的业务数据;预处理模块,当与所述目标业务对应的工作模式为第一工作模式时,对读取到的所述业务数据进行预处理,得到目标数据;代码文件获取模块,用于获取预先为所述目标业务配置的、包括所述业务数据的处理流程的代码文件;转换模块,用于确定所述目标业务应用的目标流式运算平台,将所述代码文件中的代码转换为应用于所述目标流式计算平台的目标代码;数据包发布模块,用于将所述目标数据和转换后的代码文件进行打包,并将打包后得到的目标数据包发布到所述目标流式计算平台。9.一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-7任一项所述方法的步骤。10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法的步骤。

技术总结
本申请实施例提供了一种数据包发布的方法、装置、电子设备及可读存储介质,涉及数据处理技术领域。该方法包括:根据业务属性确定目标业务,读取目标业务对应的数据源中的业务数据;当与目标业务对应的工作模式为第一工作模式时,对读取到的业务数据进行预处理,得到目标数据;获取预先配置的、包括业务数据的处理流程的代码文件,确定目标业务应用的目标流式运算平台,将代码文件中的代码转换为应用于目标流式计算平台的目标代码;将目标数据和转换后的代码文件进行打包,将打包后得到的目标数据包发布到目标流式计算平台。本申请实施例实现自动将业务处理流程对应的代码转换为应用于各目标流式计算平台的代码,降低了程序开发的难度。的难度。的难度。


技术研发人员:刘磊
受保护的技术使用者:中电金信软件有限公司
技术研发日:2021.12.29
技术公布日:2022/4/12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1