数据表信息的生成方法和装置、存储介质及电子装置与流程

文档序号:27199304发布日期:2021-11-03 13:21阅读:75来源:国知局
1.本技术涉及通信领域,具体而言,涉及一种数据表信息的生成方法和装置、存储介质及电子装置。
背景技术
::2.大数据领域一直在持续的进步,已有的离线计算逐渐的不能满足用户的要求,实时计算或者近实时计算得到了用户青睐。目前,用户可以使用实时计算平台进行实时任务的开发、调试等。3.在使用实时计算平台中,用户需要编写数据源表和数据目的表来指定数据的来源和流向,再编写逻辑代码,将来自数据源的数据进行一定的业务处理再写入到数据目的表中。而数据源表和数据目标表需要与实际的物理表进行关联,在关联不同类型的物理表时,数据源表和数据目的表所需配置的配置项不尽相同,配置繁琐,容易出错。此外,因为项目更换,原有的配置项需要手动更换,在项目规模扩大时工作量高,制约了正常的业务扩展和项目扩张。4.由此可见,相关技术中实时任务的配置方式,存在由于需要用户自定义数据表(例如,数据源表、数据目标表等)所导致的操作相对繁琐、容易出现错误的问题。技术实现要素:5.本技术实施例提供了一种数据表信息的生成方法和装置、存储介质及电子装置,以至少解决相关技术中实时任务的配置方式存在由于需要用户自定义数据表所导致的操作相对繁琐、容易出现错误的问题。6.根据本技术实施例的一个方面,提供了一种数据表信息的生成方法,包括:确定通过可视化配置界面选取的目标物理表,其中,所述目标物理表是为实时计算平台待配置的目标数据表所选取的、目标类型的物理表;获取通过所述可视化配置界面为所述目标数据表配置的目标配置信息,其中,所述目标配置信息是与所述目标数据表的元数据信息关联的配置信息;根据所述目标物理表的元数据信息以及所述目标配置信息,生成所述目标数据表的目标元数据信息。7.根据本技术实施例的另一个方面,还提供了一种数据表信息的生成方法,包括:响应对可视化配置界面执行的第一选取操作,向实时计算平台发送目标指示信息,其中,所述目标指示信息用于指示选取目标类型的目标物理表作为与实时计算平台中的目标数据表对应的物理表;获取通过所述可视化配置界面为所述目标数据表配置的目标配置信息,其中,所述目标配置信息为与所述目标数据表的元数据信息关联的配置信息;将所述目标配置信息发送给所述实时计算平台,以使所述实时计算平台根据所述目标物理表的元数据信息以及所述目标配置信息,生成所述目标数据表的目标元数据信息。8.根据本技术实施例的又一个方面,还提供了一种数据表信息的生成装置,包括:确定单元,用于确定通过可视化配置界面选取的目标物理表,其中,所述目标物理表是为实时计算平台待配置的目标数据表所选取的、目标类型的物理表;获取单元,用于获取通过所述可视化配置界面为所述目标数据表配置的目标配置信息,其中,所述目标配置信息是与所述目标数据表的元数据信息关联的配置信息;生成单元,用于根据所述目标物理表的元数据信息以及所述目标配置信息,生成所述目标数据表的目标元数据信息。9.根据本技术实施例的又一个方面,还提供了一种数据表信息的生成装置,第一发送单元,用于响应对可视化配置界面执行的第一选取操作,向实时计算平台发送目标指示信息,其中,所述目标指示信息用于指示选取目标类型的目标物理表作为与实时计算平台中的目标数据表对应的物理表;获取单元,用于获取通过所述可视化配置界面为所述目标数据表配置的目标配置信息,其中,所述目标配置信息是与所述目标数据表的元数据信息关联的配置信息;第二发送单元,用于将所述目标配置信息发送给所述实时计算平台,以使所述实时计算平台根据所述目标物理表的元数据信息以及所述目标配置信息,生成所述目标数据表的目标元数据信息。10.根据本技术实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述数据表信息的生成方法。11.根据本技术实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的数据表信息的生成方法。12.在本技术实施例中,采用利用大数据平台中所托管的物理表的元数据信息生成大数据平台的数据表的元数据信息的方式,通过确定通过可视化配置界面选取的目标物理表,其中,目标物理表是为实时计算平台待配置的目标数据表所选取的、目标类型的物理表;获取通过可视化配置界面为目标数据表配置的目标配置信息,其中,目标配置信息是与目标数据表的元数据信息关联的配置信息;根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息,由于利用大数据平台(例如,实时计算平台)中所托管的物理表的元数据信息生成大数据平台的数据表的元数据信息,可以减少用户所需配置的数据表的信息(例如,字段、配置项等),从而可以实现简化数据表的配置过程、降低数据表配置出错的风险的目的,达到提高数据表的配置效率以及准确性的技术效果,进而解决相关技术中实时任务的配置方式存在由于需要用户自定义数据表所导致的操作相对繁琐、容易出现错误的问题。附图说明13.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施例,并与说明书一起用于解释本技术的原理。14.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。15.图1是根据本技术实施例的一种可选的数据表信息的生成方法的硬件环境的示意图;16.图2是根据本技术实施例的一种可选的数据表信息的生成方法的流程示意图;17.图3是根据本技术实施例的一种可选的语句拼接的流程示意图;18.图4是根据本技术实施例的一种可选的任务处理的流程示意图;19.图5是根据本技术实施例的另一种可选的数据表信息的生成方法的流程示意图;20.图6是根据本技术实施例的一种可选的选取物理表的示意图;21.图7是根据本技术实施例的一种可选的选取物理表中的字段的示意图;22.图8是根据本技术实施例的一种可选的自定义数据表字段的示意图;23.图9是根据本技术实施例的一种可选的配置自定义配置项的示意图;24.图10是根据本技术实施例的又一种可选的数据表信息的生成方法的流程示意图;25.图11是根据本技术实施例的一种可选的数据表信息的生成装置的结构框图;26.图12是根据本技术实施例的另一种可选的数据表信息的生成装置的结构框图;27.图13是根据本技术实施例的一种可选的电子装置的结构框图。具体实施方式28.为了使本
技术领域
:的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分的实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本技术保护的范围。29.需要说明的是,本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。30.首先,对本技术实施例中所涉及的技术术语进行如下解释说明:31.1、sql(structuredquerylanguage,结构化查询语言),一种特殊的编程语言;32.2、flink(forwardlink,正向连接),一种广泛应用的开源实时计算引擎,33.3、flinksql:是基于flink上扩展的,旨在降低开发者使用门槛,可以使用sql语言来描述实时计算数据源表、数据输出表、业务逻辑的组件。34.4、source:是flinksql中的专有名词,是flinksql中的一种算子,代表数据源表。35.5、sink:是flinksql中的专有名词,是flinksql中的一种算子,代表数据目的表;36.6、kafka,一种分布式、分区的、多副本的、多订阅者、基于zookeeper(一种开源的分布式应用程序协调服务)协调的分布式日志系统;37.7、elasticsearch:一种提供分布式多用户能力的全文搜索引擎的搜索服务器;38.8、hive,用于进行数据提取、转化、加载的数据仓库工具;39.9、json,javascriptobjectnotation,即,js对象简谱,是一种轻量级的数据交换格式;40.10、jdbc,javadatabaseconnectivity,java数据库连接,是java语言中用来规范客户端程序访问数据库的应用程序接口。41.根据本技术实施例的一个方面,提供了一种数据表信息的生成方法。可选地,在本实施例中,上述数据表信息的生成方法可以应用于如图1所示的由终端102和服务器104(实时计算平台的服务器)所构成的硬件环境中。如图1所示,服务器104通过网络与终端102进行连接,可用于为终端或终端上安装的客户端提供服务(如应用服务等),可在服务器上或独立于服务器设置数据库,用于为服务器104提供数据存储服务。42.上述网络可以包括但不限于以下至少之一:有线网络,无线网络。上述有线网络可以包括但不限于以下至少之一:广域网,城域网,局域网,上述无线网络可以包括但不限于以下至少之一:wifi(wirelessfidelity,无线保真),蓝牙。终端102可以并不限定于为pc、手机、平板电脑等。43.本技术实施例的数据表信息的生成方法可以由服务器104来执行,也可以由终端102来执行,还可以是由服务器104和终端102共同执行。其中,终端102执行本技术实施例的数据表信息的生成方法也可以是由安装在其上的客户端来执行。44.以由服务器104(例如,实时计算平台的服务器)来执行本实施例中的数据表信息的生成方法为例,图2是根据本技术实施例的一种可选的数据表信息的生成方法的流程示意图,如图2所示,该方法的流程可以包括以下步骤:45.步骤s202,确定通过可视化配置界面选取的目标物理表,其中,目标物理表是为实时计算平台待配置的目标数据表所选取的、目标类型的物理表。46.本实施例中的数据表信息的生成方法可以应用到配置大数据平台的数据表的场景,上述大数据平台可以是基于flinksql、或者其他架构的实时计算平台。上述数据表可以是数据源表(例如,source表)、数据目标表(例如,sink表)等。本实施例中以配置flinksql中的数据表(例如,source、sink)表为例进行说明。47.flink是一种得到广泛应用的实时计算引擎,为了降低开发者的使用门槛,flink支持了sql开发。在flinksql作业编辑、运行与大数据平台(一种实时计算大数据平台)中,source和sink是flinksql内部的表述方式,其实际上对应着大数据平台上的物理表,例如,hivetable、kafkatopic、elasticsearchindex等物理存在的表(即,物理表)。为了在flinksql中使用数据表,需要配置flinksql数据表与物理表之间的对应关系。48.为了方便进行数据表的配置,在本实施例中,可以提供一种基于大数据平台的、结合flinksql实时计算的可视化配置方式的生成source、sink语句(例如,生成数据表的元数据信息)的方案。相关人员可使用flinksql对应的客户端上的可视化配置界面进行数据表的配置。通过可视化配置界面,相关人员可以为实时计算平台待配置的目标数据表选取对应的物理表,即,目标物理表。可视化配置界面可以是运行在相关人员的终端设备上的第一客户端的配置界面,配置界面可以通过可视化的方式进行数据表的配置;目标物理表的类型为目标类型,例如,kafka、elasticsearch、hive等。49.实时计算平台可以确定通过上述可视化配置界面选取的目标物理表,例如,实时计算平台可以从第一客户端接收用于指示为实时计算平台待配置的目标数据表选取的物理表为目标物理表的指示信息。。确定目标物理表的时机可以是相关人员在可视化配置界面上选取出目标物理表之后,也可以是相关人员在完成所有配置之后,本实施例中对此不做限定。50.步骤s204,获取通过可视化配置界面为目标数据表配置的目标配置信息,其中,目标配置信息是与目标数据表的元数据信息关联的配置信息。51.相关人员可以通过可视化配置界面配置除了与目标物理表的元数据信息等相应的配置信息之外的其他配置信息,例如,目标配置信息。这里的目标配置信息是与目标数据表的元数据信息关联的配置信息,例如,与目标数据表中的字段关联的配置信息,与目标数据表中的配置项关联的配置信息,还可以是其他类型的配置信息,本实施例中对此不做限定。52.实时计算平台可以获取通过上述可视化配置界面为目标数据表配置的上述目标配置信息。基于上述的目标配置信息。目标配置信息可以包含一种或多种,可以包括但不限于以下至少之一:与目标数据表中的字段关联的配置信息,与目标数据表中的配置项关联的配置信息。53.步骤s206,根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息。54.在大数据平台中托管了数据表的元数据信息,例如,表类型、字段类型和名称、鉴权信息、表地址等。在本实施例中,通过整合大数据平台已有的物理表元数据信息,结合flinksql的语法特性,自动生成source、sink的sql语句。55.目标配置信息可以包含用于指示以下至少之一的配置信息:从目标物理表的元数据信息中选取出的元数据信息,自定义的元数据信息,例如,字段、配置项等。在生成目标数据表的元数据信息时,实时计算平台可以根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息。56.目标数据表的配置过程可以是单独执行的,也可以是在任务节点或者流程节点界面中执行的,也就是说,该目标数据表是与任务节点或者流程节点关联的。得到的目标元数据信息可以用于创建目标数据表,其可以保存到实时计算平台中,也可以保存到其他设备(例如,用户的服务器)中,本实施例中对此不做限定。57.通过上述步骤,确定通过可视化配置界面选取的目标物理表,其中,目标物理表是为实时计算平台待配置的目标数据表所选取的、目标类型的物理表;获取通过可视化配置界面为目标数据表配置的目标配置信息,其中,目标配置信息是与目标数据表的元数据信息关联的配置信息;根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息,解决了相关技术中实时任务的配置方式存在由于需要用户自定义数据表所导致的操作相对繁琐、容易出现错误的问题,提高了数据表的配置效率以及准确性。58.在一个示例性实施例中,根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息包括:59.s11,根据目标物理表的元数据信息以及目标配置信息,确定目标字段和目标配置项,其中,目标字段为目标数据表所包含的字段,目标配置项为目标数据表的配置项,目标配置项包含与目标物理表对应的第一配置项;60.s12,按照目标字段和目标配置项,生成目标数据表的目标元数据信息。61.在生成目标数据表的元数据信息时,实时计算平台可以根据目标物理表的元数据信息以及目标配置信息,确定目标数据表所包含的字段(即,目标字段)以及目标数据表的配置项(即,目标配置项)。目标配置项可以包含由目标物理表的元数据信息所确定的、目标物理表中包含的配置项的全部或者部分(即,第一配置项)。可选地,目标字段可以包含由目标物理表的元数据信息所确定的、目标物理表中包含的字段的全部或者部分。62.按照目标字段和目标配置项,实时计算平台可以生成目标数据表的元数据信息,从而得到目标元数据信息,目标元数据信息可以包括但不限于:与目标字段对应的元数据信息,与目标配置项对应的元数据信息。例如,目标元数据信息可以包括表类型、字段类型和名称、鉴权信息、表地址等。63.通过本实施例,基于物理表的元数据信息以及目标配置信息,确定数据表中所包含的字段和配置项,进而生成数据表的元数据信息,可以提高元数据生成的准确性。64.在一个示例性实施例中,在确定通过可视化配置界面选取的目标物理表之后,上述方法还包括:65.s21,将目标物理表中包含的字段发送到可视化配置界面上进行显示,其中,目标配置信息中的第一配置信息用于指示通过可视化配置界面从目标物理表中包含的字段中为目标数据表选取出的第一字段,目标字段包括第一字段。66.实时计算平台可以向相关人员提供目标物理表的元数据信息的选取功能。在确定出目标物理表之后,实时计算平台可以将目标物理表中包含的字段发送到可视化界面上进行显示,例如,将目标物理表中包含的字段发送到第一客户端,以使第一客户端在其可视化配置界面上显示目标物理表中包含的字段。67.第一客户端可以通过可视化界面与相关人员进行交互,从而确定相关人员从目标物理表中包含的字段中为目标数据表选取出的字段,即,第一字段,并通过第一配置信息将第一字段指示给实时计算平台。实时计算平台可以接收第一配置信息,从而确定出从目标物理表中包含的字段中为目标数据表选取出的第一字段,上述的目标字段可以包括第一字段。68.通过本实施例,通过可视化配置界面选取出数据表对应的物理表中的字段作为数据表中的字段,可以提高数据表中字段信息配置的灵活性和便捷性。69.在一个示例性实施例中,获取通过可视化配置界面为目标数据表配置的目标配置信息包括:70.s31,获取通过可视化配置界面为目标数据表所配置的第二配置信息,其中,目标配置信息包括第二配置信息,第二配置信息用于指示第二字段,第二字段为自定义字段,目标字段包括第二字段。71.实时计算平台可以向相关人员提供数据表包含字段的自定义功能。相关人员可以通过可视化配置界面进行自定义字段的配置,自定义字段为第二字段。第一客户端可以将通过可视化配置界面所配置的自定义字段通过第二配置信息指示给实时计算平台。实时计算平台可以接收第二配置信息,从而确定出为目标数据表自定义配置的第二字段,上述的目标字段可以包括第二字段。72.可选地,第二字段为自定义字段,通过函数生成的字段。比如,由目标物理表中包含的一个或多个字段通过类型转换(数据日期转换为字符串的日期)、数据融合或者其他方式得到的字段、附加参数(例如,生成当前时间)。除了第二字段以外,目标字段还可以包括目标物理表中包含的字段的全部或者部分,例如,从目标物理表中包含的字段中为目标数据表选取出的字段,即,前述第一字段,确定第一字段的方式与前述类似,本实施例中对此不做赘述。73.通过本实施例,通过可视化配置界面为数据表配置自定义字段,可以提高数据表中字段信息配置的灵活性和便捷性。74.在一个示例性实施例中,获取通过可视化配置界面为目标数据表配置的目标配置信息包括:75.s41,获取通过可视化配置界面为目标数据表配置的第三配置信息,其中,第三配置信息用于指示通过可视化配置界面为目标数据表所配置的第二配置项,目标配置项还包括第二配置项。76.实时计算平台可以向相关人员提供数据表的配置项的自定义功能。相关人员可以通过可视化配置界面进行自定义配置项的配置,自定义配置项为第二配置项。第一客户端可以将通过可视化配置界面所配置的自定义配置项通过第三配置信息指示给实时计算平台。实时计算平台可以接收第三配置信息,从而确定出为目标数据表自定义配置的自定义配置项,上述的目标配置项可以包括第二配置项。77.可选地,第二配置项为自定义配置项,上述自定义配置项可以用于限定从物理表的认证方式、读写策略等。例如,自定义配置项可以指定从物理表中读写数据的方式、指定物理表的驱动、鉴权信息(例如,用户名、密码等)、数据读取周期、一次读取数据的行数等等。78.通过本实施例,通过可视化配置界面为数据表配置自定义配置项,可以提高配置数据表的配置项的灵活性和便捷性。79.在一个示例性实施例中,在按照目标字段和目标配置项,生成目标数据表的目标元数据信息之后,上述方法还包括:80.s51,按照目标元数据信息进行语句拼接,得到目标创建语句,其中,目标创建语句用于在实时计算平台中创建目标数据表;81.s52,将目标创建语句发送到第一客户端,以使第一客户端在可视化配置界面上显示目标创建语句,其中,第一客户端为可视化配置界面所属的客户端。82.在得到目标元数据信息之后,实时计算平台可以不向第一客户端反馈任何信息。可选地,在本实施例中,为了便于相关人员查看数据表的配置结果,实时计算平台可以将目标元数据信息重新整合起来,将其拼接为目标创建语句,该目标创建语句可以用于在实时计算平台中创建目标数据表。83.例如,大数据平台可以根据用户选择的物理表,得到其表名称、表类型、字段信息、表所在的实例等信息,并使用上述信息生成flinksql的source、sink定义语句(即,数据表的创建语句)。84.在得到目标创建语句之后,实时计算平台可以将目标创建语句发送的第一客户端。第一客户端在接收到目标创建语句之后,可以在可视化配置界面上显示目标创建语句,以方便相关人员查看所配置的目标数据表的创建语句。此外,相关人员还可以通过可视化配置界面进行目标数据表配置信息的调整,从而更新目标数据表的元数据信息等,更新的过程与前述类似,在此不做赘述。85.通过本实施例,通过使用数据表的元数据信息生成数据表的创建语句并发送给客户端进行显示,可以提高信息获取的便捷性,提高用户的使用体验。86.在一个示例性实施例中,按照目标元数据信息进行语句拼接,得到目标创建语句包括:87.s61,根据目标元数据信息中的表名,生成目标数据表的目标表名;88.s62,将目标元数据信息中的第一字段的第一字段类型映射为与实时计算平台对应的第二字段类型,得到第二字段类型的待拼接字段,其中,第一字段为目标字段中属于目标物理表的字段;89.s63,在根据目标元数据信息确定出目标字段还包括第二字段的情况下,使用第二字段更新待拼接字段,得到更新后的待拼接字段,其中,第二字段为自定义字段;90.s64,按照待拼接字段进行语句拼接,得到初始创建语句;91.s65,在根据目标元数据信息确定出目标数据表中存在计算列的情况下,将与计算列对应的计算列字段拼接到初始创建语句中,得到更新后的初始创建语句;92.s66,在根据目标元数据信息确定出目标数据表配置有目标水印的情况下,将与目标水印对应的水印表达式拼接到初始创建语句中,得到更新后的初始创建语句;93.s67,将与目标元数据信息所指示的目标配置项添加到初始创建语句中,得到目标创建语句。94.为了生成目标数据表的创建语句,实时计算平台可以首先根据目标元数据信息中的表名,生成目标数据表的表名,即,目标表名。例如,可以根据用户自定义source、sink表名生成表名。95.目标元数据信息可以包括第一字段,该第一字段是属于目标物理表的字段,例如,从目标物理表包含的字段中为目标数据表选取的字段。选取第一字段的方式与前述实施例中类似,在此不做赘述。实时计算平台可以将目标元数据信息中的第一字段的第一字段类型映射到和实时计算平台中的数据表对应的第二字段类型,从而得到第二字段类型的待拼接字段。96.例如,用户选择的物理表的类型有kafka、elasticsearch、hive三种,这三种数据在实时计算平台中有着不同的字段类型,在生成flinksql的source、sink语句时,需要将计算平台中管理的表字段类型映射为flinksql中的类型,数据源类型、物理表类型、flinksql类型之间的映射关系可以如表1所示。97.表1[0098][0099]如果根据目标元数据信息确定出目标字段还包括第二字段,即,自定义字段(自定义字段的配置方式可以与前述实施例中类似,在此不做赘述),实时计算平台可以使用第二字段更新待拼接字段,得到更新后的待拼接字段。实时计算平台可以使用待拼接字段进行语句拼接,得到初始创建语句。[0100]实时计算平台也可以根据目标元数据信息确定出目标数据表中存在计算列。如果存在,可以将与计算列对应的计算列字段拼接到初始创建语句中,得到更新后的初始创建语句。[0101]实时计算平台还可以根据目标元数据信息确定出目标数据表配置有目标水印(即,watermark)。如果存在,可以将与目标水印对应的水印表达式拼接到初始创建语句中,得到更新后的初始创建语句。[0102]实时计算平台还可以确定目标元数据信息所指示的目标配置项(可以包括第一配置项、第二配置项等),并将目标配置项添加到初始创建语句中,例如,通过with参数将目标配置项添加到初始创建语句中,得到目标创建语句。[0103]例如,在flinksql中不同类型的物理表对应着不同的配置项,所以根据不同source、sink表的类型,可以生成不同的配置项的映射关系,如表2所示。[0104]表2[0105][0106]例如,通过整合大数据平台表元数据信息,如表的字段名称、字段类型、实例名称、实例地址、实例验证信息等内容,结合flinksql语法,自动化生成source、sink语句的功能。根据用户选择的物理表的表名称、表类型、字段信息、表所在的实例等信息生成flinksql的source、sink定义语句的过程可以如图3所示,该过程可以包括以下步骤:[0107]步骤s302,根据用户自定义source、sink表名生成表名;[0108]步骤s304,转换用户选择列的类型并拼接语句;[0109]步骤s306,判断是否有计算列,如果有,执行步骤s308,否则执行步骤s310;[0110]步骤s308,拼接计算列字段;[0111]步骤s310,判断是否有配置watermark,如果有,执行步骤s312,否则执行步骤s314;[0112]步骤s312,生成并拼接watermark表达式;[0113]步骤s314,判断source、sink的数据源类型,如果是hive,执行步骤s316,如果是kafka,执行步骤s318,如果是elasticsearch,执行步骤s320;[0114]步骤s316,添加hive相关的配置项;[0115]步骤s318,添加kafka相关的配置项;[0116]步骤s320,添加elasticsearch相关的配置项;[0117]步骤s322,拼接用户自定义字段。[0118]通过本实施例,通过进行字段类型转换、并按照预定的拼接规则进行创建语句拼接,可以提高数据表创建语句生成的准确性和效率。[0119]在一个示例性实施例中,在根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息之后,上述方法还包括:[0120]s71,将目标元数据信息持久化到实时计算平台的数据库中。[0121]在本实施例中,在生成目标元数据信息之后,实时计算平台可以将目标元数据信息持久化到实时计算平台的数据库中。例如,在从计算平台元数据管理中心获取到source、sink的信息之后,可以将其保存在flinksqlsource、sink生成模块中,以便后续source、sink创建语句的生成,并持久化到mysql数据库中。持久化的主要字段可以如表3所示,业务上如果有将source、sink关联到任务节点、流程节点的,也可以在此结构上加以扩展。[0122]表3[0123][0124]如果采用用户手动配置数据表的方式,在项目更换时,原有的配置项需要手动更换,在项目规模扩大时工作量高,制约了正常的业务扩展和项目扩张。为将source、sink的元数据信息在大数据平台中维护、存储,当用户切换项目、实例时,无需关心底层实例信息,如数据库表的ip(internetprotocol,互联网协议)、端口,用户密码等配置信息。[0125]通过本实施例,通过将数据表的元数据信息持久化到实时计算平台的数据库中,在大数据平台中维护、存储数据表的元数据信息,可以减少项目更换所需的工作量,提高业务扩展和项目扩展的能力。[0126]在一个示例性实施例中,在根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息之后,上述方法还包括:[0127]s81,接收第二客户端发送的业务提交指令,其中,业务提交指令为与目标数据表关联的目标实时业务的提交指令;[0128]s82,响应于业务提交指令,按照目标元数据信息进行语句拼接,得到目标创建语句,其中,目标创建语句用于在实时计算平台中创建目标数据表;[0129]s83,将目标创建语句添加到目标实时业务的业务逻辑语句之前,得到更新后的目标实时任务;[0130]s84,将更新后的目标实时任务提交给资源管理器,以使资源管理器执行目标实时任务。[0131]如果接收到客户端提交实时任务的指令,实时计算平台可以该实时任务所涉及到的数据表的元数据信息重新整合起来,拼接成数据表的创建语句。对于目标数据表,实时计算平台可以接收第二客户端发送的业务提交指令,业务提交指令为与目标数据表关联的目标实时业务的提交指令。响应于业务提交指令,实时计算平台可以按照目标元数据信息进行语句拼接,得到目标创建语句。[0132]目标创建语句用于在实时计算平台中创建目标数据表,其拼接过程可以与前述实施例中所描述的目标创建语句的拼接过程相同或者类似。在此不做赘述。第二客户端与第一客户端可以是同一客户端,也可以是不同客户端。本实施例中对此不做限定。[0133]实时计算平台可以将目标创建语句添加到目标实时业务的业务逻辑语句之前,得到更新后的目标实时任务,以便在业务逻辑执行前即完成数据表的创建,避免由于使用没有创建的数据表导致的任务执行失败。在得到将更新后的目标实时任务之后,实时计算平台可以将其提交给资源管理器。资源管理器接收到更新后的目标实时任务,可以执行更新后的目标实时任务,从而得到目标实时任务的执行结果。[0134]例如,可以由大数据平台托管flinksql中source、sink表的自动生成关系,自动生成的source、sink算子语句可与原有的用户自定义编写的sql语句共同使用,而不影响用户使用原生flinksql自带的功能。source、sink算子的生成逻辑相对独立于flinksql组件,不入侵其代码和功能,作为大数据平台的一个独立的功能存在。在用户提交代码时,大数据平台会将source、sink自动加入到提交的sql语句中,用户无感知。[0135]在提交任务时,可以将已经持久化的source、sink表的元数据信息重新整合起来,拼接成flinksql语句,并和用户自定义的业务逻辑语句合并在一起作为flinksql任务提交到yarn(资源管理器的一种示例)上。任务提交后的处理流程可以如图4所示,该流程可以包括:[0136]步骤s402,从数据库中获取source、sink的信息;[0137]步骤s404,拼接flinksql语句;[0138]步骤s406,插入到用户自定义业务逻辑语句上方;[0139]步骤s408,作为flinksql任务提交到yarn上。[0140]通过本实施例,由大数据平台托管数据表的自动生成关系,自动生成的数据表创建语句(例如,source、sink算子语句)可与原有的用户自定义编写的业务逻辑语句共同使用,不影响用户使用原生实时计算平台所自带的功能,提高了业务逻辑执行的准确性和灵活性。[0141]根据本技术实施例的另一个方面,还提供了一种数据表信息的生成方法。可选地,在本实施例中,上述数据表信息的生成方法可以应用于如图1所示的由终端102和服务器104所构成的硬件环境中。已经进行过描述的,在此不做赘述。[0142]以由终端102来执行本实施例中的数据表信息的生成方法为例,图5是根据本技术实施例的另一种可选的数据表信息的生成方法的流程示意图,如图5所示,该方法的流程可以包括以下步骤:[0143]步骤s502,响应对可视化配置界面执行的第一选取操作,向实时计算平台发送目标指示信息,其中,目标指示信息用于指示选取目标类型的目标物理表作为与实时计算平台中的目标数据表对应的物理表。[0144]与前述实施例类似的,本实施例中的数据表信息的生成方法也可以应用到配置大数据平台的数据表的场景。相关人员可以通过操作其终端设备上运行的第一客户端,触发进行到可视化配置界面。例如,可以在目标业务节点下,通过点击数据表的配置按钮(或创建按钮),进入到目标数据表的可视化配置界面。[0145]相关人员可以对可视化配置界面执行第一选取操作,该第一选取操作用于选取目标类型的目标物理表作为与目标数据表对应的物理表。响应于该第一选取操作,第一客户端可以向实时计算平台发送目标指示信息,以指示选取目标物理表作为与实时计算平台中的目标数据表对应的物理表。[0146]例如,如图6所示,用户选择物理表,即,用户选择source、sink对应的物理表,以用于获取表的详细信息。[0147]步骤s504,获取通过可视化配置界面为目标数据表配置的目标配置信息,其中,目标配置信息是与目标数据表的元数据信息关联的配置信息。[0148]除了选取目标物理表作为与目标数据表对应的物理表以外,相关人员还可以通过操作可视化配置界面配置与目标数据表的元数据信息关联的配置信息,即,目标配置信息。对于第一客户端,第一客户端可以检测对可视化配置界面所执行的配置操作,从而获取到上述目标配置信息。目标配置信息的含义与前述实施例中类似,在此不做赘述。[0149]步骤s506,将目标配置信息发送给实时计算平台,以使实时计算平台根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息。[0150]第一客户端可以将目标配置信息发送给实时计算平台。可选地,目标指示信息和目标配置信息可以是同时发送的,例如,通过同一消息发送的,也可以不是同时发送的,例如,先发送目标指示信息,再发送目标配置信息,本实施例中对此不做限定。[0151]实施计算平台可以基于目标物理表的元数据信息和目标配置信息,生成与目标数据表对应的目标元数据信息。生成目标元数据信息的方式可以参考前述实施例,本实施例中在此不做赘述。[0152]通过上述步骤,响应对可视化配置界面执行的第一选取操作,向实时计算平台发送目标指示信息,其中,目标指示信息用于指示选取目标类型的目标物理表作为与实时计算平台中的目标数据表对应的物理表;获取通过可视化配置界面为目标数据表配置的目标配置信息,其中,目标配置信息是与目标数据表的元数据信息关联的配置信息;将目标配置信息发送给实时计算平台,以使实时计算平台根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息,解决了相关技术中实时任务的配置方式存在由于需要用户自定义数据表所导致的操作相对繁琐、容易出现错误的问题,提高了数据表的配置效率及准确性。[0153]在一个示例性实施例中,在向实时计算平台发送目标指示信息之后,上述方法还包括:[0154]s91,接收实时计算平台发送的、目标物理表中包含的字段;[0155]s92,在可视化配置界面上显示目标物理表中包含的字段。[0156]实时计算平台可以采用与前述实施例中类似的方法向第一客户端发送目标物理表中包含的字段。对应地,第一客户端可以接收上述目标物理表中包含的字段,并在可视化配置界面上显示目标物理表中包含的字段。[0157]对应地,在本实施例中,获取通过可视化配置界面为目标数据表配置的目标配置信息包括:[0158]s93,获取通过可视化配置界面从目标物理表中包含的字段选取出的第一字段,得到第一配置信息,其中,第一配置信息用于指示第一字段,目标配置信息包括第一配置信息。[0159]相关人员可以通过操作可视化配置界面中显示的目标物理表中包含的字段,为目标数据表选取出第一字段,从而触发生成第一配置信息。本实施例中第一字段和第一配置信息的含义与前述实施例中类似,在此不做赘述。[0160]例如,用户可以配置结构信息,如图7所示,从物理表中选择字段作为source、sink的字段。[0161]通过本实施例,通过可视化配置界面选取出数据表对应的物理表中的字段作为数据表中的字段,可以提高数据表中字段信息配置的灵活性和便捷性。[0162]在一个示例性实施例中,获取通过可视化配置界面为目标数据表配置的目标配置信息包括:[0163]s101,获取通过可视化配置界面为目标数据表配置的第二字段,得到第二配置信息,其中,第二字段为自定义字段,第二配置信息用于指示第二字段,目标配置信息包括第二配置信息。[0164]相关人员可以通过操作可视化配置界面,为目标数据表配置的自定义字段,即,第二字段,从而可以触发生成第二配置信息。本实施例中第二字段和第二配置信息的含义与前述实施例中类似,在此不做赘述。[0165]例如,用户可以配置自定义字段,如图8所示,一侧为自定义的字段名称,另一侧为自定义字段的表达式。[0166]通过本实施例,通过可视化配置界面为数据表配置自定义字段,可以提高数据表中字段信息配置的灵活性和便捷性。[0167]在一个示例性实施例中,通过可视化配置界面配置与目标数据表的元数据信息关联的配置信息,得到目标配置信息包括:[0168]s111,通过可视化配置界面为目标数据表配置自定义配置项,得到第三配置信息,其中,第三配置信息用于指示自定义配置项,目标配置信息包括第三配置信息。[0169]相关人员可以通过操作可视化配置界面,为目标数据表配置的自定义配置项,即,第二配置项,从而可以触发生成第三配置信息。本实施例中第二配置项和第三配置信息的含义与前述实施例中类似,在此不做赘述。[0170]例如,用户可以自定义source、sink的配置项,除自动生成的关于物理表元数据配置项外,用户可以自定义配置其他source、sink的配置项,最终会同物理表元数据相关的配置项一并生成。[0171]通过本实施例,通过可视化配置界面为数据表配置自定义配置项,可以提高配置数据表的配置项的灵活性和便捷性。[0172]在一个示例性实施例中,在将目标配置信息发送给实时计算平台之后,上述方法还包括:[0173]s121,接收实时计算平台发送的目标创建语句,其中,目标创建语句为按照目标元数据信息进行语句拼接得到的创建语句,目标创建语句用于在实时计算平台中创建目标数据表;[0174]s122,通过可视化配置界面显示目标创建语句。[0175]在将目标配置信息发送给实时计算平台之后,实时计算平台可以采用实施例中相同或类似的方式生成以及存储目标数据表的目标元数据信息,还可以使用目标元数据信息进行语句拼接,得到用于在实时计算平台中创建目标数据表的目标创建语句,并将目标创建语句发送给第一客户端。[0176]第一客户端可以接收目标创建语句,并通过可视化配置界面显示目标创建语句。相关人员可以查看目标创建语句,还可以通过可视化配置界面进行目标数据表配置信息的调整,与前述类似的,在此不做赘述。[0177]通过本实施例,通过使用数据表的元数据信息生成数据表的创建语句并发送给客户端进行显示,可以提高信息获取的便捷性,提高用户的使用体验。[0178]下面结合可选示例对本技术实施例中的数据表信息的生成方法进行解释说明。本可选示例中提供的是一种flinksource/sink可视化配置的方案,结合flinksql实时计算的可视化配置方式,由服务端程序根据用户选择的内容,联合大数据平台的元数据管理,自动生成相应的source、sink语句,可以应用到大数据、实时计算、可视化配置等
技术领域
:,应用在大数据平台(即,大数据实时计算平台,也就是前述实时计算平台)。[0179]在flinksql作业编辑、运行与大数据平台中,用户在使用flinksql时需要编写flinksql的source和sink来指定数据的来源和流向,再编写逻辑代码,将来自数据源的数据进行一定的业务处理再写入到sink表中,不同的类型的source、sink的配置项不尽相同,配置繁琐,容易出错。在本可选实施例中,通过该将基本的sql可视化配置功能进行完善,协助用户(即,相关人员)在使用sql实现业务逻辑时提高开发效率。[0180]结合图10所示,本可选示例中的数据表信息的生成方法的流程可以包括以下步骤:[0181]步骤s1002,用户可视化配置。[0182]用户可视化配置可以包含以下几个步骤:用户选择物理表;用户选择字段(物理表中的字段);用户配置自定义字段;用户配置自定义配置项。[0183]步骤s1004~步骤s1006,服务器生成source、sink信息,并持久化source、sink信息。[0184]服务器可以生成source、sink信息。生成并持久化source、sink(即,痘印的水)信息的过程可以包括:获取表(物理表)的元数据信息;生成source、sink的元数据信息,并基于source、sink的元数据信息生成sql语句;此外,还可以持久化source、sink的元数据信息。[0185]步骤s1008,在任务提交时自动生成sql并加入flinksql的上下文中。[0186]通过本可选示例,在flinksql和大数据平台的基础上,用户通过可视化的方式交互,选择出source或者sink表的物理表类型(例如,kafka、elasticsearch、hive、或者其他通过flinksqlconnector实现的数据源表、数据输出表);用户通过可视化方式生成的flinksqlsource、sink语句,可以与用户自行编写的flinksql语句一同提交到flink集群上,运行的形式可以是本地、yarn、k8s、mesos等运行平台,结合大数据平台的元数据管理,实现了可视化配置source、sink算子的功能。[0187]需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本技术所必须的。[0188]通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom(read‑onlymemory,只读存储器)/ram(randomaccessmemory,随机存取存储器)、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本技术各个实施例所述的方法。[0189]根据本技术实施例的又一个方面,还提供了一种用于实施上述数据表信息的生成方法的数据表信息的生成装置。图11是根据本技术实施例的一种可选的数据表信息的生成装置的结构框图,如图11所示,该装置可以包括:[0190]确定单元1102,用于确定通过可视化配置界面选取的目标物理表,其中,目标物理表是为实时计算平台待配置的目标数据表所选取的、目标类型的物理表;[0191]获取单元1104,与确定单元1102相连,用于获取通过可视化配置界面为目标数据表配置的目标配置信息,其中,目标配置信息是与目标数据表的元数据信息关联的配置信息;[0192]生成单元1106,与获取单元1104相连,用于根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息。[0193]需要说明的是,该实施例中的确定单元1102可以用于执行上述步骤s202,该实施例中的获取单元1104可以用于执行上述步骤s204,该实施例中的生成单元1106可以用于执行上述步骤s206。[0194]通过上述模块,确定通过可视化配置界面选取的目标物理表,其中,目标物理表是为实时计算平台待配置的目标数据表所选取的、目标类型的物理表;获取通过可视化配置界面为目标数据表配置的目标配置信息,其中,目标配置信息是与目标数据表的元数据信息关联的配置信息;根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息,解决了相关技术中实时任务的配置方式存在由于需要用户自定义数据表所导致的操作相对繁琐、容易出现错误的问题,提高了数据表的配置效率以及准确性。[0195]在一个示例性实施例中,生成单元1106包括:[0196]第一确定模块,用于根据目标物理表的元数据信息以及目标配置信息,确定目标字段和目标配置项,其中,目标字段为目标数据表所包含的字段,目标配置项为目标数据表的配置项,目标配置项包含与目标物理表对应的第一配置项;[0197]第一生成模块,用于按照目标字段和目标配置项,生成目标数据表的目标元数据信息。[0198]在一个示例性实施例中,上述装置还包括:[0199]第一发送单元,用于在确定通过可视化配置界面选取的目标物理表之后,将目标物理表中包含的字段发送到可视化配置界面上进行显示,其中,目标配置信息中的第一配置信息用于指示通过可视化配置界面从目标物理表中包含的字段中为目标数据表选取出的第一字段,目标字段包括第一字段。[0200]在一个示例性实施例中,获取单元1104包括:[0201]第一获取模块,用于获取通过可视化配置界面为目标数据表所配置的第二配置信息,其中,目标配置信息包括第二配置信息,第二配置信息用于指示第二字段,第二字段为自定义字段,目标字段包括第二字段。[0202]在一个示例性实施例中,获取单元1104包括:[0203]第二获取模块,用于获取通过可视化配置界面为目标数据表配置的第三配置信息,其中,第三配置信息用于指示通过可视化配置界面为目标数据表所配置的第二配置项,目标配置项还包括第二配置项。[0204]在一个示例性实施例中,上述装置还包括:[0205]第一拼接单元,用于在按照目标字段和目标配置项,生成目标数据表的目标元数据信息之后,按照目标元数据信息进行语句拼接,得到目标创建语句,其中,目标创建语句用于在实时计算平台中创建目标数据表;[0206]第二发送单元,用于将目标创建语句发送到第一客户端,以使第一客户端在可视化配置界面上显示目标创建语句,其中,第一客户端为可视化配置界面所属的客户端。[0207]在一个示例性实施例中,第一拼接单元包括:[0208]生成模块,用于根据目标元数据信息中的表名,生成目标数据表的目标表名;[0209]映射模块,用于将目标元数据信息中的第一字段的第一字段类型映射为与实时计算平台对应的第二字段类型,得到第二字段类型的待拼接字段,其中,第一字段为目标字段中属于目标物理表的字段;[0210]更新模块,用于在根据目标元数据信息确定出目标字段还包括第二字段的情况下,使用第二字段更新待拼接字段,得到更新后的待拼接字段,其中,第二字段为自定义字段;[0211]第一拼接模块,用于按照待拼接字段进行语句拼接,得到初始创建语句;[0212]第二拼接模块,用于在根据目标元数据信息确定出目标数据表中存在计算列的情况下,将与计算列对应的计算列字段拼接到初始创建语句中,得到更新后的初始创建语句;[0213]第三拼接模块,用于在根据目标元数据信息确定出目标数据表配置有目标水印的情况下,将与目标水印对应的水印表达式拼接到初始创建语句中,得到更新后的初始创建语句;[0214]添加模块,用于将与目标元数据信息所指示的目标配置项添加到初始创建语句中,得到目标创建语句。[0215]在一个示例性实施例中,上述装置还包括:[0216]接收单元,用于在根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息之后,接收第二客户端发送的业务提交指令,其中,业务提交指令为与目标数据表关联的目标实时业务的提交指令;[0217]第二拼接单元,用于响应于业务提交指令,按照目标元数据信息进行语句拼接,得到目标创建语句,其中,目标创建语句用于在实时计算平台中创建目标数据表;[0218]添加单元,用于将目标创建语句添加到目标实时业务的业务逻辑语句之前,得到更新后的目标实时任务;[0219]提交单元,用于将更新后的目标实时任务提交给资源管理器,以使资源管理器执行目标实时任务。[0220]在一个示例性实施例中,上述装置还包括:[0221]持久化单元,用于在根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息之后,将目标元数据信息持久化到实时计算平台的数据库中。[0222]根据本技术实施例的又一个方面,还提供了一种用于实施上述数据表信息的生成方法的数据表信息的生成装置。图12是根据本技术实施例的另一种可选的数据表信息的生成装置的结构框图,如图12所示,该装置可以包括:[0223]第一发送单元1202,用于响应对可视化配置界面执行的第一选取操作,向实时计算平台发送目标指示信息,其中,目标指示信息用于指示选取目标类型的目标物理表作为与实时计算平台中的目标数据表对应的物理表;[0224]获取单元1204,第一发送单元1202相连,用于获取通过可视化配置界面为目标数据表配置的目标配置信息,其中,目标配置信息是与目标数据表的元数据信息关联的配置信息[0225]第二发送单元1206,与获取单元1204相连,用于将目标配置信息发送给实时计算平台,以使实时计算平台根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息。[0226]需要说明的是,该实施例中的第一发送单元1202可以用于执行上述步骤s502,该实施例中的获取单元1204可以用于执行上述步骤s504,该实施例中的第二发送单元1202可以用于执行上述步骤s506。[0227]通过上述模块,响应对可视化配置界面执行的第一选取操作,向实时计算平台发送目标指示信息,其中,目标指示信息用于指示选取目标类型的目标物理表作为与实时计算平台中的目标数据表对应的物理表;获取通过可视化配置界面为目标数据表配置的目标配置信息,其中,目标配置信息是与目标数据表的元数据信息关联的配置信息;将目标配置信息发送给实时计算平台,以使实时计算平台根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息,解决了相关技术中实时任务的配置方式存在由于需要用户自定义数据表所导致的操作相对繁琐、容易出现错误的问题,提高了数据表的配置效率以及准确性。[0228]在一个示例性实施例中,上述装置还包括:第一接收单元,第一显示单元,获取单元包括第一获取模块,其中,[0229]第一接收单元,用于在向实时计算平台发送目标指示信息之后,接收实时计算平台发送的、目标物理表中包含的字段;[0230]第一显示单元,用于在可视化配置界面上显示目标物理表中包含的字段;[0231]第一获取模块,用于获取通过可视化配置界面从目标物理表中包含的字段选取出的第一字段,得到第一配置信息,其中,第一配置信息用于指示第一字段,目标配置信息包括第一配置信息。[0232]在一个示例性实施例中,获取单元包括:[0233]第二获取模块,用于获取通过所述可视化配置界面为所述目标数据表配置的第二字段,得到第二配置信息,其中,所述第二字段为自定义字段,所述第二配置信息用于指示所述第二字段,所述目标配置信息包括所述第二配置信息。[0234]在一个示例性实施例中,获取单元包括:[0235]第二获取模块,用于获取通过所述可视化配置界面为所述目标数据表配置的自定义配置项,得到第三配置信息,其中,所述第三配置信息用于指示所述自定义配置项,所述目标配置信息包括所述第三配置信息。[0236]在一个示例性实施例中,上述装置还包括:[0237]第二接收单元,用于在将目标配置信息发送给实时计算平台之后,接收实时计算平台发送的目标创建语句,其中,目标创建语句为按照目标元数据信息进行语句拼接得到的创建语句,目标创建语句用于在实时计算平台中创建目标数据表;[0238]第二显示单元,用于通过可视化配置界面显示目标创建语句。[0239]此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。[0240]根据本技术实施例的又一个方面,还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行本技术实施例中上述任一项数据表信息的生成方法的程序代码。[0241]可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。[0242]可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:[0243]s1,确定通过可视化配置界面选取的目标物理表,其中,目标物理表是为实时计算平台待配置的目标数据表所选取的、目标类型的物理表;[0244]s2,获取通过可视化配置界面为目标数据表配置的目标配置信息,其中,目标配置信息是与目标数据表的元数据信息关联的配置信息;[0245]s3,根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息。[0246]或者,可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:[0247]s1,响应对可视化配置界面执行的第一选取操作,向实时计算平台发送目标指示信息,其中,目标指示信息用于指示选取目标类型的目标物理表作为与实时计算平台中的目标数据表对应的物理表;[0248]s2,获取通过可视化配置界面为目标数据表配置的目标配置信息,其中,目标配置信息是与目标数据表的元数据信息关联的配置信息;[0249]s3,将目标配置信息发送给实时计算平台,以使实时计算平台根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息。[0250]可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例中对此不再赘述。[0251]可选地,在本实施例中,上述存储介质可以包括但不限于:u盘、rom、ram、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。[0252]根据本技术实施例的又一个方面,还提供了一种用于实施上述数据表信息的生成方法的电子装置,该电子装置可以是服务器、终端、或者其组合。[0253]图13是根据本技术实施例的一种可选的电子装置的结构框图,如图13所示,包括处理器1302、通信接口1304、存储器1306和通信总线1308,其中,处理器1302、通信接口1304和存储器1306通过通信总线1308完成相互间的通信,其中,[0254]存储器1306,用于存储计算机程序;[0255]处理器1302,用于执行存储器1306上所存放的计算机程序时,实现如下步骤:[0256]s1,确定通过可视化配置界面选取的目标物理表,其中,目标物理表是为实时计算平台待配置的目标数据表所选取的、目标类型的物理表;[0257]s2,获取通过可视化配置界面为目标数据表配置的目标配置信息,其中,目标配置信息是与目标数据表的元数据信息关联的配置信息;[0258]s3,根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息。[0259]或者,处理器1302,用于执行存储器1306上所存放的计算机程序时,实现如下步骤:[0260]s1,响应对可视化配置界面执行的第一选取操作,向实时计算平台发送目标指示信息,其中,目标指示信息用于指示选取目标类型的目标物理表作为与实时计算平台中的目标数据表对应的物理表;[0261]s2,获取通过可视化配置界面为目标数据表配置的目标配置信息,其中,目标配置信息是与目标数据表的元数据信息关联的配置信息;[0262]s3,将目标配置信息发送给实时计算平台,以使实时计算平台根据目标物理表的元数据信息以及目标配置信息,生成目标数据表的目标元数据信息。[0263]可选地,上述通信总线可以是pci(peripheralcomponentinterconnect,外设部件互连标准)总线、或eisa(extendedindustrystandardarchitecture,扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图13中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子装置与其他设备之间的通信。[0264]存储器可以包括ram,也可以包括非易失性存储器(non‑volatilememory),例如,至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。[0265]作为一种示例,该存储器1306中可以但不限于包括上述数据表信息的生成装置中的确定单元1102、获取单元1104、以及生成单元1106。此外,还可以包括但不限于上述数据表信息的生成装置中的其他模块单元,本示例中不再赘述。[0266]作为另一种示例,上述存储器1306中可以但不限于包括上述数据表信息的生成装置中的第一发送单元1202、获取单元1204、以及第二发送单元1206。此外,还可以包括但不限于上述数据表信息的生成装置中的其他模块单元,本示例中不再赘述。[0267]上述处理器可以是通用处理器,可以包含但不限于:cpu(centralprocessingunit,中央处理器)、np(networkprocessor,网络处理器)等;还可以是dsp(digitalsignalprocessing,数字信号处理器)、asic(applicationspecificintegratedcircuit,专用集成电路)、fpga(field-programmablegatearray,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。[0268]可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。[0269]本领域普通技术人员可以理解,图13所示的结构仅为示意,实施上述数据表信息的生成方法的设备可以是终端设备,该终端设备可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobileinternetdevices,mid)、pad等终端设备。图13其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图13中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图13所示的不同的配置。[0270]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、rom、ram、磁盘或光盘等。[0271]上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。[0272]上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。[0273]在本技术的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。[0274]在本技术所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。[0275]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。[0276]另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以至少两个单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。[0277]以上所述仅是本技术的优选实施方式,应当指出,对于本
技术领域
:的普通技术人员来说,在不脱离本技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本技术的保护范围。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1