一种数据处理方法、装置、电子设备和存储介质与流程

文档序号:20600388发布日期:2020-05-01 21:35阅读:116来源:国知局
一种数据处理方法、装置、电子设备和存储介质与流程
本发明涉及数据处理
技术领域
,特别涉及一种数据处理方法、装置、电子设备和存储介质。
背景技术
:一个数据分析平台希望能够灵活构建数据看板,高效响应业务变化,且具有强大的可视化能力,用户、工作人员无需编写繁琐的代码,通过简单的拖住哦期望能够制作出丰富的图标,使用户方便、简单使用数据。目前的数据分析平台,通过数据的录入、清洗、预处理后通过kylin实现数据的输出。数据分析平台再对输出的数据进行合并格式化输出到报告。上述过程的实现,用户通过联系数据上传人员或调度系统将现有的数据源通过采集或调度导入的方式将数据接入hive集群,通过数据处理人员编写aql将已有的hive表进行清洗、合并并最终生成整合后的数据;在元数据管理平台配置维度指标等信息通过调度将数据预加载到kylin中。数据分析平台通过kylin接口拿到数据后进行合并展示数据到报告。目前数据分析平台的实现数据源单一、强依赖kylin、接入链路长,且数据处理效率低。技术实现要素:有鉴于此,本申请提供一种数据处理方法、装置、电子设备和存储介质,能够提高数据处理效率。为解决上述技术问题,本申请的技术方案是这样实现的:在一个实施例中,提供了一种数据处理方法,所述方法包括:获取到用户操作页面生成的数据输出请求时,获取与所述数据输出请求相关的链接信息;通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求,并通过所述查询请求到所述链接信息对应的数据源进行数据查询;将查询到的数据解析并输出。其中,所述通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求,包括:将所述数据输出请求对应的参数信息转换为符合查询引擎需求的入参格式的参数信息;通过查询引擎服务使用所述链路信息和所述符合查询引擎需求的入参格式的参数信息生成所述查询请求。其中,所述数据源为本地数据库中的数据文件,和/或远端数据库。其中,当所述数据源为存储在本地数据库中的数据文件时,所述数据文件通过数据导入服务动态中继协议dtp上传,并存储到本地数据库;当所述数据源为远端数据库时,所述方法进一步包括:配置该数据库的链接信息。其中,所述方法进一步包括:获取用户输入的数据输出方式;所述将查询到的数据解析并输出,包括:将查询到的数据解析并按照获取的所述数据输出方式输出。其中,所述通过所述查询请求到所述链接信息对应的数据源进行数据查询之前,所述方法进一步包括:获取所述用户对应的权限信息,以及所述数据输出请求对应数据的权限信息,并根据获取的所述权限信息通过所述查询请求到所述链接信息对应的数据源进行数据查询。在另一个实施例中,提供了一种数据处理装置,所述装置包括:获取单元、查询引擎单元和输出单元;所述获取单元,用于获取到用户操作页面生成的数据输出请求时,获取与所述数据输出请求相关的链接信息;所述查询引擎单元,用于通过查询引擎服务使用所述获取单元获取的链接信息和所述数据输出请求对应的参数信息生成查询请求,并通过所述查询请求到所述链接信息对应的数据源进行数据查询;所述输出单元,用于将所述查询引擎单元查询到的数据解析,并输出。其中,所述获取单元,进一步用于将所述数据输出请求对应的参数信息转换为符合查询引擎需求的入参格式的参数信息;所述查询引擎单元,具体用于通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求时,通过查询引擎服务使用所述链路信息和所述获取单元转换后的符合查询引擎需求的入参格式的参数信息生成所述查询请求。其中,所述数据源为本地数据库中的数据文件,和/或远端数据库。其中,所述装置进一步包括:上传单元和配置单元;所述上传单元,用于当所述数据源为存储在本地数据库中的数据文件时,所述数据文件通过数据导入服务动态中继协议dtp上传,并存储到本地数据库;所述配置单元,用于当所述数据源为远端数据库时,配置该数据库的链接信息。其中,所述获取单元,进一步用于获取用户输入的数据输出方式;所述输出单元,进一步用于将所述将查询到的数据解析并按照所述获取单元获取的数据输出方式输出。其中,所述获取单元,进一步用于所述查询引擎单元通过所述查询请求到所述链接信息对应的数据源进行数据查询之前,获取所述用户对应的权限信息,以及所述数据输出请求对应数据的权限信息,并触发所述查询引擎单元根据获取的所述权限信息通过所述查询请求到所述链接信息对应的数据源进行数据查询。在另一个实施例中,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如所述数据处理方法的步骤。在另一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述数据处理方法的步骤。由上面的技术方案可见,上述实施例中调用查询引擎服务,利用用户发出的数据输出请求对应的链接信息和参数信息生成查询请求,到链接信息对应的数据源查询到对应的数据并分析输出给用户。该方案能够提高数据处理效率。附图说明为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1为本申请实施例中给出的一种数据分析平台架构示意图;图2为本申请实施例中数据处理流程示意图;图3为本申请实施例中的一种权限配置方式示意图;图4为本申请实施例中的另一种权限配置方式示意图;图5为本申请实施例中提供的一种数据源类型选择示意图;图6为本申请实施例中建立的数据连接相关信息示意图;图7为本申请实施例中选择一数据连接后所显示的内容;图8为本申请实施例中给出的选择图表类型的示意图;图9为本申请实施例中供发出数据输出请求的界面示意图;图10为本申请实施例中一个以通用图表方式显示输出数据的示意图;图11为本申请实施例中应用于上述技术的装置结构示意图;图12为本发明实施例提供的电子设备的实体结构示意图。具体实施方式下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。本申请实施例提供一种数据处理方法,应用于数据分析平台上,调用查询引擎服务,利用用户发出的数据输出请求对应的链接信息和参数信息生成查询请求,到链接信息对应的数据源查询到对应的数据并分析输出给用户。该方案能够提高数据处理效率。本申请实施例中的数据分析平台可以由一台设备,也可以由多台设备构成,针对涉及到的数据导入系统、数据存储系统、元数据管理平台、查询引擎系统、uc服务、审批流服务等为数据分析平台依赖的系统,如果单独为数据分析平台开发,可以作为数据分析平台的一部分,如果在相关系统上有一部分单独为数据分析平台服务,则单独为数据分析平台服务的部分属于数据分析平台;如果数据平台仅调用相关系统的信息,如权限系统、审批流、uc等,则这些不纳入数据分析平台,仅调用相关信息即可。参见图1,图1为本申请实施例中给出的一种数据分析平台架构示意图。图1中的数据分析平台包括数据处理系统、qe系统(查询引擎系统)、数据导入系统和指标系统,针对元数据管理平台可以存在,也可以不存在,用于整合用户上传数据到hive集群中,以便进行大数据分析;其中指标系统用户存储用户通过dtp上传的数据文件;在具体实现过程中,指标系统可以包括本地数据文件,也可以包括远端数据源对应的数据库。数据分析平台还依赖一些外部系统,如调度系统、权限系统、审批流、uc等系统。数据分析平台上的各系统,以及数据分析平台调用的各系统之间协同工作,以集合方式批量授权的实现方法,可以帮助用户更灵活更方便的自主分配资源,在现有的数据分析平台,对于数据的需求产出工作和数据的呈现都是面对不同的群里,如何有效的分配当前的数据资源协同工作,且将协同工作的阐述呈现于不同的用户就成了我们要解决的问题。于此我们提供了这种以集合方式批量授权的实现方法。这种协同工作模式下以集合方式批量授权的实现方法,能够帮助用户将自己的资源给不同的系统工作的工作组授权的时候更加的灵活,同时分配的方式更加灵活:首先,为用户提供在数据分析平台对资源创建集合的方式;用户提供一种资源和集合的创建方式,首先我们要创建一张表,用来存储用户的资源和用户新建的资源的映射关系。在首次使用的时候会给用户当前提供的资源创建一个全部资源的集合,相当于用户将全部资源进行授权,在此以外用户可以自己进行额外的资源集合配置,并将该集合授权给自己定义的协同工作组。其次,将整个集合给协同工作组进行授权;在用户定义好后将这个集合的唯一标识id生成后,将该id和协同工作组的关系授权到权限系统中。最后,在权限获取的时候可以根据当前访问人所在的工作组找到有权限的资源;当用户获取某个资源的时候,会判断用户是否在该工作组中,同时可以判断出该集合中是否包含用户想要的资源。图1仅是一种数据分析平台架构示意图,本申请具体实现时不限于图1所示的数据分析平台所示的架构示意图。在具体实现时,该数据分析平台还可以根据实际应用调用一些文件分类表、元数据处理表、模型建立系统等。本申请实施例中的数据导入系统,可以使用dtp实现;指标系统用于存储用户导入数据分析平台的数据文件,以及各数据源为数据库的连接信息。本申请实施例中数据源多样性,可以是上传到本数据分析平台上的数据,即本地数据库中的数据文件,也可以是远端数据库数据,也可是远端数据库和数据平台上的数据,这里的远端指本数据平台之外的设备上的数据。针对两种类型的数据源通过不同的方式关联到本数据分析平台,具体实现如下:针对数据文件,如excel文件、csv文件等:所述数据文件通过数据导入服务dtp上传,并存储到hive集群。在具体上传时,先上传到云盘,再通过调度写入自存储的hive集群,也可以同时同步数据文件到元数据管理平台的hive集群中,用于进行大数据的分析等处理。本申请实施例中用户在使用数据分析平台上传文件的过程中,对用户上传的数据的表分区信息进行生成,并根据数据上传结果对表分区信息进行维护。该方案获取数据的表分区信息时不需要再从数据集群底层获取有限的表分区信息,而是能够在数据上传时获取数据的表分区信息,并且根据需要设置需要获取的表分区信息对应的字段,因此,本方案能够简单、高效、全面地获取数据的表分区信息。具体实现表分区信息维护的过程如下:第一步、在用户上传数据时,根据上传的数据的更新类型记录所述数据对应的表分区信息。本申请实施例中数据的更新类型包括:新增类型、部分替换类型、全部替换类型和追加类型。在用户上传数据时,会设置更新类型,数据分析平台根据用户的设置确定数据的更新类型,针对部分替换类型和全部替换类型还会设置替换的数据版本。数据的表分区信息至少包括如下字段但不限于如下字段,还可以根据实际需要增加其他字段:表标识,用于标识不同的表分区信息;数据版本,也称为表分区,用于记录上传的数据的版本号,版本号可以按预设规则命名,如时间命名;更新类型,用于标识当前上传的数据的类型;数据导入状态,用于标识数据当前导入的状态,包括:上传中、失败、成功,其中失败和成功表明上传结果,在具体实现时可以使用特定的字符标识,如0、1等;分区状态,用于表示当前的这条数据的表分区信息是否有效,包括:有效和无效。针对全部替换类型还需增加一字段为源数据版本,用于标识当前上传的数据所替换的数据版本。第二步、根据所述数据的上传结果维护所述表分区信息。数据的上传结果分为失败和成功,针对失败的上传结果需要进行相应的回滚。本申请实施例中的数据的表分区信息可以维护在业务层mysql库中。上述方案中通过在数据上传时记录数据的表分区信息,并根据数据的上传结果维护所述表分区信息,能够方便、快速、全面地根据需要获取数据的表分区信息。下面分别针对不同的更新类型给出数据的表分区信息的维护过程。针对更新类型为新增类型时维护表分区信息的具体步骤为:第一步、当用户上传数据,且确定更新类型为新增类型时,新增一条数据的表分区信息。其中,所述表分区信息中包括表标识、数据版本、更新类型、数据导入状态和分区状态;表标识根据数据分析平台上对表分区的表标识命名规则给出,如顺序递增,数据版本可以为当前的时期,更新类型设置为新增类型,且先不对分区状态进行设置;在数据上传过程中所述数据导入状态设置为上传中。第二步、当数据上传结束时,判断所述数据的上传结果。第三步、当所述上传结果为成功时,将所述分区导入状态更新为成功,并将所述分区状态置为有效,结束本流程。第四步、当所述上传结果为失败时,将所述分区导入状态更新为失败,并将所述分区状态置为无效。至此,完成更新类型为新增类型的数据的表分区信息。针对更新类型为部分替换类型时维护表分区信息的具体步骤为:第一步、当用户上传数据,且确定更新类型为部分替换类型时,将被替换的数据对应的数据的表分区信息的数据导入状态更新为上传中,并将更新类型更新为部分替换类型。第二步、若存在上传的数据包括的字段未在被替换的数据的表分区信息包括的字段中,则在所述表分区信息中增加所述字段,并对新增字段进行指定标记。第三步、当数据上传结束时,判断所述数据的上传结果。第四步、当所述上传结果为成功时,将所述分区导入状态更新为成功,并将所述新增字段的指定标记删除,结束本流程。第五步、当所述上传结果为失败时,删除所述新增字段,并将所述上传状态更新为失败。至此,完成更新类型为部分替换类型的数据的表分区信息。针对更新类型为全部替换类型时维护表分区信息的具体步骤为:第一步、当用户上传数据,且确定更新类型为全部替换类型时,将被替换的数据对应的表分区信息中的分区状态更新为无效,并新增一条数据的表分区信息。针对新增的表分区信息设置分区导入状态为上传中,并记录数据版本和源数据版本,更新类型设置为全部替换类型。针对表分区信息包括的字段还包括:表标识,根据每条表分区信息的标识的命名规则填写,如顺序递增。分区状态先不进行设置;数据版本记录当前上传的数据的版本;源数据版本记录被全部替换的数据的数据版本。第二步、若相对被全部替换的数据的表分区信息中的字段存在新增字段,则在新增的表分区信息中增加所述新增字段。第三步、当数据上传结束时,判断所述数据的上传结果。第四步、当所述上传结果为成功时,将新增的数据的表分区信息中的分区导入状态更新为成功,并将分区状态设置为有效,结束本流程。第五步、当所述上传结果为失败时,将新增表分区信息中的分区导入状态更新为失败,将分区状态设置为有效,并将被替换的数据对应的表分区信息中的分区状态更新为有效。根据当前表分区信息中的源数据版本确定对应的被替换的数据对应的表分区信息。第六步、若所述新增的表分区信息中相对被全部替换的数据的表分区信息中存在新增字段,则将所述新增字段删除。至此,完成更新类型为全部替换类型的数据的表分区信息。针对更新类型为追加类型时维护表分区信息的具体步骤为:第一步、当用户上传数据,且确定更新类型为追加类型时,新增一条数据的表分区信息;其中,在数据上传过程中所述数据导入状态为上传中。其中,所述表分区信息中包括:数据版本、数据导入状态、分区状态,以及新增字段;对分区状态信息暂不设置;所述表分区信息中还包括表标识。第二步、当数据上传结束时,判断所述数据的上传结果。第三步、当所述上传结果为成功时,将新增的数据的表分区信息中的分区导入状态更新为成功,并将分区状态设置为有效,结束本流程。第四步、当所述上传结果为失败时,更新所述新增的数据的表分区信息中的分区导入状态更新为失败,删除所述新增字段,并将分区状态设置为无效。至此,完成更新类型为追加类型的数据的表分区信息,该类型的数据上传相对与新增类型数据的上传主要区别是新增字段,维护表分区信息的过程类似。该实施例在数据上传时,在业务层mysql库中根据数据的更新类型记录数据的表分区信息,并在数据上传结束时,根据上传结果维护所述表分区信息,表分区信息中的字段信息可以根据需要增加来实现该数据操作的相关信息的扩展。该方案通过在业务层对数据的表分区信息的勘界来实现底层集权信息的业务化,方便业务扩展和降低对集群分区信息的依赖的查询力度。该方案完成对用户上传数据的表分区信息的维护,同时通过单表的扩展实现业务层对维护信息的扩展,同时对表分区信息的各种状态的维护实现了表分区信息的追溯回滚。由于目前数据分析平台上的业务会对用户数据进行双写的操作,可以通过对表分区信息的状态字段进行标识,标识不同的成功类型。基于同样的发明构思,本申请实施例还提供一种数据的表分区信息维护装置,所述装置包括:上传单元和维护单元;所述上传单元,用于用户上传数据;所述维护单元,用于当所述上传单元在用户上传数据时,根据上传的数据的更新类型记录所述数据对应的表分区信息;根据所述上传单元上传数据的上传结果维护所述表分区信息。优选地,所述维护单元,具体用于当更新类型为新增类型时,新增一条数据的表分区信息,并在所述表分区信息中记录数据版本、更新类型、数据导入状态和分区状态;其中,在数据上传过程中所述数据导入状态为上传中;当所述上传单元上传数据的上传结果为成功时,将所述分区导入状态更新为成功,并将所述分区状态置为有效;当所述上传单元上传数据的上传结果为失败时,将所述分区导入状态更新为失败,并将所述分区状态置为无效。优选地,所述维护单元,具体用于当更新类型为部分替换类型时,将被替换的数据对应的表分区信息的数据导入状态更新为上传中,并将更新类型更新为部分替换类型;若上传的数据包括的字段未在被替换的数据的表分区信息包括的字段中,则在所述表分区信息中增加所述字段,并对新增字段进行指定标记;当所述上传单元上传数据的上传结果为成功时,将所述分区导入状态更新为成功,并将所述新增字段的指定标记删除;当所述上传单元上传数据的上传结果为失败时,删除所述新增字段,并将所述上传状态更新为失败。优选地,所述维护单元,具体用于当更新类型为全部替换时,将被替换的数据对应的表分区信息中的分区状态更新为无效,并新增一条数据的表分区信息,设置分区导入状态为上传中,并记录数据版本和源数据版本,更新类型设置为全部替换类型;若相对被全部替换的数据的表分区信息中的字段存在新增字段,则在新增的表分区信息中增加所述新增字段;当所述上传单元上传数据的上传结果为成功时,将新增的数据的表分区信息中的分区导入状态更新为成功,并将分区状态设置为有效;当所述上传单元上传数据的上传结果为失败时,将新增表分区信息中的分区导入状态更新为失败,将分区状态设置为有效,并将被替换的数据对应的表分区信息中的分区状态更新为有效;若所述新增的表分区信息中相对被全部替换的数据的表分区信息中存在新增字段,则将所述新增字段删除。优选地,所述维护单元,具体用于当所述更新类型为追加类型时,新增一条数据的表分区信息,并在所述表分区信息中记录数据版本、数据导入状态、分区状态,以及新增字段;其中,在数据上传过程中所述数据导入状态为上传中;当所述上传单元上传数据的上传结果为成功时,将新增的数据的表分区信息中的分区导入状态更新为成功,并将分区状态设置为有效;当所述上传单元上传数据的上传结果为失败时,更新所述新增的数据的表分区信息中的分区导入状态更新为失败,删除所述新增字段,并将分区状态设置为无效。优选地,所述装置进一步包括:设置单元;所述设置单元,用于在用户上传数据时,设置上传数据的更新类型;所述维护单元,进一步用于根据所述设置单元设置的更新类型确定当前上传数据对应的更新类型。上述实施例的单元可以集成于一体,也可以分离部署;可以合并为一个单元,也可以进一步拆分成多个子单元。在另一个实施例中,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如所述数据的表分区信息维护方法的步骤。在另一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述数据的表分区信息维护方法的步骤。针对数据库,如mysql、presto等数据库:只需要在数据分析平台上配置对应数据库的链接信息,即数据库的查询路径,即可在需要进行数据查询时,直接进行查询即可。在准备数据源的时候,会建立一个数据连接,该数据源的名称由用户定义;在数据源准备完成时,会针对该数据连接的名称在本地存储有该数据源的结构,以及链接信息,以便对该数据连接进行操作,以及查询数据源。通过上述方式,准备完毕数据源,针对每个用户,可以预先进行数据源与数据分析平台的关联,也可以在需要进行数据处理的时候再关联数据源与数据分析平台。下面结合附图,详细说明本申请实施例中实现数据处理的过程。参见图2,图2为本申请实施例中数据处理流程示意图。具体步骤为:步骤201,获取到用户操作页面生成的数据输出请求时,获取与所述数据输出请求相关的链接信息。本申请实施例中生成的数据输出请求指需要到数据源获取相关数据进行分析输出的请求,针对本地一些操作请求,直接进行响应即可。用户在针对一个数据连接对应的数据源的结构中的参数进行操作时,若该操作生成数据输出请求,则获取该数据连接对应的链接信息,即与数据输出请求相关的链接信息。这里获取的连接信息可以是一个,也可以是多个,也就是说用户可以同时操作一个数据连接,也可以同时操作多个数据连接。步骤202,通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求,并通过所述查询请求到所述链接信息对应的数据源进行数据查询。本步骤中通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求,包括:将所述数据输出请求对应的参数信息转换为符合查询引擎需求的入参格式的参数信息;通过查询引擎服务使用所述链路信息和所述符合查询引擎需求的入参格式的参数信息生成所述查询请求。在具体实现时,查询引擎服务可以使用qe服务实现。queryengine(qe)是数据金字塔的黏合剂,它是一个高可用的类sql查询服务,旨在为用户提供一个高级的数据查询语言,使得用户可以高效、简单、灵活地表达自己的数据查询与处理逻辑。这里生成查询请求的过程即使用链路信息和转换格式后的参数信息生成sql语句,到链路信息对应的数据源进行数据查询。通过链路信息查找到对应的数据源时,使用参数信息作为匹配项,查询到与参数信息匹配的数据;如果存在多个链路信息,那么在查询请求中,还需对每个链路信息对应参数信息,以便在对应数据源查询到对应的数据。步骤203,将查询到的数据解析并输出。本申请具体实现时,在数据输出请求之前,或者数据输出之前,所述方法进一步包括:获取用户输入的数据输出方式;用户会通过数据分析平台的操作界面输入期望的数据输出方式,如柱状图、通用图标等。本步骤将查询到的数据解析并输出,包括:将查询到的数据解析并按照获取的所述数据输出方式输出。目前的数据分析平台,会向用户所配置的报告所使用的数据连接里面指定的数据源的地址发起数据的查询,因此,用户的数据源的复杂程度通常是仅有用户了解;但是如果由于用户自定义的数据源的复杂程度导致数据查询超时,却会最终反馈到数据分析平台上。目前数据查询情况只能反馈给用户,经过用户自己的处理或等待查询引擎释放足够的资源后再次发起数据查询。这种数据查询方式查询效率低下,且用户体验度低。本申请实施例中提供一种数据查询方法,应用于数据分析平台中,数据分析平台有自己的自存储系统,在下文中称为数据集群,还有可调用数据的hive集群。针对一些预设的数据表,如用户查询超时的和/或一些特定的报告对应的数据表从hive集群中同步到数据分析平台的数据集群中,并针对这些数据表进行标记以及新增对应的集群地址(在数据分析平台上的存储地址),如果查询数据时涉及到这些数据表的查询,则使用新增的集群地址查询。该种实现方案可以在用户无感知的情况下,帮助用户的查询进行加速,进而提高了数据查询效率,提高了用户在数据分析平台的使用体验,保证了数据分析平台的服务效率和使用的稳定性,同时降低了对hive集群的压力。本申请实施例中数据查询流程具体步骤为:第一步、在hive集群中获取预设的数据表,并同步到数据分析平台的数据集群中。在hive集群中获取预设的数据表的方式如下:设置的特定数据报告对应的数据表;和/或,获取的查询请求失败的数据表。其中,设置的特定数据报告对应的数据表可以为设置为重点关注的报告对应的所有数据表,或部分数据表,实施者根据规则或者经验设置都可以;查询请求失败的数据表为不使用本申请提供的技术方案的时候,收集数据分析平台上的查询请求失败的数据表。获取hive集群中预设的数据表时,将所述数据表同步到数据分析平台的数据集群中,即数据分析平台自身的数据集群;这里的同步指拷贝一份到数据分析平台的数据集群中,hive集群中的数据表并不发生变化;也就是说不改变hive集群的存储数据的方式、结构、内容等。本申请实施例中考虑到预设的数据表可能会存在变化,这就需要设置同步时间;这里的同步时间可以设置为周期性的,也可以根据实际需要给出具体的同步时间。当同步时间到时,获取预设的数据表并同步预设的数据表。也可以在同步时间到时,获取预设的数据表,并判断当前获取的预设的数据表是否发生变化,如果发生变化则更新同步的数据表;判断当前获取的预设的数据表未发生变化,则该同步时间到时不进行数据表的同步。第二步、对所述数据表进行标记,并记录所述数据表对应的查询地址。其中,所述查询地址为所述数据表在所述数据分析平台上存储的集群地址。针对同步的数据表对其进行标记,如表标识对应同步标识等,表示该数据表不用默认的数据集群的集群地址查询,而需要使用该数据表对应数据分析平台的集群地址;并且针对同步的数据表给出对应的数据表的存储地址,以便进行数据查询,这里可以针对每个数据表给出一个对应的查询地址,也可以指定一个所有数据表的查询地址,再通过数据表的标识区分查询数据表。如针对数据表1、数据表2和数据表3进行了同步,则对数据表1和数据表3进行标记,并给出对应的查询地址,在具体实现时,也可以通过一张同步表来表示同步的数据表对应的相关内容,如表1。表标识查询地址数据表1查询地址1数据表2查询地址2数据表3查询地址3表1表1中以增加到同步的数据表中来对数据表1、数据表2和数据表3进行标记,表1中的查询地址1、查询地址2和查询地址3可以相同也可以不相同。第三步、接收到数据查询请求时,若确定查询的数据对应的数据表中存在标记的数据表,则使用所述查询地址查询存在标记的数据表。针对查询的数据对应的数据表中未存在标记的数据表使用默认的hive集群地址查询。下面给出接收到数据查询请求时的具体处理步骤如下:第一步、接收到数据查询请求时,获取该数据查询请求所查询的数据表标识。第二步、针对有标记的数据表,使用所述数据表对应的查询地址查询,并返回查询结果,结束本流程。第三步、针对没有标记的数据表,使用默认的hive集群地址查询,并返回查询结果。至此结束对数据查询请求的处理。综上所述,本申请通过对用户配置的报告对应的数据进行分析,获取预设的数据表,并将这些预设的数据表与hive集群中的数据隔离存储到数据分析平台的集群中,这样在用户查询数据时,针对这些预设的数据表使用数据平台上存储该数据表的集群地址查询,能够快速查询数据,同时降低了对底层hive集群查询的压力,进而提高了数据查询效率,且提高用户体验。基于同样的发明构思,本申请实施例中还提供一种数据查询装置,应用于数据分析平台中,所述装置包括:获取单元、同步单元、接收单元和查询单元;所述获取单元,用于在hive集群中获取预设的数据表;所述同步单元,用于同步所述获取单元获取的数据表同步到所述数据分析平台的数据集群中;对所述数据表进行标记,并记录所述数据表对应的查询地址;优选地,所述查询地址为所述数据表在所述数据分析平台上存储的集群地址;所述接收单元,用于接收数据查询请求;所述查询单元,用于当所述接收单元接收到数据查询请求时,若确定查询的数据对应的数据表中存在标记的数据表,则使用对应的查询地址查询所述数据表。优选地,所述预设的数据表为:设置的特定数据报告对应的数据表;和/或,获取的查询请求失败的数据表。优选地,所述同步单元,进一步用于设置同步时间;当同步时间到时,同步所述获取单元当前获取的预设的数据表;所述获取单元,进一步用于当所述同步单元设置的同步时间到时,获取预设的数据表。优选地,所述查询单元,进一步用于针对查询的数据对应的数据表中未存在标记的数据表使用默认的hive集群地址查询。上述实施例的单元可以集成于一体,也可以分离部署;可以合并为一个单元,也可以进一步拆分成多个子单元。在另一个实施例中,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如所述数据查询方法的步骤。在另一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述数据查询方法的步骤。优选地,本申请实施例中为了保证数据权限的安全性,还可以通过所述查询请求到所述链接信息对应的数据源进行数据查询之前,所述方法进一步包括:获取所述用户对应的权限信息,以及所述数据输出请求对应数据的权限信息,并根据获取的所述权限信息通过所述查询请求到所述链接信息对应的数据源进行数据查询。获取的权限信息通过调用权限服务从权限系统获取,这里的权限信息如浏览权限、数据的行及权限等。在给出行级权项设置实现过程前,先明确一下如下名称之间的关系:一、数据报告、数据表和数据源的关系:一个用户可以配置任意一个数据报告;该数据报告包含n个图表,每个图表呈现的数据形式来源于唯一的数据源中的一张数据表,每张数据表中包括一个或多个数据字段。二、访客属性和图表属性的关系:一个访客在用户中心会有很多属性,称为访客属性,包括所在城市,所属部门,职级等。一个图表产出的数据来自一个数据表的多个字段,称为数据表字段。一个图表中的数据字段对应的数据,称为被访问的数据。下面给出行级权限设置的具体过程:本申请实施例中提供了数据字段的权限设置的方式包括:第一种,和/或第二种,下面分别给出每种权限设置的过程:第一种:针对数据报告对应的数据字段提供可设置的访客属性,具体步骤如下:第一步、当确定获取第一权限设置请求时,获取所述第一权限设置请求携带的访客属性标识和数据字段。本申请实施例中,会为用户提供设置权限的界面,使用户可以通过该界面输入权限设置请求。本申请实施例中以用户输入第一权限设置请求为例,判断用户输入,数据分析平台获取的权限设置请求是否为第一权限设置请求的实现具体如下:当获取的权限设置请求携带访客属性标识和数据字段时,确定该权限设置请求为第一权限设置请求。具体实现时,在可以针对用户输入的权限设置请求中携带特定字段来标识当前请求为第一权限设置请求。参见图3,图3为本申请实施例中的一种权限配置方式示意图。图3中选择通用配置权限配置界面时,为用户提供可选择的数据源表、数据字段和访客属性;如图3中选择的数据源表为演示流程-sheet1,选择的数据字段为“a”,选择的访客属性为城市代码;在上述信息选择完成后,直接点击添加关联关系,即可输入第一权限设置请求。图3仅是一种权限配置示例,具体实现时不限于图3所示的第一权限设置请求的输入。第二步、生成第一权限记录,并存储;其中,所述第一权限记录包括权限字段和受控字段;所述权限字段为所述访客属性标识,所述受控字段为所述数据字段。会对接收到的第一权限设置请求生成的权限记录进行标记,记录为第一权限记录。针对不同权限记录进行标记,以便后续获取对应的受控范围。所述权限记录表示受控字段(a)受到权限字段的控制,则设置权限后的效果为:作为访客的用户a所在的城市为北京,那么数据字段(受控字段)a对应的被访问的数据只有北京对应的内容。生成的权限记录可以保存在本地,也可以保存在权限系统中。在存储对应的权限记录时,为该权限记录生成权限查询标识,具体为:使用所述数据字段所在的数据源表的标识,所述数据源表对应的数据源的标识,以及所述数据源对应的数据报告的标识生成权限查询标识;使用所述权限查询标识来标识所述数据字段对应的权限记录。上述方案通过一一对应设置数据字段对应的访客属性,实现对应数据字段的访问受设置的访客属性控制的权限设置,该方案能够根据用户自身需求主动、方便、灵活进行访问权限的设置,提高权限控制设置的效率,以及用户体验。第二种:预先为数据字段设置访客属性模板;用来决定收到访客属性控制的个性化定制;比如用户的访客属性所在城市为北京,设置该用户可以访问数据字段城市中的北京和上海等地的数据内容。针对数据报告对应的数据字段提供对应的访客属性模板的具体步骤为:第一步、当确定获取第二权限设置请求时,获取所述第二权限设置请求携带的数据字段和访客属性模板标识。本申请实施例中,会为用户提供设置权限的界面,使用户可以通过该界面输入权限设置请求。本申请实施例中以用户输入第二权限设置请求为例,判断用户输入,数据分析平台获取的权限设置请求是否为第二权限设置请求的实现具体如下:当获取的权限设置请求携带访客属性模板标识和数据字段时,确定该权限设置请求为第二权限设置请求。具体实现时,在可以针对用户输入的权限设置请求中携带特定字段来标识当前请求为第二权限设置请求。参见图4,图4为本申请实施例中的另一种权限配置方式示意图。图4中选择模板配置权限配置界面时,为用户提供可选择的数据源表、数据字段;在界面上虽然显示了模板显示框,但是由于是预先设置好的,这里不能选择,只是显示给用户浏览的,如省-城市行级权限(编码);还可以选择省-城市行级权限(名称)、店东,具体实现时可以根据实际需要设置,不限于图4所给出的模板内容。如图4中选择的数据源表为演示流程-sheet1,选择的数据字段为“city-code”,则自动显示针对该字段配置的权限模板标识,用户不可选择;在上述信息选择完成后,直接点击确定按钮,即可输入第二权限设置请求。图4仅是一种权限配置示例,具体实现时不限于图4所示的第二权限设置请求的输入。第二步、生成第二权限记录,并存储;其中,所述第二权限记录包括权限字段和受控字段;所述权限字段为所述访客属性模板标识,所述受控字段为所述数据字段。会对接收到的第二权限设置请求生成的权限记录进行标记,记录为第二权限记录。针对不同权限记录进行标记,以便后续获取对应的受控范围。所述权限记录表示权限字段所能访问的受控字段,则受控字段如城市代码(北京),权限字段如城市代码(北京和上海)设置权限后的效果为:作为访客的用户a所在的城市为北京,那么用户a针对数据字段(受控字段)北京和上海的数据都可访问。生成的权限记录可以保存在本地,也可以保存在权限系统中。在存储对应的权限记录时,为该权限记录生成权限查询标识,具体为:使用所述数据字段所在的数据源表的标识,所述数据源表对应的数据源的标识,以及所述数据源对应的数据报告的标识生成权限查询标识;使用所述权限查询标识来标识所述数据字段对应的权限记录。同时针对该种方式,即接收到第二权限设置请求生成的权限记录设置第二标记,以便后续获取对应的受控范围。上述技术方案中,用户在权限设置界面中通过模板的方式对对应数据字段进行权限设置,能够更加方便地满足用户的个性化设置,更全面地实现行级权限的设置。该方案能够根据用户自身需求主动、方便、灵活进行访问权限的设置,提高权限控制设置的效率,以及用户体验。上述方案中通过两种方式对数据报告对应的数据源,数据源对应的数据源表中的字段进行了权限设置,也就是说设置了数据字段权限的数据报告需要进行标记,以便用户在访问数据报告时,通过设置的权项进行控制。下面结合附图,给出用户访问数据报告的具体步骤:第一步、当接收到用户访问数据报告的请求时,若确定所述数据报告对应的数据表进行了权限设置,则生成所述数据表对应的权限查询标识。本申请具体实现时,还需针对设置了权限的数据报告,以及数据报告中设置了权限的数据表进行标记,以便查询对应数据报告时,先确定数据报告,以及对应的数据表是否进行了权限设置。如果未进行权限设置,则数据平台上的访客均可进行访问,如果进行了权限设置,则只有具有相应权限的访客才可以访问对应数据字段的数据。第二步、使用所述权限查询标识查询权限记录,根据查询到的所述权限记录获取到所述数据表中的数据字段对应的受控字段。如果权限记录保存在本地,则直接从本地获取对应的受控字段;如果权限记录保存在权限系统,则从权限系统获取对应的受控字段。第三步、解析所述受控字段,获取受控范围。本步骤中解析所述受控字段,获取受控范围,包括:若确定所述权限记录为第一权限记录,则所述受控字段对应的内容为访客属性标识;若确定所述权限记录为第二权限记录,则所述受控字段对应的内容为访客属性模板标识。在访客的访问报告请求中封装所述受控范围,执行后续的查询流程,来确定所述访客是否能够访问数据字段对应的数据。第四步、根据所述用户的访客属性是否属于所述受控范围确定是否为所述用户输出所述数据字段对应的数据。综上所述,本申请上述实施例中在一访客访问有权限设置的数据报告时,需要查询到受控字段对应的受控范围,进而确定该访客的访客属性是否属于所述受控范围确定该访客是否能访问对应的数据。该方案实现行级权限的控制能力,能够提高访问权限控制效率,并提高用户体验。本申请实施例中巧妙地避过了权限系统自身限制导致的权限不能攻台的映射到对应的数据报告上的缺陷,并且更灵活地在数据报告配置页面关联所控制的图表,极大地方便了用户对自己的报告的权限控制的灵活度和自由配置的可能。随着访客的增多,数据报告的多样化,可以增加各种个性化的定制模板,用于完善权限配置,使权限配置也能够实现多样化。基于同样的发明构思,本申请实施例中还提供一种访问权限控制装置,所述装置包括:获取单元、确定单元、生成单元和存储单元;所述获取单元,用于获取权限设置请求;当所述确定单元确定获取的权限设置请求为第一权限设置请求时,获取所述第一权限设置请求携带的访客属性标识和数据字段;所述确定单元,用于确定所述获取单元获取的权限设置请求是否为第一权限设置请求;所述生成单元,用于生成第一权限记录;其中,所述第一权限记录包括权限字段和受控字段;所述权限字段为所述访客属性标识,所述受控字段为所述数据字段;所述存储单元,用于存储所述生成单元生成的第一权限记录。优选地,所述装置进一步包括:设置单元;所述设置单元,用于预先为数据字段设置访客属性模板;所述确定单元,进一步用于确定所述获取单元获取的权限设置请求是否为第二权限设置请求;所述获取单元,进一步用于当所述确定单元确定获取的权限设置请求为第二权限设置请求时,获取所述第二权限设置请求携带的数据字段和访客属性模板标识;所述生成单元,进一步用于生成第二权限记录;其中,所述第二权限记录包括权限字段和受控字段;所述权限字段为所述访客属性模板标识,所述受控字段为所述数据字段;所述存储单元,进一步用于存储所述生成单元生成的第二权限记录。优选地,所述生成单元,进一步用于使用所述数据字段所在的数据源表的标识,所述数据源表对应的数据源的标识,以及所述数据源对应的数据报告的标识生成权限查询标识;使用所述权限查询标识来标识所述数据字段对应的权限记录。优选地,所述获取单元,进一步用于接收用户访问数据报告的请求;所述确定单元,进一步用于当所述获取单元接收到用户访问数据报告的请求时,确定所述数据报告对应的数据源表是否进行了权限设置;并根据所述用户的访客属性是否属于所述存储单元确定的受控范围确定是否为所述用户输出所述数据字段对应的数据;所述生成单元,进一步用于若所述确定单元确定所述数据报告对应的数据源表进行了权限设置,则生成所述数据源表对应的权限查询标识;所述存储单元,进一步用于使用所述生成单元生成的权限查询标识查询对应的权限记录;根据查询到的权限记录获取到所述数据源表中的数据字段对应的受控字段;解析所述受控字段,获取受控范围。优选地,所述存储单元,具体用于若确定所述权限记录为第一权限记录,则所述受控字段对应的内容为访客属性标识;若确定所述权限记录为第二权限记录,则所述受控字段对应的内容为访客属性模板标识。在另一个实施例中,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如所述访问权限控制方法的步骤。在另一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述访问权限控制方法的步骤。上述实施例的单元可以集成于一体,也可以分离部署;可以合并为一个单元,也可以进一步拆分成多个子单元。本申请提供的上述技术方案通过数据导入服务dtp上传数据文件,或者通过配置连接的方式直接关联远端数据库,能够简单实现数据源的关联,进而实现数据源的多样性;在用户发出数据输出请求时,调用查询引擎服务,利用用户发出的数据输出请求对应的链接信息和参数信息生成查询请求,到链接信息对应的数据源查询到对应的数据并分析,最终按照用户配置的数据方式输出给用户。该方案极大提高了数据源接入的多样性和方便性,且不依赖kylin,整个数据获取、分析和输出过程简单,进而提高了数据处理效率。下面结合附图,以excel文件作为数据源,数据输出请求为输出一个报告为例,详细说明数据分析平台上传数据、处理数据的过程。首先,给出excel文件上传数据分析平台的过程:第一步、数据管理平台在用户通过操作界面点击建立连接按钮的操作时,为用户输出数据源类型选择提示信息。如图5,图5为本申请实施例中提供的一种数据源类型选择示意图。图5中以三种可选数据源类型为例,如excel(文件)、csv(文件)、mysql(数据库)。上传excel文件时,用户直接选择数据源类型为excel(文件)即可。第二步、数据管理平台接收到用户选择的数据源类型,且为excel文件时,为用户提供上传界面。用户将要上传的excel文件直接拖拽到上传界面所指定的位置,或者使用点击上传方式实现excel文件的上传即可,上传excel文件过程中使用dtp服务上传。第三步、接收到用户发出的保存指令后,将该excel文件的相关信息显示给用户。参见图6,图6为本申请实施例中建立的数据连接相关信息示意图。图6中有该数据连接的数据连接名称,数据文件名称(ceshi444.xlsx),表头设置,即数据连接中的数据的架构信息,如本实施例中的excel文件包括两个sheet,分别为sheet1和sheet2,还有该excel文件的维度信息等,在图6中由于篇幅问题并未显示。第四步,通过数据导入服务dtp上传excel文件完成后,存储到hive集群。在具体上传时,先上传到云盘,再通过调度写入自存储的hive集群,也可以同时同步数据文件到元数据管理平台的hive集群中,用于进行大数据的分析等处理。第五步、上传所述excel文件完成时,该数据连接创建完成。该excel文件存储到了本地,自动会生成该excel文件的链接信息,会将创建的数据连接(演示流程)对应的链接信息和文件结构信息存储,以便后续进行链接信息的关联以进行数据查询。其次,在上述excel文件的基础上创建一个报告(数据输出的一种形式)的流程,具体如下:第一步、接收到用户在数据分析平台的操作页面上选择已建立的数据连接的操作时,为用户显示对应数据连接的相关信息。参见图7,图7为本申请实施例中选择一数据连接后所显示的内容。图7中给出选中的数据连接为演示流程,该实施例以选择一个数据连接为例,在具体应用中也可以选择多个数据连接。第二步、接收到用户选择sheet1的操作时,为用户显示sheet1对应的相关信息。第三步、进行数据输出方式的设置(可以为用户提供输出方式的选择项)。参见图8,图8为本申请实施例中给出的选择图表类型的示意图。图8中可见可选择的类型有:通用图表、对比趋势图、指标卡、仪表盘、饼图、漏斗图、桑吉图。图8仅是本申请实施例中提供的几种图表选项,在实际应用中可以根据实际应用增加或减少图表类型的选择。第四步、接收到用户选择的图表类型后,记录。在设置图表类型后,用户可以通过拖拽参数实现操作请求。参见图9,图9为本申请实施例中供发出数据输出请求的界面示意图。图9中用户可以通过拖拽“维度”和“度量”两个参数到画布处以触发数据输出请求的发出。第五步、数据分析平台接收到用户拖拽参数而触发的数据输出请求时,获取该数据连接(演示流程)对应的链接信息,以及参数信息(维度、度量)。第六步、将参数信息转换为查询引擎需求的格式,并通过查询引擎服务服务使用转换后的参数信息和链接信息生成查询请求(如sql语句)。第七步、调用权限服务获取所述用户对应的权限信息,以及所述数据输出请求对应数据的权限信息,并根据获取的所述权限信息通过所述查询请求到所述链接信息对应的数据源进行数据查询。第八步、通过查询引擎服务服务从所述链接信息对应的数据源中获取维度和度量相关的数据。第九步、解析获取的数据,并使用用户选择的输出方式显示获取的数据。参见图10,图10为本申请实施例中一个以通用图表方式显示输出数据的示意图。图10中以x轴为纬度信息、以y轴为度量信息的一个图表。至此完成了一个报告(数据报告)的创建。在具体实现时,还可以将该报告保存,以便后续直接查看。目前数据分析平台上的报告创建、对于报告的基本信息大体相同,在用户创建报告的时候无需先弹出提示框再进入报告的编辑页面,所有需要系统为报告创建默认的报告名称,且为创建的报告名称全局唯一标识一个报告。本申请实施例中给出一种数据报告的命名方式,根据预设后缀命名规则,以及平台上已命名的数据报告的后缀,为当前生成的数据报告生成后缀,为当前生成的数据报告确定的命名的后缀为获取的后缀中不存在的且按照预设后缀命名规则排位最先的后缀如果已命名的数据报告的后缀中,也就是说如果缺失后缀则需要进行后缀补位。通过该方案在对数据报告命名时,对数据报告的后缀能够实现自动补位,增强了数据报告名称的可读性。本申请实施例中在生成一个数据报告时,会对数据报告进行命名,为一个数据报告所命的命称为数据报告的名称。本申请实施例中的数据报告的名称由前缀+后缀组成,分别对应前缀和后缀的命名规则,在命名时,根据前缀命名规则命名前缀,根据后缀命名规则命名后缀,将前缀和后缀组合作为一个数据报告的名称。本申请实施例中数据报告命名具体实现过程如下:第一步、当生成数据报告时,获取所述数据分析平台中已命名的数据报告的后缀。本申请实施例中获取数据分析平台中已命名的数据报告的后缀。具体步骤为:步骤a、获取所述数据分析平台中已命名的数据报告的名称。本步骤的具体实现时,通过stream的方式获取list这个流,即所有数据报告的名称;再通过foreach方法获取这个list中的每个值,即每个数据报告的名称;步骤b、根据前缀命名规则校验所述数据报告的名称的前缀的合法性。本申请实施例中的前缀命名规则可以为预设一个固定的前缀,如数据报告等;校验前缀的合法性即为确定这个数据报告的前缀是否为符合前缀命名规则,如比对方式,或者字符串长度相等等。该步骤的实现是确定这个数据报告名称含有按照前缀命名规则命名的前缀,以免获取的数据报告的名称是非法的,或者不属于本申请实施例所进行的数据报告命名的范畴。步骤c、获取前缀合法的所述数据报告的名称。步骤d、截取掉所述数据报告的名称的前缀,获取所述数据报告的名称的后缀。本申请实施例中数据报告的名称的后缀可以通过数字实现,那么截取掉前缀后,获取的数据报告的名称的后缀为一个数据集。第二步、根据预设后缀命名规则,以及获取的所述后缀为当前生成的数据报告确定用于命名的后缀。其中,为当前生成的数据报告确定的命名的后缀为获取的后缀中不存在的且按照预设后缀命名规则排位最先的后缀。如预设后缀命名规则为从1开始递增1的规则,若获取的后缀为1、3、5,则获取的后缀中不存在的且按照预设后缀命名规则排位最先的后缀为2;如预设后缀命名规则为从100开始递减1的规则,若获取的后缀为100、99、95,则获取的后缀中不存在的且按照预设后轴命名规则排位最先的后缀为98。本申请实施例中根据预设后缀命名规则,以及获取的所述后缀为当前生成的数据报告确定用于命名的后缀的实现方式有两种但不限于如下两种实现方式,具体为:第一种:本申请实施例中第一种为当前生成的数据报告确定用于命名的后缀的步骤如下:步骤a、按照所述预设后缀命名规则生成第一个后缀,并使用生成的第一个后缀与获取的后缀进行比较。其中,所述第一个后缀为按照所述预设后缀命名规则生成的后缀中排位最先的后缀;也就是按照预设规则初始生成的后缀为此处的第一个后缀。步骤b、如果获取的后缀中存在与所述第一个后缀相同的后缀,则根据所述预设后缀命名规则继续生成下一个后缀,再次进行比较。步骤c、直到获取的后缀中不存在按照所述预设后缀命名规则生成的后缀时,将生成的所述后缀确定为当前生成的所述数据报告的后缀。如预设后缀命名规则为递增1的命名规则,按照预设后缀命名规则生成的第一个后缀为1,则使用1与获取的后缀进行比较;假设获取的后缀的集合为{1、2、4、6},则获取的后缀中存在与生成的第一个后缀相同的后缀,则继续生成下一个后缀(第二个后缀)2。使用2与获取的后缀的比较,确定2在获取的后缀中存在,则按照预设后缀命名规则生成下一个后缀(第三个后缀)3,使用3与获取的后缀比较,确定3未在获取的后缀中存在,则使用后缀3作为当前生成的报告用于命名的后缀。这里的预设后缀命名规则为递增,且增1,具体实现时,预设后缀命名规则不限于此,只要是使用预设后缀命名规则命名后的报告名称具有可读性即可。由上可见,如果按照预设后缀规则依次命名的数据报告中有数据报告被删除,则在后续生成数据报告时,会进行补位命名,这样会使数据报告的命名更加具有可读性。第二种:本申请实施例中第二种为当前生成的数据报告确定用于命名的后缀的具体步骤为:步骤a、根据预设后缀命名规则在获取的后缀中确定排位最后的后缀,并确定所述后缀为按照预设后缀命名规则生成的第m个后缀。其中,m为大于0的整数。步骤b、确定m是否等于n,如果是,执行步骤c;否则,执行步骤e。n为获取的后缀的总个数,大于0的整数。步骤c、按照预设后缀命名规则生成第n+1个后缀,并确定为当前生成的数据报告的后缀,结束本流程。步骤d、按照所述预设后缀命名规则生成第一个后缀,并使用生成的第一个后缀与获取的后缀进行比较。所述第一个后缀为按照所述预设后缀命名规则生成的后缀中排位最先的后缀。步骤e、如果获取的后缀中存在与所述第一个后缀相同的后缀,则根据所述预设后缀命名规则继续生成下一个后缀,再次进行比较;直到获取的后缀中不存在按照所述预设后缀命名规则生成的后缀时,将生成的所述后缀确定为当前生成的所述数据报告的后缀。如预设后缀命名规则为递增1的命名规则,假设获取的后缀的集合为{1、2、3},确定排位最后的后缀为3,按照递增1的命名规则确定生成的是第3个后缀,且确定获取的后缀的总个数为3,则进一步确定3=3,因此,按照预设后缀规则生成第3+1个后缀4作为当前生成的数据报告用于命名的后缀。这里的预设后缀命名规则为递增,且增1,具体实现时,预设后缀命名规则不限于此,只要是使用预设后缀命名规则命名后的报告名称具有可读性即可。由上可见,如果按照预设后缀规则依次命名的数据报告中有数据报告被删除,则在后续生成数据报告时,会进行补位命名,这样会使数据报告的命名更加具有可读性。本申请实施例中先确定一下获取的后缀是否存在需要补位的后缀,不存在,则直接按照预设后缀命名规则生成下一个后缀,存在需要补位的后缀,即存在被删除的数据报告时,再按照上述一一比对的方式进行后缀补位命名。第三步、使用确定的所述后缀为当前生成的数据报告命名。本申请实施例中的数据报告的命名为前缀命名规则命名的前缀+预设后缀命名规则命名的后缀;如预设前缀命名规则为默认命名数据报告,则当前生成的数据报告的名称为数据报告+确定的后缀。基于同样的发明构思,本申请实施例中还提供一种数据报告命名装置,应用于数据分析平台上,所述装置包括:第一生成单元、获取单元、第一确定单元和命名单元;所述第一生成单元,用于生成数据报告;所述获取单元,用于当所述第一生成单元生成数据报告时,获取所述数据分析平台中已命名的数据报告的后缀;所述第一确定单元,用于根据预设后缀命名规则,以及所述获取单元获取的所述后缀为当前生成的数据报告确定用于命名的后缀;其中,为当前生成的数据报告确定的命名的后缀为获取的后缀中不存在的且按照预设后缀命名规则排位最先的后缀;所述命名单元,用于使用所述第一确定单元确定的所述后缀为当前生成的数据报告命名。优选地,所述获取单元包括:第一获取子单元、校验单元、第二获取子单元、截取单元和第三获取子单元;所述第一获取子单元,用于获取所述数据分析平台中已命名的数据报告的名称;所述校验单元,用于根据前缀命名规则校验所述第一获取子单元获取的数据报告的名称的前缀的合法性;所述第二获取子单元,用于获取所述检验单元校验的所述数据报告的名称;所述截取单元,用于截取掉所述第二获取子单元获取的数据报告的名称的前缀;所述第三获取子单元,用于获取所述截取单元截取掉所述数据报告的名称的前缀后的后缀。优选地,所述第一确定单元包括:第二生成单元、比较单元和第二确定单元;所述第二生成单元,用于按照所述预设后缀命名规则生成第一个后缀;其中,所述第一个后缀为按照所述预设后缀命名规则生成的后缀中排位最先的后缀;所述比较单元,用于使用所述第二生成单元生成的第一个后缀与获取的后缀进行比较;如果获取的后缀中存在与所述第一个后缀相同的后缀,则触发所述第二生成单元根据所述预设后缀命名规则继续生成下一个后缀,再次进行比较;所述第二确定单元,用于直到获取的后缀中不存在按照所述预设后缀命名规则生成的后缀时,将生成的所述后缀确定为当前生成的所述数据报告的后缀。优选地,所述第一确定单元包括:第二确定单元、判断单元、第二生成单元和第三确定单元;所述第二确定单元,用于根据预设后缀命名规则在获取的后缀中确定排位最后的后缀,并确定所述后缀为按照预设后缀命名规则生成的第m个后缀;所述判断单元,用于确定m是否等于n;其中,n为获取的所述后缀的总个数;所述第二生成单元,用于当所述判断单元确定m等于n时,按照预设后缀命名规则生成第n+1个后缀;当判断m不等于n时,按照所述预设后缀命名规则生成第一个后缀;并触发所述判断单元使用生成的第一个后缀与获取的后缀进行比较;如果获取的后缀中存在与所述第一个后缀相同的后缀,则根据所述预设后缀命名规则继续生成下一个后缀,再次触发所述判断单元进行比较;所述第三确定单元,用于当所述第二生成单元生成第n+1个后缀时,将所述第n+1个后缀确定为当前生成的数据报告用于命名的后缀;直到获取的后缀中不存在按照所述预设后缀命名规则生成的后缀时,将生成的所述后缀确定为当前生成的所述数据报告的后缀;其中,n为获取的所述后缀的总个数,所述第一个后缀为按照所述预设后缀命名规则生成的后缀中排位最先的后缀。上述实施例的单元可以集成于一体,也可以分离部署;可以合并为一个单元,也可以进一步拆分成多个子单元。在另一个实施例中,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如所述数据报告命名方法的步骤。在另一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述数据报告命名方法的步骤。综上所述,本申请通过获取已命名的数据报告的名称的后缀,通过判断为当前生成的数据报告进行补位命名,从而生成满足预设后缀命名规则的连续后缀,从而使得数据报告的名称具有可读性。并且在获取已命名的数据报告的名称的后缀的时候对数据报告的名称的前缀进行合法验证,过滤掉不合法的数据报告的名称,从而提高数据报告命名的效率和准确性。基于同样的发明个构思,本申请实施例中还提供一种数据处理装置,应用于上述数据分析平台上。参见图11,图11为本申请实施例中应用于上述技术的装置结构示意图。该装置包括:获取单元1101、查询引擎单元1102和输出单元1103;获取单元1101,用于获取到用户操作页面生成的数据输出请求时,获取与所述数据输出请求相关的链接信息;查询引擎单元1102,用于通过查询引擎服务使用获取单元1101获取的链接信息和所述数据输出请求对应的参数信息生成查询请求,并通过所述查询请求到所述链接信息对应的数据源进行数据查询;输出单元1103,用于将查询引擎单元1102查询到的数据解析,并输出。较佳地,获取单元1101,进一步用于将所述数据输出请求对应的参数信息转换为符合查询引擎需求的入参格式的参数信息;查询引擎单元1102,具体用于通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求时,通过查询引擎服务使用所述链路信息和获取单元1101转换后的符合查询引擎需求的入参格式的参数信息生成所述查询请求。较佳地,所述数据源为本地数据库中的数据文件,和/或远端数据库。较佳地,所述装置进一步包括:上传单元1104和配置单元1105;上传单元1104,用于当所述数据源为存储在本地数据库中的数据文件时,所述数据文件通过数据导入服务动态中继协议dtp上传,并存储到本地数据库;配置单元1105,用于当所述数据源为远端数据库时,配置该数据库的链接信息。较佳地,获取单元1101,用于获取用户输入的数据输出方式;输出单元1103,进一步用于将所述将查询到的数据解析并按照所述获取单元获取的数据输出方式输出。较佳地,获取单元1101,进一步用于查询引擎单元1102通过所述查询请求到所述链接信息对应的数据源进行数据查询之前,获取所述用户对应的权限信息,以及所述数据输出请求对应数据的权限信息,并触发查询引擎单元1102根据获取的所述权限信息通过所述查询请求到所述链接信息对应的数据源进行数据查询。上述实施例的单元可以集成于一体,也可以分离部署;可以合并为一个单元,也可以进一步拆分成多个子单元。在另一个实施例中,还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述数据处理方法的步骤。在另一个实施例中,还提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时可实现所述数据处理方法的步骤。图12为本发明实施例提供的电子设备的实体结构示意图。如图12所示,该电子设备可以包括:处理器(processor)1210、通信接口(communicationsinterface)1220、存储器(memory)1230和通信总线1240,其中,处理器1210,通信接口1220,存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令,以执行如下方法:获取到用户操作页面生成的数据输出请求时,获取与所述数据输出请求相关的链接信息;通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求,并通过所述查询请求到所述链接信息对应的数据源进行数据查询;将查询到的数据解析并输出。此外,上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1