数据导入方法、装置、计算机可读存储介质和计算机设备与流程

文档序号:21593668发布日期:2020-07-24 16:41阅读:140来源:国知局
数据导入方法、装置、计算机可读存储介质和计算机设备与流程

本申请涉及计算机技术领域,特别是涉及一种数据导入方法、装置、计算机可读存储介质和计算机设备。



背景技术:

随着计算机技术领域的高速发展,数据处理已深入人们日常生活的各个领域,在进行数据处理时,通常需要进行数据的导入,因此数据导入的方法也层出不穷。

由于数据的多样性及繁杂性,当在进行数据导入时,常常需要按照统一标准的格式将数据进行导入,这时需要对数据进行处理及转换,以致导入端需要耗费大量的时间将全部数据按照标准的格式进行填写、保存以及上传,导致在进行数据导入时的效率较低。



技术实现要素:

基于此,有必要针对上述技术问题,提供一种数据导入方法、装置、计算机设备和存储介质,能够方便快捷地进行数据的导入,提高了数据导入时的效率。

一种数据导入方法,所述方法包括:

获取数据导入请求,所述数据导入请求中携带有待导入数据的目标字段以及与所述目标字段对应的目标内容;

获取所述待导入数据的数据类型,确定所述待导入数据的数据类型所关联的候选字段集合;

从所述候选字段集合中查找与所述目标字段对应的候选目标字段;所述候选字段集合为预先存储的候选字段集合,各个候选字段集合关联有相应的数据类型;

获取与所述候选目标字段相对应的标准目标字段;

将所述目标字段与所述标准目标字段相关联,得到标准映射关系;

按照所述标准映射关系,将所述待导入数据的目标内容导入至所述目标字段相关联的所述标准目标字段中。

在其中一个实施例中,所述方法还包括:

获取与所述置空字段对应的置空目标字段;

所述按照所述标准映射关系,将所述待导入数据的目标内容导入至所述目标字段相关联的所述标准目标字段中,包括:

将与所述置空字段对应的置空内容导入至所述置空字段相关联的所述置空目标字段中。

在其中一个实施例中,所述方法还包括:

生成与所述数据导入请求对应的配置页面数据;

将所述配置页面数据发送至终端,以使所述终端根据所述配置页面数据显示对应的配置页面;

获取所述终端在所述配置页面输入的所述候选字段集合以及与所述候选字段集合中的各个候选目标字段相对应的标准目标字段。

在其中一个实施例中,所述方法还包括:

获取与所述标准目标字段对应的内容过滤算法;

根据所述内容过滤算法对所述待导入数据的目标内容进行过滤,得到过滤后的目标内容;

将所述过滤后的目标内容导入至所述目标字段相关联的所述标准目标字段中。

在其中一个实施例中,所述方法还包括:

获取与所述数据导入请求对应的预设数据处理结果;

根据所述预设数据处理结果调用对应的字段过滤算法;

根据所述字段过滤算法对所述目标字段进行过滤,得到过滤后的目标字段;

将所述过滤后的目标字段作为所述目标字段,返回获取所述待导入数据的数据类型,确定所述待导入数据的数据类型所关联的候选字段集合的步骤。

一种数据导入装置,所述装置包括:

请求接收模块,用于获取数据导入请求,所述数据导入请求中携带有待导入数据的目标字段以及与所述目标字段对应的目标内容;

集合获取模块,用于获取所述待导入数据的数据类型,确定所述待导入数据的数据类型所关联的候选字段集合;

字段关联模块,用于从所述候选字段集合中查找与所述目标字段对应的候选目标字段;所述候选字段集合为预先存储的候选字段集合,各个候选字段集合关联有相应的数据类型;

字段获取关联模块,用于获取与所述候选目标字段相对应的标准目标字段;

关系映射模块,用于将所述目标字段与所述标准目标字段相关联,得到标准映射关系;

数据导入模块,用于按照所述标准映射关系,将所述待导入数据的目标内容导入至所述目标字段相关联的所述标准目标字段中。

在其中一个实施例中,所述装置还包括:

数据生成模块,用于生成与所述数据导入请求对应的配置页面数据;

页面显示模块,用于将所述配置页面数据发送至终端,以使所述终端根据所述配置页面数据显示对应的配置页面;

字段输入模块,用于获取所述终端在所述配置页面输入的所述候选字段集合以及与所述候选字段集合中的各个候选目标字段相对应的标准目标字段。

在其中一个实施例中,所述装置还包括:

算法获取模块,用于获取与所述标准目标字段对应的内容过滤算法;

信息过滤模块,用于根据所述内容过滤算法对所述待导入数据的目标内容进行过滤,得到过滤后的目标内容;

第二信息导入模块,用于将所述过滤后的目标内容导入至所述目标字段相关联的所述标准目标字段中。

一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法的步骤。

一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述方法的步骤。

上述数据导入方法、装置、计算机可读存储介质和计算机设备,服务器获取数据导入请求,数据导入请求中携带有待导入数据的目标字段以及与目标字段对应的目标内容,服务器再确定候选字段集合,从候选字段集合中查找与目标字段对应的候选目标字段,并获取与候选目标字段相对应的标准目标字段,将目标字段与标准目标字段相关联,得到标准映射关系,最后按照标准映射关系,将待导入数据的目标内容导入标准目标字段中。服务器通过预先存储各个数据类型对应的字段间的映射关系,使得在进行数据导入时,能直接确定对应的映射关系,并根据映射关系进行字段内容信息的导入,极大地提高了数据导入时的便利性,无需人工查找各个目标字段对应的标准目标字段,能够自动识别目标字段和标准目标字段间的映射关系,并自动将目标内容导入至标准目标字段中,实现了数据的自动导入,能够方便快捷地将数据导入至服务器,提高了数据导入时的效率。

附图说明

图1为一个实施例中数据导入方法的应用环境图;

图2为一个实施例中数据导入方法的流程示意图;

图3为又一个实施例中数据导入方法的流程示意图;

图4为再一个实施例中数据导入方法的流程示意图;

图5为一个实施例中数据导入装置的结构框图;

图6为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本发明实施例中所提供的数据导入方法可以应用于如图1所示的应用环境中,该数据导入方法应用于数据导入系统。该数据导入系统包括终端110、服务器120。终端110和服务器120通过网络连接,终端110具体可以是台式终端或移动终端,移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

基于上述数据导入系统,服务器120获取接收终端110的数据导入请求,数据导入请求中携带有待导入数据的目标字段以及与目标字段对应的目标内容,服务器120获取待导入数据的数据类型,并确定待导入数据的数据类型所关联的候选字段集合,服务器120从候选字段集合中查找与目标字段对应的候选目标字段,候选字段集合为预先存储的候选字段集合,各个候选字段集合关联有相应的数据类型,服务器120获取与候选目标字段相对应的标准目标字段,服务器120将目标字段与标准目标字段相关联,得到标准映射关系,服务器120按照标准映射关系,将待导入数据的目标内容导入至目标字段相关联的标准目标字段中。

在一个实施例中,如图2所示,提供了一种数据导入方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2,该数据导入方法具体包括如下步骤:

s202,获取数据导入请求,数据导入请求中携带有待导入数据的目标字段以及与目标字段对应的目标内容。

其中,数据导入请求是终端发送至服务器的用于进行数据信息导入的请求,待导入数据是指终端需要导入至服务器的数据信息,目标字段是指与终端所对应的待导入数据中的字段信息,与目标字段对应的标准目标字段是指经过字段映射处理后得到的字段信息,可以理解的是,字段映射处理是指将目标字段映射为标准目标字段。

s204,获取待导入数据的数据类型,确定待导入数据的数据类型所关联的候选字段集合。

其中,数据类型是指进行数据信息导入时所对应的信息类型,可以理解的是,数据导入请求携带至少一个数据类型。候选字段集合中包括至少一个候选目标字段。

具体地,服务器获取与各个数据类型对应的目标字段,各个数据类型所对应的目标字段可为相同也可为不同,目标字段为至少一个,与目标字段对应的标准目标字段为至少一个。

s206,从候选字段集合中查找与目标字段对应的候选目标字段;候选字段集合为预先存储的候选字段集合,各个候选字段集合关联有相应的数据类型。

其中,候选字段集合中有至少一个候选目标字段,候选目标字段是预先存储至服务器的字段信息。服务器可通过字段相似度匹配法从候选字段集合中查找与目标字段对应的候选目标字段,当目标字段与候选目标字段间的字段相似度达到预先设定的阈值时,确定该该候选目标字段与目标字段一一对应。

s208,获取与候选目标字段相对应的标准目标字段。

其中,服务器将候选目标字段以及标准目标字段进行关联存储,建立候选目标字段以及标准目标字段间的映射关系,由于目标字段以及标准目标字段为至少一种,因此得到的标准映射关系为至少一种。服务器进一步将标准映射关系进行保存,当接收到终端发送的数据导入请求时,将调用该标准映射关系得到与候选目标字段相对应的标准目标字段。

s210,将目标字段与标准目标字段相关联,得到标准映射关系。

其中,标准映射关系是指存储目标字段与候选目标字段间对应关系的映射信息,标准目标字段是指经过字段映射处理后得到的字段信息。服务器按照标准映射关系确定目标字段与标准目标字段间的对应关系。服务器确定目标字段对应的标准目标字段后,将待导入数据的目标内容导入至目标字段相关联的标准目标字段中。

s212,按照标准映射关系,将待导入数据的目标内容导入至目标字段相关联的标准目标字段中。

其中,标准映射关系存储有目标字段与标准目标字段间的关联关系,服务器按照标准映射关系,将待导入数据中各个目标字段所对应的目标内容导入至与目标字段相关联的标准目标字段中。具体地,目标字段为至少一个。目标内容是指与目标字段对应的详细内容信息。举例说明,例如目标字段为“年限统计”,则与目标字段对应的目标内容为“2年”等。

本实施例中,服务器获取数据导入请求,数据导入请求中携带有待导入数据的目标字段以及与目标字段对应的目标内容,服务器再确定候选字段集合,从候选字段集合中查找与目标字段对应的候选目标字段,并获取与候选目标字段相对应的标准目标字段,将目标字段与标准目标字段相关联,得到标准映射关系,最后按照标准映射关系,将待导入数据的目标内容导入标准目标字段中。服务器通过预先存储各个数据类型对应的字段间的映射关系,使得在进行数据导入时,能直接确定对应的映射关系,并根据映射关系进行字段内容信息的导入,极大地提高了数据导入时的便利性,无需人工查找各个目标字段对应的标准目标字段,能够自动识别目标字段和标准目标字段间的映射关系,并自动将目标内容导入至标准目标字段中,实现了数据的自动导入,能够方便快捷地将数据导入至服务器,提高了数据导入时的效率。

在一个实施例中,步骤212还包括:目标字段包括置空字段,置空字段不存在对应的候选目标字段,获取与置空字段对应的置空目标字段,按照标准映射关系,将待导入数据的目标内容导入至目标字段相关联的标准目标字段中,包括:将与置空字段对应的置空内容导入至置空字段相关联的置空目标字段中。其中,置空字段是指不存在对应的候选目标字段的字段信息,即服务器中不存在与之对应的映射关系的字段信息。当目标字段包括置空字段时,服务器将获取与置空字段对应的置空目标字段。在一个实施例中,服务器可在线从终端获取与置空字段对应的置空目标字段,也可由服务器通过遍历与置空字段相似的字段信息,并将该相似的字段信息对应的候选目标字段作为置空目标字段。置空映射内容是指经过与置空字段对应的详细内容信息,服务器确定置空目标字段,并将与置空字段对应的置空内容导入至置空目标字段中。

本实施例中,服务器获取与置空字段对应的置空目标字段,并将与置空字段对应的置空内容导入至置空目标字段中,使得在数据导入时,即使不存在对应的候选目标字段,也能确定对应的字段信息,完成数据的导入。

在一个实施例中,步骤204还包括:生成与数据导入请求对应的配置页面数据,将配置页面数据发送至终端,以使终端根据配置页面数据显示对应的配置页面,获取终端在配置页面输入的候选字段集合以及与候选字段集合中的各个候选目标字段相对应的标准目标字段。

其中,配置页面数据是指服务器用于在终端显示相应配置页面的数据,配置页面是指用于终端输入相关配置信息的页面。服务器生成与数据导入请求对应的配置页面数据,并将配置页面数据发送至终端,终端将根据配置页面数据显示对应的配置页面,并在该配置页面输入目标字段以及与目标字段对应的标准目标字段。

本实施例中,服务器生成与数据导入请求对应的配置页面数据,并将配置页面数据发送至终端,以使终端根据配置页面数据显示对应的配置页面,获取终端在配置页面输入的各个数据类型对应的目标字段以及与目标字段对应的标准目标字段,服务器通过在终端显示对应的配置页面,能够便捷地指示终端输入对应的目标字段以及对应的标准目标字段,使得进行数据配置时更加便捷。

在一个实施例中,如图3所示,步骤214还包括:

s214a,获取与标准目标字段对应的内容过滤算法。

其中,内容过滤算法是指用于过滤目标内容的算法,由于目标字段中可能会存在一些格式不正确或者输入错误的目标内容,因此通过内容过滤算法能够滤除不合适的目标内容,提高数据导入时的准确度。

s214b,根据内容过滤算法对待导入数据的目标内容进行过滤,得到过滤后的目标内容。

s214c,将过滤后的目标内容导入至目标字段相关联的标准目标字段中。

其中,服务器根据内容过滤算法对目标内容进行过滤,得到过滤后的目标内容,并将过滤后的目标内容导入至标准目标字段中。

本实施例中,服务器通过获取与标准目标字段对应的内容过滤算法,根据内容过滤算法对目标内容进行过滤,得到过滤后的目标内容,将过滤后的目标内容导入至标准目标字段中,能够有效地滤除无用或者具有错误的目标内容,提高进行数据导入时的准确度。

在一个实施例中,如图4所示,步骤210还包括:

s210a,获取与数据导入请求对应的预设数据处理结果。

s210b,根据预设数据处理结果调用对应的字段过滤算法。

其中,预设数据处理结果是指根据导入的数据进行一系列处理、运算后得到的处理结果,预设数据处理结果可由服务器在线获取,也可由终端发送至服务器。由于不同的预设数据处理结果所需使用的字段信息不一样,因此服务器将根据预设数据处理结果调用对应的字段过滤算法,字段过滤算法是指用于服务器对目标字段进行过滤的算法,通过该字段过滤算法,能够剔除无用的字段信息,减少服务器处理数据时的计算量,提高数据导入的速率。

s210c,根据字段过滤算法对目标字段进行过滤,得到过滤后的目标字段。

s210d,将过滤后的目标字段作为目标字段,返回获取待导入数据的数据类型,确定待导入数据的数据类型所关联的候选字段集合的步骤。

其中,服务器根据字段过滤算法对目标字段进行过滤,得到过滤后的目标字段,并将过滤后的目标字段作为目标字段,服务器再根据标准映射关系确定与目标字段对应的候选目标字段,将目标字段对应的目标内容导入至候选目标字段中。

本实施例中,服务器获取与数据导入请求对应的预设数据处理结果,根据预设数据处理结果调用对应的字段过滤算法,再根据字段过滤算法对目标字段进行过滤,得到过滤后的目标字段,将过滤后的目标字段作为目标字段,返回根据标准映射关系确定与目标字段对应的候选目标字段的步骤,能够剔除无用的字段信息,减少服务器的处理量,提高数据导入的速率。

如图5所示,为一实施例中的数据导入装置的示意图,该装置包括:

请求接收模块302,用于获取数据导入请求,数据导入请求中携带有待导入数据的目标字段以及与目标字段对应的目标内容;

集合获取模块304,用于获取待导入数据的数据类型,确定待导入数据的数据类型所关联的候选字段集合;

字段关联模块306,用于从候选字段集合中查找与目标字段对应的候选目标字段;候选字段集合为预先存储的候选字段集合,各个候选字段集合关联有相应的数据类型;

字段获取模块308,用于获取与候选目标字段相对应的标准目标字段;

关系映射模块310,用于将目标字段与标准目标字段相关联,得到标准映射关系;

数据导入模块312,用于按照标准映射关系,将待导入数据的目标内容导入至目标字段相关联的标准目标字段中;

在一个实施例中,该装置还包括:数据生成模块,用于生成与数据导入请求对应的配置页面数据,页面显示模块,用于将配置页面数据发送至终端,以使终端根据配置页面数据显示对应的配置页面,字段输入模块,用于获取终端在配置页面输入的候选字段集合以及与候选字段集合中的各个候选目标字段相对应的标准目标字段。

在一个实施例中,该装置还包括:算法获取模块,用于获取与标准目标字段对应的内容过滤算法,信息过滤模块,用于根据内容过滤算法对待导入数据的目标内容进行过滤,得到过滤后的目标内容,第二信息导入模块,用于将过滤后的目标内容导入至目标字段相关联的标准目标字段中。

在一个实施例中,该装置还用于获取与置空字段对应的置空目标字段;将与置空字段对应的置空内容导入至置空字段相关联的置空目标字段中。

在一个实施例中,该装置还用于获取与数据导入请求对应的预设数据处理结果,根据预设数据处理结果调用对应的字段过滤算法,根据字段过滤算法对目标字段进行过滤,得到过滤后的目标字段,将过滤后的目标字段作为目标字段,返回获取待导入数据的数据类型,确定待导入数据的数据类型所关联的候选字段集合的步骤。

关于数据导入装置的具体限定可以参见上文中对于数据导入方法的限定,在此不再赘述。上述数据导入装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。该处理器可以为中央处理单元(cpu)、微处理器、单片机等。上述数据导入装置可以实现为一种计算机程序的形式。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,也可以是终端。当该计算机设备为服务器时,其内部结构图可以如图6所示。当该计算机设备为终端时,其内部结构包括显示屏、输入装置、摄像头、声音采集装置和扬声器等。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据导入方法。本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

其中,处理器执行程序时实现以下步骤:获取数据导入请求,数据导入请求中携带有待导入数据的目标字段以及与目标字段对应的目标内容,获取待导入数据的数据类型,确定待导入数据的数据类型所关联的候选字段集合,从候选字段集合中查找与目标字段对应的候选目标字段,候选字段集合为预先存储的候选字段集合,各个候选字段集合关联有相应的数据类型,获取与候选目标字段相对应的标准目标字段,将目标字段与标准目标字段相关联,得到标准映射关系,按照标准映射关系,将待导入数据的目标内容导入至目标字段相关联的标准目标字段中。

上述对于计算机设备的限定可以参见上文中对于数据导入方法的具体限定,在此不再赘述。

请继续参阅图6,还提供一种计算机可读存储介质,其上存储有计算机程序,如图6中所示的非易失性存储介质,其中,该程序被处理器执行时实现以下步骤:获取数据导入请求,数据导入请求中携带有待导入数据的目标字段以及与目标字段对应的目标内容,获取待导入数据的数据类型,确定待导入数据的数据类型所关联的候选字段集合,从候选字段集合中查找与目标字段对应的候选目标字段,候选字段集合为预先存储的候选字段集合,各个候选字段集合关联有相应的数据类型,获取与候选目标字段相对应的标准目标字段,将目标字段与标准目标字段相关联,得到标准映射关系,按照标准映射关系,将待导入数据的目标内容导入至目标字段相关联的标准目标字段中。

上述对于计算机可读存储介质的限定可以参见上文中对于数据导入方法的具体限定,在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1