一种数据入库方法及装置与流程

文档序号:14860791发布日期:2018-07-04 07:15阅读:192来源:国知局
一种数据入库方法及装置与流程

本发明涉及计算机技术领域,特别是涉及一种数据入库方法及装置。



背景技术:

应用程序数据库是针对应用程序专门制作的富含大量应用程序内容的数据库,其最大的特点就是全面的数据内容,应用程序数据库中可以存储应用程序的用户个人信息、用户活跃度、用户等级信息等应用程序数据。应用程序的提供商或运营商可以利用上述应用程序数据生成评测数据,来对应用程序进行评测、评估以及后期规划。

目前应用程序数据库主要有两种:一种是手工搜集型数据库,即通过手动的方式人工添加数据,进而制作完整的应用程序数据库;另一种是破解型数据库,即通过对游戏客户端进行破解,从而提取出准确真实的应用程序数据,再将应用程序数据录入到应用程序数据库。得到应用程序数据库后,人工查找生成评测数据所需要的应用程序数据,并使用计算、统计等方法获得评测数据,最终将获得的评测数据录入到评测数据库中。

现有技术中,评测数据的入库过程需要人工进行操作,需要人工将所获得的应用程序数据导入到评测数据库,导致评测数据的入库效率低。



技术实现要素:

本发明实施例的目的在于提供一种数据入库方法及装置,以实现评测数据的自动入库,保证数据入库的高效率和高准确率。具体技术方案如下:

为达上述目的,第一方面,本发明实施例提供了一种数据入库方法,所述方法包括:

获得满足预设的源数据模型的源数据,将获得的源数据录入源数据库;

基于第一类字段与第二类字段的预设对应关系,将所述源数据录入到应用程序数据库,其中,所述第一类字段为所述源数据库中的字段,所述第二类字段为所述应用程序数据库中的字段;

获得数据录入命令;

从所述应用程序数据库中,提取对应所述数据录入命令的目标应用程序数据;

基于所述目标应用程序数据,生成目标评测数据;

将所述目标评测数据录入到评测数据库。

优选的,所述获得满足预设的源数据模型的源数据,将获得的源数据录入源数据库的步骤,包括:

采集客户端运行的日志和/或服务器运行的日志;

基于预设的源数据模型,从采集的日志中,获得满足预设的源数据模型的源数据;

将获得的源数据录入源数据库。

优选的,所述获得满足预设的源数据模型的源数据,将获得的源数据录入源数据库的步骤,包括:

获得满足预设的源数据模型的源数据;

按照预设的过滤规则对获得的源数据进行过滤;

将过滤得到的源数据录入到源数据库。

优选的,所述基于第一类字段与第二类字段的预设对应关系,将所述源数据录入到应用程序数据库的步骤,包括:

针对每个第二类字段,基于第一类字段与第二类字段的预设对应关系,判断该第二类字段所对应的第一类字段的数量是否大于1;

如果是,重组该第二类字段对应的所有第一类字段中的源数据,并将重组后的源数据录入到该第二类字段下;

如果否,将该第二类字段对应的第一类字段中的源数据直接录入到该第二类字段下。

优选的,所述获得数据录入命令的步骤,包括:

接收用户通过用户界面输入的指令;

对所接收的指令进行组合,获得数据录入命令。

优选的,所述对所接收的指令进行组合,获得数据录入命令的步骤,包括:

对所接收的指令进行组合,获得以脚本执行文件呈现的数据录入命令。

第二方面,本发明实施例提供了一种数据入库装置,所述装置包括:

第一录入模块,用于获得满足预设的源数据模型的源数据,将获得的源数据录入源数据库;

第二录入模块,用于基于第一类字段与第二类字段的预设对应关系,将所述源数据录入到应用程序数据库,其中,所述第一类字段为所述源数据库中的字段,所述第二类字段为所述应用程序数据库中的字段;

获得模块,用于获得数据录入命令;

提取模块,用于从所述应用程序数据库中,提取对应所述数据录入命令的目标应用程序数据;

生成模块,用于基于所述目标应用程序数据,生成目标评测数据;

第三录入模块,用于将所述目标评测数据录入到评测数据库。

优选的,所述第一录入模块,包括:

采集子模块,用于采集客户端运行的日志和/或服务器运行的日志;

第一获得子模块,用于基于预设的源数据模型,从采集的日志中,获得满足预设的源数据模型的源数据;

第一录入子模块,用于将获得的源数据录入源数据库。

优选的,所述第一录入模块,包括:

第二获得子模块,用于获得满足预设的源数据模型的源数据;

过滤子模块,用于按照预设的过滤规则对获得的源数据进行过滤;

第二录入子模块,用于将过滤得到的源数据录入到源数据库。

优选的,所述第二录入模块,包括:

判断子模块,用于针对每个第二类字段,基于第一类字段与第二类字段的预设对应关系,判断该第二类字段所对应的第一类字段的数量是否大于1;

第三录入子模块,用于在所述判断子模块的判断结果为是的情况下,重组该第二类字段对应的所有第一类字段中的源数据,并将重组后的源数据录入到该第二类字段下;

第四录入子模块,用于在所述判断子模块的判断结果为否的情况下,将该第二类字段对应的第一类字段中的源数据直接录入到该第二类字段下。

优选的,所述获得模块,包括:

接收子模块,用于接收用户通过用户界面输入的指令;

第三获得子模块,用于对所接收的指令进行组合,获得数据录入命令。

优选的,所述第三获得子模块,具体用于:

对所接收的指令进行组合,获得以脚本执行文件呈现的数据录入命令。

由以上可见,在本发明实施例提供的方案中,首先获得满足预设的源数据模型的源数据,将获得的源数据录入源数据库;基于第一类字段与第二类字段的预设对应关系,将所述源数据录入到应用程序数据库;然后获得数据录入命令;从所述应用程序数据库中,提取对应所述数据录入命令的目标应用程序数据;基于所述目标应用程序数据,生成目标评测数据;最终将所述目标评测数据录入到评测数据库。与现有技术相比,本发明实施例提供的方案中,从源数据的获取一直到最终将评测数据录入到评测数据库,都是自动执行,不需要人工将所获得的应用程序数据导入到评测数据库,保证了数据入库的高效率和高准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据入库方法的第一种流程示意图;

图2为本发明实施例提供的一种数据入库方法的第二种流程示意图;

图3为本发明实施例提供的一种数据入库方法的第三种流程示意图;

图4为本发明实施例提供的一种数据入库方法的第四种流程示意图;

图5为本发明实施例提供的一种数据入库方法的第五种流程示意图;

图6为本发明实施例提供的一种数据入库装置的第一种结构示意图;

图7为本发明实施例提供的一种数据入库装置的第二种结构示意图;

图8为本发明实施例提供的一种数据入库装置的第三种结构示意图;

图9为本发明实施例提供的一种数据入库装置的第四种结构示意图;

图10为本发明实施例提供的一种数据入库装置的第五种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

下面,首先对本申请文件涉及的技术术语进行简单介绍。

数据模型是一组严格定义的概念集合,这些概念精确地描述了数据库的数据结构、数据操作和数据完整性约束条件。数据库是根据数据模型建立的,因而数据模型是数据库系统的基础。

数据模型的三要素即为此处所述数据结构、数据操作和完整性约束条件。其中,数据结构是所研究的对象类型的集合,它包括数据的内部组成和对外联系;数据操作是指对数据库中各种数据对象允许执行的操作集合,它包括操作对象和有关的操作规则两部分内容;数据约束条件是一组数据完整性规则的集合,它是数据模型中的数据及其联系所具有的制约和依存规则。

可以理解,本发明实施例中所涉及的源数据模型即为对应于源数据库的数据模型,本领域技术人员公知的是,在确定数据模型后,系统可以通过现有技术获得满足所确定的数据模型的数据。

应用程序数据库,是针对应用程序生成的富含大量应用程序数据的数据库,例如常见的游戏数据库;而应用程序数据可以包括:应用程序自身信息,例如操作系统类型、内存需求等等;以及用户数据和用户使用应用程序过程产生的运行数据,例如用户个人信息、用户活跃度和用户等级信息等等。

在本发明的各个实施例中,所涉及到的应用程序可以是办公类应用程序、社交聊天类应用程序以及游戏等。例如,应用程序数据和应用程序数据库,可以分别为游戏数据和游戏数据库。

评测数据,是用于对应用程序进行评测、评估、与其他应用程序进行对比的数据,应用程序的开发者或者运营商通过评测数据可以预估应用程序的后期市场表现,或者进行改进应用程序。如常见的应用程序评测报告,其中可以包含多个评测项,每个评测项中可以以静态图片、常量数据、文档片段、统计分析图以及二维表格等评测数据展现各评测项的直观评测结果。

应该说明的是,现有技术中,由于目前应用程序领域的开发团队常常将数据库视为与应用程序完全脱离的单独实体,数据库团队与应用程序开发团队是分离的。所以上述各种数据库通常是通过手工变更数据库中的数据的。

下面再通过具体实施实例来对本发明进行详细介绍。

应该说明,本发明实施例提供的方案可以应用于目标服务器,该目标服务器对应本发明实施例涉及到的源数据库、应用程序数据库以及评测数据库,即,目标服务器可以在源数据库、应用程序数据库以及评测数据库中执行读、写等数据库操作。

图1为本发明实施例提供的一种数据入库方法的第一种结构示意图。

如图1所示,本发明实施例提供的一种数据入库方法,包括:

s101:获得满足预设的源数据模型的源数据,将获得的源数据录入源数据库。

本领域技术人员公知的是,由于源数据模型确定了需要录入源数据库的数据所对应的数据结构、数据操作和完整性约束条件,在确定源数据模型的基础上,上述目标服务器可以通过现有技术从大量的数据信息中获得匹配该源数据模型的源数据。

可以理解,上述大量的数据信息可以包括应用程序客户端在运行时产生的数据信息,还可以包括应用程序服务器在运行时产生的数据信息;另外,上述大量的数据信息中所包含的所有数据并非是都需要录入到源数据库中的,因此需要预先设置源数据模型,进而将匹配该源数据模型的数据录入到源数据库中。

在本发明实施例中,可以通过现有的信息采集系统来采集满足预设的源数据模型的源数据,进而获得上述源数据;例如,可以特地配置一个信息采集系统,该信息采集系统直接与应用程序的客户端通信连接,并从每个客户端运行时产生的数据中,采集上述源数据。

另外,由于数据存放地点分散等问题的存在,例如,从应用程序的各个客户端中获得源数据时,由于分散的各个客户端中可能存储有同样的数据信息,所以上述目标服务器所获得的源数据中可能包含大量的重复、冗余信息。

故,在本发明实施例中,为了排除上述重复、冗余信息;如图2所示,上述获得满足预设的源数据模型的源数据,将获得的源数据录入源数据库(s101)的步骤,可以包括:

s1014:获得满足预设的源数据模型的源数据;

s1015:按照预设的过滤规则对获得的源数据进行过滤;

s1016:将过滤得到的源数据录入到源数据库。

可以理解,上述步骤s1014~s1016中,目标服务器可以先获得满足预设的源数据模型的源数据,然后通过预设的过滤规则过滤所获得的所有源数据,去除重复多余的数据信息,最后将过滤得到的源数据录入到源数据库,进而保证该源数据库中具有较小的冗余度,从而降低选择录入到源数据库中的源数据的困难度。

例如,目标服务器所获得所有的源数据,包括,数据a、b、c、d、a、c、e和f,则最终需要录入到源数据库的数据可以为:数据a、b、c、d、e和f。

应该说明的是,在实际应用过程中,该本领域技术人员可以根据实际需要设置对应的过滤规则;而且,还可以在上述目标服务器中配置对应的信息过滤系统,由该信息过滤系统执行完成上述过滤操作。

s102:基于第一类字段与第二类字段的预设对应关系,将源数据录入到应用程序数据库。其中,第一类字段为源数据库中的字段,第二类字段为应用程序数据库中的字段。

可以理解,在大多数数据库中,数据库表的“列”称为“字段”,每个字段包含某一专题的信息。例如,“通讯录”数据库中,“姓名”、“联系电话”这些都是表中所有行共有的属性,所以把这些列称为“姓名”字段和“联系电话”字段。

应该说明的是,在源数据库的用于存储某类数据的字段与应用程序数据库中用于存储该类数据的字段,可能相同,也可能不同,例如,源数据库中存在某一第一类字段“用户名”,应用程序数据库中对应该第一类字段“用户名”的第二类字段同样为“用户名”;源数据库中存在某一第一类字段“游戏名称”,应用程序数据库中对应该第一类字段“游戏名称”的第二类字段为“gamename”。

当然,应该强调的是,在将源数据库中的数据录入到上述应用程序数据库的过程中,如果第一类字段对应的数据格式与该第一类字段对应的第二类字段的数据格式不同,还应该对该第一类字段下的数据进行格式转化,以得到满足该第二类字段下的数据的数据格式,然后再将进行格式转化后的源数据录入到应用程序数据库。

例如,第一类字段中的数据所对应的数据格式为:数据类型为char,最大数据长度为255个字符,对应该第一类字段的第二类字段下的数据所对应的数据格式为:数据类型为varchar,最大数据长度为255个字符。则在进行将源数据库中的数据录入到上述应用程序数据库的过程中,可以首先对从源数据库中提取的数据进行格式转化,即将第一类字段下的数据转化为:数据类型为varchar,最大数据长度为255个字符的数据。

在实际应用中,同一个应用程序数据库可能会对应有多个源数据库,每个源数据库中都会有对应第二类字段的第一类字段,所以,在图1或图2所示任一方法实施例的基础上,如图3所示,上述基于第一类字段与第二类字段的预设对应关系,将所述源数据录入到应用程序数据库(s102)的步骤,可以包括:

s1021:针对每个第二类字段,基于第一类字段与第二类字段的预设对应关系,判断该第二类字段所对应的第一类字段的数量是否大于1。

如果步骤s1021的判断结果为是,执行步骤s1022:重组该第二类字段对应的所有第一类字段中的源数据,并将重组后的源数据录入到该第二类字段下。

应该说明,此处所述的重组可以是指将对应该第二类字段的所有源数据组合到一起,同时应该去除重复的源数据。

例如,应用程序数据库m对应源数据库x、源数据库y和源数据库z,且源数据库x中的第一类字段x、源数据库y中的第一类字段y和源数据库z中的第一类字段z均对应于应用程序数据库m中的第二类字段m,假设第一类字段x下存储有数据1、2、3和4,第一类字段y下存储有数据1、6、7和9,第一类字段z下存储有数据5、6、7和8,则最终录入到第二类字段m下的数据可以是1、2、3、4、5、6、7、8和9。

如果步骤s1021的判断结果为否,执行步骤s1023:将该第二类字段对应的第一类字段中的源数据直接录入到该第二类字段下。

例如,源数据库x中的第一类字段x对应于应用程序数据库m中的第二类字段m,假设第一类字段x下存储有数据1、2、3和4,则最终录入到第二类字段m下的数据可以是1、2、3、4。

可以理解,步骤s102可以看作是根据上述第二类字段对源数据库中的第一类字段下的数据进行数据分层与重组,例如根据数据名字、类型和专题等属性字段。

在实际的应用中,上述第一类字段与第二类字段的预设对应关系,或称为重组规则,可以依据实际情况而定,对于不同的源数据库与应用程序数据库,或者对于不同的应用程序,用户可以根据自身需要定义自己需要的重组规则,实现了本发明实施例的通用性。

例如,对应于某种应用程序,用户定义第一类字段x对应于第二类字段m,第一类字段y对应于第二类字段n,第一类字段z同样是对应于第二类字段m。而对应于另一种应用程序,用户定义第一类字段o对应于第二类字段m,第一类字段p对应于第二类字段n,第一类字段q同样是对应于第二类字段n。

再如,针对不同数据结构的源数据,制定不同的重组规则,不同结构的数据分别应用相适应的重组规则录入到应用程序数据库,从而达到异构数据一体化的要求。

s103:获得数据录入命令。

在实际使用中,该数据录入命令可以是预先设置的数据录入命令,在从应用程序数据库中提取目标应用程序数据前,直接调取已经预先设置好的数据录入命令。

另一方面,为了根据用户的实际需求完成向下述评测数据库录入数据的目的,在本发明实施例中,在图1~3所示任一方法实施例的基础上,如图4所示,上述获得数据录入命令的步骤(s103),可以包括:

s1031:接收用户通过用户界面输入的指令。

应该说明,该用户界面是针对该目标服务器配置的,一种情况下,该用户界面中显示有多个可选的指令按钮,用户可以点击选择对应的指令按钮,则用户点击选择的指令按钮所对应的指令,即为上述用户通过用户界面输入的指令,例如,该用户界面上显示有指令按钮1~9,指令按钮1~9分别对应指令a~j,用户点击选择了指令2、3、5、7,则用户通过用户界面输入的指令为b、c、e和g。

再一种情况下,用户可以通过语音或者文字输入的方式,直接通过用户界面输入指令;例如,该用户输入界面中显示有一个文本框,文本框下设置有“提交”按钮,用户可以在文本框中写入相应的指令,然后点击“提交”按钮,则该目标服务器此时可以将用户写入并提交的指令作为上述“用户通过用户界面输入的指令”。

s1032:对所接收的指令进行组合,获得数据录入命令。

应该说明的是,用户输入的指令可能是多个,所以需要对用户输入的多个指令进行组合,以形成一个完整的、有顺序的方便机器执行的命令。例如,用户输入的指令包括:指令1,提取a类用户对应的应用程序数据;指令2,提取在2016年11月份用户使用应用程序时产生的应用程序数据。则所获得的数据录入指令可以是:提取a类用户在2016年11月份使用应用程序时产生的应用程序数据。

在本发明实施例中,上述对所接收的指令进行组合,获得数据录入命令(s1032)的步骤,可以包括:

对所接收的指令进行组合,获得以脚本执行文件呈现的数据录入命令。

本领域技术人员公知的是,上述数据录入命令为以脚本执行文件的形式体现的程序命令时,可以便于批量化处理,并便于开发人员的快速开发。

s104:从应用程序数据库中,提取对应该数据录入命令的目标应用程序数据。

即表示,该目标服务器执行该数据录入命令,从上述应用程序数据库中,提取所需的目标应用程序数据。

应该说明的是,在该数据录入命令以脚本执行文件呈现时,执行该数据录入命令可以理解成执行相应的脚本文件。本领域技术人员公知的是,为保证数据库内容的一致,就要将数据库的一组操作作为一个整体来进行,要么全部成功完成,要么全部失败退出,所以在本发明实施例中,该脚本执行文件的执行模式可以采用事务处理模式。此外,为了避免异常终端,还可以使用断点续传技术。

另外,还可以配置用于控制该脚本文件的控制文件,以使得用户可以基于该控制文件随时中断脚本文件的执行,完全控制脚本文件的执行过程。

可以理解,上述步骤s1031~1032,以及此处的控制文件,相对于用户而言,向下述评测数据库录入数据的过程是可视化的,该过程以模型化的方式展现给用户,可以降低该数据录入过程的复杂度,并且提高该评测数据库再设计时的可重用性,减少评测数据库的开发周期。

s105:基于目标应用程序数据,生成目标评测数据。

从应用程序数据库中提取的应用程序数据,一部分可以直接作为该目标评测数据,当然,还有一部分不可以直接作为目标评测数据,需要通过相应的数据统计分析,才能获得此处所述的目标评测数据。本领域技术人员清楚的是,针对不同的目标评测数据,采用不同的数据分析方法,本发明实施例在此不做详细介绍,仅以下述两种目标评测数据做示例性介绍。

用户留存率:在互联网行业中,用户在某段时间内开始使用应用程序,经过一段时间后,仍然继续使用该应用程序的用户,被认作是留存用户,这部分用户占当时新增用户的比例即是用户留存率。用户留存率体现了应用程序的质量和保留用户的能力,是十分重要的一个目标评测数据。

用户留存率的计算公式一般如下:

用户留存率=新增用户中登录用户数/新增用户数*100%;

其中,新增用户数为在某个时间段,一般为第一整天,新登录应用的用户数;登录用户数为登录应用后至当前时间,至少登录过一次的用户数。

常见的用户留存率包括:次日留存率、第3日留存率、第7日留存率和第30日留存率。假设在本发明实施例中,对于某一工具类应用程序,需要求得第7日留存率,则第7日留存率的计算公式如下:

第7日留存率=(第一天新增的用户中,在注册的第7天还有登录的用户数)/第一天新增总用户数。

转化率(takerates,又叫conversionsrates):是指在一个统计周期内,完成转化行为的次数占总点击次数的比率。其计算公式可以为:转化率=进行了相应的动作的访问量/总访问量;转化率的指标意义在与:衡量应用程序内容对用户的吸引程度。

以游戏的付费转化率为例,该转化率的计算公式可以是:

转化率=付费用户总数/游戏注册用户总数×100%。

从上述两个示例可以看出,上述目标评测数据并不一定能直接从应用程序数据库中提取出来,而是要对从应用程序数据库中提取出来的应用程序数据进行统计分析后,才能获得。

s106:将目标评测数据录入到评测数据库。

应该说明的是,如果需要录入到评测数据库的评测数据没有成功录入到评测数据库,还应该执行回滚操作。另外,针对任何一个评测数据,当将该评测数据向评测数据库中录入时,如果该评测数据库存在对应的评测数据时,只是具体的评测数据的值不同,则此时应该将该评测数据的值替换为所获得的评测数据的值,完成评测数据库的自动修订。

在实际的使用过程中,上述数据录入命令中可以包含有指导上述步骤s105~s106执行的指令信息,以使得步骤s105~s106的具体执行过程依照该数据录入命令去执行。

由以上可见,在本实施例提供的方案中,首先获得满足预设的源数据模型的源数据,将获得的源数据录入源数据库;基于第一类字段与第二类字段的预设对应关系,将所述源数据录入到应用程序数据库;然后获得数据录入命令;从所述应用程序数据库中,提取对应所述数据录入命令的目标应用程序数据;基于所述目标应用程序数据,生成目标评测数据;最终将所述目标评测数据录入到评测数据库。与现有技术相比,本实施例提供的方案中,从源数据的获取一直到最终将评测数据录入到评测数据库,都是自动执行,不需要人工将所获得的应用程序数据导入到评测数据库,保证了数据入库的高效率和高准确率。

在图1~4所示任一方法实施例的基础上,如图5所示,上述获得满足预设的源数据模型的源数据,将获得的源数据录入源数据库(s101)的步骤,可以包括:

s1011:采集客户端运行的日志和/或服务器运行的日志。

网络设备、系统及服务程序等,在运作时都会产生一个叫log(日志)的事件记录;每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。例如,在windows系统(一种网络操作系统)都设计有各种各样的日志文件,如应用程序日志,安全日志、系统日志等。

可以理解,此处所述的客户端以及服务器为对应用程序的客户端以及服务器,例如,对于应用程序“金山卫士”,该客户端和服务器分别为“金山卫士”的客户端以及服务器。

某些日志信息是具有时效性的,所以在本发明实施例中,目标服务器可以实时的截取客户端运行的日志流和/或服务器运行的日志流,例如,每间隔1个小时,该目标服务器截取一次客户端运行的日志流和/或服务器运行的日志流。

s1012:基于预设的源数据模型,从采集的日志中,获得满足预设的源数据模型的源数据。

s1013:将获得的源数据录入源数据库。

客户端以及服务器是一边运行,一边产生日志信息的,所以日志信息中所包含的源数据的时效性较高。

由以上可见,在本实施例提供的方案中,首先获得满足预设的源数据模型的源数据,将获得的源数据录入源数据库;基于第一类字段与第二类字段的预设对应关系,将所述源数据录入到应用程序数据库;然后获得数据录入命令;从所述应用程序数据库中,提取对应所述数据录入命令的目标应用程序数据;基于所述目标应用程序数据,生成目标评测数据;最终将所述目标评测数据录入到评测数据库。与现有技术相比,本实施例提供的方案中,从源数据的获取一直到最终将评测数据录入到评测数据库,都是自动执行,不需要人工将所获得的应用程序数据导入到评测数据库,保证了数据入库的高效率和高准确率。

下面通过一个具体事例来对本发明实施例进行简单介绍。

针对某一应用程序“金山毒霸”,目标服务器采集获得“金山毒霸”的服务器运行的日志,然后基于预设的源数据模型,从采集的日志中,获得满足预设的源数据模型的源数据,再按照预设的过滤规则对获得的源数据进行过滤,并将过滤得到的源数据录入到源数据库。

目标服务器再基于第一类字段与第二类字段的预设对应关系,将源数据录入到应用程序数据库。另外,用户通过用户界面输入了指令1~5,目标服务器将该指令1~5组合成一个完整的数据录入命令,然后目标服务器从应用程序数据库中,提取对应该数据录入命令的目标应用程序数据,再基于目标应用程序数据,生成目标评测数据,最后将所生成的目标评测数据录入到评测数据库。

相应于图1所示方法实施例,本发明实施例还提供了一种数据入库装置,如图6所示,所述装置包括:

第一录入模块110,用于获得满足预设的源数据模型的源数据,将获得的源数据录入源数据库;

第二录入模块120,用于基于第一类字段与第二类字段的预设对应关系,将所述源数据录入到应用程序数据库,其中,所述第一类字段为所述源数据库中的字段,所述第二类字段为所述应用程序数据库中的字段;

获得模块130,用于获得数据录入命令;

提取模块140,用于从所述应用程序数据库中,提取对应所述数据录入命令的目标应用程序数据;

生成模块150,用于基于所述目标应用程序数据,生成目标评测数据;

第三录入模块160,用于将所述目标评测数据录入到评测数据库。

相应于图2所示方法实施例,如图7所示,具体的,所述第一录入模块110,还可以包括:

第二获得子模块1104,用于获得满足预设的源数据模型的源数据;

过滤子模块1105,用于按照预设的过滤规则对获得的源数据进行过滤;

第二录入子模块1106,用于将过滤得到的源数据录入到源数据库。

相应于图3所示方法实施例,如图8所示,具体的,所述第二录入模块120,可以包括:

判断子模块1201,用于针对每个第二类字段,基于第一类字段与第二类字段的预设对应关系,判断该第二类字段所对应的第一类字段的数量是否大于1;

第三录入子模块1202,用于在所述判断子模块1201的判断结果为是的情况下,重组该第二类字段对应的所有第一类字段中的源数据,并将重组后的源数据录入到该第二类字段下;

第四录入子模块1203,用于在所述判断子模块1201的判断结果为否的情况下,将该第二类字段对应的第一类字段中的源数据直接录入到该第二类字段下。

相应于图4所示方法实施例,如图9所示,具体的,所述获得模块130,可以包括:

接收子模块1301,用于接收用户通过用户界面输入的指令;

第三获得子模块1302,用于对所接收的指令进行组合,获得数据录入命令。

在实际应用中,所述第三获得子模块1302,可以具体用于:

对所接收的指令进行组合,获得以脚本执行文件呈现的数据录入命令。

由以上可见,在本实施例提供的方案中,首先获得满足预设的源数据模型的源数据,将获得的源数据录入源数据库;基于第一类字段与第二类字段的预设对应关系,将所述源数据录入到应用程序数据库;然后获得数据录入命令;从所述应用程序数据库中,提取对应所述数据录入命令的目标应用程序数据;基于所述目标应用程序数据,生成目标评测数据;最终将所述目标评测数据录入到评测数据库。与现有技术相比,本实施例提供的方案中,从源数据的获取一直到最终将评测数据录入到评测数据库,都是自动执行,不需要人工将所获得的应用程序数据导入到评测数据库,保证了数据入库的高效率和高准确率。

相应于图5所示方法实施例,在图6~9所示的任一装置实施例的基础上,如图10所示,所述第一录入模块110,可以包括:

采集子模块1101,用于采集客户端运行的日志和/或服务器运行的日志;

第一获得子模块1102,用于基于预设的源数据模型,从采集的日志中,获得满足预设的源数据模型的源数据;

第一录入子模块1103,用于将获得的源数据录入源数据库。

由以上可见,在本实施例提供的方案中,首先获得满足预设的源数据模型的源数据,将获得的源数据录入源数据库;基于第一类字段与第二类字段的预设对应关系,将所述源数据录入到应用程序数据库;然后获得数据录入命令;从所述应用程序数据库中,提取对应所述数据录入命令的目标应用程序数据;基于所述目标应用程序数据,生成目标评测数据;最终将所述目标评测数据录入到评测数据库。与现有技术相比,本实施例提供的方案中,从源数据的获取一直到最终将评测数据录入到评测数据库,都是自动执行,不需要人工将所获得的应用程序数据导入到评测数据库,保证了数据入库的高效率和高准确率。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1