一种数据处理方法及装置的制造方法
【技术领域】
[0001]本申请涉及数据仓库技术领域，更具体地说，涉及一种数据处理方法及装置。
【背景技术】
[0002]数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的体系结构一共分为四个层次，分别为:数据缓冲层、贴源数据集成层、中间层和数据集市。
[0003]数据按指定频度从源系统传输到仓库后，首先加载到数据缓冲层，再加工至贴源数据集成层。现有的数据仓库实施方式中，需要为接入的每张数据表都进行数据处理程序的开发，以使得数据表加载至数据仓库中。当需要接入的数据表数量众多时，需要逐个为数据表发开数据处理程序，造成大量人力资源的消耗，同时该实施方式将在开发相似程序的重复劳动中耗费大量的人力成本。
【发明内容】
[0004]有鉴于此，本申请提供了一种数据处理方法及装置，用于解决现有为每个数据表开发数据处理程序的方式所存在的耗费人力资源与成本的问题。
[0005]为了实现上述目的，现提出的方案如下:
[0006]一种数据处理方法，包括:
[0007]接收数据源传入的数据表；
[0008]查询预置的与所述数据表的表名对应的作业配置信息，得到目标作业配置信息，所述作业配置信息为用户预先根据待加工的数据表填写数据配置模板，并依据填写后的数据配置模板生成的作业配置信息；
[0009]利用所述目标作业配置信息生成用于进行数据处理的SQL语句；
[0010]利用所述SQL语句对所述数据表进行处理，将所述数据表加载到数据仓库中。
[0011 ] 优选地，所述目标作业配置信息包括数据表从数据仓库的数据缓冲层集成至贴源数据集成层的贴源算法的标识，以及数据表从贴源数据集成层至中间层的预处理算法的标识，则所述利用所述目标作业配置信息生成用于进行数据处理的SQL语句，包括:
[0012]在预置的贴源算法参数表中查询与所述目标作业配置信息中包含的贴源算法的标识相同的贴源算法；
[0013]在预置的预处理算法参数表中查询与所述目标作业配置信息中包含的预处理算法的标识相同的预处理算法；
[0014]利用查询到的贴源算法以及预处理算法，生成SQL语句；
[0015]所述利用所述SQL语句对所述数据表进行处理，将所述数据表加载到数据仓库中，包括:
[0016]利用生成的SQL语句将所述数据表从所述数据缓冲层集成至所述贴源数据集成层，进一步将所述贴源数据集成层中的数据表加载至所述中间层。
[0017]优选地，所述目标作业配置信息还包括数据核检信息，在所述利用所述SQL语句对所述数据表进行处理，将所述数据表加载到数据仓库中之前，该方法还包括:
[0018]利用所述数据核检信息对所述数据表进行数据核检。
[0019]优选地，所述SQL语句携带有流程控制标记，所述利用所述SQL语句对所述数据表进行处理，包括:
[0020]解析所述SQL语句中的流程控制标记，得到流程控制标记的类型；
[0021]按照所述流程控制标记的类型来执行所述SQL语句，以实现对所述数据表的处理。
[0022]一种数据处理装置，包括:
[0023]数据表接收单元，用于接收数据源传入的数据表；
[0024]作业配置信息获取单元，用于查询预置的与所述数据表的表名对应的作业配置信息，得到目标作业配置信息，所述作业配置信息为用户预先根据待加工的数据表填写数据配置模板，并依据填写后的数据配置模板生成的作业配置信息；
[0025]SQL语句生成单元，用于利用所述目标作业配置信息生成用于进行数据处理的SQL语句；
[0026]数据处理单元，用于利用所述SQL语句对所述数据表进行处理，将所述数据表加载到数据仓库中。
[0027]优选地，所述目标作业配置信息包括数据表从数据仓库的数据缓冲层集成至贴源数据集成层的贴源算法的标识，以及数据表从贴源数据集成层至中间层的预处理算法的标识，则所述SQL语句生成单元，包括:
[0028]第一 SQL语句生成子单元，用于在预置的贴源算法参数表中查询与所述目标作业配置信息中包含的贴源算法的标识相同的贴源算法；
[0029]第二 SQL语句生成子单元，用于在预置的预处理算法参数表中查询与所述目标作业配置信息中包含的预处理算法的标识相同的预处理算法；
[0030]第三SQL语句生成子单元，用于利用查询到的贴源算法以及预处理算法，生成SQL语句；
[0031 ] 所述数据处理单元包括:
[0032]第一数据处理子单元，用于利用生成的SQL语句将所述数据表从所述数据缓冲层集成至所述贴源数据集成层，进一步将所述贴源数据集成层中的数据表加载至所述中间层。
[0033]优选地，所述目标作业配置信息还包括数据核检信息，该装置还包括:
[0034]数据核检单元，用于利用所述数据核检信息对所述数据表进行数据核检。
[0035]优选地，所述SQL语句携带有流程控制标记，所述数据处理单元包括:
[0036]流程控制标记解析单元，用于解析所述SQL语句中的流程控制标记，得到流程控制标记的类型；
[0037]SQL语句执行单元，用于按照所述流程控制标记的类型来执行所述SQL语句，以实现对所述数据表的处理。
[0038]从上述的技术方案可以看出，本申请实施例提供的数据处理方法，预先设计了数据配置模板，用户根据待加工的数据表填写数据配置模板，并依据填写后的数据配置模板生成待加工数据表的作业配置信息，进而在接收到数据源传入的数据表时，依据数据表的表名查询对应的作业配置信息，并根据作业配置信息生成SQL语句，利用SQL语句对数据表进行处理，将数据表加载到数据仓库中。本申请由于设计了数据配置模板，因此针对待加工的数据表，只需按照数据配置模板中各字段的要求进行填写即可，填写完毕后生成数据表的作业配置信息，进而在处理数据表时可以直接按照对应的作业配置信息进行处理，无需人工针对每份数据表均编写数据处理程序，大大节省了人力资源，降低了人力成本，并且也提升了数据处理效率。
【附图说明】
[0039]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0040]图1为本申请实施例公开的一种数据处理方法流程图；
[0041]图2为本申请实施例公开的另一种数据处理方法流程图；
[0042]图3为本申请实施例公开的又一种数据处理方法流程图；
[0043]图4为本申请实施例公开的又一种数据处理方法流程图；
[0044]图5为本申请实施例公开的一种数据处理装置结构示意图。
【具体实施方式】
[0045]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0046]参见图1，图1为本申请实施例公开的一种数据处理方法流程图。
[0047]如图1所示，该方法包括:
[0048]步骤S100、接收数据源传入的数据表；
[0049]步骤S110、查询预置的与所述数据表的表名对应的作业配置信息，得到目标作业配置信息；
[0050]具体地，所述作业配置信息为用户预先根据待加工的数据表填写数据配置模板，并依据填写后的数据配置模板生成的作业配置信息。
[0051]本申请预先设计了数据配置模板，在数据配置模板中规定了需要填写的字段，例如源数据库名称、目标数据库名称、数据处理算法等。用户可以根据待加工的数据表填写数据配置模板，填写完毕后利用数据配置模板生成数据表的作业配置信息。由数据配置模板至作业配置信息的过程可以是将面向于人的模板转换为面向程序的可被读取与执行的信息。
[0052]步骤S120、利用所述