数据转化信息处理方法及装置制造方法
【专利摘要】本发明公开了一种数据转化信息处理方法及装置，该数据转化信息处理方法包括：获取待转化数据；对待转化数据执行转化处理，得到转化结果；根据转化结果获取待转化数据中的转化成功数据和待转化数据中转化失败数据，其中，转化成功数据是指待转化数据中成功转化为目标数据的数据，转化失败数据是指待转化数据中未成功转化为目标数据的数据；以及将待转化数据中的转化成功数据存储至第一目标存储位置，并将待转化数据中的转化失败数据存储至第二目标存储位置。通过本发明，解决了查找数据转化成功和失败的信息效率低的问题，进一步达到了提高查找数据转化成功和失败的信息的效率的效果。
【专利说明】数据转化信息处理方法及装置
【技术领域】
[0001]本发明涉及数据处理领域，具体而言，涉及一种数据转化信息处理方法及装置。
【背景技术】
[0002]微软SQL Server 集成服务(Microsoft SQL Server Integrat1n Services，简称为SSIS)，是生成高性能数据集成解决方案的平台，例如，数据仓库的提取、转化和加载等。SSIS自带日志功能，自带的日志功能包括记录异常、警告、事件操作、取消、失败等重要信息，但是无法记录数据转化成功和数据转化失败的详细数据信息，数据转化是指从源数据转化为目标数据包含的处理过程，该处理过程包括类型转化、数据整合和提炼等。
[0003]目前分析数据转化异常根源的方法是通过SSIS日志记录的SQL语句对比数据转化的来源数据库和数据转化后的目标数据库，通过人工分析比较的方法得到转化成功和数据转化失败的数据，从而分析出导致转化异常的根源。从上述描述中可以看出，当前的解决方案中并不支持自动记录数据转化成功和数据转化失败的详细数据信息。这意味着用户只能通过人工分析SQL语句得到转化成功和数据转化失败的数据，这种人工分析方法存在效率低并且易出现失误，这不利于用户查找数据转化异常的根源。
[0004]针对相关技术中查找数据转化成功和数据转化失败的信息效率低的问题，目前尚未提出有效的解决方案。
【发明内容】
[0005]本发明的主要目的在于提供一种数据转化信息处理方法及装置，以解决相关技术中查找数据转化成功和数据转化失败的信息效率低的问题。
[0006]为了实现上述目的，根据本发明的一个方面，提供了一种数据转化信息处理方法。
[0007]根据本发明的数据转化信息处理方法包括:获取待转化数据；对待转化数据执行转化处理，得到转化结果；根据转化结果获取待转化数据中的转化成功数据和待转化数据中转化失败数据，其中，转化成功数据是指待转化数据中成功转化为目标数据的数据，转化失败数据是指待转化数据中未成功转化为目标数据的数据；以及将待转化数据中的转化成功数据存储至第一目标存储位置，并将待转化数据中的转化失败数据存储至第二目标存储位置。
[0008]进一步地，获取待转化数据包括:从预设数据库中获取源数据；将源数据存储至第三目标存储位置；以及从第三目标存储位置获取待转化数据。
[0009]进一步地，对待转化数据执行转化处理包括:确定预设转化类型；根据预设转化类型将待转化数据转化为目标数据，其中，目标数据的类型为预设转化类型；建立目标数据与待转化数据的对应关系；以及输出目标数据与待转化数据的对应关系。
[0010]进一步地，将待转化数据中的转化成功数据存储至第一目标存储位置，并将待转化数据中的转化失败数据存储至第二目标存储位置包括:获取预设数据文件格式；以及按照预设数据文件格式将将待转化数据中的转化成功数据存储至第一目标存储位置，并按照预设数据文件格式将待转化数据中的转化失败数据存储至第二目标存储位置。
[0011]进一步地，在根据转化结果获取待转化数据中的转化成功数据和待转化数据中转化失败数据之后，该方法还包括:根据转化成功数据和转化失败数据解析转化失败数据转化失败的类型；以及输出转化失败数据转化失败的类型。
[0012]为了实现上述目的，根据本发明的另一方面，提供了一种数据转化信息处理装置。
[0013]根据本发明的数据转化信息处理装置包括:第一获取单元，用于获取待转化数据；转化单元，用于对待转化数据执行转化处理，得到转化结果；第二获取单元，用于根据转化结果获取待转化数据中的转化成功数据和待转化数据中转化失败数据，其中，转化成功数据是指待转化数据中成功转化为目标数据的数据，转化失败数据是指待转化数据中未成功转化为目标数据的数据；以及存储单元，用于将待转化数据中的转化成功数据存储至第一目标存储位置，并将待转化数据中的转化失败数据存储至第二目标存储位置。
[0014]进一步地，第一获取单元包括:第一获取模块，用于从预设数据库中获取源数据；第一存储模块，用于将源数据存储至第三目标存储位置；以及第二获取模块，用于从第三目标存储位置获取待转化数据。
[0015]进一步地，转化单元包括:确定模块，用于确定预设转化类型；转化模块，用于根据预设转化类型将待转化数据转化为目标数据，其中，目标数据的类型为预设转化类型；建立模块，用于建立目标数据与待转化数据的对应关系；以及输出模块，用于输出目标数据与待转化数据的对应关系。
[0016]进一步地，存储单元包括:第三获取模块，用于获取预设数据文件格式；以及第二存储模块，用于按照预设数据文件格式将将待转化数据中的转化成功数据存储至第一目标存储位置，并按照预设数据文件格式将待转化数据中的转化失败数据存储至第二目标存储位置。
[0017]进一步地，该装置还包括:解析单元，用于根据转化成功数据和转化失败数据解析转化失败数据转化失败的类型；以及输出单元，用于输出转化失败数据转化失败的类型。
[0018]通过本发明，采用自动分别存储待转化数据中的转化成功数据和待转化数据中转化失败数据，解决了相关技术中查找数据转化成功和数据转化失败的信息效率低的问题，进而达到了提高查找数据转化成功和数据转化失败的信息效率的效果。
【专利附图】
【附图说明】
[0019]构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0020]图1是根据本发明实施例的数据转化信息处理方法的流程图；以及
[0021]图2是根据本发明实施例的数据转化信息处理装置的示意图。
【具体实施方式】
[0022]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
[0023]为了使本【技术领域】的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0024]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0025]根据本发明实施例，提供了一种数据转化信息处理方法。图1是根据本发明实施例的数据转化信息处理方法的流程图。
[0026]如图1所示，该数据转化信息处理方法包括如下的步骤S102至步骤S108:
[0027]步骤S102:获取待转化数据。
[0028]数据转化是指将原始数据按照预设规则转化为目标数据，例如，数据类型转化、数据整合、数据提炼等，本发明实施例以基于SSIS平台进行数据转化为例进行说明。待转化数据是指需要执行转化处理的数据，可以是从数据库中获取的数据，也可以是从其他电子表格中获取的数据，例如，从Excel表格中获取的数据。优选地，获取待转化数据包括:从预设数据库中获取源数据；将源数据存储至第三目标存储位置；以及从第三目标存储位置获取待转化数据。
[0029]预设数据库即为数据来源数据库，具体地，可以通过SQL语句从预设数据库筛选出需要转化的数据，即源数据。为了检测在数据转化过程中是否存在数据丢失，可以将获取得到的源数据进行一次转储，例如，存储于第三目标存储位置，从而，在完成数据转化后，可以将转化后的数据与该源数据进行比较以判断是数据转化过程是否存在数据丢失，例如，数据转化前源数据量为100，数据转化后转化成功数据量为85，转化失败数据量为10，则可得到转化丢失数据量为5。为了避免转储过程中出现数据丢失造成上述结果不准确，本发明实施例从第三目标存储位置获取待转化数据。
[0030]步骤S104:对待转化数据执行转化处理，得到转化结果。
[0031]SSIS平台可以方便的实现数据转化，本发明实施例以采用SSIS平台进行数据转化为例进行说明。具体地，对待转化数据执行转化处理包括:确定预设转化类型；根据预设转化类型将待转化数据转化为目标数据，其中，目标数据的类型为预设转化类型；建立目标数据与待转化数据的对应关系；以及输出目标数据与待转化数据的对应关系。
[0032]数据转化包含多种类型，例如，类型转化、数据整合等，预设转化类型可以是任意一种数据转化类型。在采用SSIS平台进行数据转化时，用户可以预先设置数据转化类型，在数据转化任务启动时，SSIS平台会自动根据预设转化类型执行相应的数据转化操作，得到目标数据，为了便于用户进一步分析数据转化结果，建立目标数据与待转化数据的对应关系。具体地，将待转化数据中成功转化的数据与其转化得到的目标数据对应并输出，或进一步存储于目标数据库中。
[0033]步骤S106:根据转化结果获取待转化数据中的转化成功数据和待转化数据中转化失败数据，其中，转化成功数据是指待转化数据中成功转化为目标数据的数据，转化失败数据是指待转化数据中未成功转化为目标数据的数据。
[0034]对待转化数据执行转化处理后，获取待转化数据中的转化成功数据和待转化数据中转化失败数据，例如，可以在数据转化过程中为待转化数据中转化成功数据和待转化数据中转化失败数据加上不同的标识，根据标识来区分待转化数据中的转化成功数据和待转化数据中转化失败数据，也可以在转化过程中将待转化数据中的转化成功数据从待转化数据中取出存储于其他位置的内存空间，从而可以根据内容空间的位置来区分待转化数据中的转化成功数据和待转化数据中转化失败数据。
[0035]步骤S108:将待转化数据中的转化成功数据存储至第一目标存储位置，并将待转化数据中的转化失败数据存储至第二目标存储位置。
[0036]第一目标存储位置和第二目标存储位置可以是任意两个不相同的存储位置。本发明实施例通过获取数据转化过程中待转化数据中的转化成功数据和待转化数据中的转化失败数据，并将待转化数据中的转化成功数据和待转化数据中的转化失败数据分别存储于不同存储位置，实现自动记录数据转化过程中转化成功数据和转化失败数据，从而能够方便快速的获取并查看转化成功数据和转化失败数据，解决了查找数据转化成功和数据转化失败的信息效率低的问题。此外，根据转化成功数据和转化失败数据可以准确快速的分析出当前数据转化的缺陷，提高工作效率，降低错误率。
[0037]优选地，将待转化数据中的转化成功数据存储至第一目标存储位置，并将待转化数据中的转化失败数据存储至第二目标存储位置包括:获取预设数据文件格式；以及按照预设数据文件格式将将待转化数据中的转化成功数据存储至第一目标存储位置，并按照预设数据文件格式将待转化数据中的转化失败数据存储至第二目标存储位置。
[0038]预设数据文件格式是指数据存储的文件格式，例如，可以是TXT文件格式，可以是Excel表格形式，也可以是其他文件格式。在设置数据存储的文件格式后，将待转化数据中的转化成功数据和待转化数据中的转化失败数据按照预先设置的文件格式存储，例如，存储为Excel表格。本发明实施例可以灵活的选择数据存储的文件格式，便于用户后续对待转化数据中的转化成功数据和待转化数据中的转化失败数据的使用。
[0039]优选地，在根据转化结果获取待转化数据中的转化成功数据和待转化数据中转化失败数据之后，方法还包括:根据转化成功数据和转化失败数据解析转化失败数据转化失败的类型；以及输出转化失败数据转化失败的类型。
[0040]数据转化失败可能是由于字符长度、字符类型、字符顺序等原因造成的。具体地，可以预先设置多个规则对数据转化失败的类型进行检测。例如，依次检测字符长度、字符类型、字符顺序。以字符长度为例进行说明，首先检测全部转化成功数据的字符长度，获取最大字符长度和最小字符长度，再遍历转化失败数据，分别判断每一条转化失败数据的字符是否处于最大字符长度和最小字符长度之间，具体地，可以设定一个阈值，如果通过计算转化失败数据中字符长度不处于最大字符长度和最小字符长度之间的数据量和字符长度处于最大字符长度和最小字符长度之间的数据量的比值，如果该比值大于预设值则确定该数据转化失败的类型为字符长度不一致，否则继续其他转化失败的类型检测，例如，检测检测字符类型，如果检测出全部转化成功数据的均为字母构成的字符串，而检测出转化失败数据均不是由字母构成的字符串，此时确定数据转化失败的类型为字符类型不一致。在分别检测预设的多个转化失败的类型后，输出检测结果，例如，检测出是字符长度不匹配造成数据转化失败时，可以输出字符长度不匹配，用户可以进一步根据该检测结果快速定位数据转化失败的根源，提高查找数据转化失败原因的效率。
[0041]从以上的描述中，可以看出，本发明实现了如下技术效果:
[0042]本发明实施例通过获取待转化数据，对待转化数据执行转化处理，得到转化结果，根据转化结果获取待转化数据中的转化成功数据和待转化数据中转化失败数据，以及将待转化数据中的转化成功数据存储至第一目标存储位置，并将待转化数据中的转化失败数据存储至第二目标存储位置。本发明实施例将待转化数据中的转化成功数据和待转化数据中的转化失败数据分别存储于不同存储位置，实现自动记录数据转化过程中转化成功数据和转化失败数据，从而能够方便快速的获取并查看转化成功数据和转化失败数据，解决了查找数据转化成功和数据转化失败的信息效率低的问题。此外，本发明实施例可以进一步根据待转化数据中的转化成功数据和待转化数据中的转化失败数据自动分析数据转化失败的原因，提高了查找数据转化失败原因的效率。
[0043]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0044]根据本发明实施例的另一方面，提供了一种数据转化信息处理装置，该数据转化信息处理装置可以用于执行本发明实施例的数据转化信息处理方法，本发明实施例的方法也可以通过本发明实施例的数据转化信息处理装置来执行。
[0045]图2是根据本发明实施例的数据转化信息处理装置的示意图，如图2所示，该数据转化信息处理装置包括:第一获取单元10，转化单元20，第二获取单元30和存储单元40。
[0046]第一获取单元10，用于获取待转化数据。
[0047]数据转化是指将原始数据按照预设规则转化为目标数据，例如，数据类型转化、数据整合、数据提炼等。待转化数据是指需要执行转化处理的数据，可以是从数据库中获取的数据，也可以是从其他电子表格中获取的数据，例如，从ExceI表格中获取的数据。
[0048]优选地，第一获取单元10包括:第一获取模块，用于从预设数据库中获取源数据；第一存储模块，用于将源数据存储至第三目标存储位置；以及第二获取模块，用于从第三目标存储位置获取待转化数据。
[0049]转化单元20，用于对待转化数据执行转化处理，得到转化结果。
[0050]可选地，转化单元20包括:确定模块，用于确定预设转化类型；转化模块，用于根据预设转化类型将待转化数据转化为目标数据，其中，目标数据的类型为预设转化类型；建立模块，用于建立目标数据与待转化数据的对应关系；以及输出模块，用于输出目标数据与待转化数据的对应关系。
[0051]第二获取单元30，用于根据转化结果获取待转化数据中的转化成功数据和待转化数据中转化失败数据，其中，转化成功数据是指待转化数据中成功转化为目标数据的数据，转化失败数据是指待转化数据中未成功转化为目标数据的数据。
[0052]对待转化数据执行转化处理后，获取待转化数据中的转化成功数据和待转化数据中转化失败数据，例如，可以在数据转化过程中为待转化数据中转化成功数据和待转化数据中转化失败数据加上不同的标识，根据标识来区分待转化数据中的转化成功数据和待转化数据中转化失败数据，也可以在转化过程中将待转化数据中的转化成功数据从待转化数据中取出存储于其他位置的内存空间，从而可以根据内容空间的位置来区分待转化数据中的转化成功数据和待转化数据中转化失败数据。
[0053]存储单元40，用于将待转化数据中的转化成功数据存储至第一目标存储位置，并将待转化数据中的转化失败数据存储至第二目标存储位置。
[0054]第一目标存储位置和第二目标存储位置是任意两个不相同的存储位置。在分别处存储了待转化数据中的转化成功数据和待转化数据中转化失败数据之后，用户可以结合待转化数据中的转化成功数据和待转化数据中转化失败数据以及数据转化日志中记录的数据转化异常和失败的信息，例如，SSIS平台进行数据转化时记录的日志信息，快速分析出数据转化失败的原因。
[0055]优选地，存储单元40包括:第三获取模块，用于获取预设数据文件格式；以及第二存储模块，用于按照预设数据文件格式将将待转化数据中的转化成功数据存储至第一目标存储位置，并按照预设数据文件格式将待转化数据中的转化失败数据存储至第二目标存储位置。
[0056]优选地，该装置还包括:解析单元，用于根据转化成功数据和转化失败数据解析转化失败数据转化失败的类型；以及输出单元，用于输出转化失败数据转化失败的类型。
[0057]数据转化失败可能是由于字符长度、字符类型、字符顺序等原因造成的。具体地，可以预先设置多个规则对数据转化失败的类型进行检测。例如，依次检测字符长度、字符类型、字符顺序。
[0058]本发明实施例通过第一获取单元10获取待转化数据，转换单元20对待转化数据执行转化处理，得到转化结果，第二获取单元30根据转化结果获取待转化数据中的转化成功数据和待转化数据中转化失败数据，以及存储单元40将待转化数据中的转化成功数据存储至第一目标存储位置，并将待转化数据中的转化失败数据存储至第二目标存储位置。通过将待转化数据中的转化成功数据和待转化数据中的转化失败数据分别存储于不同存储位置，实现自动记录数据转化过程中转化成功数据和转化失败数据，从而能够方便快速的获取并查看转化成功数据和转化失败数据，解决了查找数据转化成功和数据转化失败的Is息效率低的冋题。
[0059]显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0060]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种数据转化信息处理方法，其特征在于，包括: 获取待转化数据； 对所述待转化数据执行转化处理，得到转化结果； 根据所述转化结果获取所述待转化数据中的转化成功数据和所述待转化数据中转化失败数据，其中，所述转化成功数据是指所述待转化数据中成功转化为目标数据的数据，所述转化失败数据是指所述待转化数据中未成功转化为目标数据的数据；以及 将所述待转化数据中的转化成功数据存储至第一目标存储位置，并将所述待转化数据中的转化失败数据存储至第二目标存储位置。
2.根据权利要求1所述的数据转化信息处理方法，其特征在于，获取所述待转化数据包括: 从预设数据库中获取源数据； 将所述源数据存储至第三目标存储位置；以及 从所述第三目标存储位置获取所述待转化数据。
3.根据权利要求1所述的数据转化信息处理方法，其特征在于，对所述待转化数据执行转化处理包括: 确定预设转化类型； 根据所述预设转化类型将所述待转化数据转化为目标数据，其中，所述目标数据的类型为所述预设转化类型； 建立所述目标数据与所述待转化数据的对应关系；以及 输出所述目标数据与所述待转化数据的对应关系。
4.根据权利要求1所述的数据转化信息处理方法，其特征在于，将所述待转化数据中的转化成功数据存储至第一目标存储位置，并将所述待转化数据中的转化失败数据存储至第二目标存储位置包括: 获取预设数据文件格式；以及 按照所述预设数据文件格式将将所述待转化数据中的转化成功数据存储至所述第一目标存储位置，并按照所述预设数据文件格式将所述待转化数据中的转化失败数据存储至所述第二目标存储位置。
5.根据权利要求1所述的数据转化信息处理方法，其特征在于，在根据所述转化结果获取所述待转化数据中的转化成功数据和所述待转化数据中转化失败数据之后，所述方法还包括: 根据所述转化成功数据和所述转化失败数据解析所述转化失败数据转化失败的类型；以及 输出所述转化失败数据转化失败的类型。
6.一种数据转化信息处理装置，其特征在于，包括: 第一获取单元，用于获取待转化数据； 转化单元，用于对所述待转化数据执行转化处理，得到转化结果； 第二获取单元，用于根据所述转化结果获取所述待转化数据中的转化成功数据和所述待转化数据中转化失败数据，其中，所述转化成功数据是指所述待转化数据中成功转化为目标数据的数据，所述转化失败数据是指所述待转化数据中未成功转化为目标数据的数据；以及 存储单元，用于将所述待转化数据中的转化成功数据存储至第一目标存储位置，并将所述待转化数据中的转化失败数据存储至第二目标存储位置。
7.根据权利要求6所述的数据转化信息处理装置，其特征在于，所述第一获取单元包括: 第一获取模块，用于从预设数据库中获取源数据； 第一存储模块，用于将所述源数据存储至第三目标存储位置；以及 第二获取模块，用于从所述第三目标存储位置获取所述待转化数据。
8.根据权利要求6所述的数据转化信息处理装置，其特征在于，所述转化单元包括: 确定模块，用于确定预设转化类型； 转化模块，用于根据所述预设转化类型将所述待转化数据转化为目标数据，其中，所述目标数据的类型为所述预设转化类型； 建立模块，用于建立所述目标数据与所述待转化数据的对应关系；以及 输出模块，用于输出所述目标数据与所述待转化数据的对应关系。
9.根据权利要求6所述的数据转化信息处理装置，其特征在于，所述存储单元包括: 第三获取模块，用于获取预设数据文件格式；以及 第二存储模块，用于按照所述预设数据文件格式将将所述待转化数据中的转化成功数据存储至所述第一目标存储位置，并按照所述预设数据文件格式将所述待转化数据中的转化失败数据存储至所述第二目标存储位置。
10.根据权利要求6所述的数据转化信息处理装置，其特征在于，所述装置还包括: 解析单元，用于根据所述转化成功数据和所述转化失败数据解析所述转化失败数据转化失败的类型；以及 输出单元，用于输出所述转化失败数据转化失败的类型。
【文档编号】G06F17/30GK104504029SQ201410770715
【公开日】2015年4月8日 申请日期:2014年12月11日 优先权日:2014年12月11日
【发明者】赵立贺 申请人:北京国双科技有限公司