用于多个数据源的数据整合处理方法和装置制造方法

用于多个数据源的数据整合处理方法和装置制造方法
【专利摘要】本发明公开了一种用于多个数据源的数据整合处理方法和装置。该用于多个数据源的数据整合处理方法包括：获取来自多个不同数据源的数据；将多个不同数据源的数据拆分为第一类型的数据和第二类型的数据；以及对第一类型的数据和第二类型的数据进行数据整合处理。通过本发明，解决了相关技术中不能对不同来源的数据进行统一整合的问题，进而达到了统一整合不同来源的数据的效果。
【专利说明】用于多个数据源的数据整合处理方法和装置
【技术领域】
[0001]本发明涉及数据处理领域，具体而言，涉及一种用于多个数据源的数据整合处理方法和装置。
【背景技术】
[0002]在互联网广告领域，转化数据是指广告商投放广告之后，由于用户的注册、登陆、浏览、点击以及下订单等行为产生的数据。转化数据可以来自多个平台，例如，转化数据可以来自第三方代理商、广告投放平台、网站本身监控等不同的数据源。这些不同的数据源，以不同的方式、格式和渠道等为数据管理系统等导入系统提供转化数据以进行整合。
[0003]为了整合来自不同的数据源的转化数据，在相关技术中采用以下方案:首先针对来自不同的数据源的转化数据根据预定格式进行定制开发，然后再将定制开发后的数据进行整合处理。这种方案虽然能对转化数据进行整合处理，但是，由于转化数据来自不同的数据源，它们各自的数据格式和数据类型多种多样，而且不同时期的同一转化数据可能也不一样，这就需要对每一种转化数据进行不同的定制开发，因此该种方案存在如下缺点:
[0004]a)针对每种类型的转化数据都需要进行不同的定制开发，因此开发成本较高。
[0005]b)客户以及转化数据的数据源均多种多样，这样，定制开发的版本就会很多，从而维护的转化数据类型越来越多，进而维护各种版本的成本也会提高。
[0006]针对相关技术中不能对不同来源的数据进行统一整合的问题，目前尚未提出有效的解决方案。

【发明内容】

[0007]本发明的主要目的在于提供一种用于多个数据源的数据整合处理方法和装置，以解决相关技术中不能对不同来源的数据进行统一整合问题。
[0008]为了实现上述目的，根据本发明的一个方面，提供了一种用于多个数据源的数据整合处理方法。该用于多个数据源的数据整合处理方法包括:获取来自多个不同数据源的数据；将多个不同数据源的数据拆分为第一类型的数据和第二类型的数据；以及对第一类型的数据和第二类型的数据进行数据整合处理。
[0009]进一步地，在将多个不同数据源的数据拆分为第一类型的数据和第二类型的数据之前，该数据整合处理方法还包括:判断多个不同数据源的数据是否有标识；如果判断出多个不同数据源的数据有标识，则对每一条数据都加入已有的标识；以及如果判断出多个不同数据源的数据没有标识，则对每一条数据都加入唯一标识。
[0010]进一步地，按照以下方式对每一条数据加入标识:将需要加入标识的数据拆分为关键字部分和点击部分；以及将关键字部分和点击部分分别加上标识。
[0011]进一步地，在将多个不同数据源的数据拆分为第一类型的数据和第二类型的数据之后，数据整合处理方法还包括:查找预先设置的第一数据表和第二数据表；将第一类型的数据存储至第一数据表中；以及将第二类型的数据存储至第二数据表中。[0012]进一步地，将多个不同数据源的数据拆分为第一类型的数据和第二类型的数据包括:将多个不同数据源的数据拆分为物料数据和转化数据。
[0013]为了实现上述目的，根据本发明的另一方面，提供了一种用于多个数据源的数据整合处理装置。该用于多个数据源的数据整合处理装置包括:获取单元，用于获取来自多个不同数据源的数据；拆分单元，用于将多个不同数据源的数据拆分为第一类型的数据和第二类型的数据；以及整合单元，用于对第一类型的数据和第二类型的数据进行数据整合处理。
[0014]进一步地，还包括:判断单元，用于在将多个不同数据源的数据拆分为第一类型的数据和第二类型的数据之前，判断多个不同数据源的数据是否有标识；第一加入单元，用于如果判断出多个不同数据源的数据有标识，则对每一条数据都加入已有的标识；以及第二加入单元，用于如果判断出多个不同数据源的数据没有标识，则对每一条数据都加入唯一标识。
[0015]进一步地，第一加入单元包括:拆分模块，用于将需要加入标识的数据拆分为关键字部分和点击部分；以及加入模块，用于将关键字部分和点击部分分别加上标识。
[0016]进一步地，在将多个不同数据源的数据拆分为第一类型的数据和第二类型的数据之后，还包括:查找单元，用于查找预先设置的第一数据表和第二数据表；第一存储单元，用于将第一类型的数据存储至第一数据表中；以及第二存储单元，用于将第二类型的数据存储至第二数据表中。
[0017]进一步地，拆分单元还用于将多个不同数据源的数据拆分为物料数据和转化数据。
[0018]通过本发明，采用获取来自多个不同数据源的数据；将多个不同数据源的数据拆分为第一类型的数据和第二类型的数据；以及对第一类型的数据和第二类型的数据进行数据整合处理，解决了相关技术中不能对不同来源的数据进行统一整合的问题，进而达到了统一整合不同来源的数据的效果。
【专利附图】

【附图说明】
[0019]构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0020]图1是根据本发明第一实施例的用于多个数据源的数据整合处理方法的流程图；
[0021]图2是根据本发明第二实施例的用于多个数据源的数据整合处理方法的流程图；
[0022]图3是根据本发明第一实施例的用于多个数据源的数据整合处理装置的示意图；以及
[0023]图4是根据本发明第二实施例的用于多个数据源的数据整合处理装置的示意图。【具体实施方式】
[0024]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
[0025]为了使本领域的技术人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，在本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护范围。
[0026]需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
[0027]根据本发明的实施例，提供了一种用于多个数据源的数据整合处理方法，该用于多个数据源的数据整合处理方法用于对不同来源的数据进行统一整合。该用于数据的数据整合处理方法可以运行在计算机处理设备上。
[0028]图1是根据本发明第一实施例的用于多个数据源的数据整合处理方法的流程图。
[0029]如图1所示，该用于多个数据源的数据整合处理方法包括如下的步骤SlOl至步骤S103:
[0030]步骤S101，获取来自多个不同数据源的数据。
[0031]在互联网广告领域，来自多个不同数据源的数据包括转化数据和物料数据。转化数据是指广告商投放广告之后，由于用户的注册、登陆、浏览、点击以及下订单等行为产生的数据，转化数据与相应的广告实体相对应，这里的广告实体即为物料，并且一个广告实体可以对应多个转化数据，该转化数据可以通过物料收集系统进行收集。该转化数据可以包括两种格式的数据，即可以拆分格式的数据和不可以拆分格式的数据。其中，可以拆分格式的数据是由第一类型的数据和第二类型的数据组成的。第一类型的数据采用字符串的方式进行存储，并且第一类型的数据可以是转化数据对应的广告实体的唯一标识，即上述字符串可以作为该转化数据对应的广告实体的关键字。第二类型的数据采用键值对的方式进行存储，该键值对可以是数据类型和数据值对，例如，浮点型数据和浮点型数据的值对、整形数据和整形数据的值对等。不可以拆分格式的数据不包含第一类型的数据，只包含第二类型的数据，即，不可以拆分格式的数据没有作为该转化数据的唯一标识的字符串。
[0032]数据源(Data Source)是提供某种所需要数据的器件或原始媒体。顾名思义，数据源为数据的来源。在数据源中存储了所有建立数据库连接的信息，就象通过指定文件名称可以在文件系统中找到文件一样，通过提供正确的数据源名称，可以找到相应的数据库连接。
[0033]在本发明实施例中，获取来自多个不同数据源的数据为获取多条数据，可以通过多个数据库表获取多个不同数据源的数据，需要说明的是，多个不同数据源的数据可以为描述同一互联网实体的数据，例如，针对某件衣服的互联网广告，可以获取来自广告商提供的数据、用户自己收集的数据和网站监控的数据等，而上述数据均为描述该件衣服的相关信息(如，衣服的名称、订单数量、单价和总价等)的数据。
[0034]步骤S102，将多个不同数据源的数据拆分为第一类型的数据和第二类型的数据。
[0035]在本发明实施例中，可以检测多个不同数据源的数据的组成部分，当检测出数据的字符除部分时，则将该字符串部分拆分为第一类型的数据，剩下的数据部分作为第二数据类型。
[0036]具体地，可以将多个不同数据源的数据拆分为物料数据和转化数据。其中，物料数据为描述物料的关键字字符串，转化数据为用户对物料进行操作时产生的交互数据。
[0037]在本发明实施例中，可以将数据拆分成的第一类型的数据存储在第一数据表中，并且可以将转化数据拆分成的第二类型的数据存储在第二数据表中，其中，第一数据表和第二数据表可以是同一个应用系统的两个列表，并且第一数据表和第二数据表分别用于存储字符串格式的数据和键值对格式的数据。具体地，在步骤S102将多个不同数据源的转化数据拆分为第一类型的数据和第二类型的数据之后，该用于多个数据源的数据整合处理方法还包括:
[0038]步骤1，查找预先设置的第一数据表和第二数据表。
[0039]例如，在本发明实施例中，查找预先设置的第一数据表和第二数据表可以是分别查找预先设置在物料管理系统中的物料(entrance)列表和转化(conversion)列表,其中，物料列表可以用于存储物料数据，转化列表可以用于存储转化数据。物料数据可以包括广告推广计划、单元、关键词、广告来源、广告媒介、搜索引擎、访问时间和标识等类型的数据，其中，物料数据的部分类型可以为空。转化数据可以以键值对的形式存储数据，并且转化数据可以包含若干可以为空的扩展属性，例如，转化数据可以包括扩展标识的属性等。
[0040]步骤2，将第一类型的数据存储至第一数据表中。
[0041]在本发明实施例中，可以按照预设顺序将第一类型的数据存储至第一数据表中，也可以随机将第一类型的数据存储至第一数据表中。
[0042]步骤3，将第二类型的数据存储至第二数据表中。
[0043]在本发明实施例中，可以按照预设顺序将第二类型的数据存储至第二数据表中，也可以随机将第二类型的数据存储至第二数据表中。
[0044]步骤S103，对第一类型的数据和第二类型的数据进行数据整合处理。
[0045]在本发明实施例中，在步骤S103之后，可以将转化数据和物料数据进行匹配，并根据物料管理系统的具体配置，先删除用户不关注的转化数据部分和无效的转化数据部分(例如，用户只关注某个广告中下订单的转化数据时，就可以将仅仅由于浏览而产生的转化数据删除。)，再将剩余的转化数据和物料数据进行归因处理，最后将其导入物料管理系统的目标表中展示给用户。
[0046]通过本发明，采用获取来自多个不同数据源的转化数据；将多个不同数据源的转化数据拆分为第一类型的数据和第二类型的数据；以及对第一类型的数据和第二类型的数据进行数据整合处理，解决了相关技术中不能对不同来源的转化数据进行统一整合的问题，进而达到了统一整合不同来源的转化数据的效果。
[0047]图2是根据本发明第二实施例的用于多个数据源的数据整合处理方法的流程图。
[0048]如图2所示，该用于多个数据源的数据整合处理方法包括如下的步骤S201至步骤S205，该实施例可以作为图1所示实施例的优选实施方式。
[0049]步骤S201，判断多个不同数据源的数据是否有标识。
[0050]在本发明实施例中，在将多个不同数据源的转化数据拆分为第一类型的数据和第二类型的数据之前，即在图1所示的步骤SlOl之前，可以判断多个不同数据源的数据是否有标识。具体地，可以检测多个不同数据源的数据是否具有字符串数据，当检测上述数据具有字符串数据时，判断出多个不同数据源的数据有标识，其中，该标识即为上述检测出的字符串，否则当检测上述数据不具有字符串数据时，判断出多个不同数据源的数据没有标识。需要说明的是，在本发明实施例中，只有具有标识的多个不同数据源的数据采可以进行拆分处理，即，可以将多个不同数据源的数据拆分成物料数据和转化数据，并且拆分之后物料数据和转化数据都可以用该多个不同数据源的数据的标识进行标识。在本发明实施例中，对没有标识的多个不同数据源的数据不能进行直接拆分，但是可以先为该没有标识的多个不同数据源的数据随机生成一个字符串作为其标识，该标识即为物料数据，然后再将上述多个不同数据源的数据进拆分为物料数据和转化数据，并且将拆分得到的物料数据和转化数据用该标识进行唯一标记。需要说明的是，来自多个不同数据源的不同数据对应的标识不同，即每个该数据的标识是唯一的。
[0051]步骤S202A，如果判断出多个不同数据源的数据有标识，则对每一条数据都加入已有的标识。
[0052]在本发明实施例中，如果判断出多个不同数据源的数据有标识，则对每一条数据都加入已有的标识是指对每一条数据拆分后的第一类型的数据和第二类型的数据分别加上已有的标识，例如，可以对每一条数据拆分后的物料数据和转化数据分别在物料列表和转化列表中的相应具有扩展属性的位置加上已有的标识。
[0053]在本发明实施例中，可以按照以下方式对每一条数据加入标识:
[0054]步骤1，将需要加入标识的数据拆分为关键词部分和点击部分。
[0055]例如，以会话的点击数据为例，其中，会话具有标识sessionkey，可以将该会话数据拆分为该会话的关键词部分和点击部分，并且关键词部分和点击部分可以分别作为物料数据和转化数据存储在物料列表和转化列表中。
[0056]步骤2，将关键词部分和点击部分分别加上标识。
[0057]例如，根据上述步骤I中的例子，可以分别在物料列表和转化列表中存储关键词部分和点击部分的相应扩展属性的位置加上标识sessionkey。
[0058]步骤S202B，如果判断出多个不同数据源的数据没有标识，则对每一条数据都加入唯一标识。
[0059]在本发明实施例中，如果判断出多个不同数据源的数据没有标识，则对每一条数据都加入唯一标识是指对加入唯一标识的每一条数据拆分后的第一类型的数据和第二类型的数据分别加上唯一标识，例如，可以对每一条加入唯一标识的数据拆分后的物料数据和转化数据分别在物料列表和转化列表中的相应具有扩展属性的位置加上唯一的标识。
[0060]步骤S203至步骤S205，分别同图1所示实施例的步骤SlOl至步骤S103，在此不再赘述。
[0061]根据本发明的实施例，提供了一种用于多个数据源的数据整合处理装置，该用于多个数据源的数据整合处理装置用于对不同来源的数据进行统一整合。需要说明的是，本发明实施例的用于多个数据源的数据整合处理装置也可以用于执行本发明实施例的用于多个数据源的数据整合处理方法，本发明实施例所提供的用于多个数据源的数据整合处理方法可以通过本发明实施例的用于多个数据源的数据整合处理装置来执行。
[0062]图3是根据本发明第一实施例的用于多个数据源的数据整合处理装置的示意图。
[0063]如图3所示,该装置包括:获取单元10、拆分单元20和整合单元30。
[0064]获取单元10用于获取来自多个不同数据源的数据。在互联网广告领域，来自多个不同数据源的数据包括转化数据和物料数据。转化数据是指广告商投放广告之后，由于用户的注册、登陆、浏览、点击以及下订单等行为产生的数据，转化数据与相应的广告实体相对应，这里的广告实体即为物料，并且一个广告实体可以对应多个转化数据，该转化数据可以通过物料收集系统进行收集。该转化数据可以包括两种格式的数据，即可以拆分格式的数据和不可以拆分格式的数据。其中，可以拆分格式的数据是由第一类型的数据和第二类型的数据组成的。第一类型的数据采用字符串的方式进行存储，并且第一类型的数据可以是转化数据对应的广告实体的唯一标识，即上述字符串可以作为该转化数据对应的广告实体的关键字。第二类型的数据采用键值对的方式进行存储，该键值对可以是数据类型和数据值对，例如，浮点型数据和浮点型数据的值对、整形数据和整形数据的值对等。不可以拆分格式的数据不包含第一类型的数据，只包含第二类型的数据，即，不可以拆分格式的数据没有作为该转化数据的唯一标识的字符串。
[0065]数据源(Data Source)是提供某种所需要数据的器件或原始媒体。顾名思义，数据源为数据的来源。在数据源中存储了所有建立数据库连接的信息，就象通过指定文件名称可以在文件系统中找到文件一样，通过提供正确的数据源名称，可以找到相应的数据库连接。
[0066]在本发明实施例中，获取单元10获取来自多个不同数据源的数据为获取多条数据，获取单元10可以通过多个数据库表获取多个不同数据源的数据，需要说明的是，多个不同数据源的数据可以为描述同一互联网实体的数据，例如，针对某件衣服的互联网广告，获取单元10可以获取来自广告商提供的数据、用户自己收集的数据和网站监控的数据等，而上述数据均为描述该件衣服的相关信息(如，衣服的名称、订单数量、单价和总价等)的数据。
[0067]拆分单元20用于将多个不同数据源的数据拆分为第一类型的数据和第二类型的数据。
[0068]在本发明实施例中，可以检测多个不同数据源的数据的组成部分，当检测出数据的字符除部分时，则拆分单元20将该字符串部分拆分为第一类型的数据，剩下的数据部分作为第二数据类型。
[0069]具体地，拆分单元20可以将多个不同数据源的数据拆分为物料数据和转化数据。其中，物料数据为描述物料的关键字字符串，转化数据为用户对物料进行操作时产生的交互数据。
[0070]在本发明实施例中，拆分单元20可以将数据拆分成的第一类型的数据存储在第一数据表中，并且可以将转化数据拆分成的第二类型的数据存储在第二数据表中，其中，第一数据表和第二数据表可以是同一个应用系统的两个列表，并且第一数据表和第二数据表分别用于存储字符串格式的数据和键值对格式的数据。具体地，在将多个不同数据源的转化数据拆分为第一类型的数据和第二类型的数据之后，该用于多个数据源的数据整合处理装置还包括:查找单元、第一存储单元和第二存储单元。
[0071]查找单元用于查找预先设置的第一数据表和第二数据表。
[0072]例如，在本发明实施例中，查找预先设置的第一数据表和第二数据表可以是分别查找预先设置在物料管理系统中的物料(entrance)列表和转化(conversion)列表,其中，物料列表可以用于存储物料数据，转化列表可以用于存储转化数据。物料数据可以包括广告推广计划、单元、关键词、广告来源、广告媒介、搜索引擎、访问时间和标识等类型的数据，其中，物料数据的部分类型可以为空。转化数据可以以键值对的形式存储数据，并且转化数据可以包含若干可以为空的扩展属性，例如，转化数据可以包括扩展标识的属性等。
[0073]第一存储单元用于将第一类型的数据存储至第一数据表中。
[0074]在本发明实施例中，第一存储单元可以按照预设顺序将第一类型的数据存储至第一数据表中，也第一存储单元可以随机将第一类型的数据存储至第一数据表中。
[0075]第二存储单元用于将第二类型的数据存储至第二数据表中。
[0076]在本发明实施例中，第二存储单元可以按照预设顺序将第二类型的数据存储至第二数据表中，也第二存储单元可以随机将第二类型的数据存储至第二数据表中。
[0077]整合单元30用于对第一类型的数据和第二类型的数据进行数据整合处理。
[0078]在本发明实施例中，整合单元30可以将转化数据和物料数据进行匹配，并根据物料管理系统的具体配置，先删除用户不关注的转化数据部分和无效的转化数据部分(例如，用户只关注某个广告中下订单的转化数据时，就可以将仅仅由于浏览而产生的转化数据删除。)，再将剩余的转化数据和物料数据进行归因处理，最后将其导入物料管理系统的目标表中展示给用户。
[0079]通过本发明，解决了相关技术中不能对不同来源的转化数据进行统一整合的问题，进而达到了统一整合不同来源的转化数据的效果。
[0080]图4是根据本发明第二实施例的用于多个数据源的数据整合处理装置的示意图。
[0081]如图4所示，该实施例可以作为图3所示实施例的优选实施方式，该用于网页页面点击展现的数据处理装置除了包括:获取单元10、拆分单元20和整合单元30之外，还包括:判断单元40、第一加入单元50和第二加入单元60。
[0082]获取单元10、拆分单元20和整合单元30的作用与图5所示实施例中的相同，在此不再赘述。
[0083]判断单元40用于判断多个不同数据源的数据是否有标识。
[0084]在本发明实施例中，在将多个不同数据源的转化数据拆分为第一类型的数据和第二类型的数据之前，判断单元40可以判断多个不同数据源的数据是否有标识。具体地，判断单元40可以检测多个不同数据源的数据是否具有字符串数据，当检测上述数据具有字符串数据时，判断出多个不同数据源的数据有标识，其中，该标识即为上述检测出的字符串，否则当检测上述数据不具有字符串数据时，判断出多个不同数据源的数据没有标识。需要说明的是，在本发明实施例中，只有具有标识的多个不同数据源的数据采可以进行拆分处理，即，可以将多个不同数据源的数据拆分成物料数据和转化数据，并且拆分之后物料数据和转化数据都可以用该多个不同数据源的数据的标识进行标识。在本发明实施例中，对没有标识的多个不同数据源的数据不能进行直接拆分，但是可以先为该没有标识的多个不同数据源的数据随机生成一个字符串作为其标识，该标识即为物料数据，然后再将上述多个不同数据源的数据进拆分为物料数据和转化数据，并且将拆分得到的物料数据和转化数据用该标识进行唯一标记。需要说明的是，来自多个不同数据源的不同数据对应的标识不同，即每个该数据的标识是唯一的。
[0085]第一加入单元50用于如果判断出多个不同数据源的数据有标识，则对每一条数据都加入已有的标识。
[0086]在本发明实施例中，如果判断出多个不同数据源的数据有标识，则第一加入单元50对每一条数据都加入已有的标识是指对每一条数据拆分后的第一类型的数据和第二类型的数据分别加上已有的标识，例如，第一加入单元50可以对每一条数据拆分后的物料数据和转化数据分别在物料列表和转化列表中的相应具有扩展属性的位置加上已有的标识。
[0087]在本发明实施例中，第一加入单元50可以包括拆分模块和加入模块。
[0088]拆分模块用于将需要加入标识的数据拆分为关键词部分和点击部分。
[0089]例如，以会话的点击数据为例,其中，会话具有标识sessionkey,拆分模块可以将该会话数据拆分为该会话的关键词部分和点击部分，并且关键词部分和点击部分可以分别作为物料数据和转化数据存储在物料列表和转化列表中。
[0090]加入模块用于将关键词部分和点击部分分别加上标识。
[0091]例如，根据上述例子，加入模块可以分别在物料列表和转化列表中存储关键词部分和点击部分的相应扩展属性的位置加上标识sessionkey。
[0092]第二加入单元60用于如果判断出多个不同数据源的数据没有标识，则对每一条数据都加入唯一标识。
[0093]在本发明实施例中，如果判断出多个不同数据源的数据没有标识，则第二加入单元60对每一条数据都加入唯一标识是指对加入唯一标识的每一条数据拆分后的第一类型的数据和第二类型的数据分别加上唯一标识，例如，第二加入单元60可以对每一条加入唯一标识的数据拆分后的物料数据和转化数据分别在物料列表和转化列表中的相应具有扩展属性的位置加上唯一的标识。
[0094]从以上的描述中，可以看出，本发明实现了将不同数据源拆分成可以识别的转化数据和物料数据的目的，进而达到了统一整合不同来源的数据的效果。
[0095]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0096]显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0097]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种用于多个数据源的数据整合处理方法，其特征在于，包括:获取来自多个不同数据源的数据；将所述多个不同数据源的数据拆分为第一类型的数据和第二类型的数据；以及对所述第一类型的数据和所述第二类型的数据进行数据整合处理。
2.根据权利要求1所述的数据整合处理方法，其特征在于，在将所述多个不同数据源的数据拆分为第一类型的数据和第二类型的数据之前，所述数据整合处理方法还包括:判断所述多个不同数据源的数据是否有标识；如果判断出所述多个不同数据源的数据有标识，则对每一条数据都加入已有的标识;以及如果判断出所述多个不同数据源的数据没有标识，则对每一条数据都加入唯一标识。
3.根据权利要求2所述的数据整合处理方法，其特征在于，按照以下方式对每一条数据加入标识:将需要加入标识的数据拆分为关键字部分和点击部分；以及将所述关键字部分和所述点击部分分别加上标识。
4.根据权利要求1所述的数据整合处理方法，其特征在于，在将所述多个不同数据源的数据拆分为第一类型的数据和第二类型的数据之后，所述数据整合处理方法还包括:查找预先设置的第一数据表和第二数据表；将所述第一类型的数据存储至所述第一数据表中；以及将所述第二类型的数据存储至所述第二数据表中。
5.根据权利要求1所述的数据整合处理方法，其特征在于，将所述多个不同数据源的数据拆分为第一类型的数据和第二类型的数据包括:将所述多个不同数据源的数据拆分为物料数据和转化数据。
6.一种用于多个数据源的数据整合处理装置，其特征在于，包括:获取单元，用于获取来自多个不同数据源的数据；拆分单元，用于将所述多个不同数据源的数据拆分为第一类型的数据和第二类型的数据；以及整合单元，用于对所述第一类型的数据和所述第二类型的数据进行数据整合处理。
7.根据权利要求6所述的数据整合处理装置，其特征在于，还包括:判断单元，用于在将所述多个不同数据源的数据拆分为第一类型的数据和第二类型的数据之前，判断所述多个不同数据源的数据是否有标识；第一加入单元，用于如果判断出所述多个不同数据源的数据有标识，则对每一条数据都加入已有的标识；以及第二加入单元，用于如果判断出所述多个不同数据源的数据没有标识，则对每一条数据都加入唯一标识。
8.根据权利要求7所述的数据整合处理装置，其特征在于，所述第一加入单元包括:拆分模块，用于将需要加入标识的数据拆分为关键字部分和点击部分；以及加入模块，用于将所述关键字部分和所述点击部分分别加上标识。
9.根据权利要求6所述的数据整合处理装置，其特征在于，在将所述多个不同数据源的数据拆分为第一类型的数据和第二类型的数据之后，还包括:查找单元，用于查找预先设置的第一数据表和第二数据表；第一存储单元，用于将所述第一类型的数据存储至所述第一数据表中；以及第二存储单元，用于将所述第二类型的数据存储至所述第二数据表中。
10.根据权利要求6所述的数据整合处理装置，其特征在于，所述拆分单元还用于将所述多个不同数据源的数据 拆分为物料数据和转化数据。
【文档编号】G06F17/30GK103605715SQ201310566735
【公开日】2014年2月26日 申请日期:2013年11月14日 优先权日:2013年11月14日
【发明者】陈改静, 杨基彬, 蔡波 申请人:北京国双科技有限公司