一种基于数据仓库的用户数据整合方法及系统的制作方法
【技术领域】
[0001] 本发明涉及电子商务数据技术领域，尤其涉及一种基于数据仓库的用户数据整合 方法及系统。
【背景技术】
[0002] 随着电子商务的快速发展和激烈竞争，电商与各商家进行深度的合作，例如：京东 和微信，京东和QQ，这样用户可以方便地从多渠道（QQ、微信等）或多终端（电脑PC端，手 机APP端等）进行注册并购物，形成了一个用户多个账号的情形，用户的各个账号之间的关 系一般通过绑定或联合登录来进行关联。
[0003] 因消费者数量庞大，大型电商积累几亿甚至更多的用户数据，在多渠道且信息量 庞大的数据环境下，将这些数据进行整合是至关重要的一环。
[0004] 现有技术中，通过数据抽取工具，将线上数据直接抽取到数据仓库中，然后将全部 数据通过搭建模型进行直接使用。这样会存在以下的缺陷：1、数据孤岛多：用户数据中账 户之间缺乏较强的关联性；2、数据使用不便：对于一用户多个账号的情形，判定一个账号 与另一个账号之间的绑定关系较繁琐；3、数据范围大：进行计算时，需要将全部数据进行 统计和分析，在这过程中携带着大量非核心用户数据进行统计和分析，系统资源消耗大，运 行效率低。
【发明内容】
[0005] 有鉴于此，本发明实施例提供一种基于数据仓库的用户数据整合方法及系统，简 化了一个用户多账号之间的绑定关系；去掉了大量的无效的数据，查询效率高、资源消耗 少。
[0006] 第一方面，本发明实施例提供了一种基于数据仓库的用户数据整合方法，包括：
[0007] 获取线上数据库中各种来源下的用户基础表的关键字信息；
[0008] 根据预设的规则建立用户在各种来源下的用户级别和用户统一级别之间的映射 表；
[0009] 根据获取的各种来源下的用户基础表的关键字信息、以及建立的映射表对用户基 础数据表进行整合，获得整合后的数据表；
[0010] 对整合后的数据表中的用户数据进行过滤，将过滤后的数据表中的用户数据与预 存储的用户购物行为表中的数据进行加工。
[0011] 第二方面，本发明实施例还提供了一种基于数据仓库的用户数据整合系统，包括：
[0012] 关键字信息获取模块：用于获取线上数据库中各种来源下的用户基础表的关键 字信息；
[0013] 映射表建立模块：用于根据预设的规则建立用户在各种终端中的用户级别和用 户统一级别之间的映射表；
[0014] 数据整合模块：用于根据获取的各种来源下的用户基础表的关键字信息、以及建 立的映射表对用户基础数据表进行整合，获得整合后的数据表；
[0015] 数据加工模块：用于对整合后的数据表中的用户数据进行过滤，将过滤后的数据 表中的用户数据与预存储的用户购物行为表中的数据进行加工。
[0016] 本发明实施例提供的一种基于数据仓库的用户数据整合方法及系统，该方法通过 获取线上数据库中各种来源下的用户基础表的关键字信息以及建立用户级别和用户统一 级别之间的映射表，对各个用户基础表进行整合，最后将整合后的数据表进行过滤，并将过 滤后数据表中的用户数据与用户购物行为表中的数据进行加工。本发明实施例增强了用户 账号之间的关联性，简化了一个用户多账号之间的绑定关系；去掉了大量的无效的数据， 查询效率高、资源消耗少。
【附图说明】
[0017] 通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它 特征、目的和优点将会变得更明显：
[0018] 图1是本发明实施例一提供的一种基于数据仓库的用户数据整合方法流程图；
[0019] 图2是本发明实施例二提供的一种基于数据仓库的用户数据整合方法流程图；
[0020] 图3是本发明实施例三提供的一种基于数据仓库的用户数据整合方法的流程结 构图；
[0021] 图4是本发明实施例四提供的一种基于数据仓库的用户数据整合系统结构框图。
【具体实施方式】
[0022] 下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描 述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便 于描述，附图中仅示出了与本发明相关的部分而非全部内容。
[0023] 实施例一
[0024] 图1是本实施例一提供的一种基于数据仓库的用户数据整合方法流程图；该方法 适用于电子商务的分布式数据库的用户数据进行整合的情形，该方法可以由配置在服务器 中的基于数据仓库的用户数据整合系统来执行，基于数据仓库的用户数据整合系统可以由 软件和/或硬件的方式来实现。
[0025] 如图1所示，该方法包括：
[0026] S110:获取线上数据库中各种来源下的用户基础表的关键字信息。
[0027] 线上数据库中具有大量的用户的数据，包括电商公司内部的数据以及公司外部传 入的数据。公司内部的数据包括电脑PC端用户数据、手机APP端用户数据、手机M端用户 数据等；公司传入的数据包括QQ端用户数据、微信端用户数据等。由此可见，用户数据来源 于不同的渠道或终端，对于不同来源的用户数据，采用用户基础表进行记录用户数据的基 础信息。在本实施例中，所述的用户基础表中至少包括关键字信息，用户基础表中可以包括 关键字信息和用户账号ID ;其中，用户账号ID为用户数据对应的用户来源生成的编号，可 以便于区别各个不同的用户数据。所述的用户基础表中还可以包括其他的用户信息。所述 关键字信息为各种来源下均会包含的信息，例如可以包括：用户注册账号、用户手机号、用 户级别以及用户来源等。
[0028] 在本实施例中，用户注册账号为用户在各个终端或各个渠道的注册账号，一般情 况下，同一个用户的用户注册账号在每个渠道或终端是相同的。用户手机号为敏感信息，需 要进行加密存储，以防止用户手机号外泄；如果注册时没有用户手机号，则设置为空串。其 中，对于不同来源的用户数据，线上数据库中的用户基础表中对于用户的手机号加密的方 法进行统一，即同一个用户的手机号经过加密后的内容相同。在本实施例中，用户手机号的 加密方法优选采用MD5加密。
[0029] 在本实施例中，用户来源，是指用户注册的渠道或终端，在一个用户基础表中，用 户的来源相同，其中，用户来源常用字母进行表示，例如，"QQ"代表QQ端数据、"PC"代表电 脑PC端数据等。用户级别为用户所在渠道的用户的最新级别，例如，一个用户的用户数据 来源为QQ端，该用户在QQ端的最新级别为钻石，则该用户在QQ端的用户级别为钻石。
[0030] S120:根据预设的规则建立用户在各种来源下的用户级别和用户统一级别之间的 映射表。
[0031] 在本实施例中，用户统一级别是根据在各种渠道下的用户级别根据预设的规则进 行确定的。可以从多个维度对用户的属性值进行分类，来确定其用户统一级别。用户统一 级别与用户级别的划分规则可以不同。
[0032] 例如，根据消费金额的多少进行划分用户级别和用户统一级别。在QQ端，规定消 费1000元以上的用户，用户级别为钻石；用户统一级别规定消费2000元以上的用户，用户 统一级别为钻石，1000-2000元之间的用户，用户统一级别为金牌。如果一个用户的消费在 1000-2000元之间，则该用户的在QQ端的用户级别为钻石，用户统一级别为金牌。
[0033] 用户级别和用户统一级别之间的映射表中至少包括了用户数据的来源、用户级 另IJ、用户级别和用户统一级别的对应关系、以及用户统一级别。在确定用户统一级别时，根 据不同来源下的用户基础表中的用户级别，通过查询用户级别和用户统一级别映射表，就 可以确定用户的统一级别。
[0034] S130 :根据获取的各种来源下的用户基础表的关键字信息、以及建立的映射表对 用户基础数据表进行整合，获得整合后的数据表。
[0035] 在本实施例中，根据获取的关键字信息以及建立的映射表将各种来源下的多个用 户基础数据表进行整合，具体的，建立一个整合数据表，由于关键字信息一般是多个用户基 础数据表共有的，所以可以将各种来源下的多个用户基础表中的关键字信息分别存储到整 合数据表中相对应的位置内，然后重新生成新的用户账号ID。根据整合数据表中的用户手 机号