应用于电子商务平台的数据处理系统及数据处理方法
【技术领域】
[0001]本发明涉及数据处理领域，更具体地，涉及一种应用于电子商务平台的数据处理系统及数据处理方法。
【背景技术】
[0002]在电子商务领域，很多电子商务平台的商户运营数据都通过电子商务平台下的多个子平台分散管理，并由各个子平台独立进行数据分析。例如，以中国建设银行推出的善融商务平台为例，其包含主站和多个子平台。各个子平台的数据分析功能作为主站功能的一部分，与其他模块耦合开发但共享存储资源，并且数据分析功能与主站的会员、商品、交易等主体功能密切相关。随着业务的增加，这种设计出现了如下弊病:
[0003]1:针对各个子平台需要单独开发数据处理系统，这导致存在大量冗余的开发；
[0004]2:业务的增加导致各个子平台的数据量急剧加大，从而导致数据处理占用主站的资源越来越多，时间和人力成本都非常高。
【发明内容】
[0005]鉴于现有技术的上述缺陷，本发明实施方式提供了一种应用于电子商务平台的数据处理系统及数据处理方法，能够避免冗余开发，减轻主站的资源压力，有利于数据访问的快速响应。
[0006]—方面，本发明实施例提供了一种应用于电子商务平台的数据处理系统，包括:
[0007]数据采集模块，用于采集所述电子商务平台下的各个子平台的数据；
[0008]数据整合模块，用于对所述数据采集模块采集到的数据进行数据整合处理；
[0009]数据存储模块，用于存储所述数据整合模块处理后的数据；
[0010]数据加工模块，用于根据业务要求从所述数据存储模块中提取数据进行数据加工处理；
[0011]数据展示模块，用于输出所述数据加工模块加工后的数据作为对所述业务要求的响应。
[0012]相应地，本发明实施例提供一种应用于电子商务平台的数据处理方法，包括:
[0013]采集所述电子商务平台下的各个子平台的数据；
[0014]对采集到的数据进行数据整合处理，并存储数据整合处理后的数据；
[0015]根据业务要求从整合后的数据中提取数据进行数据加工处理；
[0016]输出数据加工处理后的数据作为对所述业务要求的响应。
[0017]采用本发明实施例，具有以下优点:
[0018]—方面，避免了针对各个子平台单独开发数据处理系统而带来的冗余开发；另一方面，通过采集电子商务平台下各个子平台的数据并集中进行数据整合和加工，能够大大减轻主站的资源压力，更大化或最大化的利用数据库资源；再一方面，通过数据存储模块集中存储数据，有利于数据访问的快速响应，例如，有利于快速响应多样化的数据需求。
【附图说明】
[0019]图1A是根据本发明实施例的一种应用于电子商务平台的数据处理系统的框图；
[0020]图1B是图1A所示数据处理系统的数据采集模块的框图的一例；
[0021]图2是根据本发明实施例的一种应用于电子商务平台的数据处理方法的流程示意图。
【具体实施方式】
[0022]为了便于理解本发明技术方案的各个方面、特征以及优点，下面结合附图对本发明进行具体描述。应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。
[0023]首先对本发明中可能提及的名称或术语进行解释。
[0024]善融商务:中国建设银行推出的电子商务金融服务平台，面向广大企业和个人提供专业化的电子商务服务和金融支持服务，包括企业商城(B2B)、个人商城(B2C)、房e通、商城账户和社区(FSNS)等子平台。
[0025]图1A是根据本发明实施例的一种应用于电子商务平台的数据处理系统的框图，参照图1A，数据处理系统包括数据采集模块11、数据整合模块12、数据存储模块13、数据加工模块14和数据展示模块15。下面分别进行说明。
[0026]在本实施例中，数据采集模块11用于采集电子商务平台下的各个子平台的数据。数据整合模块12用于对所述数据采集模块11采集到的数据进行数据整合处理。数据存储模块13用于存储所述数据整合模块12处理后的数据。数据加工模块14用于根据业务要求从所述数据存储模块13中提取数据进行数据加工处理。数据展示模块15用于输出所述数据加工模块14加工后的数据作为对所述业务要求的响应。
[0027]采用本实施例提供的数据处理系统，一方面，避免了针对各个子平台单独开发数据处理系统而带来的冗余开发；另一方面，通过采集电子商务平台下各个子平台的数据并集中进行数据整合和加工，能够大大减轻主站的资源压力，更大化或最大化的利用数据库资源；再一方面，通过数据存储模块集中存储数据，有利于数据访问的快速响应，例如，有利于快速响应多样化的数据需求。
[0028]可选地，在本实施例的一种实现方式中，如图1B所示，数据采集模块11包括:页面数据采集子模块111，用于采集所述电子商务平台下的各个子平台的页面数据；日志采集子模块112，用于采集所述电子商务平台下的各个子平台的日志文件；数据库数据采集子模块113，用于采集所述电子商务平台下的各个子平台的数据库数据。其中，日志文件包括但不限于apache (—种服务器软件)日志和页面点击日志。
[0029]可选地，在本实施例的一种实现方式中，可以由本领域技术人员分析业务要求从而确定需要采集的数据指标，然后在本实现方式中根据需要采集的数据指标从子平台采集相应数据。
[0030]可选地，在数据存储模块12的一种具体示例中，考虑到容错性，在数据处理系统中可以采用多台服务器作为所述数据存储模块12。
[0031]可选地，在本实施例的一种实现方式中，数据整合处理包括数据封装和数据抽象。通过数据封装和数据抽象，将来自多个子平台的数据进行格式上的统一。此外，在数据整合处理之前还可以进行数据过滤，例如，去除不需要的数据、不重要的数据或去除明显重复的数据。
[0032]可选地，在本实施例的一种实现方式中，数据加工处理包括:数据去重、数据汇总和数据统计。其结果是根据业务要求统计业务要求所需的数据。在一种更具体的示例中，数据加工处理可以通过各个业务模型需要的报表记录统计工具实现，例如，通过报表记录统计工具定期从数据存储模块13提取数据进而生成报表文件和报表记录数据。
[0033]可选地，在本实施例的一种具体示例中，数据加工模块14可以包含建行推出的电子商务平台的定时任务封装包，该封装包用于根据业务规则提供日终处理任务和报表任务容器。这样，数据加工模块14便可以根据业务要求进行数据加工处理。
[0034]可选地，在本实施例的一种实现方式中，数据展示模块15包括多种用于进行数据交互的接口，包括HTML (H