数据汇聚方法及装置、电子设备与流程

1.本技术实施例涉及大数据技术领域，尤其涉及一种数据汇聚方法及装置、电子设备。


背景技术：

2.随着大数据的广泛应用，数据需要在不同平台间流转、交换的需求日益增多。上级平台跨平台的搜集下级平台的数据在实际的应用中是经常发生。
3.然而，由于涉及到数据安全的问题，因此不同平台之间存在数据隔离，因此上级平台难以通过常规手段从下级平台直接获取想要的数据。


技术实现要素：

4.本说明书实施例提供的一种数据汇聚方法及装置、电子设备。
5.根据本说明书实施例的第一方面，提供一种数据汇聚方法，应用于上级平台，所述上级平台对应于至少一个下级平台，所述上级平台中部署有级联模块，所述级联模块用于进行不同层级的平台间的数据交互；所述方法包括：
6.响应于数据汇聚任务的创建请求，根据所述创建请求中指定的目标下级平台和数据标准，创建与所述目标下级平台关联的数据汇聚任务；其中，所述数据汇聚任务中包括所述数据标准；
7.通过所述级联模块将所述数据汇聚任务下发给所述目标下级平台；
8.在接收到所述目标下级平台向所述级联模块发送的预设通知的情况下，通过所述级联模块从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
9.可选的，所述级联模块中维护有各个下级平台的通信参数，所述级联模块通过所述通信参数建立与所述下级平台的通信连接，并通过所述通信连接传输数据。
10.可选的，所述通过所述级联模块将所述数据汇聚任务下发给所述目标下级平台，包括：
11.响应于所述目标下级平台向所述级联模块发起的定时轮询请求，查询是否存在与所述目标下级平台关联的数据汇聚任务；
12.如果存在，通过所述级联模块将查询到的数据汇聚任务下发给所述目标下级平台。
13.可选的，所述数据标准包括用于定义数据的信息项；所述信息项包括信息项名称、英文名称、数据类型、数据长度、描述中的至少一种；
14.所述数据标准用于将下级平台中其它数据标准的数据转换为所述数据标准的待汇聚数据。
15.可选的，所述通过所述级联模块从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中，包括：
16.通过所述级联模块从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到预设的前置库，并将所述数据汇聚任务的任务状态更新为完成；
17.在所有目标下级平台关联的数据汇聚任务的任务状态均完成的情况下，通过所述级联模块将所述前置库中存储的所有目标下级平台提供的已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
18.可选的，所述通过所述级联模块从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到预设的前置库，包括：
19.通过所述级联模块启动数据交换引擎，以基于所述数据交换引擎从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入预设的到前置库；
20.所述通过所述级联模块将所述前置库中存储的所述目标下级平台提供的已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中，包括：
21.通过所述级联模块启动所述数据交换引擎，基于所述数据交换引擎将所述前置库中存储的所述目标下级平台提供的已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
22.根据本说明书实施例的第二方面，提供一种数据汇聚方法，应用于与上级平台对应的下级平台，所述上级平台中部署有级联模块，所述级联模块用于进行不同层级的平台间的数据交互；所述方法包括：
23.获取所述上级平台通过所述级联模块下发的数据汇聚任务；其中，所述数据汇聚任务中包括所述上级平台指定的数据标准；
24.响应于所述数据汇聚任务，将所述下级平台的源数据库中的数据转换为符合所述数据标准的待汇聚数据；
25.向所述上级平台的级联模块发送预设通知，以使所述上级平台通过所述级联模块从所述源数据库中将已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
26.可选的，所述级联模块中维护有所述下级平台的通信参数，所述级联模块通过所述通信参数建立与下级平台的通信连接，并通过所述通信连接传输数据。
27.可选的，所述获取所述上级平台通过所述级联模块下发的数据汇聚任务，包括：
28.向所述上级平台的级联模块发起定时轮询请求，查询所述上级平台中是否存在与所述下级平台关联的数据汇聚任务；
29.接收所述上级平台通过所述级联模块下发的查询到的数据汇聚任务。
30.可选的，所述将所述下级平台的源数据库中的数据转换为符合所述数据标准的待汇聚数据，包括：
31.在所述下级平台包含一个或多个不同部门的情况下，创建与下属的各个部门一一对应的汇聚编码和包含所述数据标准的数据汇聚子任务，并将所述数据汇聚子任务和汇聚编码分发给下属的各个部门；以使各个部门基于所述数据标准将对应的源数据库中的数据转换为符合所述数据标准的待汇聚数据，以及将对应的汇聚编码与待汇聚数据进行绑定。
32.可选的，所述汇聚编码包括所述下级平台的平台标识和部门的部门标识构成的唯一标识。
33.可选的，所述数据标准包括用于定义数据的信息项；所述信息项包括信息项名称、
英文名称、数据类型、数据长度、描述中的至少一种；
34.所述数据标准用于将下级平台中其它数据标准的数据转换为所述数据标准的待汇聚数据。
35.根据本说明书实施例的第三方面，提供一种数据汇聚装置，应用于上级平台，所述上级平台对应于至少一个下级平台，所述上级平台中部署有级联模块，所述级联模块用于进行不同层级的平台间的数据交互；所述装置包括：
36.创建单元，响应于数据汇聚任务的创建请求，根据所述创建请求中指定的目标下级平台和数据标准，创建与所述目标下级平台关联的数据汇聚任务；其中，所述数据汇聚任务中包括所述数据标准；
37.下发单元，通过所述级联模块将所述数据汇聚任务下发给所述目标下级平台；
38.汇聚单元，在接收到所述目标下级平台向所述级联模块发送的预设通知的情况下，通过所述级联模块从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
39.可选的，所述级联模块中维护有所述至少一个下级平台的通信参数，所述级联模块通过所述通信参数建立与对应的下级平台的通信连接，并通过所述通信连接传输数据。
40.可选的，所述下发单元，进一步包括：
41.查询子单元，响应于所述目标下级平台向所述级联模块发起的定时轮询请求，查询是否存在与所述目标下级平台关联的数据汇聚任务；
42.下发子单元，如果存在，通过所述级联模块将查询到的数据汇聚任务下发给所述目标下级平台。
43.可选的，所述数据标准包括用于定义数据的信息项；所述信息项包括信息项名称、英文名称、数据类型、数据长度、描述中的至少一种；
44.所述数据标准用于将下级平台中其它数据标准的数据转换为所述数据标准的待汇聚数据。
45.可选的，所述汇聚单元，进一步包括：
46.第一写入子单元，通过所述级联模块从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到预设的前置库，并将所述数据汇聚任务的任务状态更新为完成；
47.第二写入子单元，在所有目标下级平台关联的数据汇聚任务的任务状态均完成的情况下，通过所述级联模块将所述前置库中存储的所有目标下级平台提供的已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
48.可选的，所述第一写入子单元，进一步包括通过所述级联模块启动数据交换引擎，以基于所述数据交换引擎从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入预设的到前置库；
49.所述第二写入子单元，进一步包括通过所述级联模块启动所述数据交换引擎，基于所述数据交换引擎将所述前置库中存储的所述目标下级平台提供的已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
50.根据本说明书实施例的第四方面，提供一种数据汇聚装置，应用于与上级平台对应的下级平台，所述上级平台中部署有级联模块，所述级联模块用于进行不同层级的平台
间的数据交互；所述装置包括：
51.获取单元，获取所述上级平台通过所述级联模块下发的数据汇聚任务；其中，所述数据汇聚任务中包括所述上级平台指定的数据标准；
52.转换单元，响应于所述数据汇聚任务，将所述下级平台的源数据库中的数据转换为符合所述数据标准的待汇聚数据；
53.汇聚单元，向所述上级平台的级联模块发送预设通知，以使所述上级平台通过所述级联模块从所述源数据库中将已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
54.可选的，所述级联模块中维护有所述下级平台的通信参数，所述级联模块通过所述通信参数建立与所述下级平台的通信连接，并通过所述通信连接传输数据。
55.可选的，所述获取单元，进一步包括：
56.查询子单元，向所述上级平台的级联模块发起定时轮询请求，查询所述上级平台中是否存在与所述下级平台关联的数据汇聚任务；
57.接收子单元，接收所述上级平台通过所述级联模块下发的查询到的数据汇聚任务。
58.可选的，所述转换单元，进一步包括：
59.在所述下级平台包含一个或多个不同部门的情况下，创建与下属的各个部门一一对应的汇聚编码和包含所述数据标准的数据汇聚子任务，并将所述数据汇聚子任务和汇聚编码分发给下属的各个部门；以使各个部门基于所述数据标准将对应的源数据库中的数据转换为符合所述数据标准的待汇聚数据，以及将对应的汇聚编码与待汇聚数据进行绑定。
60.可选的，所述汇聚编码包括所述下级平台的平台标识和部门的部门标识构成的唯一标识。
61.可选的，所述数据标准包括用于定义数据的信息项；所述信息项包括信息项名称、英文名称、数据类型、数据长度、描述中的至少一种；
62.所述数据标准用于将下级平台中其它数据标准的数据转换为所述数据标准的待汇聚数据。
63.根据本说明书实施例的第五方面，提供一种电子设备，包括：
64.处理器；
65.用于存储处理器可执行指令的存储器；
66.其中，所述处理器被配置为上述任一项数据汇聚方法。
67.本说明书实施例提供了数据汇聚方案，通过新增级联模块实现不同层级的平台之间的数据汇聚。具体地，通过在上级平台中部署级联模块，从而使得上级平台可以通过级联模块向各个下级平台下发包含数据标准的数据汇聚任务，并在接收到下级平台向该级联模块发送的预设通知时，通过级联模块从下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到上级平台的目的数据库中。
附图说明
68.图1是本说明书一实施例提供的数据汇聚方法的流程图；
69.图2是本说明书一实施例提供的操作界面的示意图；
70.图3是本说明书一实施例提供的数据汇聚方法的流程图；
71.图4是本说明书一实施例提供的两级级联场景下的数据汇聚的示意图；
72.图5是本说明书一实施例提供的多级级联场景下的数据汇聚的示意图；
73.图6是本说明书一实施例提供的数据汇聚装置的硬件结构图；
74.图7是本说明书一实施例提供的数据汇聚装置的模块示意图；
75.图8是本说明书一实施例提供的数据汇聚装置的模块示意图。
具体实施方式
76.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
77.在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
78.应当理解，尽管在本说明书可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
79.数据汇聚通常可以面向行业内上下级平台之间的数据上报等业务。一般可以是指上级平台对下级平台的数据进行收集和汇总。
80.在有的实施例中，通过数据汇聚上级平台可以及时感知下级平台的业务情况，从而针对性地调整相关业务，以更好地提供服务。比如应急管理部门通过数据汇聚任务汇聚下级涉灾部门的气象、地震、海洋等灾害风险普查数据，为进一步的灾害预防打下基础。
81.然而，在实际应用中，由于不同平台之间存在数据隔离和通信隔离的问题，因此上级平台难以直接从下级平台获取想要的数据。
82.其中，所述数据隔离的问题可以包括数据标准不统一的问题。具体地，不同平台在构建时可能采用不同的数据标准，从而导致上级平台的数据库无法识别下级平台中的数据，进而导致数据汇聚无法正常执行。此外，不同平台采用的数据库也各不相同，从而导致数据库之间也无法直接进行数据交互，进而导致数据汇聚无法正常执行。
83.所述通信隔离的问题主要是由于平台安全性问题，上下级平台之间无法通过常规方式进行通信，从而导致无法进行数据汇聚。
84.基于此，本说明书旨在提供一种能够跨平台进行数据汇聚的方案，通过新增级联模块实现不同层级的平台之间的数据汇聚。具体地，通过在上级平台中部署级联模块，从而使得上级平台可以通过级联模块向各个下级平台下发包含数据标准的数据汇聚任务，并在接收到下级平台向该级联模块发送的预设通知时，通过级联模块从下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到上级平台的目的数据库中。
85.以下请参考图1所示的一种数据汇聚方法为例加以介绍，所述方法可以应用于上级平台，所述上级平台对应于至少一个下级平台，所述上级平台中部署有级联模块，所述级联模块用于进行不同层级的平台间的数据交互；所述方法可以包括以下步骤：
86.步骤110：响应于数据汇聚任务的创建请求，根据所述创建请求中指定的目标下级平台和数据标准，创建与所述目标下级平台关联的数据汇聚任务；其中，所述数据汇聚任务中包括所述数据标准。
87.在本说明书中，所述级联模块中维护有各个下级平台的通信参数，所述级联模块通过所述通信参数建立与所述下级平台的通信连接，并通过所述通信连接传输数据。其中，级联模块与下级平台之间的通信可以是通过专用网络实现，以避免公共网络对平台安全的影响。
88.在接收到用户发起的数据汇聚任务的创建请求的情况下，可以根据该创建请求中指定的一个或多个目标下级平台，创建与每个目标下级平台关联的数据汇聚任务，并且所述数据汇聚任务中包括创建请求中指定的数据标准。
89.在一示例性的实施例中，所述数据标准可以包括多个用于定义数据的信息项；所述信息项包括信息项名称、英文名称、数据类型、数据长度、描述；
90.所述数据标准用于将各个下级平台中其它数据标准的数据转换为所述数据标准的待汇聚数据。
91.在本说明书中，可以通过信息项的形式定义数据标准。举例说明，信息项可以包括如下表1所示的内容：
[0092][0093][0094]
表1
[0095]
如表1所示的，信息项可以包括信息项名称、信息项的英文名称(即字段)、数据类型、是否主键、数据长度、描述等信息。通过定义数据标准，可以使下级平台提前准备符合该数据标准的待汇聚数据。
[0096]
在实际应用中，上级平台的用户可以登录数据汇聚平台，并在数据汇聚服务的操作界面中创建第一数据汇聚任务，以完成下级平台的指定和数据标准的定义。
[0097]
以下参考图2所示的操作界面中的示意图。上级平台的用户可以在数据汇聚的操作界面中进行编辑，以输入相关内容。
[0098]
如图2中所示的，“在线编辑”功能下，显示的编辑内容包括第一数据汇聚任务的“基本信息”、数据标准的“信息项”、下级平台(图2中未示出)、目的数据库的配置信息、调用
配置等。具体的填写字段和说明如图2中所示，这里不再一一进行赘述。
[0099]
需要说明的是，图2中所示的操作界面仅是一种示例，并不是本说明实施例具体的限定。
[0100]
值得一提的是，为了简化用户的操作难度，所述操作界面中可以展示快捷选项，并由上级平台的用户触发快捷选项以确定对应的编辑内容。用户可以通过下拉方式选择或填写内容。由上级平台自动在用户触发快捷选项后生成对应的编辑内容。其中，所述下拉方式的快捷选项中，选项内容可以是由开发人员预先配置的。
[0101]
例如，开发人员可以在数据汇聚平台上为有数据汇聚需求的平台注册账户(当然也可以由各平台的用户自己注册)；针对存在上下级对应关系的平台，可以建立上级平台和下级平台之间的关联关系。如此，在上级平台的用户进入操作界面并点击下级平台的快捷选项后，就可以以下拉方式展示与该上级平台存在关联的各个下级平台的选项。
[0102]
再例如，数据汇聚平台支持数据标准的复用；上级平台的用户在进入操作界面并点击复用历史的数据标准的快捷选项后，就可以直接加载历史的数据标准对应的各个信息项的相关内容。如果某些信息项需要修改，用户也可以随时进行修改。
[0103]
通过为上级平台提供快捷汇聚设置，上级平台的用户只需要在操作界面中选择快捷选项就可以完成配置包括定义数据标准、指定下级平台、配置数目的数据库等。之后完全由汇聚服务平台全自动执行数据汇聚，大大提高了数据汇聚效率。
[0104]
步骤120：通过所述级联模块将所述数据汇聚任务下发给所述目标下级平台。
[0105]
在创建了与各个目标下级平台关联的数据汇聚任务之后，上级平台可以通过级联模块主动将各个数据汇聚任务分发给对应的目标下级平台；
[0106]
在一示例性的实施例中，上级平台可以是在目标下级平台通过级联模块主动发起的定时轮询请求时，再下发数据汇聚任务。具体地，所述步骤120，可以包括：
[0107]
响应于所述目标下级平台向所述级联模块发起的定时轮询请求，查询是否存在与所述目标下级平台关联的数据汇聚任务；
[0108]
如果存在，通过所述级联模块将查询到的数据汇聚任务下发给所述目标下级平台。
[0109]
通过该实施例，下级平台在运行期间可以定时向上级系统的级联模块获取数据汇聚任务。
[0110]
步骤130：在接收到所述目标下级平台向所述级联模块发送的预设通知的情况下，通过所述级联模块从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
[0111]
在一示例性的实施例中，所述通过所述级联模块从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中，包括：
[0112]
通过所述级联模块从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到预设的前置库，并将所述数据汇聚任务的任务状态更新为完成；
[0113]
在所有目标下级平台关联的数据汇聚任务的任务状态均完成的情况下，通过所述级联模块将所述前置库中存储的所有目标下级平台提供的已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
[0114]
本说明书中可以设置用于存储下级系统提供的待汇聚数据的前置库，如此上级平
台可以通过级联模块先将下级平台的源数据库中的待汇聚数据写入前置库，再将前置库中的待汇聚数据写入上级平台的目的数据库。如此，避免了下级平台中源数据库暴漏在外导致的数据安全风险；以及由于无需开通源数据库到上级平台的网络策略，因此可以降低实施难度。
[0115]
在一示例性的实施例中，所述通过所述级联模块从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到预设的前置库，包括：
[0116]
通过所述级联模块启动数据交换引擎，以基于所述数据交换引擎从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入预设的到前置库；
[0117]
所述通过所述级联模块将所述前置库中存储的所述目标下级平台提供的已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中，包括：
[0118]
通过所述级联模块启动所述数据交换引擎，基于所述数据交换引擎将所述前置库中存储的所述目标下级平台提供的已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
[0119]
本说明书中通过设置数据交换引擎可以提高源数据库、前置库和目的数据库之间数据的写入效率，从而减少数据汇聚所需的时间。
[0120]
在介绍了上级平台相关的实施例后，接下来介绍与上级平台对应的下级平台相关的实施例。
[0121]
以下请参考图3所示的一种数据汇聚方法为例加以介绍，所述方法可以应用于与上级平台对应的下级平台，所述上级平台中部署有级联模块，所述级联模块用于进行不同层级的平台间的数据交互；所述方法可以包括以下步骤：
[0122]
步骤210：获取所述上级平台通过所述级联模块下发的数据汇聚任务；其中，所述数据汇聚任务中包括所述上级平台指定的数据标准。
[0123]
在本说明书中，所述级联模块中维护有所述下级平台的通信参数，所述级联模块通过所述通信参数建立与下级平台的通信连接，并通过所述通信连接传输数据。其中，级联模块与下级平台之间的通信可以是通过专用网络实现，以避免公共网络对平台安全的影响。
[0124]
结合前述图1实施例的内容，上级平台在创建了与各个下级平台关联的数据汇聚任务之后，可以通过级联模块将数据汇聚任务下发给下级平台。相应地，上级平台就可以获取到上级平台通过级联模块下发的数据汇聚任务；其中，所述数据汇聚任务中可以包括所述上级平台指定的数据标准。
[0125]
在一示例性的实施例中，所述数据标准可以包括多个用于定义数据的信息项；所述信息项包括信息项名称、英文名称、数据类型、数据长度、描述；
[0126]
所述数据标准用于将各个下级平台中其它数据标准的数据转换为所述数据标准的待汇聚数据。关于数据标准的定义可以参考前述实施例，这里不再进行赘述。
[0127]
如前所述的，上级平台可以通过级联模块主动将各个数据汇聚任务分发给对应的目标下级平台；也可以由下级平台向级联模块主动获取数据汇聚任务。具体地，所述步骤210，可以包括：
[0128]
向所述上级平台的级联模块发起定时轮询请求，查询所述上级平台中是否存在与所述下级平台关联的数据汇聚任务；
[0129]
接收所述上级平台通过所述级联模块下发的查询到的数据汇聚任务。
[0130]
通过该实施例，下级平台在运行期间可以定时通过下级级联模块主动向上级平台获取数据汇聚任务。
[0131]
步骤220：响应于所述数据汇聚任务，将所述下级平台的源数据库中的数据转换为符合所述数据标准的待汇聚数据。
[0132]
在接收到数据汇聚任务之后，下级平台可以将本地的源数据库中的不符合上级平台指定数据标准的数据转换为该数据标准的待汇聚数据。
[0133]
在一示例性的实施例中，在所述下级平台包含一个或多个不同部门的情况下，所述将所述下级平台的源数据库中的数据转换为符合所述数据标准的待汇聚数据，可以包括：
[0134]
创建与下属的各个部门一一对应的汇聚编码和包含所述数据标准的数据汇聚子任务，并将所述数据汇聚子任务和汇聚编码分发给下属的各个部门；以使各个部门基于所述数据标准将对应的源数据库中的数据转换为符合所述数据标准的待汇聚数据，以及将对应的汇聚编码与待汇聚数据进行绑定。
[0135]
在本说明书中，下级平台如果下属有至少一个部门时，还需要将数据汇聚任务拆分给各个部门，具体可以创建与各个部门对应的数据汇聚子任务；由于数据汇聚子任务中同样包括上级平台指定的数据标准，因此，各个部门可以基于分配到的数据汇聚子任务中的数据标准，将本地数据库中的数据转换为符合该数据标准的待汇聚数据。
[0136]
在本说明书中，为了避免数据汇聚过程中同平台中的不同部门之间数据冲突，数据汇聚平台默认开启“汇聚编码”功能，这样在下发数据汇聚任务时可以自动生成各个部门对应的汇聚编码。
[0137]
在一示例性的实施例中，所述汇聚编码包括所述下级平台的平台标识和部门的部门标识构成的唯一标识。例如，汇聚编码(12位)＝下级平台的uuid(8位)+部门id(4位)。这里，uuid可以作为平台标识使用，部门id可以作为部门标识使用。
[0138]
如果各部门存在能够用于数据汇聚的唯一标识且不会导致数据冲突，那么也可以关闭数据汇聚平台的“汇聚编码”功能。
[0139]
这里以开启“汇聚编码”功能为例，假设下发数据汇聚任务到下级平台的2个部门如下表2所示：
[0140][0141][0142]
表2
[0143]
其中，下级平台的平台标识为“00000001”，部门1的部门标识为“0001”，部门2的部门标识为“0002”。
[0144]
进一步的，部门1提供的待汇聚数据可以关联汇聚编码00000001-0001，而部门2提供的待汇聚数据可以关联汇聚编码00000001-0002；这样即使部门1和部门2存在完全相同的待汇聚数据，也可以根据关联的汇聚编码进行区分，而不会引起数据冲突。
[0145]
如此，通过汇聚编码可以避免数据汇聚过程中同平台中的不同部门之间数据冲
突。
[0146]
步骤230：向所述上级平台的级联模块发送预设通知，以使所述上级平台通过所述级联模块从所述源数据库中将已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
[0147]
当下级平台将本地的源数据库中的数据转换为符合数据标准的待汇聚数据之后，可以向上级平台的级联模块发送预设通知，以通知上级平台本下级平台已经准备完毕可以进行数据汇聚。
[0148]
关于所述上级平台通过所述级联模块从所述源数据库中将已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中，可以参考前述图1相关的实施例，这里不再进行赘述。
[0149]
在本说明书中，可以根据实际需求中平台层级的不同，将级联模块的级联方式分为两级级联和多级级联。
[0150]
其中两级级联可以是指上级平台和下级平台的级联，这样的级联只有两个层级的平台所以称为两级级联。而多级级联顾名思义不只有两个层级，例如三层平台的三级级联即上级平台与下级平台级联，而下级平台还与下级平台的下级平台级联。
[0151]
下面可以参考图4所示的两级级联场景下的数据汇聚的示意图。如图4所示，级联模块可以部署到上级平台中，以为上级平台与下级平台之间提供数据交换的服务。
[0152]
步骤1：上级平台a可以创建与下级平台b关联的数据汇聚任务，并将该数据汇聚任务同步到级联模块。
[0153]
步骤2：上级平台a通过级联模块将数据汇聚任务下发给下级平台b。这样，下级平台b就可以根据数据汇聚任务中的数据标准将自己对应的数据库中数据转换为该数据标准的待汇聚数据。
[0154]
步骤3：级联模块通过下级系统启动数据交换引擎。数据交换引擎根据数据标准的信息项自动在前置库中创建目的表。如果开启有“汇聚编码”服务，则在目的表中自动增加汇聚编码列。
[0155]
步骤4-步骤5：数据交换引擎从下级平台b的源数据库中将已转换为数据标准的待汇聚数据写入到前置库的目的表。
[0156]
步骤6：数据交换引擎通知下级平台b从源数据库到前置库的传输完成。
[0157]
步骤7：下级平台b向上级平台a的级联模块发送预设通知；该预设通知中可以包括前置库地址、前置库的目的表、是否启用汇聚编码等信息。
[0158]
步骤8：上级平台a通过级联模块启动数据交换引擎。响应于步骤7的预设通知，启动数据交换引擎准备将前置库中待汇聚数据传输到上级平台a对应的目的数据库。如果启用汇聚编码，数据交换引擎会在目的数据库的目的表中增加汇聚编码列。
[0159]
步骤9-步骤10：数据交换引擎将前置库中存储的已转换为数据标准的待汇聚数据写入到上级平台a的目的数据库中。
[0160]
如果上级平台a创建的数据汇聚任务配置为周期自动调度，则数据交换引擎将以指定周期将下级平台b的源数据库中的待汇聚数据传输到前置库中，即图4中步骤4-步骤5，后续步骤6-10相同，这里不再进行赘述。
[0161]
接下来请参考图5所示的多级级联场景下的数据汇聚的示意图。多级级联场景下
的数据汇聚流程与两级级联场景下的数据汇聚流程类似：
[0162]
数据交换引擎在完成从下级平台的源数据库中待汇聚数据传输到前置库后，通知下级平台数据传输完成，以及下级平台向上级平台的级联模块发送预设通知，上级平台则通过级联模块启动数据交换引擎将数据从下级平台的前置库传输到本级平台的前置库中。
[0163]
例如，第三级的平台c作为平台b的下级平台时，数据交换引擎将平台c源数据库的待汇聚数据传输到前置库(即图5中的步骤6-7)后，平台c可以通过级联模块通知上级的平台b(即图5中的步骤9)；进而第二级的平台b通过级联模块启动数据交换引擎将待汇聚数据从平台c的前置库传输到平台b的前置库中(即图5中的步骤11-12)；
[0164]
而第二级的平台b作为平台a的下级平台时，数据交换引擎在完成从平台c的前置库传输到平台b的前置库后，平台b可以通过级联模块通知上级的平台a(即图5中的步骤14)；进而第一级的平台a通过级联模块启动数据交换引擎将待汇聚数据从平台b的前置库传输到平台a的目的数据库中(即图5中的步骤16-步骤17)。
[0165]
综上所述，本说明书实施例通过新增级联模块实现不同层级的平台之间的数据汇聚。具体地，通过在上级平台中部署级联模块，从而使得上级平台可以通过级联模块向各个下级平台下发包含数据标准的数据汇聚任务，并在接收到下级平台向该级联模块发送的预设通知时，通过级联模块从下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到上级平台的目的数据库中。
[0166]
一方面，针对上级平台提供自定义数据标准的功能；通过上级平台定义的数据标准，使得下级平台可以提供符合该数据标准的待汇聚数据；由于在进行数据汇聚之前的各个待汇聚数据都是符合相同的数据标准，数据质量较高且无需进行额外的数据转换，因此可以提高数据汇聚效率。
[0167]
另一方面，通过设置前置库，先将下级平台的源数据库中的待汇聚数据写入前置库，再将前置库中的待汇聚数据写入上级平台的目的数据库。如此，避免了下级平台中源数据库暴漏在外导致的数据安全风险；以及由于无需开通源数据库到上级平台的网络策略，因此可以降低实施难度。
[0168]
与前述数据汇聚方法实施例相对应，本说明书还提供了数据汇聚装置的实施例。所述装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机业务程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，为本说明书数据汇聚装置所在设备的一种硬件结构图，除了图6所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常根据数据汇聚实际功能，还可以包括其他硬件，对此不再赘述。
[0169]
请参见图7，为本说明书一实施例提供的数据汇聚装置的模块图，所述装置对应了图1所示实施例，应用于上级平台，所述上级平台对应于至少一个下级平台，所述上级平台中部署有级联模块，所述级联模块用于进行不同层级的平台间的数据交互；所述装置包括：
[0170]
创建单元310，响应于数据汇聚任务的创建请求，根据所述创建请求中指定的目标下级平台和数据标准，创建与所述目标下级平台关联的数据汇聚任务；其中，所述数据汇聚任务中包括所述数据标准；
[0171]
下发单元320，通过所述级联模块将所述数据汇聚任务下发给所述目标下级平台；
[0172]
汇聚单元330，在接收到所述目标下级平台向所述级联模块发送的预设通知的情况下，通过所述级联模块从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
[0173]
可选的，所述级联模块中维护有所述至少一个下级平台的通信参数，所述级联模块通过所述通信参数建立与对应的下级平台的通信连接，并通过所述通信连接传输数据。
[0174]
可选的，所述下发单元320，进一步包括：
[0175]
查询子单元，响应于所述目标下级平台向所述级联模块发起的定时轮询请求，查询是否存在与所述目标下级平台关联的数据汇聚任务；
[0176]
下发子单元，如果存在，通过所述级联模块将查询到的数据汇聚任务下发给所述目标下级平台。
[0177]
可选的，所述数据标准包括用于定义数据的信息项；所述信息项包括信息项名称、英文名称、数据类型、数据长度、描述中的至少一种；
[0178]
所述数据标准用于将下级平台中其它数据标准的数据转换为所述数据标准的待汇聚数据。
[0179]
可选的，所述汇聚单元330，进一步包括：
[0180]
第一写入子单元，通过所述级联模块从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入到预设的前置库，并将所述数据汇聚任务的任务状态更新为完成；
[0181]
第二写入子单元，在所有目标下级平台关联的数据汇聚任务的任务状态均完成的情况下，通过所述级联模块将所述前置库中存储的所有目标下级平台提供的已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
[0182]
可选的，所述第一写入子单元，进一步包括通过所述级联模块启动数据交换引擎，以基于所述数据交换引擎从所述目标下级平台的源数据库中将已转换为所述数据标准的待汇聚数据写入预设的到前置库；
[0183]
所述第二写入子单元，进一步包括通过所述级联模块启动所述数据交换引擎，基于所述数据交换引擎将所述前置库中存储的所述目标下级平台提供的已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
[0184]
请参见图8，为本说明书一实施例提供的数据汇聚装置的模块图，所述装置对应了图4所示实施例，应用于与上级平台对应的下级平台，所述上级平台中部署有级联模块，所述级联模块用于进行不同层级的平台间的数据交互；所述装置包括：
[0185]
获取单元410，获取所述上级平台通过所述级联模块下发的数据汇聚任务；其中，所述数据汇聚任务中包括所述上级平台指定的数据标准；
[0186]
转换单元420，响应于所述数据汇聚任务，将所述下级平台的源数据库中的数据转换为符合所述数据标准的待汇聚数据；
[0187]
汇聚单元430，向所述上级平台的级联模块发送预设通知，以使所述上级平台通过所述级联模块从所述源数据库中将已转换为所述数据标准的待汇聚数据写入到所述上级平台的目的数据库中。
[0188]
可选的，所述级联模块中维护有所述下级平台的通信参数，所述级联模块通过所述通信参数建立与所述下级平台的通信连接，并通过所述通信连接传输数据。
[0189]
可选的，所述获取单元410，进一步包括：
[0190]
查询子单元，向所述上级平台的级联模块发起定时轮询请求，查询所述上级平台中是否存在与所述下级平台关联的数据汇聚任务；
[0191]
接收子单元，接收所述上级平台通过所述级联模块下发的查询到的数据汇聚任务。
[0192]
可选的，所述转换单元420，进一步包括：
[0193]
在所述下级平台包含一个或多个不同部门的情况下，创建与下属的各个部门一一对应的汇聚编码和包含所述数据标准的数据汇聚子任务，并将所述数据汇聚子任务和汇聚编码分发给下属的各个部门；以使各个部门基于所述数据标准将对应的源数据库中的数据转换为符合所述数据标准的待汇聚数据，以及将对应的汇聚编码与待汇聚数据进行绑定。
[0194]
可选的，所述汇聚编码包括所述下级平台的平台标识和部门的部门标识构成的唯一标识。
[0195]
可选的，所述数据标准包括用于定义数据的信息项；所述信息项包括信息项名称、英文名称、数据类型、数据长度、描述中的至少一种；
[0196]
所述数据标准用于将下级平台中其它数据标准的数据转换为所述数据标准的待汇聚数据。
[0197]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
[0198]
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
[0199]
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0200]
以上图7和图8描述了数据汇聚装置的内部功能模块和结构示意，其实质上的执行主体可以为一种电子设备，包括：
[0201]
处理器；
[0202]
用于存储处理器可执行指令的存储器；
[0203]
其中，所述处理器被配置为执行前述任一实施例所述的数据汇聚方法。
[0204]
在上述电子设备的实施例中，应理解，该处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，而前述的存储器可以是只读存储器(英文：read-only memory，缩写：
rom)、随机存取存储器(英文：random access memory，简称：ram)、快闪存储器、硬盘或者固态硬盘。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0205]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0206]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。
[0207]
应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。