一种数据处理方法、装置及电子设备与流程

本申请涉及大数据、数据挖掘与分析和数据预处理相结合的，特别是涉及一种数据处理方法、装置及电子设备。

背景技术：

1、离线数据仓库技术(extract-transform-load，etl)可以用来描述数据从源端经过对数据的抽取(extract)、转换(transform)、加载(load)到目的端的过程，其目的是将企业中的分散、零乱、标准不统一的大批量数据整合到一起，为企业的决策提供分析依据。其中，源端可以为业务系统数据库、分布式文件系统、或者其他数据仓，目的端可以为目标系统数据库、目标文件系统、或者其他目标数据仓。

2、随着通信技术的快速发展，离线etl处理的企业数据也就随之增多，导致数据处理时效性低，且在对整合后的大批量数据进行处理时，数据处理效率低。

技术实现思路

1、本申请提供了一种数据处理方法、装置及电子设备，可以解决当前由于离线etl处理的企业数据增多，导致数据处理时效性低，且在对整合后的大批量数据进行处理时，数据处理效率低的问题。

2、第一方面，本申请提供了一种数据处理方法，所述方法包括：

3、获取业务数据的变更日志，根据所述变更日志加工出同构表和同构拉链表，其中，所述同构表中包括业务当前时点的数据信息，所述同构拉链表中包括所述业务当前时点和历史时点的数据信息；

4、根据所述同构表和所述同构拉链表中各个数据的维度和第一指标生成时点指标明细宽表，其中，所述时点指标明细宽表用于表征业务在时点对应的指标明细数据；

5、根据所述各个数据的维度和第二指标生成区间指标明细宽表，其中，所述区间指标明细宽表用于表征业务在时间区间内对应的指标明细数据。

6、通过上述方法，根据业务数据的变更日志加工出同构表和同构拉链表，并基于同构表和同构拉链表生成时点指标明细宽表和区间指标明细宽表，完成对业务数据的整合，不仅能提高数据处理的时效性，且在基于时点指标明细宽表和区间指标明细宽表进行数据处理时，还能提高数据处理效率，进而可以提高业务决策效率。

7、在一些可能的设计中，所述获取变更日志，包括：

8、从数据库中采集所述变更日志，并将所述变更日志发送至消息中心；

9、订阅所述消息中心，获取所述变更日志。

10、通过上述方法，不仅能实时获取各个业务系统的业务数据，还能提高数据传输的效率。

11、在一些可能的设计中，所述根据所述变更日志加工出同构表和同构拉链表，包括：

12、根据所述变更日志更新初始同构表，得到所述同构表；

13、将所述变更日志保存至初始同构拉链表，得到所述同构拉链表。

14、通过上述方法，将变更日志分别存入同构表和同构拉链表，进而可以基于同构表和同构拉链表加工出时点指标明细宽表和区间指标明细宽表。

15、在一些可能的设计中，所述各个数据的维度至少包括客户标识、产品大类、产品小类；所述第一指标至少包括名义余额、信用风险敞口；所述第二指标至少包括交易量、收入。

16、在一些可能的设计中，在所述生成区间指标明细宽表之后，还包括：

17、响应于用户触发目标选项的操作，在所述时点指标明细宽表和/或所述区间指标明细宽表中进行筛选，并在用户界面展示筛选出的目标数据信息。

18、在一些可能的设计中，所述目标选项至少包括目标对象数值选项、目标对象标识、第一指标选项、第二指标选项、产品类别选项和时间选项。

19、通过上述方法，便于用户快速且精准的查找数据信息。

20、第二方面，本申请提供了一种数据处理装置，所述装置包括：

21、加工模块，用于获取业务数据的变更日志，根据所述变更日志加工出同构表和同构拉链表，其中，所述同构表中包括业务当前时点的数据信息，所述同构拉链表中包括所述业务当前时点和历史时点的数据信息；

22、第一生成模块，用于根据所述同构表和所述同构拉链表中各个数据的维度和第一指标生成时点指标明细宽表，其中，所述时点指标明细宽表用于表征业务在时点对应的指标明细数据；

23、第二生成模块，用于根据所述各个数据的维度和第二指标生成区间指标明细宽表，其中，所述区间指标明细宽表用于表征业务在时间区间内对应的指标明细数据。

24、在一些可能的设计中，所述加工模块具体用于：

25、从数据库中采集所述变更日志，并将所述变更日志发送至消息中心；

26、订阅所述消息中心，获取所述变更日志。

27、在一些可能的设计中，所述加工模块还用于：

28、根据所述变更日志更新初始同构表，得到所述同构表；

29、将所述变更日志保存至初始同构拉链表，得到所述同构拉链表。

30、在一些可能的设计中，所述各个数据的维度至少包括客户标识、产品大类、产品小类；所述第一指标至少包括名义余额、信用风险敞口；所述第二指标至少包括交易量、收入。

31、在一些可能的设计中，所述装置还包括：

32、展示模块，用于响应于用户触发目标选项的操作，在所述时点指标明细宽表和/或所述区间指标明细宽表中进行筛选，并在用户界面展示筛选出的目标数据信息。

33、在一些可能的设计中，所述目标选项至少包括目标对象数值选项、目标对象标识、第一指标选项、第二指标选项、产品类别选项和时间选项。

34、第三方面，本申请提供了一种电子设备，包括：

35、存储器，用于存放计算机程序；

36、处理器，用于执行所述存储器上所存放的计算机程序时，实现上述第一方面的数据处理方法步骤。

37、第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的数据处理方法步骤。

38、第五方面，本申请提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面的数据处理方法步骤。

39、基于上述数据处理方法，根据业务数据的变更日志加工出同构表和同构拉链表，并基于同构表和同构拉链表生成时点指标明细宽表和区间指标明细宽表，完成对业务数据的整合，不仅能提高数据处理的时效性，且在基于时点指标明细宽表和区间指标明细宽表进行数据处理时，还能提高数据处理效率，进而可以提高业务决策效率。

40、上述第二方面至第五方面中的各个方面以及各个方面可能达到的技术效果参照上述针对第一方面或者第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述获取变更日志，包括：

3.如权利要求1所述的方法，其特征在于，所述根据所述变更日志加工出同构表和同构拉链表，包括：

4.如权利要求1所述的方法，其特征在于，所述各个数据的维度至少包括客户标识、产品大类、产品小类；所述第一指标至少包括名义余额、信用风险敞口；所述第二指标至少包括交易量、收入。

5.如权利要求1所述的方法，其特征在于，在所述生成区间指标明细宽表之后，还包括：

6.如权利要求5所述的方法，其特征在于，所述目标选项至少包括目标对象数值选项、目标对象标识、第一指标选项、第二指标选项、产品类别选项和时间选项。

7.一种数据处理装置，其特征在于，所述装置包括：

8.如权利要求7所述的装置，其特征在于，所述加工模块具体用于：

9.如权利要求7所述的装置，其特征在于，所述加工模块还用于：

10.如权利要求7所述的装置，其特征在于，所述各个数据的维度至少包括客户标识、产品大类、产品小类；所述第一指标至少包括名义余额、信用风险敞口；所述第二指标至少包括交易量、收入。

11.如权利要求7所述的装置，其特征在于，所述装置还包括：

12.如权利要求11所述的装置，其特征在于，所述目标选项至少包括目标对象数值选项、目标对象标识、第一指标选项、第二指标选项、产品类别选项和时间选项。

13.一种电子设备，其特征在于，包括：

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的方法步骤。

15.一种计算机程序产品，其特征在于，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述如权利要求1-6中任一项所述的方法。

技术总结
本申请公开一种数据处理方法、装置及电子设备，涉及大数据、数据分析与挖掘和数据预处理相结合的技术领域，该方法包括：获取业务数据的变更日志，根据该变更日志加工出同构表和同构拉链表，然后，根据同构表和同构拉链表中各个数据的维度和第一指标生成时点指标明细宽表，并根据同构表和同构拉链表中各个数据的维度和第二指标生成区间指标明细宽表。通过上述方法，不仅能提高数据处理的时效性，且在基于时点指标明细宽表和区间指标明细宽表进行数据处理时，还能提高数据处理效率，进而可以提高业务决策效率。

技术研发人员：曹海傧
受保护的技术使用者：中国建设银行股份有限公司
技术研发日：
技术公布日：2024/1/15