一种银行数据加工方法、装置、系统和介质与流程

1.本技术涉及计算机技术领域，特别涉及一种银行数据加工方法、装置、系统和介质。


背景技术：

2.随着银行数据的日益增多，面对大数据平台下海量数据的加工，传统的数据加工方式已无法应对，例如传统的基于数据批处理方式+关系型数据库的数据加工方式，无法应对海外报表加工流程下的几百个加工任务。
3.且传统的数据加工方式自动化率较低，对测试人员的要求较高，准确率较低。因此，如何对银行的大批量数据进行准确的加工处理，提高工作效率，是本领域需要解决的技术问题。


技术实现要素：

4.有鉴于此，提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
5.本技术的目的在于提供一种银行数据加工方法、装置、系统和介质，可以对银行的大批量数据进行准确的加工处理，提高工作效率。
6.为实现上述目的，本技术有如下技术方案：
7.第一方面，本技术实施例提供了一种银行数据加工方法，包括：
8.从数据湖获取待加工数据；
9.根据预设加工规则，从所述待加工数据中获取与各个预设主题对应的第一初始数据进行加工，得到第一加工数据；
10.根据报表加工规则，从所述待加工数据中获取报表业务数据进行加工，得到报表加工数据；
11.将所述第一加工数据存储为历史数据，将所述报表加工数据存储为报表制作数据源；
12.根据报表模板，链接所述报表制作数据源进行加工，生成最终报表。
13.在一种可能的实现方式中，所述根据预设加工规则，从所述待加工数据中获取与各个预设主题对应的第一初始数据进行加工，得到第一加工数据，包括：
14.根据所述预设加工规则，从所述待加工数据中获取客户、账户、交易和/或汇总主题对应的所述第一初始数据进行加工，得到所述第一加工数据。
15.在一种可能的实现方式中，还包括：
16.对所述最终报表进行展示。
17.在一种可能的实现方式中，所述方法还包括：
18.所述根据预设加工规则，从所述待加工数据中获取与各个预设主题对应的第一初
始数据进行加工，得到第一加工数据，和，所述根据报表加工规则，从所述待加工数据中获取报表业务数据进行加工，得到报表加工数据，之间并行执行。
19.第二方面，本技术实施例提供了一种银行数据加工装置，包括：
20.获取单元，用于从数据湖获取待加工数据；
21.第一加工单元，用于根据预设加工规则，从所述待加工数据中获取与各个预设主题对应的第一初始数据进行加工，得到第一加工数据；
22.报表加工单元，用于根据报表加工规则，从所述待加工数据中获取报表业务数据进行加工，得到报表加工数据；
23.存储单元，用于将所述第一加工数据存储为历史数据，将所述报表加工数据存储为报表制作数据源；
24.生成单元，用于根据报表模板，链接所述报表制作数据源进行加工，生成最终报表。
25.在一种可能的实现方式中，所述第一加工单元，具体用于：
26.根据所述预设加工规则，从所述待加工数据中获取客户、账户、交易和/或汇总主题对应的所述第一初始数据进行加工，得到所述第一加工数据。
27.在一种可能的实现方式中，还包括：
28.展示单元，用于对所述最终报表进行展示。
29.在一种可能的实现方式中，还包括：
30.并行执行单元，用于所述根据预设加工规则，从所述待加工数据中获取与各个预设主题对应的第一初始数据进行加工，得到第一加工数据，和，所述根据报表加工规则，从所述待加工数据中获取报表业务数据进行加工，得到报表加工数据，之间并行执行。
31.第三方面，本技术实施例提供了一种银行数据加工系统，包括：
32.存储器，用于存储计算机程序；
33.处理器，用于执行所述计算机程序时实现如上述所述银行数据加工方法的步骤。
34.第四方面，本技术实施例提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述所述银行数据加工方法的步骤。
35.与现有技术相比，本技术实施例具有以下有益效果：
36.本技术实施例提供了一种银行数据加工方法、装置、系统和介质，可应用于大数据领域或金融领域。该方法包括：从数据湖获取待加工数据，根据预设加工规则，从待加工数据中获取与各个预设主题对应的第一初始数据进行加工，得到第一加工数据，根据报表加工规则，从待加工数据中获取报表业务数据进行加工，得到报表加工数据，将第一加工数据存储为历史数据，将报表加工数据存储为报表制作数据源，根据报表模板，链接报表制作数据源进行加工，生成最终报表。即本技术建立了全自动的数据加工方式，可以对银行的大批量数据进行准确的加工处理，提高了工作效率。
附图说明
37.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术
的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
38.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
39.图1示出了本技术实施例提供的一种银行数据加工方法的流程图；
40.图2示出了本技术实施例提供的一种大数据平台的架构图；
41.图3示出了本技术实施例提供的一种银行数据加工装置的示意图。
具体实施方式
42.需要说明的是，本发明提供的一种银行数据加工方法、装置、系统和介质，可应用于大数据领域或金融领域。上述仅为示例，并不对本发明提供的一种银行数据加工方法、装置、系统和介质的应用领域进行限定。
43.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
44.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
45.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
46.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
47.正如背景技术中的描述，经申请人研究发现，随着银行数据的日益增多，面对大数据平台下海量数据的加工，传统的数据加工方式已无法应对，例如传统的基于数据批处理方式+关系型数据库的数据加工方式，无法应对海外报表加工流程下的几百个加工任务。
48.且传统的数据加工方式自动化率较低，对测试人员的要求较高，准确率较低。因此，如何对银行的大批量数据进行准确的加工处理，提高工作效率，是本领域需要解决的技术问题。
49.举例来说，传统的海外报表系统使用的是oracle数据库，数据加工大量地用到存储过程实现，且各分行各自加工，存在大量的重复加工，而且加工方法流程多样，不易批量修改和统一管理，开发系统耦合性高，扩展性弱；没有可视化的界面方便操作和管理，参数配置都是直接在数据库操作，自动化率低，对测试人员要求高，且容易出错。
50.为了解决以上技术问题，本技术实施例提供了一种银行数据加工方法、装置、系统和介质，可应用于大数据领域或金融领域。该方法包括：从数据湖获取待加工数据，根据预设加工规则，从待加工数据中获取与各个预设主题对应的第一初始数据进行加工，得到第一加工数据，根据报表加工规则，从待加工数据中获取报表业务数据进行加工，得到报表加
工数据，将第一加工数据存储为历史数据，将报表加工数据存储为报表制作数据源，根据报表模板，链接报表制作数据源进行加工，生成最终报表。即本技术建立了全自动的数据加工方式，可以对银行的大批量数据进行准确的加工处理，提高了工作效率。
51.示例性方法
52.参见图1所示，为本技术实施例提供的一种银行数据加工方法的流程图，包括：
53.s101：从数据湖获取待加工数据。
54.在本技术实施例中，可以首先从数据湖获取待加工数据。具体的，可以在获取待加工数据的同时，设计加工任务的参数，主要的参数表可以包括：批量信息表、任务信息表、脚本信息表和日志信息表。
55.此外，可以将任务与对应的加工脚本相关联，例如可以通过任务名称和脚本的sql(结构化查询语言，structured query language)id(identity document，身份文件)相关联，具体的hive sql脚本也可以通过sqlid查到。
56.其中，hive为基于hadoop海杜普的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在hadoop中的大规模数据的机制。
57.同时，还可以搭建可视化参数管理平台，举例来说，可视化的参数管理平台是用vue开发的一个网站，主要功能包括：
58.a、通过页面对参数表进行可视化增删改查
59.b、支持批量导入批量导出，支持导出表数据的sql脚本
60.c、可通过查询批量信息、批量状态、任务状态和日志，对批量进行监控
61.d、日志管理
62.其中，vue是一个用于创建用户界面的开源javascript框架，也是一个创建单页应用的web应用框架。
63.举例来说，参见图2所示，为本技术实施例提供的一种大数据平台的架构图，从数据湖获取待加工数据可以是将数据湖加载完成的海外数据抽取至临时(temp(临时文件夹，temporary))数据区，作为海外共享数据集基础数据即待加工数据。
64.即将数据湖中的源数据ods(operational data store，操作资料存储)存入临时数据区temp。
65.s102：根据预设加工规则，从所述待加工数据中获取与各个预设主题对应的第一初始数据进行加工，得到第一加工数据。
66.在本技术实施例中，大数据平台可以包括共享数据集etl(extract-transform-load，抽取、清洗、转换、装载)(hive)，可以根据预设加工规则，从待加工数据中获取与各个预设主题对应的第一初始数据进行加工，得到第一加工数据。
67.在一种可能的实现方式中，在大数据平台的模型数据区(modl，model data area)，可以根据共享数据集数据模型加工规则，从临时数据区取数，完成客户、账户、交易、汇总等多个主题的共享数据集加工。
68.s103：根据报表加工规则，从所述待加工数据中获取报表业务数据进行加工，得到报表加工数据。
69.s104：将所述第一加工数据存储为历史数据，将所述报表加工数据存储为报表制作数据源。
70.s105：根据报表模板，链接所述报表制作数据源进行加工，生成最终报表。
71.在本技术实施例中，可以根据报表加工规则，从待加工数据中获取报表业务数据进行加工，得到报表加工数据。
72.具体的，在大数据平台的报表数据区(rept，report data area)，根据报表加工规则，从共享数据集取数，完成报表业务数据基础加工。
73.在本技术实施例中，可以将第一加工数据存储为历史数据，将报表加工数据存储为报表制作数据源。
74.具体的，可以是将当期模型数据区数据同步至历史数据区(hist，historical data area)，作为历史模型存储。
75.最后，可以根据报表模板，链接报表制作数据源进行加工，生成最终报表。具体的，可以将报表数据区数据同步至临时报表数据区(temp-rept)，作为bi工具(bi-tools，商业智能工具，business intelligence tools)报表制作数据源。
76.在进行分析加工时，可以结合临时分析数据区(temp-data)获取的历史数据区的数据协助进行分析加工。
77.在一种可能的实现方式中，可以对最终报表进行展示，以便技术人员能够更加直观的了解最终报表的内容。
78.此外，本技术实施例提供的大数据平台可以a、使用hadoop大数据处理框架，数据库使用hive数据库，文件存储在hdfs(hadoop distributed file system，分布式文件系统)上，任务运行在大数据平台上，平台可以建立任务，调度的最小执行单元为任务，多个任务有序组合成一个工作流，作为一个大的功能单位，工作流之间可以使用任务，即一个工作流中的任务可以引用到另一个工作流中，互相串联为一个更大更复杂的工作流。
79.b、每个作业都需要配置任务名，作业会通过第2点绑定的参数，查询到该作业执行需要用到参数。
80.c、通过平台的调度配置可设置多个批量，包括日批、月批、双周批、季批、半年批、年批
81.d、一种批量可由多个工作流组成，可以通过建立跨工作流虚任务进行工作流画布之间的依赖关系。
82.e、批量之间的依赖关系通过参数配置，建立标识去识别的方式进行程序逻辑方式的依赖。
83.本技术实施例提供了一种银行数据加工方法，可应用于大数据领域或金融领域。该方法包括：从数据湖获取待加工数据，根据预设加工规则，从待加工数据中获取与各个预设主题对应的第一初始数据进行加工，得到第一加工数据，根据报表加工规则，从待加工数据中获取报表业务数据进行加工，得到报表加工数据，将第一加工数据存储为历史数据，将报表加工数据存储为报表制作数据源，根据报表模板，链接报表制作数据源进行加工，生成最终报表。即本技术建立了全自动的数据加工方式，可以对银行的大批量数据进行准确的加工处理，提高了工作效率。
84.示例性装置
85.参见图3所示，为本技术实施例提供的一种银行数据加工装置的示意图，包括：
86.获取单元201，用于从数据湖获取待加工数据；
87.第一加工单元202，用于根据预设加工规则，从所述待加工数据中获取与各个预设主题对应的第一初始数据进行加工，得到第一加工数据；
88.报表加工单元203，用于根据报表加工规则，从所述待加工数据中获取报表业务数据进行加工，得到报表加工数据；
89.存储单元204，用于将所述第一加工数据存储为历史数据，将所述报表加工数据存储为报表制作数据源；
90.生成单元205，用于根据报表模板，链接所述报表制作数据源进行加工，生成最终报表。
91.在一种可能的实现方式中，所述第一加工单元，具体用于：
92.根据所述预设加工规则，从所述待加工数据中获取客户、账户、交易和/或汇总主题对应的所述第一初始数据进行加工，得到所述第一加工数据。
93.在一种可能的实现方式中，还包括：
94.展示单元，用于对所述最终报表进行展示。
95.在一种可能的实现方式中，还包括：
96.并行执行单元，用于所述根据预设加工规则，从所述待加工数据中获取与各个预设主题对应的第一初始数据进行加工，得到第一加工数据，和，所述根据报表加工规则，从所述待加工数据中获取报表业务数据进行加工，得到报表加工数据，之间并行执行。
97.本技术实施例提供了一种银行数据加工装置，可应用于大数据领域或金融领域。应用于该装置的方法包括：从数据湖获取待加工数据，根据预设加工规则，从待加工数据中获取与各个预设主题对应的第一初始数据进行加工，得到第一加工数据，根据报表加工规则，从待加工数据中获取报表业务数据进行加工，得到报表加工数据，将第一加工数据存储为历史数据，将报表加工数据存储为报表制作数据源，根据报表模板，链接报表制作数据源进行加工，生成最终报表。即本技术建立了全自动的数据加工方式，可以对银行的大批量数据进行准确的加工处理，提高了工作效率。
98.在上述实施例的基础上，本技术实施例提供了一种银行数据加工系统，包括：
99.存储器，用于存储计算机程序；
100.处理器，用于执行所述计算机程序时实现如上述银行数据加工方法的步骤。
101.在上述实施例的基础上，本技术实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述银行数据加工方法的步骤。
102.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其
中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
103.上述计算机可读介质可以是上述系统中所包含的；也可以是单独存在，而未装配入该系统中。
104.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。
105.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
106.以上所述仅是本技术的优选实施方式，虽然本技术已以较佳实施例披露如上，然而并非用以限定本技术。任何熟悉本领域的技术人员，在不脱离本技术技术方案范围情况下，都可利用上述揭示的方法和技术内容对本技术技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本技术技术方案的内容，依据本技术的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本技术技术方案保护的范围内。