一种银行数据溯源管理方法、装置、系统和介质与流程

1.本技术涉及计算机技术领域，特别涉及一种银行数据溯源管理方法、装置、系统和介质。


背景技术：

2.目前，随着银行国际化的不断提高，需要处理越来越多的国际业务，因此银行开发了海外分行监管报送及内部管理主题应用系统，为海外各分行加工海外共享数据集，存储到各行数据库，并支持各行用户访问本行数据集数据。
3.海外分行监管报送及内部管理主题应用系统基于统一数据平台的海外数据，进行领域明细数据和特有指标加工，由海外分行监管报送及内部管理主题应用系统读取统一数据平台的数据，按海外分行需要生成和存储监管报送数据，并生成数据接口文件。海外分行监管报送及内部管理主题应用系统产品开发的存储过程通过自动抽取、计算、汇总和分析监管报表所需数据，同时需要结合业务规则，进行加工生成监管报送要求的格式报表，主要依赖于上游源数据表结构，涉及系统数据表、数据仓库模型较多，字段映射关系复杂。
4.字段映射关系目前由开发人员进行人工一一比对识别，并以文档形式保存，人工成本较高，效率较低，体验性较差。


技术实现要素：

5.有鉴于此，本技术的目的在于提供一种银行数据溯源管理方法、装置、系统和介质，可以降低人工成本，提高效率，增强用户的使用体验。
6.提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
7.为实现上述目的，本技术有如下技术方案：
8.第一方面，本技术实施例提供了一种银行数据溯源管理方法，应用于银行后台系统，包括：
9.导入贴源层数据结构，以形成贴源层数据字典；
10.导入数据仓库模型，以形成数据仓库和所述贴源层数据结构之间的第一映射关系和第一加工规则；
11.导入数据加工脚本，以形成所述数据加工脚本和所述数据仓库之间的第二映射关系和第二加工规则；
12.当收到所述数据加工脚本的字段时，根据所述第一映射关系、第二映射关系、第一加工规则和第二加工规则，输出所述数据加工脚本的字段对应的所述数据仓库的字段和所述贴源层数据结构的字段。
13.在一种可能的实现方式中，所述方法还包括：
14.当所述第一映射关系和/或第二映射关系发生变更时，发出通知。
15.在一种可能的实现方式中，所述形成数据仓库和所述贴源层数据结构之间的第一映射关系，包括：
16.一个所述贴源层数据结构的字段对应多个所述数据仓库的数据表，分别建立对应的所述第一映射关系。
17.在一种可能的实现方式中，所述方法还包括：
18.多个所述数据仓库的数据表对应一个所述数据仓库的字段。
19.第二方面，本技术实施例提供了一种银行数据溯源管理装置，应用于银行后台系统，包括：
20.第一导入单元，用于导入贴源层数据结构，以形成贴源层数据字典；
21.第二导入单元，用于导入数据仓库模型，以形成数据仓库和所述贴源层数据结构之间的第一映射关系和第一加工规则；
22.第三导入单元，导入数据加工脚本，以形成所述数据加工脚本和所述数据仓库之间的第二映射关系和第二加工规则；
23.输出单元，用于当收到所述数据加工脚本的字段时，根据所述第一映射关系、第二映射关系、第一加工规则和第二加工规则，输出所述数据加工脚本的字段对应的所述数据仓库的字段和所述贴源层数据结构的字段。
24.在一种可能的实现方式中，所述装置还包括：
25.通知单元，用于当所述第一映射关系和/或第二映射关系发生变更时，发出通知。
26.在一种可能的实现方式中，所述第二导入单元，具体用于：
27.一个所述贴源层数据结构的字段对应多个所述数据仓库的数据表，分别建立对应的所述第一映射关系。
28.在一种可能的实现方式中，所述装置还包括：
29.对应单元，用于多个所述数据仓库的数据表对应一个所述数据仓库的字段。
30.第三方面，本技术实施例提供了一种银行数据溯源管理系统，包括：
31.存储器，用于存储计算机程序；
32.处理器，用于执行所述计算机程序时实现如上述所述银行数据溯源管理方法的步骤。
33.第四方面，本技术实施例提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述所述银行数据溯源管理方法的步骤。
34.与现有技术相比，本技术实施例具有以下有益效果：
35.本技术实施例提供了一种银行数据溯源管理方法、装置、系统和介质，可应用于金融领域或其他领域。导入贴源层数据结构，以形成贴源层数据字典，导入数据仓库模型，以形成数据仓库和贴源层数据结构之间的第一映射关系和第一加工规则，导入数据加工脚本，以形成数据加工脚本和数据仓库之间的第二映射关系和第二加工规则，当收到数据加工脚本的字段时，根据映射关系和加工规则，输出数据加工脚本的字段对应的数据仓库的字段和贴源层数据结构的字段。从而无需人工一一比对识别，实现自动化的建立映射关系和加工规则，并且可以根据映射关系和加工规则自动输出对应字段，实现了对各个字段的功能、数据的梳理，提升了效率，增强了用户的使用体验。
附图说明
36.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
37.图1示出了本技术实施例提供的一种银行数据溯源管理方法的流程图；
38.图2示出了本技术实施例提供的一种提现上中下游各部分数据关系的示意图；
39.图3示出了本技术实施例提供的一种银行数据溯源管理装置的示意图。
具体实施方式
40.需要说明的是，本发明提供的一种银行数据溯源管理方法、装置、系统和介质，可应用于金融领域或其他领域。上述仅为示例，并不对本发明提供的一种银行数据溯源管理方法、装置、系统和介质的应用领域进行限定。
41.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
42.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
43.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
44.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
45.正如背景技术中的描述，目前，随着银行国际化的不断提高，需要处理越来越多的国际业务，因此银行开发了海外分行监管报送及内部管理主题应用系统，为海外各分行加工海外共享数据集，存储到各行数据库，并支持各行用户访问本行数据集数据。
46.海外分行监管报送及内部管理主题应用系统基于统一数据平台的海外数据，进行领域明细数据和特有指标加工，由海外分行监管报送及内部管理主题应用系统读取统一数据平台的数据，按海外分行需要生成和存储监管报送数据，并生成数据接口文件。海外分行监管报送及内部管理主题应用系统产品开发的存储过程通过自动抽取、计算、汇总和分析监管报表所需数据，同时需要结合业务规则，进行加工生成监管报送要求的格式报表，主要依赖于上游源数据表结构，涉及系统数据表、数据仓库模型较多，字段映射关系复杂。
47.字段映射关系目前由开发人员进行人工一一比对识别，并以文档形式保存，人工成本较高，效率较低，体验性较差。
48.从上述技术背景的描述中可以发现，现有技术的主要缺点有：
49.1、成本高：涉及数据结构繁多，数据模型复杂，目前是人工一一比对识别，并以文档形式保存。随着海外分行监管报送及内部管理主题应用系统的推广，数据层、模型表和抽
数规则日渐增多，会造成人力成本激增，且在做数据加工时仅依靠文档查询关联关系比较杂乱。
50.2、及时性：开发测试工作效率较低，一旦出错，需要人工逐个字段进行检查比对，增加了开发测试工作的耗时。
51.为了解决以上技术问题，本技术实施例提供了一种银行数据溯源管理方法、装置、系统和介质，可应用于金融领域或其他领域。导入贴源层数据结构，以形成贴源层数据字典，导入数据仓库模型，以形成数据仓库和贴源层数据结构之间的第一映射关系和第一加工规则，导入数据加工脚本，以形成数据加工脚本和数据仓库之间的第二映射关系和第二加工规则，当收到数据加工脚本的字段时，根据映射关系和加工规则，输出数据加工脚本的字段对应的数据仓库的字段和贴源层数据结构的字段。从而无需人工一一比对识别，实现自动化的建立映射关系和加工规则，并且可以根据映射关系和加工规则自动输出对应字段，实现了对各个字段的功能、数据的梳理，提升了效率，增强了用户的使用体验。
52.示例性方法
53.参见图1所示，为本技术实施例提供的一种银行数据溯源管理方法的流程图，应用于银行后台系统，包括：
54.s101：导入贴源层数据结构，以形成贴源层数据字典。
55.在本技术实施例中，可以导入贴源层数据结构，以形成贴源层数据字典，即本技术实施例中，为了实现银行数据的溯源，首先需要导入贴源层数据结构，具体的，数据贴源层，用来储存原始数据，即贴源层数据结构，同步的脚本和数据的表，要和原始的表有一定的联系，用于方便数据治理，数据溯源等。
56.数据字典是指对数据的数据项、数据结构、数据流、数据存储、处理逻辑等进行定义和描述，其目的是对数据流程图中的各个元素做出详细的说明，使用数据字典为简单的建模项目。简而言之，数据字典是描述数据的信息集合，是对系统中使用的所有数据元素的定义的集合。数据字典(data dictionary)是一种用户可以访问的记录数据库和应用程序元数据的目录。从而方便后续的数据溯源。
57.举例来说，参见图2所示，贴源层数据结构可以包括源系统表1和源系统表2，源系统表1和源系统表2分别对应着源系统字段1和源系统字段2。
58.s102：导入数据仓库模型，以形成数据仓库和所述贴源层数据结构之间的第一映射关系和第一加工规则。
59.在本技术实施例中，可以导入数据仓库模型，以形成数据仓库和贴源层数据结构之间的第一映射关系和第一加工规则，即导入数据仓库模型，建立数据仓库层和贴源层数据结构之间的映射关系。
60.由于数据仓库的数仓字段和贴源层的源系统字段之间的映射关系不一定是直接使用的默认值，有些字段存在需要做加工转换后再采集的情况，因此，为了准确无误的实现数据的溯源，除了获取形成数据仓库和贴源层数据结构之间的第一映射关系之外，还需要获取形成数据仓库和贴源层数据结构之间的第一加工规则。
61.在一种可能的实现方式中，一个贴源层数据结构的字段对应多个数据仓库的数据表，分别建立对应的第一映射关系，即数据仓库会存在不同的表字段名称且映射对象相同的一对多的情况。
62.举例来说，参见图2所示，源系统字段1既可以对应于数仓表1，也可以对应于数仓表2，即既可以建立源系统字段1和数仓表1的映射关系，也可以建立源系统字段1和数仓表2的映射关系。
63.此外，一个贴源层数据结构的字段也可以对应一个数据仓库的数据表，例如图2所示，源系统字段2可以对应于一个数仓表3。
64.在一种可能的实现方式中，在数据仓库中，多个数据仓库的数据表可以对应于一个数据仓库的字段，举例来说，参见图2所示，数仓表1和数仓表2可以均对应于数仓字段1.
65.此外，一个数据仓库的数据表也可以对应于一个数据仓库的字段，例如图2所示，数仓表3对应于数仓字段2。
66.s103：导入数据加工脚本，以形成数据加工脚本和所述数据仓库之间的第二映射关系和第二加工规则。
67.即对于银行开发的海外分行监管报送及内部管理主题应用系统来说，即大数据平台-组织决策支持系统(bdp-odss，big data platform-organizational decision support system)为了进行数据溯源，最下游的为海外分行监管报送及内部管理主题应用系统层，中游为数据仓库层，上游为贴源层，可以导入数据加工脚本，以形成数据加工脚本和数据仓库之间的第二映射关系和第二加工规则，以建立上游、中游和下游之间统一的映射关系。
68.举例来说，参见图2所示，bdp-odss可以包括odss表1和odss表2，odss表1对应着odss字段1，odss表2对应着odss字段2。
69.s104：当收到所述数据加工脚本的字段时，根据所述第一映射关系、第二映射关系、第一加工规则和第二加工规则，输出所述数据加工脚本的字段对应的所述数据仓库的字段和所述贴源层数据结构的字段。
70.在本技术实施例中，当收到数据加工脚本的字段时，可以根据第一映射关系、第二映射关系、第一加工规则和第二加工规则，输出数据加工脚本的字段对应的数据仓库的字段和贴源层数据结构的字段。
71.即可以通过输入字段或者表名，可以输出相关的源系统字段、数据仓库字段，并体现输入字段或者表名，与相关的源系统字段、数据仓库字段之间的映射关系，以实现溯源关系的展示。
72.在一种可能的实现方式中，当上游表结构发生变更、或业务规则发生变动，在映射规则需要变更时，即当第一映射关系和/或第二映射关系发生变更时，可以发出通知，以便及时记录变更具体信息和变更人，且通知开发和测试人员及时做出更改。
73.本技术实施例提供了一种银行数据溯源管理方法，可应用于金融领域或其他领域。该方法包括：导入贴源层数据结构，以形成贴源层数据字典，导入数据仓库模型，以形成数据仓库和贴源层数据结构之间的第一映射关系和第一加工规则，导入数据加工脚本，以形成数据加工脚本和数据仓库之间的第二映射关系和第二加工规则，当收到数据加工脚本的字段时，根据映射关系和加工规则，输出数据加工脚本的字段对应的数据仓库的字段和贴源层数据结构的字段。从而无需人工一一比对识别，实现自动化的建立映射关系和加工规则，并且可以根据映射关系和加工规则自动输出对应字段，实现了对各个字段的功能、数据的梳理，提升了效率，增强了用户的使用体验。
74.示例性装置
75.参见图3所示，为本技术实施例提供的一种银行数据溯源管理装置，应用于银行后台系统，包括：
76.第一导入单元201，用于导入贴源层数据结构，以形成贴源层数据字典；
77.第二导入单元202，用于导入数据仓库模型，以形成数据仓库和所述贴源层数据结构之间的第一映射关系和第一加工规则；
78.第三导入单元203，导入数据加工脚本，以形成所述数据加工脚本和所述数据仓库之间的第二映射关系和第二加工规则；
79.输出单元204，用于当收到所述数据加工脚本的字段时，根据所述第一映射关系、第二映射关系、第一加工规则和第二加工规则，输出所述数据加工脚本的字段对应的所述数据仓库的字段和所述贴源层数据结构的字段。
80.在一种可能的实现方式中，所述装置还包括：
81.通知单元，用于当所述第一映射关系和/或第二映射关系发生变更时，发出通知。
82.在一种可能的实现方式中，所述第二导入单元，具体用于：
83.一个所述贴源层数据结构的字段对应多个所述数据仓库的数据表，分别建立对应的所述第一映射关系。
84.在一种可能的实现方式中，所述装置还包括：
85.对应单元，用于多个所述数据仓库的数据表对应一个所述数据仓库的字段。
86.本技术实施例提供了一种银行数据溯源管理装置，可应用于金融领域或其他领域。利用该装置的方法包括：导入贴源层数据结构，以形成贴源层数据字典，导入数据仓库模型，以形成数据仓库和贴源层数据结构之间的第一映射关系和第一加工规则，导入数据加工脚本，以形成数据加工脚本和数据仓库之间的第二映射关系和第二加工规则，当收到数据加工脚本的字段时，根据映射关系和加工规则，输出数据加工脚本的字段对应的数据仓库的字段和贴源层数据结构的字段。从而无需人工一一比对识别，实现自动化的建立映射关系和加工规则，并且可以根据映射关系和加工规则自动输出对应字段，实现了对各个字段的功能、数据的梳理，提升了效率，增强了用户的使用体验。
87.在上述实施例的基础上，本技术实施例提供了一种银行数据溯源管理系统，包括：
88.存储器，用于存储计算机程序；
89.处理器，用于执行所述计算机程序时实现如上述银行数据溯源管理方法的步骤。
90.在上述实施例的基础上，本技术实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述银行数据溯源管理方法的步骤。
91.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程
序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
92.上述计算机可读介质可以是上述系统中所包含的；也可以是单独存在，而未装配入该系统中。
93.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。
94.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
95.以上所述仅是本技术的优选实施方式，虽然本技术已以较佳实施例披露如上，然而并非用以限定本技术。任何熟悉本领域的技术人员，在不脱离本技术技术方案范围情况下，都可利用上述揭示的方法和技术内容对本技术技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本技术技术方案的内容，依据本技术的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本技术技术方案保护的范围内。