基础数据平台的切源方法、相关装置及计算机存储介质与流程

文档序号:26854570发布日期:2021-10-09 03:06阅读:149来源:国知局
基础数据平台的切源方法、相关装置及计算机存储介质与流程

1.本技术涉及计算机技术领域,特别涉及一种基础数据平台的切源方法、相关装置及计算机存储介质。


背景技术:

2.切源是指从原本的系统接收数据,改为到另一个系统接收数据。
3.为统一主要数据集市的数据源,需要统一从基础数据平台获取经过清洗、整合的数据,从而实现输出同源的工作目标。
4.目前,还没有一种专门针对切源的一种方法,导致现有的切源工作流程复杂。


技术实现要素:

5.有鉴于此,本技术提供一种基础数据平台的切源方法、相关装置及计算机存储介质,可以。
6.本技术第一方面提供了一种基础数据平台的切帮助各数据集市快速有效地完成数据切源工作源方法,包括:
7.获取基础数据平台的基础层数据;
8.将所述基础数据平台的基础层数据按照预先设定的存储方式,加工至目标系统的中间层数据模型中,得到切源后的中间层数据;
9.判断所述切源后的中间层数据与未切源前的中间层数据是否存在差异;
10.若判断出所述切源后的中间层数据与未切源前的中间层数据存在差异,则确定出现所述差异的原因;
11.根据所述原因对应的解决方式,对所述切源后的中间层数据进行修正,得到修正后的中间层数据;
12.将修正后的中间层数据,加工至应用层数据模型中,得到第一切源报表。
13.可选的,所述基础数据平台的切源方法,还包括:
14.若判断出所述切源后的中间层数据与未切源前的中间层数据未存在差异,则将所述切源后的中间层数据,加工至应用层数据模型中,得到第二切源报表。
15.可选的,在本技术的另一实施例中,所述将修正后的中间层数据,加工至应用层数据模型中,得到第一切源报表之后,还包括:
16.接收第一验证结果;其中,所述第一验证结果表明所述第一切源报表中的数据是否有误;
17.若所述第一验证结果表明所述第一切源报表中的数据有误,则返回执行所述判断所述切源后的中间层数据与未切源前的中间层数据是否存在差异步骤;
18.若所述第一验证结果表明所述第一切源报表中的数据无误,则结束当前切源。
19.可选的,在本技术的另一实施例中,所述若判断出所述切源后的中间层数据与未切源前的中间层数据未存在差异,则将所述切源后的中间层数据,加工至应用层数据模型
中,得到第二切源报表之后,还包括:
20.接收第二验证结果;其中,所述第二验证结果表明所述第二切源报表中的数据是否有误;
21.若所述第二验证结果表明所述第二切源报表中的数据有误,则返回执行所述判断所述切源后的中间层数据与未切源前的中间层数据是否存在差异步骤;
22.若所述第二验证结果表明所述第二切源报表中的数据无误,则结束当前切源。
23.本技术第二方面提供了一种基础数据平台的切源装置,包括:
24.获取单元,用于获取基础数据平台的基础层数据;
25.第一加工单元,用于将所述基础数据平台的基础层数据按照预先设定的存储方式,加工至目标系统的中间层数据模型中,得到切源后的中间层数据;
26.判断单元,用于判断所述切源后的中间层数据与未切源前的中间层数据是否存在差异;
27.确定单元,用于若所述判断单元判断出,所述切源后的中间层数据与未切源前的中间层数据存在差异,则确定出现所述差异的原因;
28.修正单元,用于根据所述原因对应的解决方式,对所述切源后的中间层数据进行修正,得到修正后的中间层数据;
29.第二加工单元,用于将修正后的中间层数据,加工至应用层数据模型中,得到第一切源报表。
30.可选的,所述基础数据平台的切源装置,还包括:
31.所述第二加工单元,还用于若所述判断单元判断出,所述切源后的中间层数据与未切源前的中间层数据未存在差异,则将所述切源后的中间层数据,加工至应用层数据模型中,得到第二切源报表。
32.可选的,所述基础数据平台的切源装置,还包括:
33.第一接收单元,用于接收第一验证结果;其中,所述第一验证结果表明所述第一切源报表中的数据是否有误;
34.第一激活单元,若所述第一验证结果表明所述第一切源报表中的数据有误,则激活所述判断单元执行所述判断所述切源后的中间层数据与未切源前的中间层数据是否存在差异;
35.第一结束单元,用于若所述第一验证结果表明所述第一切源报表中的数据无误,则结束当前切源。
36.可选的,所述基础数据平台的切源装置,还包括:
37.第二接收单元,用于接收第二验证结果;其中,所述第二验证结果表明所述第二切源报表中的数据是否有误;
38.第二激活单元,用于若所述第二验证结果表明所述第二切源报表中的数据有误,则激活所述判断单元执行所述判断所述切源后的中间层数据与未切源前的中间层数据是否存在差异;
39.第二结束单元,用于若所述第二验证结果表明所述第二切源报表中的数据无误,则结束当前切源。
40.本技术第三方面提供了一种电子设备,包括:
41.一个或多个处理器;
42.存储装置,其上存储有一个或多个程序;
43.当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如第一方面任意一项所述的基础数据平台的切源方法。
44.本技术第四方面提供了一种计算机存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如第一方面任意一项所述的基础数据平台的切源方法。
45.由以上方案可知,本技术提供的一种基础数据平台的切源方法、相关装置及计算机存储介质中,所述基础数据平台的切源方法包括:首先,获取基础数据平台的基础层数据;然后,将所述基础数据平台的基础层数据按照预先设定的存储方式,加工至目标系统的中间层数据模型中,得到切源后的中间层数据;再判断所述切源后的中间层数据与未切源前的中间层数据是否存在差异;若判断出所述切源后的中间层数据与未切源前的中间层数据存在差异,则确定出现所述差异的原因;并根据所述原因对应的解决方式,对所述切源后的中间层数据进行修正,得到修正后的中间层数据;最终将修正后的中间层数据,加工至应用层数据模型中,得到第一切源报表。从而达到帮助各数据集市快速有效地完成数据切源工作的目的。
附图说明
46.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
47.图1为本技术实施例提供的一种基础数据平台的切源方法的具体流程图;
48.图2为本技术另一实施例提供的一种基础数据平台的切源方法的具体流程图;
49.图3为本技术另一实施例提供的一种基础数据平台的切源装置的示意图;
50.图4为本技术另一实施例提供的一种基础数据平台的切源装置的示意图;
51.图5为本技术另一实施例提供的一种实现基础数据平台的切源方法的电子设备的示意图。
具体实施方式
52.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
53.需要注意,本技术中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系,而术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者
设备中还存在另外的相同要素。
54.本技术实施例提供了一种基础数据平台的切源方法,如图1所示,具体包括以下步骤:
55.s101、获取基础数据平台的基础层数据。
56.具体的,可以采用但不限于在基础数据平台中订阅的方式,获取基础数据平台的基础层数据,此处不做限定。
57.s102、将切源报表基础数据平台的基础层数据按照预先设定的存储方式,加工至目标系统的中间层数据模型中,得到切源后的中间层数据。
58.其中,中间层数据模型中存有最新的全量数据。预先设定的存储方式即加工基础层数据时的存储过程,用于将数据累计更新至中间层数据模型中。
59.s103、判断切源报表切源后的中间层数据与未切源前的中间层数据是否存在差异。
60.具体的,若判断出切源报表切源后的中间层数据与未切源前的中间层数据存在差异,则执行步骤s104。若判断出切源报表切源后的中间层数据与未切源前的中间层数据未存在差异,则执行步骤s107。
61.s104、确定出现切源报表差异的原因。
62.具体的,根据当前存在的差异,确定是进行将切源报表基础数据平台的基础层数据按照预先设定的存储方式,加工至目标系统的中间层数据模型中,改写的问题,还是基础数据平台中的数据映射问题。
63.s105、根据切源报表原因对应的解决方式,对切源报表切源后的中间层数据进行修正,得到修正后的中间层数据。
64.若是将切源报表基础数据平台的基础层数据按照预先设定的存储方式,加工至目标系统的中间层数据模型中,改写的问题,修正切源后的程序逻辑问题;若是基础数据平台中的数据映射问题,则协助上游修正数据质量问题。
65.s106、将修正后的中间层数据,加工至应用层数据模型中,得到第一切源报表。
66.其中,应用层数据模型,也称事实表,是用于出报表的模型。
67.s107、将切源报表切源后的中间层数据,加工至应用层数据模型中,得到第二切源报表。
68.由以上方案可知,本技术提供的一种基础数据平台的切源方法:首先,获取基础数据平台的基础层数据;然后,将切源报表基础数据平台的基础层数据按照预先设定的存储方式,加工至目标系统的中间层数据模型中,得到切源后的中间层数据;再判断切源报表切源后的中间层数据与未切源前的中间层数据是否存在差异;若判断出切源报表切源后的中间层数据与未切源前的中间层数据存在差异,则确定出现切源报表差异的原因;并根据切源报表原因对应的解决方式,对切源报表切源后的中间层数据进行修正,得到修正后的中间层数据;最终将修正后的中间层数据,加工至应用层数据模型中,得到第一切源报表;若判断出切源报表切源后的中间层数据与未切源前的中间层数据未存在差异,直接将切源报表切源后的中间层数据,加工至应用层数据模型中,得到第二切源报表。从而达到帮助各数据集市快速有效地完成数据切源工作的目的。
69.可选的,在本技术的另一实施例中,基础数据平台的切源方法的一种实施方式,如
图2所示,包括:
70.s201、获取基础数据平台的基础层数据。
71.需要说明的是,步骤s201的具体实现过程与上述步骤s101的具体实现过程相同,可相互参见。
72.s202、将切源报表基础数据平台的基础层数据按照预先设定的存储方式,加工至目标系统的中间层数据模型中,得到切源后的中间层数据。
73.需要说明的是,步骤s202的具体实现过程与上述步骤s201的具体实现过程相同,可相互参见。
74.s203、判断切源报表切源后的中间层数据与未切源前的中间层数据是否存在差异。
75.具体的,若判断出切源报表切源后的中间层数据与未切源前的中间层数据存在差异,则执行步骤s204。若判断出切源报表切源后的中间层数据与未切源前的中间层数据未存在差异,则执行步骤s207。
76.需要说明的是,步骤s203的具体实现过程与上述步骤s103的具体实现过程相同,可相互参见。
77.s204、确定出现切源报表差异的原因。
78.需要说明的是,步骤s204的具体实现过程与上述步骤s104的具体实现过程相同,可相互参见。
79.s205、根据切源报表原因对应的解决方式,对切源报表切源后的中间层数据进行修正,得到修正后的中间层数据。
80.需要说明的是,步骤s205的具体实现过程与上述步骤s105的具体实现过程相同,可相互参见。
81.s206、将修正后的中间层数据,加工至应用层数据模型中,得到第一切源报表。
82.需要说明的是,步骤s206的具体实现过程与上述步骤s106的具体实现过程相同,可相互参见。
83.s208、接收第一验证结果。
84.其中,切源报表第一验证结果表明切源报表第一切源报表中的数据是否有误。
85.具体的,若切源报表第一验证结果表明切源报表第一切源报表中的数据有误,则返回执行步骤s203;若切源报表第一验证结果表明切源报表第一切源报表中的数据无误,则执行步骤s210。
86.s210、结束当前切源。
87.s207、将切源报表切源后的中间层数据,加工至应用层数据模型中,得到第二切源报表。
88.还需要说明的是,步骤s207的具体实现过程与上述步骤s107的具体实现过程相同,可相互参见。
89.s209、接收第二验证结果。
90.其中,切源报表第二验证结果表明切源报表第二切源报表中的数据是否有误。
91.具体的,若切源报表第二验证结果表明切源报表第二切源报表中的数据有误,则返回执行步骤s203;若切源报表第二验证结果表明切源报表第二切源报表中的数据无误,
则执行步骤s210。
92.由以上方案可知,本技术提供的一种基础数据平台的切源方法:在得到第一切源报表或第二切源报表后,通过业务端或业务部门反馈的第一验证结果或第二验证结果,对第一切源报表或第二切源报表进行修正、完善。从而达到帮助各数据集市快速有效地完成数据切源工作的目的。
93.本技术实施例提供了一种基础数据平台的切源装置,如图3所示,具体包括:
94.获取单元301,用于获取基础数据平台的基础层数据。
95.第一加工单元302,用于将切源报表基础数据平台的基础层数据按照预先设定的存储方式,加工至目标系统的中间层数据模型中,得到切源后的中间层数据。
96.判断单元303,用于判断切源报表切源后的中间层数据与未切源前的中间层数据是否存在差异。
97.确定单元304,用于若切源报表判断单元303判断出,切源报表切源后的中间层数据与未切源前的中间层数据存在差异,则确定出现切源报表差异的原因。
98.修正单元305,用于根据切源报表原因对应的解决方式,对切源报表切源后的中间层数据进行修正,得到修正后的中间层数据。
99.第二加工单元306,用于将修正后的中间层数据,加工至应用层数据模型中,得到第一切源报表。
100.本技术上述实施例公开的单元的具体工作过程,可参见对应的方法实施例内容,如图1所示,此处不再赘述。
101.可选的,在本技术的另一实施例中,基础数据平台的切源装置的一种实施方式,还包括:
102.第二加工单元,还用于若切源报表判断单元303判断出,切源报表切源后的中间层数据与未切源前的中间层数据未存在差异,则将切源报表切源后的中间层数据,加工至应用层数据模型中,得到第二切源报表。
103.本技术上述实施例公开的单元的具体工作过程,可参见对应的方法实施例内容,如图1所示,此处不再赘述。
104.由以上方案可知,本技术提供的一种基础数据平台的切源装置:首先,获取单元301获取基础数据平台的基础层数据;然后,第一加工单元302将切源报表基础数据平台的基础层数据按照预先设定的存储方式,加工至目标系统的中间层数据模型中,得到切源后的中间层数据;判断单元303判断切源报表切源后的中间层数据与未切源前的中间层数据是否存在差异;若判断单元303判断出切源报表切源后的中间层数据与未切源前的中间层数据存在差异,则确定单元304确定出现切源报表差异的原因;修正单元305根据切源报表原因对应的解决方式,对切源报表切源后的中间层数据进行修正,得到修正后的中间层数据;最终第二加工单元306将修正后的中间层数据,加工至应用层数据模型中,得到第一切源报表;若判断单元303判断出切源报表切源后的中间层数据与未切源前的中间层数据未存在差异,第二加工单元306直接将切源报表切源后的中间层数据,加工至应用层数据模型中,得到第二切源报表。从而达到帮助各数据集市快速有效地完成数据切源工作的目的。
105.可选的,在本技术的另一实施例中,基础数据平台的切源装置的一种实施方式,如图4所示,包括:
106.获取单元401,用于获取基础数据平台的基础层数据。
107.第一加工单元402,用于将切源报表基础数据平台的基础层数据按照预先设定的存储方式,加工至目标系统的中间层数据模型中,得到切源后的中间层数据。
108.判断单元403,用于判断切源报表切源后的中间层数据与未切源前的中间层数据是否存在差异。
109.确定单元404,用于若切源报表判断单元403判断出,切源报表切源后的中间层数据与未切源前的中间层数据存在差异,则确定出现切源报表差异的原因。
110.修正单元405,用于根据切源报表原因对应的解决方式,对切源报表切源后的中间层数据进行修正,得到修正后的中间层数据。
111.第二加工单元406,用于将修正后的中间层数据,加工至应用层数据模型中,得到第一切源报表。
112.第一接收单元407,用于接收第一验证结果。
113.其中,切源报表第一验证结果表明切源报表第一切源报表中的数据是否有误。
114.第一激活单元408,若切源报表第一验证结果表明切源报表第一切源报表中的数据有误,则激活切源报表判断单元403执行切源报表判断切源报表切源后的中间层数据与未切源前的中间层数据是否存在差异;
115.第一结束单元409,用于若切源报表第一验证结果表明切源报表第一切源报表中的数据无误,则结束当前切源。
116.本技术上述实施例公开的单元的具体工作过程,可参见对应的方法实施例内容,如图2所示,此处不再赘述。
117.可选的,在本技术的另一实施例中基础数据平台的切源装置的一种实施方式,包括:
118.第二加工单元406,还用于若切源报表判断单元403判断出,切源报表切源后的中间层数据与未切源前的中间层数据未存在差异,则将切源报表切源后的中间层数据,加工至应用层数据模型中,得到第二切源报表。
119.本技术上述实施例公开的单元的具体工作过程,可参见对应的方法实施例内容,如图2所示,此处不再赘述。
120.可选的,在本技术的另一实施例中基础数据平台的切源装置的一种实施方式,包括:
121.第二接收单元,用于接收第二验证结果。
122.其中,切源报表第二验证结果表明切源报表第二切源报表中的数据是否有误。
123.第二激活单元,用于若切源报表第二验证结果表明切源报表第二切源报表中的数据有误,则激活切源报表判断单元403执行切源报表判断切源报表切源后的中间层数据与未切源前的中间层数据是否存在差异。
124.第二结束单元,用于若切源报表第二验证结果表明切源报表第二切源报表中的数据无误,则结束当前切源。
125.本技术上述实施例公开的单元的具体工作过程,可参见对应的方法实施例内容,如图2所示,此处不再赘述。
126.由以上方案可知,本技术提供的一种基础数据平台的切源装置:在得到第一切源
报表或第二切源报表后,通过业务端或业务部门反馈的第一验证结果或第二验证结果,对第一切源报表或第二切源报表进行修正、完善。从而达到帮助各数据集市快速有效地完成数据切源工作的目的。
127.本技术另一实施例提供了一种电子设备,如图5所示,包括:
128.一个或多个处理器501。
129.存储装置502,其上存储有一个或多个程序。
130.当所述一个或多个程序被所述一个或多个处理器501执行时,使得所述一个或多个处理器501实现如上述实施例中任意一项所述的基础数据平台的切源方法。
131.本技术另一实施例提供了一种计算机存储介质,其上存储有计算机程序,其中,计算机程序被处理器执行时实现如上述实施例中任意一项所述的基础数据平台的切源方法。
132.在本技术公开的上述实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本公开的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
133.另外,在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,直播设备,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read

only memory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
134.专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下,在其它实施例中实现。因此,本技术将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1