基于整合模型的数据处理方法、装置、设备及介质与流程

本公开涉及计算机以及数据处理领域，尤其涉及一种基于整合模型的数据处理方法、装置、设备及介质。

背景技术：

1、相关技术中，对于资产管理规模(asset under management，aum)的计算存在多方面的缺陷。具体来说，由于在多层级加工数据时会对aum供数时效性产生影响。且涉及到多表关联和大量查询时效率低下，而且模型的可复用性和扩展性较低，导致从数据管理的角度难以形成有效的指标管理、维护和通知机制。

技术实现思路

1、本公开提供一种基于整合模型的数据处理方法、装置、设备及介质，以解决相关技术中数据处理的可复用性和扩展性较低，导致数据管理的效率和实用性均无法满足需求的技术问题。本公开的技术方案如下：

2、第一方面，本公开实施例提供一种基于整合模型的数据处理方法，包括：

3、获取用于数据处理的贴源数据，贴源数据中包含多个数据项；

4、确定贴源数据中的至少一个实体，并将与实体粒度相同的数据项挂接在实体上；

5、基于每个实体上挂接的多个数据项，对每个实体的属性进行定义；

6、利用定义后的实体的数据项进行分析，得到贴源数据的分析结果。

7、在一种可能实施的方式中，本发明实施例提供的方法中，确定贴源数据中的至少一个实体，并将与实体粒度相同的数据项挂接在实体上之后，方法还包括：

8、基于每个数据项的属性，对每个实体上挂接的数据项进行去重、归并和拆分处理。

9、在一种可能实施的方式中，本发明实施例提供的方法中，基于每个数据项的属性，对每个实体上挂接的数据项进行去重、归并和拆分处理，包括：

10、依次对每个实体上挂接的数据项的命名和定义进行分析；

11、将命名相同且定义相同的数据项进行去重处理；

12、将命名相同但定义不同的数据项进行拆分处理；

13、将定义相同但命名不同的数据项进行归并处理。

14、在一种可能实施的方式中，本发明实施例提供的方法中，基于每个实体上挂接的多个数据项，对每个实体的属性进行定义，包括：

15、对于每个实体的属性，明确属性的命名和来源；

16、对于每个实体的属性，定义属性的业务规则和业务口径。

17、在一种可能实施的方式中，本发明实施例提供的方法中，基于每个实体上挂接的多个数据项，对每个实体的属性进行定义之后，方法还包括：

18、基于实体的属性，将每个实体与对应的数据表和列进行绑定。

19、第二方面，本公开实施例还提供一种基于整合模型的数据处理装置，包括：

20、获取单元，用于获取用于数据处理的贴源数据，贴源数据中包含多个数据项；

21、处理单元，用于确定贴源数据中的至少一个实体，并将与实体粒度相同的数据项挂接在实体上；

22、定义单元，用于基于每个实体上挂接的多个数据项，对每个实体的属性进行定义；

23、分析单元，用于利用定义后的实体的数据项进行分析，得到贴源数据的分析结果。

24、在一种可能实施的方式中，本发明实施例提供的装置中，处理单元还用于：

25、基于每个数据项的属性，对每个实体上挂接的数据项进行去重、归并和拆分处理。

26、在一种可能实施的方式中，本发明实施例提供的装置中，处理单元具体用于：

27、依次对每个实体上挂接的数据项的命名和定义进行分析；

28、将命名相同且定义相同的数据项进行去重处理；

29、将命名相同但定义不同的数据项进行拆分处理；

30、将定义相同但命名不同的数据项进行归并处理。

31、在一种可能实施的方式中，本发明实施例提供的装置中，定义单元具体用于：

32、对于每个实体的属性，明确属性的命名和来源；

33、对于每个实体的属性，定义属性的业务规则和业务口径。

34、在一种可能实施的方式中，本发明实施例提供的装置中，定义单元还用于：

35、基于实体的属性，将每个实体与对应的数据表和列进行绑定。

36、第三方面，本公开实施例还提供一种电子设备，包括：

37、处理器；

38、用于存储所述处理器可执行指令的存储器；

39、其中，所述处理器被配置为执行所述指令，以实现第一方面所述的方法。

40、第四方面，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现第一方面所述的方法。

41、第五方面，本公开实施例还提供一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现第一方面所述的方法。

42、本公开的实施例提供的技术方案至少带来以下有益效果：

43、在本公开的实施例中，首先获取用于数据处理的贴源数据，然后确定贴源数据中的至少一个实体，并将与实体粒度相同的数据项挂接在实体上，再基于每个实体上挂接的多个数据项，对每个实体的属性进行定义，最后利用定义后的实体的数据项进行分析，得到贴源数据的分析结果。提供了一种基于整合模型的数据处理方案，能够在构建模型时通过对贴源数据进行挂接、定义，优化了数据加工路径，减少数据处理时的复杂关联性，提升数据处理的效率，提升实用性。

44、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种基于整合模型的数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述确定所述贴源数据中的至少一个实体，并将与实体粒度相同的数据项挂接在所述实体上之后，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述基于每个数据项的属性，对每个所述实体上挂接的数据项进行去重、归并和拆分处理，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于每个实体上挂接的多个数据项，对每个所述实体的属性进行定义，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于每个实体上挂接的多个数据项，对每个所述实体的属性进行定义之后，所述方法还包括：

6.一种基于整合模型的数据处理装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述处理单元还用于：

8.根据权利要求7所述的装置，其特征在于，所述处理单元具体用于：

9.根据权利要求6所述的装置，其特征在于，所述定义单元具体用于：

10.根据权利要求9所述的装置，其特征在于，所述定义单元还用于：

11.一种电子设备，其特征在于，包括：

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的基于整合模型的数据处理方法。

13.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1-5中任一项所述的基于整合模型的数据处理方法。

技术总结
本公开实施例提供一种基于整合模型的数据处理方法、装置、设备及介质，以解决相关技术中数据处理的可复用性和扩展性较低，导致数据管理的效率和实用性均无法满足需求的问题，该基于整合模型的数据处理方法包括：获取用于数据处理的贴源数据，所述贴源数据中包含多个数据项；确定所述贴源数据中的至少一个实体，并将与实体粒度相同的数据项挂接在所述实体上；基于每个实体上挂接的多个数据项，对每个所述实体的属性进行定义；利用定义后的所述实体的数据项进行分析，得到所述贴源数据的分析结果。

技术研发人员：林素芬
受保护的技术使用者：中国建设银行股份有限公司
技术研发日：
技术公布日：2024/1/15