一种基于标准数据流水账的数据融合方法及系统与流程

本发明涉及数据治理，具体的说是一种基于标准数据流水账的数据融合方法及系统。

背景技术：

1、基层数据治理过程中，数据采集是基本工作，为了减少数据重复录入，已建平台间的数据融合是常见需求。数据提供方可以调用数据接收方的数据接口传递数据，但这种方式加大了平台间的藕合，对于数据提供方，后续有新的平台融合需求时，仍需修改功能，做重复工作，藕合更多平台。而对于数据接收方，被动的接收数据，也可能影响自己的平台的业务。

技术实现思路

1、本发明针对目前技术发展的需求和不足之处，提供一种基于标准数据流水账的数据融合方法及系统，旨在采用流水账的形式记录数据变动，避免平台间的业务解耦，完成数据融合。

2、第一方面，本发明提供一种基于标准数据流水账的数据融合方法，解决上述技术问题采用的技术方案如下：

3、一种基于标准数据流水账的数据融合方法，其针对需要融合的数据制定标准数据项，当一方发生数据变动时，将变动数据以流水账形式推送到约定的中间库表中，另一方按需读取数据并治理到自己平台，即可完成数据融合。

4、可选的，所涉及数据融合方法的具体实现步骤如下：

5、分析双方平台的数据融合需求，基于平台间共性需求制定标准数据项；

6、制定流水账格式，流水账对应数据库的一张数据表，数据表包含制定的标准数据项、流水号字段、操作类型、数据提供方业务主键、数据推送时间；

7、数据提供方将自己平台的变动记录按照流水账格式推送到中间库中；

8、数据接收方读取中间库的数据，并根据流水账格式获取数据提供方业务主键和操作类型，以按需将数据治理到自己的平台，完成数据融合。

9、优选的，所涉及数据表中的流水号字段记录操作的流水号，为int自增类型，由数据表自动生成；

10、数据表中的操作类型包括增加、删除、更新；

11、数据表中的数据提供方业务主键标志本次变动的业务数据。

12、进一步可选的，所涉及数据提供方将自己平台的变动记录按照流水账格式进行整理，随后推送到中间库中；整理内容包括标准数据项、数据变动类型、数据提供方业务主键、数据推送时间，其中，数据变动类型与数据表中的操作类型相同。

13、进一步可选的，所涉及数据接收方按需将中间库数据治理到自己的平台，完成数据融合，这一过程中，

14、操作类型为增加操作时，将数据提供方业务主键和自己平台治理后的数据关联，

15、操作类型为修改和删除操作时，根据数据提供方业务主键关联自己业务数据进行处理。

16、优选的，所涉及中间库中的流水账格式数据不允许修改和删除，

17、对于数据提供方，仅能对中间库中的流水账格式数据进行读取和插入；

18、对于接收方，仅能对中间库中的流水账格式数据进行读取。

19、第二方面，本发明提供一种基于标准数据流水账的数据融合系统，解决上述技术问题采用的技术方案如下：

20、一种基于标准数据流水账的数据融合系统，其包括：

21、标准制定模块，用于分析双方平台的数据融合需求，基于平台间共性需求制定标准数据项；

22、格式制定模块，用于制定流水账格式，流水账对应数据库的一张数据表，数据表包含制定的标准数据项、流水号字段、操作类型、数据提供方业务主键、数据推送时间；

23、数据推送模块，用于供数据提供方将自己平台的变动记录按照流水账格式推送到中间库中；

24、数据融合模块，用于供数据接收方读取中间库的数据，并根据流水账格式获取数据提供方业务主键和操作类型，以按需将数据治理到自己的平台，完成数据融合。

25、可选的，所涉及数据表中的流水号字段记录操作的流水号，为int自增类型，由数据表自动生成；

26、数据表中的操作类型包括增加、删除、更新；

27、数据表中的数据提供方业务主键标志本次变动的业务数据。

28、进一步可选的，所涉及数据提供方将自己平台的变动记录按照流水账格式进行整理，随后推送到中间库中；整理内容包括标准数据项、数据变动类型、数据提供方业务主键、数据推送时间，其中，数据变动类型与数据表中的操作类型相同。

29、进一步可选的，所涉及数据融合模块供数据接收方按需将中间库数据治理到自己的平台，完成数据融合，这一过程中，

30、操作类型为增加操作时，所述数据融合模块将数据提供方业务主键和自己平台治理后的数据关联，

31、操作类型为修改和删除操作时，所述数据融合模块根据数据提供方业务主键关联自己业务数据进行处理。

32、本发明的一种基于标准数据流水账的数据融合方法及系统，与现有技术相比具有的有益效果是：

33、(1)本发明对于要融合的数据，制定统一业务数据标准，当一方发生数据变动时，将变动数据以流水账形式推送到约定的中间库表中，另一方按需读取数据并治理到自己平台，完成数据融合；

34、(2)本发明采用流水账的形式将数据变动推送到中间库记录，实现平台间解耦；在数据接收方按需主动读取数据治理到自己平台内，有新增融合需求时，可直接读取，提供方不做重复工作，同时流水账数据留存，便于问题溯源。

技术特征：

1.一种基于标准数据流水账的数据融合方法，其特征在于，所述数据融合方法针对需要融合的数据制定标准数据项，当一方发生数据变动时，将变动数据以流水账形式推送到约定的中间库表中，另一方按需读取数据并治理到自己平台，即可完成数据融合。

2.根据权利要求1所述的一种基于标准数据流水账的数据融合方法，其特征在于，所述数据融合方法的具体实现步骤如下：

3.根据权利要求2所述的一种基于标准数据流水账的数据融合方法，其特征在于，数据表中的流水号字段记录操作的流水号，为int自增类型，由数据表自动生成；

4.根据权利要求3所述的一种基于标准数据流水账的数据融合方法，其特征在于，数据提供方将自己平台的变动记录按照流水账格式进行整理，随后推送到中间库中；整理内容包括标准数据项、数据变动类型、数据提供方业务主键、数据推送时间，其中，数据变动类型与数据表中的操作类型相同。

5.根据权利要求4所述的一种基于标准数据流水账的数据融合方法，其特征在于，数据接收方按需将中间库数据治理到自己的平台，完成数据融合，这一过程中，操作类型为增加操作时，将数据提供方业务主键和自己平台治理后的数据关联，

6.根据权利要求1所述的一种基于标准数据流水账的数据融合方法，其特征在于，中间库中的流水账格式数据不允许修改和删除，

7.一种基于标准数据流水账的数据融合系统，其特征在于，其包括：

8.根据权利要求7所述的一种基于标准数据流水账的数据融合系统，其特征在于，所述数据表中的流水号字段记录操作的流水号，为int自增类型，由数据表自动生成；

9.根据权利要求8所述的一种基于标准数据流水账的数据融合系统，其特征在于，数据提供方将自己平台的变动记录按照流水账格式进行整理，随后推送到中间库中；整理内容包括标准数据项、数据变动类型、数据提供方业务主键、数据推送时间，其中，数据变动类型与数据表中的操作类型相同。

10.根据权利要求9所述的一种基于标准数据流水账的数据融合系统，其特征在于，所述数据融合模块供数据接收方按需将中间库数据治理到自己的平台，完成数据融合，这一过程中，

技术总结
本发明公开一种基于标准数据流水账的数据融合方法及系统，涉及数据治理技术领域，数据融合方法包括：分析双方平台的数据融合需求，基于平台间共性需求制定标准数据项；制定流水账格式，流水账对应数据库的一张数据表，数据表包含制定的标准数据项、流水号字段、操作类型、数据提供方业务主键、数据推送时间；数据提供方将自己平台的变动记录按照流水账格式推送到中间库中；数据接收方读取中间库的数据，并根据流水账格式获取数据提供方业务主键和操作类型，以按需将数据治理到自己的平台，完成数据融合。本发明采用流水账的形式记录数据变动，可以避免平台间的业务解耦，完成数据融合。

技术研发人员：尹金刚,赵海兴,孙长杰,陈义蒙,邱阳
受保护的技术使用者：浪潮卓数大数据产业发展有限公司
技术研发日：
技术公布日：2024/1/25