数据汇聚方法、装置、设备及计算机可读存储介质与流程

本申请涉及大数据，特别涉及一种数据汇聚方法、装置、设备及计算机可读存储介质。

背景技术：

1、各类数据往往存储于不同的多个平台之间。当任一平台存在数据汇聚需求时，会向其他平台发出数据汇聚任务，以使其他平台将符合要求的数据汇聚至该任一平台中。

2、然而，在数据汇聚的过程中，由于各个平台的数据存储引擎不同，数据定义的方式存在差异，数据质量也层次不齐。因此，数据需求方需要对待汇聚的数据进行质量评估，对于未通过质量检测的数据进行相应的处理。

3、相关技术中，一般是在所有待汇聚数据存储入需求方的数据库后，再由需求方人工进行数据质量评估，这使得数据汇聚流程与数据的质量检测脱节，需求方需人工筛选出各批次的数据汇聚任务中汇聚的数据，并执行评估任务。这给需求方的数据使用带来了较大的不便，且有较高的人力成本。

技术实现思路

1、为克服相关技术中存在的问题，本申请提供了一种数据汇聚方法、装置、设备及计算机可读存储介质，能够解决上述问题。

2、根据本申请实施例的第一方面，提供一种数据汇聚方法，应用于需求方，所述需求方上部署有需求方质量检测模块，所述需求方对应于至少一个提供方，所述方法包括：

3、接收所述至少一个提供方中的至少一个目标提供方响应于所述需求方发起的目标数据汇聚任务上传的待汇聚数据；所述目标提供方为所述目标数据汇聚任务中要求上传数据的提供方；

4、将接收的所述待汇聚数据提供至所述需求方质量检测模块，使所述需求方质量检测模块按照所述目标数据汇聚任务的质量规则对所述待汇聚数据进行质量检测；

5、将通过所述质量检测的待汇聚数据写入所述需求方的目的数据库中。

6、根据本申请实施例的第二方面，提供一种数据汇聚方法，应用于提供方，所述提供方对应的需求方上部署有需求方质量检测模块，所述方法包括：

7、从所述需求方处获取目标数据汇聚任务；

8、根据所述目标数据汇聚任务确定待汇聚数据；

9、将所述待汇聚数据提供至所述需求方，以由所述需求方质量检测模块按照所述目标数据汇聚任务关联的质量规则进行质量检测。

10、根据本申请实施例的第三方面，提供一种数据汇聚装置，应用于需求方，所述需求方上部署有需求方质量检测单元，所述需求方对应于至少一个提供方，所述装置包括：

11、接收单元，用于接收所述至少一个提供方中的至少一个目标提供方响应于所述需求方发起的目标数据汇聚任务上传的待汇聚数据；所述目标提供方为所述目标数据汇聚任务中要求上传数据的提供方；

12、所述需求方质量检测单元，用于将接收的所述待汇聚数据提供至所述需求方质量检测模块，使所述需求方质量检测模块按照所述目标数据汇聚任务的质量规则对所述待汇聚数据进行质量检测；

13、写入单元，用于将通过所述质量检测的待汇聚数据写入所述需求方的目的数据库中。

14、根据本申请实施例的第四方面，提供一种数据汇聚装置，应用于提供方，所述提供方对应的需求方上部署有需求方质量检测模块，所述装置包括：

15、任务单元，用于从所述需求方处获取目标数据汇聚任务；

16、确定数据单元，用于根据所述目标数据汇聚任务确定待汇聚数据；

17、提供单元，用于将所述待汇聚数据提供至所述需求方，以由所述需求方质量检测模块按照所述目标数据汇聚任务关联的质量规则进行质量检测。

18、根据本申请实施例的第五方面，提供一种电子设备，包括：处理器、存储器；

19、所述存储器，用于存储计算机程序；

20、所述处理器，用于通过调用所述计算机程序，执行如第一、二方面所述的数据汇聚方法。

21、根据本申请实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一、二方面所述的数据汇聚方法。

22、本申请的实施例提供的技术方案可以包括以下有益效果：

23、本申请通过对接收的待汇聚数据按质量规则进行质量检测，并将通过检测的待汇聚数据写入数据库，一方面，能够避免多个数据汇聚任务的待汇聚数据混杂，另一方面，自动化地将质量检测环节融入数据汇聚流程中，使得数据汇聚的效率更高、更方便，且节约了人力成本。

24、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种数据汇聚方法，其特征在于，应用于需求方，所述需求方上部署有需求方质量检测模块，所述需求方对应于至少一个提供方，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在将接收的所述待汇聚数据提供至所述需求方质量检测模块之后，还包括：

3.根据权利要求2所述的方法，其特征在于，所述检测结果包括未通过所述质量检测的待汇聚数据，和/或基于所述待汇聚数据生成的检测报告。

4.根据权利要求3所述的方法，其特征在于，还包括：

5.一种数据汇聚方法，其特征在于，应用于提供方，所述提供方对应的需求方上部署有需求方质量检测模块，所述方法包括：

6.根据权利要求5所述的方法，其特征在于，还包括：

7.一种数据汇聚装置，其特征在于，应用于需求方，所述需求方上部署有需求方质量检测单元，所述需求方对应于至少一个提供方，所述装置包括：

8.一种数据汇聚装置，其特征在于，应用于提供方，所述提供方对应的需求方上部署有需求方质量检测模块，所述装置包括：

9.一种电子设备，其特征在于，包括：处理器、存储器；

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6任一项所述的数据汇聚方法。

技术总结
一种数据汇聚方法、装置、设备及计算机可读存储介质。所述方法应用于需求方，需求方上部署有质量检测模块，需求方对应至少一个提供方，方法包括：接收至少一个提供方中的至少一个目标提供方响应于需求方发起的目标数据汇聚任务上传的待汇聚数据；目标提供方为目标数据汇聚任务中要求上传数据的提供方；将接收的待汇聚数据提供至质量检测模块，使质量检测模块按照目标数据汇聚任务的质量规则对待汇聚数据进行质量检测；将通过质量检测的待汇聚数据写入需求方的目的数据库中。本申请能够自动将接收的待汇聚数据按照质量规则进行质量检测，并将通过质量检测的待汇聚数据写入数据库中，不需要人工对汇聚的数据再进行检测和评估，节省成本，提高效率。

技术研发人员：荀志
受保护的技术使用者：杭州数梦工场科技有限公司
技术研发日：
技术公布日：2024/1/15