业务数据的处理方法、装置、计算机设备、存储介质与流程

本公开涉及数据处理，特别是涉及一种业务数据的处理方法、装置、计算机设备、存储介质。

背景技术：

1、随着计算机和信息技术的迅猛发展和普及应用，各种行业应用系统的规模也得到了扩展，其应用所产生的数据呈爆炸性增长，远远超出了现有传统计算机技术和信息系统的处理能力。

2、然而，针对爆炸性增长的数据，传统技术中对数据的处理方式需要占用系统大量的cpu(central processing unit)和内存等资源，尤其是i(input)/o(output)资源占用极大。传统技术中对爆炸性增长的数据进行处理的过程中，会额外增加系统的处理开销，并且在分析爆炸性增长的数据时，其效率较低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种在处理大量数据的过程中，减少系统的处理开销，分析爆炸性增长的数据时，提高处理效率的业务数据的处理方法、装置、计算机设备、存储介质。

2、第一方面，本公开提供了一种业务数据的处理方法，所述方法包括：

3、利用至少一种数据采集方式获取业务数据，所述数据采集方式包括：流处理场景下的采集方式；

4、利用数据映射的方式对业务数据进行处理，得到多个子业务数据，所述数据映射的方式包括：将所述业务数据拆分为多个子数据，将多个子数据和所述子数据对应的数据标识进行分开存储；

5、对各所述子业务数据进行数据筛选，去除各所述子业务数据中与所述业务类型不相关的无效数据，以确定各所述子业务数据中目标业务数据；

6、利用回归分析法对所述目标业务数据进行回归分析，确定所述目标业务数据之间的关系。

7、在其中一个实施例中，所述方法还包括：

8、响应于需要对第一业务数据进行数据处理，将所述目标业务数据或所述子业务数据划分为多个数据区域；

9、统计多个所述数据区域中的数据，确定多个数据区域中目标数据区域；

10、在所述目标数据区域中检索所述第一业务数据，对所述第一业务数据进行数据处理，所述第一业务数据为所述目标业务数据或多个所述子业务数据中的数据。

11、在其中一个实施例中，所述统计多个所述数据区域中的数据，确定多个数据区域中目标数据区域，包括：

12、在多个所述数据区域中确定所述第一业务数据所处的第一数据区域；

13、响应于所述第一数据区域中的目标业务数据或所述子业务数据的数量大于预设的数量阈值，对所述第一数据区域进行数据划分，直至数据划分后得到的第一数据区域中的目标业务数据或所述子业务数据的数量小于等于预设的数量阈值；

14、根据数据划分后得到的第一数据区域，确定目标数据区域；

15、响应于所述第一数据区域中的目标业务数据或所述子业务数据的数量小于等于预设的数量阈值，根据所述第一数据区域，确定目标数据区域。

16、在其中一个实施例中，所述方法还包括：响应于需要对所述目标业务数据或所述子业务数据进行数据处理，对每个所述数据区域进行并行方式的数据处理。

17、在其中一个实施例中，所述利用数据映射的方式对业务数据进行处理，得到多个子业务数据，包括：

18、利用链表数组的方式确定所述业务数据中每个数据对应的链表；

19、利用散列法将所述业务数据中的每个数据转化成数组数据，所述散列法包括：除法散列法、平方散列法和斐波那契散列法；

20、将所述数组数据存储至对应的链表中，得到子业务数据。

21、在其中一个实施例中，所述方法还包括：利用布隆过滤器存储所述数组数据，所述布隆过滤器包括：计数布隆过滤器和/或光谱布隆过滤器。

22、在其中一个实施例中，所述数据采集方式还包括：etl采集方式和预设规则的采集方式，所述预设规则的采集包括：按照预设的规则从采集目标中获取业务数据。

23、在其中一个实施例中，所述目标业务数据和/或所述子业务数据存储在私有云中。

24、在其中一个实施例中，所述方法还包括：

25、对所述目标业务数据和/或所述子业务数据进行安全处理，所述安全处理包括：数据加密、数据库冗余和数据容灾；

26、使用双主服务器将所述目标业务数据和/或所述子业务数据存储在私有云中；

27、响应于客户端需要获取所述目标业务数据和/或所述子业务数据，验证所述客户端的身份信息，并保存日志信息，所述日志信息中包括：客户端获取所述目标业务数据和/或所述子业务数据的信息。

28、在其中一个实施例中，所述方法还包括：响应于所述子业务数据为非结构化数据，按照所述子业务数据的数据信息进行分类。

29、第二方面，本公开还提供了一种业务数据的处理装置。所述装置包括：

30、数据采集模块，用于利用至少一种数据采集方式获取业务数据，所述数据采集方式包括：流处理场景下的采集方式；

31、数据处理模块，用于利用数据映射的方式对业务数据进行处理，得到多个子业务数据，所述数据映射的方式包括：将所述业务数据拆分为多个子数据，将多个子数据和所述子数据对应的数据标识进行分开存储；

32、数据筛选模块，用于对各所述子业务数据进行数据筛选，去除各所述子业务数据中与所述业务类型不相关的无效数据，以确定各所述子业务数据中目标业务数据；

33、数据分析模块，用于利用回归分析法对所述目标业务数据进行回归分析，确定所述目标业务数据之间的关系。

34、第三方面，本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一方法实施例的步骤。

35、第四方面，本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法实施例的步骤。

36、第五方面，本公开还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方法实施例的步骤。

37、上述各实施例中，通过流处理场景下的采集方式来获取业务数据，能够满足大量数据的处理要求，并且实时获取业务数据，以便于后续的处理。能够提高数据的处理速度。另外，针对于大量的业务数据，利用数据映射的方式对业务数据进行处理，得到多个子业务数据。对各所述子业务数据进行数据分析，确定目标业务数据。将大量的业务数据进行映射处理后，依次对各子业务数据进行数据分析，能够提高处理速度。在处理大量业务数据的过程中，可以减少系统的处理开销。最后可以利用回归分析法对所述目标业务数据进行回归分析，确定所述目标业务数据之间的关系，因为目标业务数据是已经经过数据筛选和数据映射方式进行处理后得到的数据，因此能够对大量业务数据进行分析，提高处理效率，并可以直观的确定各个目标业务数据之间的关系，利用目标业务之间的关系能够对后续的数据进行预测。

技术特征：

1.一种业务数据的处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述统计多个所述数据区域中的数据，确定多个数据区域中目标数据区域，包括：

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：响应于需要对所述目标业务数据或所述子业务数据进行数据处理，对每个所述数据区域进行并行方式的数据处理。

5.根据权利要求1所述的方法，其特征在于，所述利用数据映射的方式对业务数据进行处理，得到多个子业务数据，包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：利用布隆过滤器存储所述数组数据，所述布隆过滤器包括：计数布隆过滤器和/或光谱布隆过滤器。

7.根据权利要求1所述的方法，其特征在于，所述数据采集方式还包括：etl采集方式和预设规则的采集方式，所述预设规则的采集包括：按照预设的规则从采集目标中获取业务数据。

8.根据权利要求1所述的方法，其特征在于，所述目标业务数据和/或所述子业务数据存储在私有云中。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于所述子业务数据为非结构化数据，按照所述子业务数据的数据信息进行分类。

11.一种业务数据的处理装置，其特征在于，所述装置包括：

12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。

14.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。

技术总结
本公开涉及一种业务数据的处理方法、装置、计算机设备、存储介质。所述方法包括：利用至少一种数据采集方式获取业务数据，所述数据采集方式包括：流处理场景下的采集方式；利用数据映射的方式对业务数据进行处理，得到多个子业务数据，数据映射的方式包括：将所述业务数据拆分为多个子数据，将多个子数据和所述子数据对应的数据标识进行分开存储；对各所述子业务数据进行数据筛选，去除各所述子业务数据中与所述业务类型不相关的无效数据，以确定各所述子业务数据中目标业务数据；利用回归分析法对所述目标业务数据进行回归分析，确定所述目标业务数据之间的关系。采用本方法能够在处理大量数据的过程中，减少系统的处理开销，提高处理效率。

技术研发人员：张威,陈亮亮,林新建,刘晓敏,何逸超
受保护的技术使用者：兴业银行股份有限公司
技术研发日：
技术公布日：2024/1/13