数据处理方法及装置、设备及存储介质与流程

本发明涉及大数据处理和实时计算，特别涉及一种数据处理方法及装置、设备及存储介质。

背景技术：

1、银行的实时数据处理系统需要从多个业务系统中实时采集数据，并进行高效处理和分析。银行业务系统的数据量非常庞大，且数据变更非常频繁，这会导致实时数据处理系统的负载非常高，实时数据处理系统的性能和稳定性非常容易受到影响。现有技术在应对高并发、大数据量和动态负载均衡时，往往存在效率低、资源利用不均等问题。因此，迫切需要一种新的方法来优化数据处理性能，提高实时数据处理系统的数据处理效率和稳定性。

技术实现思路

1、本发明提供了一种数据处理方法及装置、设备及存储介质，可以提升数据在高并发、大数据量下的处理效率，还可以确保系统的负载较为均衡，以确保资源的利用率。

2、一方面，提供了一种数据处理方法，包括：

3、获取待处理数据的特征信息；

4、对所述待处理数据的特征信息进行特征分析，以确定所述待处理数据的代表性特征；

5、基于所述代表性特征对所述待处理数据进行分类，以形成多个数据聚类；

6、基于所述代表性特征对所述数据聚类进行分片处理；

7、将分片后的数据聚类分配至不同的处理节点处，对所述数据聚类中的数据进行处理。

8、可选地，对所述待处理数据的特征信息进行特征分析，包括：

9、采用相关性分析或主成分分析对所述待处理数据的特征信息进行分析，以确定所述代表性特征。

10、可选地，基于所述代表性特征对所述待处理数据进行分类，包括：

11、获取所述代表性特征的类型；

12、基于所述代表性特征的类型选择聚类算法，所述聚类算法包括k-means算法、dbscan算法和层次聚类算法中的任意一种；

13、基于所述聚类算法对所述待处理数据进行分类，以形成多个数据聚类。

14、可选地，所述方法还包括：

15、获取数据聚类的轮廓系数或聚类纯度；

16、在所述轮廓系数或聚类纯度不满足要求时，调整所述聚类算法采用的参数，再次对所述待处理数据进行分类。

17、可选地，基于所述代表性特征对所述数据聚类进行分片处理，包括：

18、基于所述数据聚类的特征选择分片算法，所述分片算法包括哈希分片、范围分片和时间分片中的任一种；

19、基于所述分片算法对所述数据聚类中的数据进行分片。

20、可选地，该方法还包括：

21、获取所述处理节点处的负载情况；

22、基于所述处理节点处的负载情况，调整分配至各处理节点处的数据量；

23、监控待处理数据的数据量及并发状态；

24、基于待处理数据的数据量和并发状态调整数据处理逻辑。

25、可选地，基于所述处理节点处的负载情况，调整分配至各处理节点处的数据量，包括：

26、基于所述处理节点处的负载情况，采用自适应调度算法对所述各处理节点处的处理任务进行调度，所述自适应调度算法包括最小负载优先调度算法或历史负载平衡调度算法，所述最小负载优先调度算法用于将处理任务优先分配至负载最低的处理节点处，所述历史负载平衡调度算法用于根据各处理节点的历史负载情况，预测各处理节点处的未来负载情况，以将处理任务分配至未来负载情况最低的节点处。

27、另一方面，提供了一种数据处理装置，包括：

28、获取模块，用于获取待处理数据的特征信息；获取所述处理节点处的负载情况；

29、处理模块，用于对所述待处理数据的特征信息进行特征分析，以确定所述待处理数据的代表性特征；基于所述处理节点处的负载情况，调整分配至各处理节点处的数据量；

30、分类模块，用于基于所述代表性特征对所述待处理数据进行分类，以形成多个数据聚类；基于所述代表性特征对所述数据聚类进行分片处理；将分片后的数据聚类分配至不同的处理节点处，对所述数据聚类中的数据进行处理。

31、另一方面，提供了一种电子设备，所述电子设备包括如上所述的数据处理装置。

32、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器执行以实现如上任一项所述的数据处理方法。

33、本公开实施例提供的技术方案带来的有益效果是：

34、在本公开实施例中，提供了一种数据处理方法，在该方法中通过提取待处理数据的特征信息，并筛选出待处理数据的代表性特征，通过代表性特征对待处理数据进行分类，从而形成数据聚类，将具有不同代表性特征的数据聚类分配至不同的处理节点处进行处理，每个处理节点分别处理具有相同代表性特征的待处理信息，从而可以提升处理节点的数据处理效率。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，对所述待处理数据的特征信息进行特征分析，包括：

3.根据权利要求1所述的数据处理方法，其特征在于，基于所述代表性特征对所述待处理数据进行分类，包括：

4.根据权利要求3所述的数据处理方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的数据处理方法，其特征在于，基于所述代表性特征对所述数据聚类进行分片处理，包括：

6.根据权利要求1所述的数据处理方法，其特征在于，该方法还包括：

7.根据权利要求6所述的数据处理方法，其特征在于，基于所述处理节点处的负载情况，调整分配至各处理节点处的数据量，包括：

8.一种数据处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括如权利要求8所述的数据处理装置。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器执行以实现如权利要求1至7任一项所述的数据处理方法。

技术总结
本发明提供了一种数据处理方法及装置、设备及存储介质。该方法包括：获取待处理数据的特征信息；对所述待处理数据的特征信息进行特征分析，以确定所述待处理数据的代表性特征；基于所述代表性特征对所述待处理数据进行分类，以形成多个数据聚类；基于所述代表性特征对所述数据聚类进行分片处理；将分片后的数据聚类分配至不同的处理节点处，对所述数据聚类中的数据进行处理。

技术研发人员：余晓光,白建武,王宗敏
受保护的技术使用者：武汉众邦银行股份有限公司
技术研发日：
技术公布日：2025/1/28