一种基于任务链和分治法的海量数据汇总方法及系统与流程

本发明提出了一种基于任务链和分治法的海量数据汇总方法及系统，属于数据处理。

背景技术：

1、随着信息技术的飞速发展，全球数字化进程的加快催生了前所未有的数据爆炸性增长，各类行业和领域每天都在产生着海量的数据信息。大数据时代背景下，数据已经成为驱动企业决策、科研发现、社会治理等众多领域的核心要素。然而，面对这种指数级增长的数据洪流，如何快速、准确、高效地处理和汇总这些海量数据，成为了业界面临的一大严峻挑战。

2、传统的数据处理和汇总方法往往基于集中式的架构和有限的计算资源，对于小规模数据尚能应对，但在处理tb乃至pb级别的大规模数据时，往往会遇到诸多瓶颈。首先，传统的单一服务器或小型集群在存储容量和计算能力上的局限导致处理速度严重受限，无法满足实时或准实时的数据处理需求。其次，由于海量数据的传输和处理会产生高昂的i/o开销，容易造成系统延迟甚至崩溃。此外，传统的汇总方法在处理大规模数据时，通常不具备良好的横向扩展能力，无法灵活地应对数据量的增长和变化。

3、另一方面，随着分布式计算、云计算和边缘计算等新型计算模式的兴起，虽然提供了更为强大的计算资源和处理潜力，但如何设计出既能充分利用这些新型计算模式的优势，又能兼顾数据处理效率和准确性，同时还能有效解决数据分区、并行处理、结果整合等一系列复杂问题的汇总方法，无疑是一个亟待攻克的技术难题。

4、因此，研发一种能够快速、准确地对海量数据进行高效汇总的新方法和技术方案，不仅有助于推动大数据处理技术的进步，更能为各行各业的数据驱动决策提供强有力的支持，具有极其重要的理论意义和广阔的应用前景。

技术实现思路

1、本发明提供了一种基于任务链和分治法的海量数据汇总方法及系统，用以解决上述背景技术中提到的问题：

2、本发明提出的一种基于任务链和分治法的海量数据汇总方法，所述方法包括：

3、s1、根据预设的划分规则，将待处理的海量原始数据集分割为多个独立的数据子集，每个数据子集代表一个子任务；

4、s2、基于数据的关联性以及处理顺序，将所述子任务按照顺序进行连接，形成任务链；

5、s3、对任务链中的每个子任务分别进行并行处理，获得所述数据子集的汇总结果；

6、s4、通过合并算法将数据子集的汇总结果进行整合，获得整个数据集的全局汇总结果。

7、进一步的，所述s1，包括：

8、s11、将海量原始数据集划分为多个分区，对每个分区内的数据进行预处理，预处理完成后将每个分区内的数据进行汇总，形成预处理后完整的数据集；

9、s12、根据数据特性和计算资源，预设分治规则，根据预设的分治规则，执行数据分割操作，将原始数据集划分为多个独立的数据子集；

10、s13、将每个生成的数据子集定义为一个独立的子任务，所述每个子任务在分布式计算环境中作为一个单独的工作单元执行。

11、进一步的，所述s12，包括：

12、利用统计方法和机器学习算法对海量原始数据集进行特征提取，对数据的关键维度和异常值进行识别；

13、对数据集中各元素之间的依赖关系进行分析，结合当前可用的计算资源和网络状况，评估不同分割策略对资源的需求和潜在的性能瓶颈；

14、基于数据特性，设计多维度分割策略，根据实时处理性能和数据流变化动态调整分割粒度；

15、利用启发式算法或强化学习算法，预测并优化分割后的数据子集在分布式环境中的负载分布；

16、在数据分割前，采用并行计算对数据进行预处理；根据预设的分治规则和实时分析的数据特性，应用智能分割算法对预处理后的数据进行分割；

17、为每个生成的数据子集创建独立的封装文件，并生成索引机制；

18、通过仿真或小规模测试，评估分割后的数据子集在分布式计算环境中的处理效率、资源利用率和子任务间的独立性；

19、根据评估结果，对分治规则和分割策略进行迭代优化，并将优化后的分治规则和分割策略纳入知识库。

20、进一步的，所述对数据集中各元素之间的依赖关系进行分析，结合当前可用的计算资源和网络状况，评估不同分割策略对资源的需求和潜在的性能瓶颈，包括：

21、对海量数据集中的每个元素进行唯一识别并标记，并通过因果推理算法，对元素间的直接和间接依赖关系进行分析，构建数据依赖关系图谱；

22、对识别出的依赖关系进行量化评估，根据当前可用的计算资源和网络状况，构建资源使用模型，模拟不同数据处理任务对资源的需求；

23、基于数据依赖关系图谱，预设多种数据分割策略，利用资源使用模型，预测每种分割策略在不同资源配置下的执行性能，识别潜在的性能瓶颈；

24、实时监控计算资源和网络状况的动态变化，基于环境变化数据，动态评估当前分割策略的适应性和有效性，通过反馈与调整机制，根据评估结果自动触发分割策略的调整。

25、进一步的，所述实时监控计算资源和网络状况的动态变化，基于环境变化数据，动态评估当前分割策略的适应性和有效性，通过反馈与调整机制，根据评估结果自动触发分割策略的调整，包括：

26、通过实时监控系统，实时采集计算资源和网络状况数据；并对采集到的原始数据进行预处理；

27、利用时间序列分析，对计算资源和网络状况的历史数据进行分析，预测变化趋势，通过异常检测机制，监测资源使用或网络状况中的异常波动；

28、将环境变化数据与预设的性能指标进行对比分析，评估当前分割策略在不同环境下的适应性；

29、根据适应性分析的结果，设定触发分割策略调整的策略，构建包含多种备选分割策略的调整策略库；

30、通过智能决策引擎，根据实时环境变化数据和预设的触发条件，从调整策略库中选择分割策略进行调整；

31、对调整后的分割策略进行效果评估，将评估结果反馈回实时监控和适应性评估环节，形成一个闭环优化机制。

32、进一步的，所述基于数据特性，设计多维度分割策略，根据实时处理性能和数据流变化动态调整分割粒度，包括：

33、对数据在不同区域或维度上的密度分布情况进行评估，识别稀疏区域和密集区域，建立实时数据流监测系统，对数据流的动态变化进行捕捉；

34、基于数据特性分析结果，构建多维度分割策略的总体框架，评估不同维度对分割效果的贡献度，并对分割维度的选择进行优化；

35、通过自适应分割粒度调整机制，根据实时处理性能和数据流变化，动态调整分割粒度。

36、进一步的，所述s2，包括：

37、s21、对各个数据子集之间的逻辑关联性进行分析，根据分析结果确定子任务间的前后依赖关系，并构建任务依赖图；

38、s22、根据识别出的依赖关系，设计任务执行的先后顺序，并形成线性的任务链或复杂的有向无环图结构；

39、s23、制定任务链执行的任务调度策略，将子任务封装成可执行单元，并配置输入数据和输出路径；

40、s24、实施任务执行监控系统，跟踪任务链的执行状态，并建立任务协调机制；

41、s25、当所有子任务按顺序完成后，将各自的结果进行整合，形成完整的任务链。

42、进一步的，所述s3，包括：

43、s31、初始化分布式计算环境，部署并启动任务执行框架，将任务链中的各个子任务加载至计算资源池中；

44、s32、启动各个子任务并行处理其对应的数据子集，每个子任务在其所在计算节点上独立执行，并产生对应的子集汇总结果；

45、s33、设置资源监测模块，持续监控各个子任务在执行过程中所占用的计算资源，并将资源使用数据上报至资源调度中心；

46、s34、根据收集到的资源使用情况，采用负载均衡算法评估当前系统资源分配是否均衡；资源调度器根据负载均衡算法的评估结果，动态调整各个子任务的计算资源分配；

47、s35、子任务并行处理结束后，通过同步机制，将各个子任务的汇总结果整合在一起，形成对整个原始数据集的初步汇总；

48、s36、并根据实际执行过程中的资源调度效果，不断反馈优化资源调度策略。

49、进一步的，所述s34，包括：

50、对多维度资源使用数据进行收集，基于收集到的多维度资源使用数据，通过机器学习识别当前系统中的性能瓶颈；

51、构建负载压力评估模型，基于多因素，评估各计算节点的负载压力；

52、通过基于多目标优化的负载均衡算法，结合资源使用评估结果，动态调整负载均衡算法中的参数和策略；

53、资源调度器根据负载均衡算法的评估结果和动态调整策略，生成资源调度决策，将生成的资源调度决策下发至各个计算节点，执行相应的任务迁移和资源重分配操作；

54、通过监控资源调度后的系统状态和资源使用情况，评估调度效果，根据评估结果，不断反馈优化资源调度策略。

55、进一步的，所述s4，包括：

56、s41、根据数据类型和汇总任务的具体需求，进行合并算法选择，并明确合并算法的具体实现细节；

57、s42、创建用于存储全局汇总结果的数据结构，完成所有子任务的处理后，从各个计算节点收集各个子集的汇总结果，将其传输到主控节点或指定的合并节点；

58、s43、执行合并算法，按照预设的合并规则逐步将各个子集的汇总结果整合起来，形成完整的全局汇总结果；

59、s44、对合并后的全局汇总结果进行一致性校验，若存在精度损失或偏差过大，则对合并算法进行微调优化，进行二次合并；

60、s45、根据合并过程中的性能表现和结果质量，收集反馈信息，根据反馈信息对合并算法和数据处理流程进行持续优化。

61、本发明提出的一种用于实现基于任务链和分治法的海量数据汇总方法的系统，所述系统包括：

62、数据划分模块：根据预设的划分规则，将待处理的海量原始数据集分割为多个独立的数据子集，每个数据子集代表一个子任务；

63、任务链形成模块：基于数据的关联性以及处理顺序，将所述子任务按照顺序进行连接，形成任务链；

64、数据汇总模块：对任务链中的每个子任务分别进行并行处理，获得所述数据子集的汇总结果；

65、结果整合模块：通过合并算法将数据子集的汇总结果进行整合，获得整个数据集的全局汇总结果。

66、本发明有益效果：通过将海量原始数据集合理划分成多个独立的数据子集，并形成任务链，能够在分布式计算环境中实现高效的并行处理，极大地缩短数据汇总的时间周期。数据预处理和分区有助于减少无效计算和提高数据质量，同时根据数据特性和计算资源进行分治规则设定，保证了数据分割的合理性，有效利用系统资源。分析子任务间的逻辑关联性，形成任务依赖图和任务链，能够精准控制任务执行的顺序和依赖关系，确保数据处理流程的正确性和完整性。在并行处理过程中，通过实时监控资源使用情况并运用负载均衡算法，动态调整各个子任务的计算资源分配，既提高了整体系统的运行效率，也保证了任务执行的稳定性。结合数据类型和汇总任务的需求选择合适的合并算法，确保在汇总阶段能够准确无误地整合所有子集的局部结果，形成全局汇总结果，并通过一致性校验和微调优化来进一步提升结果质量和精度。整个流程中包含了大量的反馈机制，无论是针对子任务执行的监控还是合并算法的效果评价，都能够收集到关键的性能指标和问题反馈，从而持续优化整个数据处理流程和算法策略。