一种分布式环境下的数据分页合并方法、装置和电子设备与流程

本发明涉及分布式数据处理，尤其涉及一种分布式环境下的数据分页合并方法、装置和电子设备。

背景技术：

1、在当今大数据时代的浪潮中，随着数据量的爆炸性增长和跨地域数据交互需求的日益频繁，传统的数据集中处理与传输模式已难以满足高效、安全、实时的数据处理要求。具体而言，传统的移动数据方法，即将数据从分散的源点传输至中央处理节点进行统一处理，不仅面临高昂的数据传输成本，还增加了数据在传输过程中被泄露的风险，同时，由于网络延迟和数据同步问题，往往导致数据更新滞后，难以满足用户对数据实时性的高要求。

2、为了克服上述挑战，业界逐渐转向采用移动计算（或称为边缘计算）的分布式数据处理模式。在这种模式下，数据不再被集中传输至单一处理中心，而是允许在数据产生的源头或接近源头的位置进行初步处理和分析。各地数据节点遵循统一的数据访问接口标准，提供高效的数据检索服务。通过构建一个高度集成且灵活的数据检索平台，该平台能够实时访问并整合来自不同地域的数据检索服务，实现数据的快速归集与智能展示。这种分布式环境下的数据分页合并方法，不仅显著降低了数据传输的成本和风险，还通过减少数据传输量提高了数据处理的效率。同时，由于数据在本地或边缘节点进行初步处理，减少了网络延迟对数据处理速度的影响，确保了数据的实时性和准确性。最终，用户能够通过该平台获得全面、准确且几乎无延迟的数据视图，为决策制定和业务运营提供强有力的数据支持。

3、尽管分布式环境下的数据分页合并方法通过移动计算模式有效缓解了数据集中处理带来的挑战，但当前主流采用的排序合并方式在实际应用中仍暴露出诸多不足。具体而言，该方法在分页处理时，将页码和页大小作为查询条件直接发送给所有数据检索服务节点，要求每个节点从第1页开始至目标页进行全量查询并排序。这种处理方式随着分页页码的增加，逐渐显现出以下显著问题：

4、1.服务器内存压力剧增：由于每个检索服务节点都需要查询并缓存从第1页到目标页的所有数据，随着页码的增加，所需缓存的数据量呈线性增长，对服务器的内存资源构成了巨大压力。这不仅限制了系统能够处理的最大数据量，还可能因内存溢出而导致服务中断。

5、2.网络带宽消耗巨大：随着检索服务节点返回的数据量增加，网络传输的数据量也随之剧增，对网络带宽提出了更高要求。这不仅增加了数据传输的延迟，还可能因网络拥塞而影响整体系统的响应速度和稳定性。

6、3.全局排序效率低下：在将所有检索节点返回的结果汇总到查询发起节点后，需要进行全局排序以提取目标页的数据。然而，随着数据量的增加，全局排序所需的内存和计算时间也显著增加，导致排序过程成为性能瓶颈。这不仅延长了用户等待时间，还可能因资源耗尽而影响其他并发查询的处理。

技术实现思路

1、有鉴于此，有必要提供一种分布式环境下的数据分页合并方法、装置和电子设备，用以解决现有技术中数据分页合并往往需要进行全量查询并排序，导致服务器压力大、网络带宽消耗大以及全局排序效率低下的技术问题。

2、为了解决上述问题，本发明提供一种分布式环境下的数据分页合并方法，包括：

3、获取检索节点上一页查询数据中最后一条数据的排序字段值；

4、以所述排序字段值为筛选条件，确定检索节点下一页的初始数据；

5、根据排序字段对所述初始数据进行排序，并根据下一页查询数据条数，确定检索节点的目标数据；

6、根据所述目标数据，确定下一页数据。

7、在一种可能的实现方式中，所述获取检索节点上一页查询数据中最后一条数据的排序字段值，包括：

8、获取上一页查询数据条数，根据上一页查询数据条数，确定上一页数据；

9、根据上一页查询数据条数，获取检索节点查询上一页数据中最后一条数据的排序字段值。

10、在一种可能的实现方式中，所述根据上一页查询数据条数，获取检索节点查询上一页数据中最后一条数据的排序字段值，包括：

11、根据上一页查询数据条数，检索节点获取上一页数据；

12、以排序字段对上一页数据进行局部排序，得到排序后的数据，并获取排序后数据的最后一条记录的排序字段值；

13、将所述排序字段值缓存至缓存系统中。

14、在一种可能的实现方式中，所述排序字段至少包括数量、业务特定字段、id、价格、创建时间、更新时间、过期时间、用户名、标签或分类中的一种。

15、在一种可能的实现方式中，所述以所述排序字段值为筛选条件，确定检索节点的初始数据，包括：

16、以所述排序字段值为筛选条件，获取检索节点中大于等于排序字段值的数据，确定检索节点的初始数据。

17、在一种可能的实现方式中，所述根据所述目标数据，确定下一页数据，包括：

18、获取检索节点的目标数据；

19、根据排序字段，对所述目标数据进行全局排序，得到全局排序数据；

20、将全局排序数据与上一页的数据进行比较，去除重复数据，得到去重数据；

21、根据下一页查询数据条数及去重数据，确定下一页数据。

22、在一种可能的实现方式中，在得到下一页数据后，还包括：

23、将下一页数据存储至缓存系统中。

24、第二方面，本发明还提供一种分布式环境下的数据分页合并装置，包括：

25、排序字段值确定模块，用于获取检索节点上一页查询数据中最后一条数据的排序字段值；

26、初始数据确定模块，用于以所述排序字段值为筛选条件，确定检索节点下一页的初始数据；

27、目标数据确定模块，用于根据排序字段对所述初始数据进行排序，并根据下一页查询数据条数，确定检索节点的目标数据；

28、下一页确定模块，用于根据所述目标数据，确定下一页数据。

29、第三方面，本发明还提供了一种电子设备，包括：处理器和存储器；

30、所述存储器上存储有可被所述处理器执行的计算机可读程序；

31、所述处理器执行所述计算机可读程序时实现如上所述的分布式环境下的数据分页合并方法中的步骤。

32、第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的分布式环境下的数据分页合并方法中的步骤。

33、本发明的有益效果是：以上一页查询数据中最后一条数据的排序字段值为筛选条件，根据排序字段动态调整下一页数据检索的范围，显著降低了分布式环境下数据分页合并过程中的数据传输量和服务器内存消耗，提高了全局排序的效率，从而实现了更快的查询响应速度和更高的系统性能。同时以相同的排序字段进行局部排序后，确定检索节点返回给发起节点的数据，避免了筛选后出现数据遗漏的问题。进一步的，该方案不仅适用于分库分表的分页查询、跨地域数据中心服务的分页合并和跨数据服务的分页合并等场景，还对数据格式、顺序无特定要求，展现出其广泛的适用性和显著的实用价值。