一种负载均衡的方法、装置、介质及电子设备与流程

本申请涉及负载均衡领域，具体而言本申请实施例涉及一种负载均衡的方法、装置、介质及电子设备。

背景技术：

1、负载均衡（load balance），指由多台服务器以对称的方式组成一个服务集群，每台服务器都具有等价的地位，都可以单独对外提供服务而无须其他服务器的辅助。通过某种负载分担技术，将外部发送来的请求均匀分配到对称结构中的某一台服务器上，而接收到请求的服务器独立地回应客户的请求。负载均衡能够平均分配客户请求到服务器阵列，借此提供快速获取重要数据，解决大量并发访问服务问题，这种集群技术可以用最少的投资获得接近于大型主机的性能。

2、目前负载均衡算法主要分为两类：静态负载均衡算法：以固定的概率分配任务，不考虑服务器的状态信息，如：轮询法、加权轮询法、随机法、加权随机法等。动态负载均衡算法：以服务器的实时负载状态信息来决定任务的分配，如：最小连接法、加权最小连接数法等。

3、针对相关领域多个项目的负载均衡技术存在均衡算法不理想导致对多个项目的处理进度整体较低，不能满足市场需求。

技术实现思路

1、本申请实施例的目的在于提供一种负载均衡的方法、装置、介质及电子设备，通过本申请的一些实施例能够确保数据尽可能平均的分配到不同的算子（即计算资源）中，减少了由于数据倾斜导致的脚本执行缓慢的情况。

2、第一方面，本申请实施例提供一种负载均衡的方法，所述方法包括：监控多个项目中各项目产生的待分析数据；若确定与第一项目对应的待分析数据的量在与所述多个项目对应的待分析数据的总量中的占比大于设置阈值，则获取为所述第一项目分配的初始项目编号；将多个标记符号分别与所述初始项目编号进行拼接，得到多个计算资源分配符号，其中，一个标记符号与一个计算资源分配符号对应；根据所述多个计算资源分配符号为所述第一项目的待分析数据分配服务集群中的计算资源。

3、本申请的一些实施例通过将为每个项目对应的初始项目编号编码为多个，之后再依据该多个计算资源分配符号为待处理数据分配计算资源，可以有效改善相关技术针对相同的主键（即一个初始项目编号）只能分配唯一计算资源的技术缺陷，进而可以为产生待分析数据较多的项目分配多个计算资源进行数据分析处理。

4、在一些实施例中，所述根据所述多个计算资源分配符号为所述第一项目的待分析数据分配服务集群中的计算资源，包括：从所述服务集群中选取与所述计算资源分配符号的符号总数量相同数目的服务资源；将所述第一项目的待分析数据分发至各个服务资源上进行并行分析处理。

5、本申请的一些实施例根据对主键编码生成的新编码的数目为待分析的数据分配多个计算资源，进而可有效改善对这类数据的处理速度进而提升与所有项目对应的数据处理进度。

6、在一些实施例中，所述将多个标记符号与所述初始项目编号分别进行拼接，得到多个计算资源分配符号，包括：在所述初始项目编号的前方拼接1至9中的随机数。

7、本申请的一些实施例通过为初始项目编号增加前缀的方式得到多个计算资源分配符号。

8、在一些实施例中，所述将多个标记符号与所述初始项目编号分别进行拼接，得到多个计算资源分配符号，包括：在所述初始项目编号的后方拼接1至9中的随机数。

9、本申请的一些实施例通过为初始项目编号增加后缀的方式得到多个计算资源分配符号。

10、在一些实施例中，在所述根据所述多个计算资源分配符号为所述第一项目的待分析数据分配服务集群中的计算资源之后，所述方法还包括：获取所述各个计算资源的分析处理结果，得到多个分析处理结果；聚合所述多个分析处理结果，得到目标分析处理结果。

11、本申请的一些实施例通过聚合多个计算资源的处理结果。

12、在一些实施例中，在所述获取所述各个计算资源的分析处理结果之前，所述方法还包括：将所述多个计算资源分配符号与所述各个计算资源的分析处理结果存储在目标缓存表中；所述获取所述各个计算资源的分析处理结果，包括：根据所述多个计算资源分配符号从所述目标缓存表中获取所述分析处理结果。

13、本申请的一些实施例通过为第一项目分配的计算资源分配符为待处理数据分配计算资源并利用该分配符来区分属于不同项目的分析处理结果。

14、在一些实施例中，所述初始项目编号是为所述第一项目分配的主键，所述多个计算资源分配符号是对所述主键进行散列处理得到的。

15、第二方面，本申请的一些实施例提供一种负载均衡的装置，所述装置包括：监控模块，被配置为监控多个项目中各项目产生的待分析数据；主键获取模块，被配置为若确定与第一项目对应的待分析数据的量在与所述多个项目对应的待分析数据的总量中的占比大于设置阈值，则获取为所述第一项目分配的初始项目编号；散列处理模块，被配置为将多个标记符号分别与所述初始项目编号进行拼接，得到多个计算资源分配符号，其中，一个标记符号与一个计算资源分配符号对应；资源分配模块，被配置为根据所述多个计算资源分配符号为所述第一项目的待分析数据分配服务集群中的计算资源。

16、第三方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任意实施例所述的方法。

17、第四方面，本申请的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任意实施例所述的方法。

技术特征：

1.一种负载均衡的方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述根据所述多个计算资源分配符号为所述第一项目的待分析数据分配服务集群中的计算资源，包括：

3.如权利要求2所述的方法，其特征在于，

4.如权利要求2所述的方法，其特征在于，所述将多个标记符号与所述初始项目编号分别进行拼接，得到多个计算资源分配符号，包括：

5.如权利要求2所述的方法，其特征在于，在所述根据所述多个计算资源分配符号为所述第一项目的待分析数据分配服务集群中的计算资源之后，所述方法还包括：

6.如权利要求5所述的方法，其特征在于，在所述获取所述各个计算资源的分析处理结果之前，所述方法还包括：

7.如权利要求2所述的方法，其特征在于，所述初始项目编号是为所述第一项目分配的主键，所述多个计算资源分配符号是对所述主键进行散列处理得到的。

8.一种负载均衡的装置，其特征在于，所述装置包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现如权利要求1-7中任意一项权利要求所述的方法。

10.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如权利要求1-7中任意一项权利要求所述的方法。

技术总结
本申请实施例提供一种负载均衡的方法、装置、介质及电子设备，所述方法包括：监控多个项目中各项目产生的待分析数据；若确定与第一项目对应的待分析数据的量在与所述多个项目对应的待分析数据的总量中的占比大于设置阈值，则获取为所述第一项目分配的初始项目编号；将多个标记符号分别与所述初始项目编号进行拼接，得到多个计算资源分配符号，其中，一个标记符号与一个计算资源分配符号对应；根据所述多个计算资源分配符号为所述第一项目的待分析数据分配服务集群中的计算资源。通过本申请的一些实施例能够确保数据尽可能平均的分配到不同的算子（即计算资源）中，减少了由于数据倾斜导致的脚本执行缓慢的情况。

技术研发人员：李由,梁鹏斌,宋成业
受保护的技术使用者：零犀（北京）科技有限公司
技术研发日：
技术公布日：2024/1/11