基于分布式检索系统的系统优化装置、方法、设备及介质与流程

本发明涉及计算机，特别涉及一种基于分布式检索系统的系统优化装置、方法、设备及介质。

背景技术：

1、当前的分布式检索系统运行时，由于每个检索数据集拥有较大的独立控制权限，尤其是在每个索引分片及其数据副本大小的控制和分片的位置分布上有较高的灵活性，从而导致整个分布式检索集群中的分片分布和请求分布容易出现倾斜问题，例如，数据存储容量倾斜，即数据存储总是落到集群中少数节点，又如请求倾斜，请求总是落到少数节点，从而引起性能利用不平衡和资源浪费的现象，尤其是在整个分布式检索集群的数据存储达到临界水位时，会出现集群大量检索请求异常的情况，从而降低了分布式检索系统的性能利用率，导致集群请求异常和资源浪费。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于分布式检索系统的系统优化装置、方法、设备及介质，能够实现当前分布式检索集群的均衡优化，维护了资源和请求的平衡，从而避免倾斜所带来的请求异常和资源浪费的问题。其具体方案如下：

2、第一方面，本申请公开了一种基于分布式检索系统的系统优化装置，包括：

3、倾斜均衡策略模块，用于设置当前分布式检索集群的监测规则、监测范围和监测指标阈值；

4、动态均衡监测模块，用于根据所述倾斜均衡策略模块设置的所述监测规则、所述监测范围和所述监测指标阈值对所述分布式检索集群中的各检索节点的倾斜情况进行监测得到相应的集群监测信息；

5、倾斜均衡管理模块，用于根据接收到的所述动态均衡监测模块上报的所述集群监测信息对所述分布式检索集群的资源分布进行动态均衡管理，并根据所述集群监测信息对所述分布式检索集群的请求的分布进行分区分层管理以实现所述当前分布式检索集群的均衡优化。

6、可选的，所述基于分布式检索系统的系统优化装置，还包括：

7、集群状态保护模块，用于当所述分布式检索集群出现大范围请求异常时，熔断所述检索节点的检索服务，并将后续请求转移至其它检索节点以保护所述分布式检索集群的运行稳定。

8、可选的，所述倾斜均衡策略模块运行于所述分布式检索集群的主检索节点上、所述动态均衡监测模块运行于所述分布式检索集群的数据存储检索节点上以及所述倾斜均衡管理模块运行于所述分布式检索集群的数据存储检索节点和主检索节点上。

9、可选的，所述动态均衡监测模块，具体用于：

10、根据所述倾斜均衡策略模块设置的所述监测规则、所述监测范围，从分片存储和请求分发的角度对所述分布式检索集群中的各检索节点进行监测得到相应的节点信息；

11、基于所述倾斜均衡策略模块设置的所述监测指标阈值对所述节点信息中相关的指标数据进行告警分析得到相应的告警分析信息；

12、将所述节点信息和所述告警分析信息进行汇总得到相应的集群监测信息。

13、可选的，所述倾斜均衡管理模块，包括：

14、数据倾斜控制单元，用于根据所述集群监测信息确定所述当前分布式检索集群中各检索节点的数据倾斜情况，并基于所述数据倾斜情况对所述分布式检索集群的资源分布进行动态均衡管理，直至达到资源平衡；

15、请求分层控制单元，用于根据所述集群监测信息确定所述当前分布式检索集群中各检索节点的请求倾斜情况，并基于所述请求倾斜情况对所述分布式检索集群的请求分布进行分区分层管理，直至达到请求平衡。

16、可选的，所述数据倾斜控制单元，具体用于：

17、基于所述数据倾斜情况确定出所述分布式检索集群中资源存储差异异常的检索节点；

18、对所述检索节点的资源分布进行数据均衡转移和接收操作。

19、可选的，所述请求分层控制单元，具体用于：

20、对所述集群监测信息中各所述检索节点的历史请求和当前请求进行汇总统计以确定各所述检索节点的请求频率分布；

21、基于所述请求频率分布对各所述检索节点进行冷温热分区管理得到分区后的热区节点、温区节点和冷区节点；所述热区节点、温区节点和冷区节点分别表示请求繁忙程度不同的节点；

22、对于请求繁忙的所述热区节点，则检索所述热区节点对应的分片副本所在的位置，并将请求转移至所述位置对应的所述冷区节点或所述温区节点。

23、第二方面，本申请公开了一种基于分布式检索系统的系统优化方法，应用于前述公开的基于分布式检索系统的系统优化装置，包括：

24、设置当前分布式检索集群的监测规则、监测范围和监测指标阈值；

25、根据所述监测规则、所述监测范围和所述监测指标阈值对所述分布式检索集群中的各检索节点的倾斜情况进行监测得到相应的集群监测信息；

26、根据所述集群监测信息对所述分布式检索集群的资源分布进行动态均衡管理，并根据所述集群监测信息对所述分布式检索集群的请求的分布进行分区分层管理以实现所述当前分布式检索集群的均衡优化。

27、第三方面，本申请公开了一种电子设备，包括：

28、存储器，用于保存计算机程序；

29、处理器，用于执行所述计算机程序，以实现前述公开的基于分布式检索系统的系统优化方法的步骤。

30、第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的基于分布式检索系统的系统优化方法的步骤。

31、可见，本申请提供了一种基于分布式检索系统的系统优化装置，包括：倾斜均衡策略模块，用于设置当前分布式检索集群的监测规则、监测范围和监测指标阈值；动态均衡监测模块，用于根据所述倾斜均衡策略模块设置的所述监测规则、所述监测范围和所述监测指标阈值对所述分布式检索集群中的各检索节点的倾斜情况进行监测得到相应的集群监测信息；倾斜均衡管理模块，用于根据接收到的所述动态均衡监测模块上报的所述集群监测信息对所述分布式检索集群的资源分布进行动态均衡管理，并根据所述集群监测信息对所述分布式检索集群的请求的分布进行分区分层管理以实现所述当前分布式检索集群的均衡优化。由此可知，本申请通过对分布式检索系统的分片存储和检索流程中加入倾斜监测机制、倾斜均衡管理机制和请求分区分层控制机制，从而能够实现当前分布式检索集群的均衡优化，维护了资源和请求的平衡，从而避免倾斜所带来的请求异常和资源浪费的问题。

技术特征：

1.一种基于分布式检索系统的系统优化装置，其特征在于，包括：

2.根据权利要求1所述的基于分布式检索系统的系统优化装置，其特征在于，还包括：

3.根据权利要求1所述的基于分布式检索系统的系统优化装置，其特征在于，所述倾斜均衡策略模块运行于所述分布式检索集群的主检索节点上、所述动态均衡监测模块运行于所述分布式检索集群的数据存储检索节点上以及所述倾斜均衡管理模块运行于所述分布式检索集群的数据存储检索节点和主检索节点上。

4.根据权利要求1所述的基于分布式检索系统的系统优化装置，其特征在于，所述动态均衡监测模块，具体用于：

5.根据权利要求1所述的基于分布式检索系统的系统优化装置，其特征在于，所述倾斜均衡管理模块，包括：

6.根据权利要求5所述的基于分布式检索系统的系统优化装置，其特征在于，所述数据倾斜控制单元，具体用于：

7.根据权利要求5所述的基于分布式检索系统的系统优化装置，其特征在于，所述请求分层控制单元，具体用于：

8.一种基于分布式检索系统的系统优化方法，其特征在于，应用于上述权利要求1至7任一项所述的基于分布式检索系统的系统优化装置，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求8所述的基于分布式检索系统的系统优化方法的步骤。

技术总结
本申请公开了一种基于分布式检索系统的系统优化装置、方法、设备及介质，涉及计算机技术领域，该装置包括：倾斜均衡策略模块，用于设置当前分布式检索集群的监测规则、监测范围和监测指标阈值；动态均衡监测模块，用于根据监测规则、监测范围和监测指标阈值对分布式检索集群的倾斜情况进行监测；倾斜均衡管理模块，用于根据集群监测信息对分布式检索集群的资源分布和请求分布分别进行动态均衡管理和分区分层管理。本申请通过对分布式检索系统的分片存储和检索流程中加入倾斜监测机制、倾斜均衡管理机制和请求分区分层控制机制，实现当前分布式检索集群的均衡优化，维护了资源和请求的平衡，从而避免倾斜所导致的请求异常和资源浪费问题。

技术研发人员：侯满,贺磊
受保护的技术使用者：济南浪潮数据技术有限公司
技术研发日：
技术公布日：2024/1/15