一种云平台存储熔断的方法、装置、设备及存储介质与流程

本发明涉及计算机，具体涉及一种云平台存储熔断的方法、装置、设备及存储介质。

背景技术：

1、传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式存储系统，是将数据分散存储在多台独立的设备上，分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

2、分布式存储系统要求所有存储池的容量不能超过一定的占比，倘若超过则会导致存储系统分配过载从而出现故障，云主机出现卡死。存储后端过度写入后，继续写入将大幅增加隐患，会引发存储挂掉、其上的云主机不可用等问题。所以，提出一个高度可靠的解决方案刻不容缓。

技术实现思路

1、有鉴于此，本发明提供了一种云平台存储熔断的方法、装置、设备及存储介质，以解决分布式存储系统中存储池容量超限的问题。

2、第一方面，本发明提供了一种云平台存储熔断的方法，应用于云管理平台，方法包括：以预设周期从开放式云端平台的预设数据库中读取存储池监控数据，存储池监控数据由开放式云端平台中预部署的监控采集脚本采集得到，用于表征各个存储池的存储容量；通过存储池监控数据识别存储容量超过容量阈值的目标存储池；搜索目标存储池挂载的目标云主机；通过调用开放式云端平台的nova组件对目标云主机进行熔断。

3、本实施例在云管理平台和开放式云端平台分别增加了监控分析逻辑与监控数据采集逻辑，开放式云端平台会实时将采集的存储池监控数据存储到预设数据库中，从而云管理平台通过读取预设数据库中，根据存储池监控数据分析哪一个存储池的存储容量超过容量阈值，进而在云管理平台中搜索和识别存储容量超过容量阈值的存储池上挂载的目标云主机，从而通过调用开放式云端平台的nova组件对目标云主机进行熔断，以防止目标云主机继续向对应的存储池中写入数据，保证了分布式存储系统中容量已经超限的目标存储池的容量不再继续增长，进而维护了分布式存储系统的稳定性。

4、在一种可选的实施方式中，容量阈值包括中度阈值和严重阈值，严重阈值大于中度阈值，通过存储池监控数据识别存储容量超过容量阈值的目标存储池，包括：通过存储池监控数据从全部存储池中识别存储容量超过中度阈值的候选目标存储池；基于候选目标存储池生成告警记录；通过存储池监控数据从候选目标存储池中识别存储容量超过严重阈值的目标存储池。

5、本实施例在云管理平台中分别配置了中度阈值和严重阈值两个容量阈值，中度阈值主要用于对容量将要超限但是还没有超限的存储池进行识别，严重阈值用于对已经容量超限的存储池进行识别。本实施例针对存储容量超过中度阈值的候选目标存储池均生成告警记录，用于通知用户及时采取措施；对于候选目标存储池中存储容量超过严重阈值的目标存储池才采取熔断措施。这样做的优点在于，本实施例的告警机制是一个绝对中立的进程，通过中度阈值的识别，不论存储池的容量是否已经超限，当存储池的容量较大时都及时告警用户，以促使用户采取消减存储容量或扩容的措施，以在云主机熔断之前通过措施提高分布式存储系统的稳定性，来降低云主机熔断的几率，维持用户的使用体验。

6、在一种可选的实施方式中，搜索目标存储池挂载的目标云主机，包括：根据目标存储池在云管理平台的存储池数据库中搜索目标存储池挂载的目标云主机。

7、本实施例在云管理平台中预先部署了存储池数据库，在存储池数据库中记录了开放式云端平台所管理的全部存储池信息，关于每个存储池挂载的云主机信息均可以在存储池数据库中查询得到，通过存储池数据库能够使云管理平台快速搜索到目标存储池挂载的目标云主机，进而执行熔断策略，无需通过网络在开放式云端平台中远程搜索每个存储池挂载的云主机信息，提高了确定目标云主机的效率。

8、在一种可选的实施方式中，云管理平台包括监控模块和计算模块，以预设周期从开放式云端平台的预设数据库中读取存储池监控数据到通过存储池监控数据识别存储容量超过容量阈值的目标存储池的步骤由监控模块执行，搜索目标存储池挂载的目标云主机到通过调用开放式云端平台的nova组件对目标云主机进行熔断的步骤由计算模块执行，在搜索目标存储池挂载的目标云主机之前，方法还包括：通过监控模块发送包含目标存储池的告警事件到计算模块，以使计算模块解析告警事件，得到目标存储池。

9、在本实施例中，将云管理平台执行熔断方法的程序分为两个模块，其中监控模块用于提取存储池监控数据并分析哪一个存储池因为容量超限需要执行熔断，计算模块用于根据监控模块确定的目标存储池计算相应需要熔断的目标云主机并调用开放式云端平台的nova组件执行熔断，计算模块与监控模块通过告警事件进行通信。通过这一方式，将云存储熔断整体流程解耦为两个独自的子程序，使监控存储池和执行熔断两部分能够异步执行，提高了云存储熔断方法的灵活性和执行效率。

10、在一种可选的实施方式中，通过调用开放式云端平台的nova组件对目标云主机进行熔断，包括：判断目标存储池是否在云管理平台中配置了开启熔断；当目标存储池开启熔断时，通过调用开放式云端平台的nova组件对目标云主机进行熔断；当目标存储池未开启熔断时，忽略熔断目标云主机的请求。

11、在本实施例中，还通过云管理平台配置了云主机是否开启熔断的功能，从而根据用户的需求，当存储池需要进行保护时，则开启熔断，否则不开启熔断。在执行熔断策略时，只对开启熔断的存储池进行云主机熔断，从而进一步提高了云存储熔断的灵活性。

12、在一种可选的实施方式中，当目标存储池开启熔断时，通过调用开放式云端平台的nova组件对目标云主机进行熔断，包括：判断云管理平台配置的熔断策略是全部熔断还是部分熔断；当熔断策略是全部熔断时，通过调用开放式云端平台的nova组件对目标云主机中的全部业务云主机进行熔断；当熔断策略是部分熔断时，根据存储池监控数据从目标云主机中确定在预设时间段内存储增长量最高的前预设百分比的活跃云主机；通过调用开放式云端平台的nova组件对活跃云主机进行熔断。

13、在本实施例中，分别配置了两种熔断策略，一类是熔断容量超限的存储池上的全部业务云主机，另一类是熔断存储量增长过快的部分业务云主机，基于此，本发明实施例可以根据用户的实际需求灵活选择，从而当用户具有云主机的强使用需求时，可以保留部分业务云主机不熔断，维持用户的业务，进一步提高了云存储熔断方法的灵活性。

14、在一种可选的实施方式中，方法还包括：监控目标存储池的存储容量；每当目标存储池的存储容量增长预设容量值时，通过调用开放式云端平台的nova组件对目标云主机再次进行熔断。

15、在本实施例中，以定期轮询的方式判断已经执行熔断的目标存储池是否又出现了较大的存储容量增长，以在目标存储池的存储容量每增长超过预设容量值时均触发一次熔断策略，进一步提高了分布式存储系统的可靠性和稳定性。

16、第二方面，本发明提供了一种云平台存储熔断的装置，应用于云管理平台，装置包括：监控单元，用于以预设周期从开放式云端平台的预设数据库中读取存储池监控数据，存储池监控数据由开放式云端平台中预部署的监控采集脚本采集得到，用于表征各个存储池的存储容量；存储状态识别单元，用于通过存储池监控数据识别存储容量超过容量阈值的目标存储池；云主机识别单元，用于搜索目标存储池挂载的目标云主机；熔断单元，用于通过调用开放式云端平台的nova组件对目标云主机进行熔断。

17、第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的方法。

18、第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的方法。