一种存储管理方法、装置、设备及机器可读存储介质与流程

1.本公开涉及通信技术领域，尤其是涉及一种存储管理方法、装置、设备及机器可读存储介质。


背景技术：

2.随高清视频、图像处理、视频监控等技术的发展，用户数据容量正变得越来越大，而且用户对存储数据的读写性能的要求也在同步增加。用户在选购存储产品时，通常会对性能提出明确的要求，以满足业务的需要；在许多业务场景下，存储的性能不仅仅是快慢的区别，甚至会影响到业务本身是否能够正常运行，以文件数字化为例，在档案馆、图书馆将纸质图书数字化后，存储到存储服务器中，当越来越多的数字化图书存储进来，存储集群的容量将会越来越大；同时会有大量的用户进行并发的访问，如果存储集群的读写性能差、读写延迟高，将会降低用户使用的友好度，影响数字化的推进。因此提升存储集群的读写性能十分关键。在一种视频监控的应用场景中，在调取监控视频时，经常因为大量的视频写入，影响到视频监控的读取速度，影响到应用，这个时候就迫切的需要解决读性能的问题。


技术实现要素：

3.有鉴于此，本公开提供一种存储管理方法、装置及电子设备、机器可读存储介质，以改善上述因持续大量数据写入导致读取性能差的问题。
4.具体地技术方案如下：
5.本公开提供了一种存储管理方法，应用于存储集群设备，所述方法包括：配置高读取优先级的存储节点设备，所述高读取优先级的存储节点设备为该存储节点设备的读取请求的优先级高于写入请求的优先级，且高于非高读取优先级的存储节点设备的读取请求、写入请求的优先级；获取要求读取低时延的存储访问业务，将该存储访问业务挂载到高读取优先级的存储节点设备上；由且仅由高读取优先级的存储节点设备根据所述要求读取低时延的存储访问业务的访问请求，返回关联的已存储数据。
6.作为一种技术方案，所述配置高读取优先级的存储节点设备，所述高读取优先级的存储节点设备为该存储节点设备的读取请求的优先级高于写入请求的优先级，且高于非高读取优先级的存储节点设备的读取请求、写入请求的优先级，包括：读取预先保存的配置文件，根据配置文件中记录的读取优先配置信息，将关联于该读取优先配置信息的存储节点设备配置为高读取优先级的存储节点设备。
7.作为一种技术方案，所述获取要求读取低时延的存储访问业务，将该存储访问业务挂载到高读取优先级的存储节点设备上，包括：根据业务类型，获取要求读取低时延的存储访问业务，所述业务类型包括监控视频回放和/或图像处理。
8.作为一种技术方案，所述由且仅由高读取优先级的存储节点设备根据所述要求读取低时延的存储访问业务的访问请求，返回关联的已存储数据，包括：由且仅由高读取优先级的存储节点设备根据所述要求读取低时延的存储访问业务的访问请求，生成高优先级数
据读取请求，将高优先级数据读取请求加入到请求处理队列的头部，根据高优先级数据读取请求读取并返回关联的已存储数据。
9.本公开同时提供了一种存储管理装置，应用于存储集群设备，所述装置包括：配置模块，用于配置高读取优先级的存储节点设备，所述高读取优先级的存储节点设备为该存储节点设备的读取请求的优先级高于写入请求的优先级，且高于非高读取优先级的存储节点设备的读取请求、写入请求的优先级；挂载模块，用于获取要求读取低时延的存储访问业务，将该存储访问业务挂载到高读取优先级的存储节点设备上；数据模块，用于由且仅由高读取优先级的存储节点设备根据所述要求读取低时延的存储访问业务的访问请求，返回关联的已存储数据。
10.作为一种技术方案，所述配置高读取优先级的存储节点设备，所述高读取优先级的存储节点设备为该存储节点设备的读取请求的优先级高于写入请求的优先级，且高于非高读取优先级的存储节点设备的读取请求、写入请求的优先级，包括：读取预先保存的配置文件，根据配置文件中记录的读取优先配置信息，将关联于该读取优先配置信息的存储节点设备配置为高读取优先级的存储节点设备。
11.作为一种技术方案，所述获取要求读取低时延的存储访问业务，将该存储访问业务挂载到高读取优先级的存储节点设备上，包括：根据业务类型，获取要求读取低时延的存储访问业务，所述业务类型包括监控视频回放和/或图像处理。
12.作为一种技术方案，所述由且仅由高读取优先级的存储节点设备根据所述要求读取低时延的存储访问业务的访问请求，返回关联的已存储数据，包括：由且仅由高读取优先级的存储节点设备根据所述要求读取低时延的存储访问业务的访问请求，生成高优先级数据读取请求，将高优先级数据读取请求加入到请求处理队列的头部，根据高优先级数据读取请求读取并返回关联的已存储数据。
13.本公开同时提供了一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，处理器执行所述机器可执行指令以实现前述的存储管理方法。
14.本公开同时提供了一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现前述的存储管理方法。
15.本公开提供的上述技术方案至少带来了以下有益效果：
16.根据读取业务的业务量，配置读取高读取优先级的存储节点，由高读取优先级的存储节点专门优先处理相应的读取业务，在极少影响存储集群设备整体数据写入性能的前提下，改善了因持续大量数据写入导致读取性能差的问题，降低了读取业务的数据返回时延。
附图说明
17.为了更加清楚地说明本公开实施方式或者现有技术中的技术方案，下面将对本公开实施方式或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施方式，对于本领域普通技术人员来讲，还可以根据本公开实施方式的这些附图获得其他的附图。
18.图1是本公开一种实施方式中的存储管理方法的流程图；
19.图2是本公开一种实施方式中的存储管理装置的结构图；
20.图3是本公开一种实施方式中的电子设备的硬件结构图。
具体实施方式
21.在本公开实施方式使用的术语仅仅是出于描述特定实施方式的目的，而非限制本公开。本公开和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
22.应当理解，尽管在本公开实施方式可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
23.分布式文件文件系统，读写性能抢占存在问题，即在写业务压力大时，如何保障读业务的性能要求。在视频监控场景中，全天实时都有视频写入，在人员流动大的街道路口，写入流量更大；此时如果有紧急情况，需要调取视频录像内容，难以保证视频调取的速度，由于写流量大，会引起读性能不足，出现读视频慢，操作时间长的问题。
24.在一种技术方案中，可以提升存储集群能力，提高读写性能，满足读业务的要求。优化方案包括：整理存储集群io流程，即读写业务处理的流程；在关键的io流程中追加时间打点，进行时延统计；出现业务卡顿时，分析读写性能在各个阶段的耗时，找出瓶颈点；找出读业务的耗时点，然后针对不同的模块进行性能优化；增加缓存容量，提高缓存命中。
25.而在存在大量写业务的场景下，增大缓存容量依然存在问题，大量的写业务，会产生很多的写请求，大量写请求会不断的更新缓存中的内容，导致读缓存失效，且在有大量写业务的时候，磁盘也会因为大量的写入而产生很高的负载，在响应读请求时，对应的时延也会增加。
26.有鉴于此，本公开提供一种存储管理方法、装置及电子设备、机器可读存储介质，以改善上述因持续大量数据写入导致读取性能差的问题。
27.具体地技术方案如后述。
28.在一种实施方式中，本公开提供了一种存储管理方法，应用于存储集群设备，所述方法包括：配置高读取优先级的存储节点设备，所述高读取优先级的存储节点设备为该存储节点设备的读取请求的优先级高于写入请求的优先级，且高于非高读取优先级的存储节点设备的读取请求、写入请求的优先级；获取要求读取低时延的存储访问业务，将该存储访问业务挂载到高读取优先级的存储节点设备上；由且仅由高读取优先级的存储节点设备根据所述要求读取低时延的存储访问业务的访问请求，返回关联的已存储数据。
29.具体地，如图1，包括以下步骤：
30.步骤s11，配置高读取优先级的存储节点设备；
31.步骤s12，获取要求读取低时延的存储访问业务，将该存储访问业务挂载到高读取优先级的存储节点设备上；
32.步骤s13，返回关联的已存储数据。
33.根据读取业务的业务量，配置读取高读取优先级的存储节点，由高读取优先级的存储节点专门优先处理相应的读取业务，在极少影响存储集群设备整体数据写入性能的前提下，改善了因持续大量数据写入导致读取性能差的问题，降低了读取业务的数据返回时延。本实施方式在不增加成本且对写业务影响较小的情况下，满足上层业务读时延的要求，即同时满足了读写业务的性能要求。
34.在一种实施方式中，所述配置高读取优先级的存储节点设备，所述高读取优先级的存储节点设备为该存储节点设备的读取请求的优先级高于写入请求的优先级，且高于非高读取优先级的存储节点设备的读取请求、写入请求的优先级，包括：读取预先保存的配置文件，根据配置文件中记录的读取优先配置信息，将关联于该读取优先配置信息的存储节点设备配置为高读取优先级的存储节点设备。
35.在一种实施方式中，所述获取要求读取低时延的存储访问业务，将该存储访问业务挂载到高读取优先级的存储节点设备上，包括：根据业务类型，获取要求读取低时延的存储访问业务，所述业务类型包括监控视频回放和/或图像处理。
36.在一种实施方式中，所述由且仅由高读取优先级的存储节点设备根据所述要求读取低时延的存储访问业务的访问请求，返回关联的已存储数据，包括：由且仅由高读取优先级的存储节点设备根据所述要求读取低时延的存储访问业务的访问请求，生成高优先级数据读取请求，将高优先级数据读取请求加入到请求处理队列的头部，根据高优先级数据读取请求读取并返回关联的已存储数据。
37.在一种实施方式中，根据存储集群的规格，选取特定的存储节点作为高读取优先级的存储节点设备，其中，可通过配置文件设定高读取优先级的存储节点。存储节点启动时，检查配置文件，若发现高读取优先级标志，则提高此节点读取请求的优先级。存储集群中未设置高读取优先级标志位的存储节点，读写的优先级保持一致，为普通优先级。将指定的要求低时延的业务，如视频调取业务，挂载到高读取优先级的存储节点上，此存储节点产生的读业务，在存储集群的io请求处理队列中优先级最高，在集群中的响应速度最快，从而可以保证关联业务的低时延。
38.在一种实施方式中，本公开同时提供了一种存储管理装置，如图2，应用于存储集群设备，所述装置包括：配置模块21，用于配置高读取优先级的存储节点设备，所述高读取优先级的存储节点设备为该存储节点设备的读取请求的优先级高于写入请求的优先级，且高于非高读取优先级的存储节点设备的读取请求、写入请求的优先级；挂载模块22，用于获取要求读取低时延的存储访问业务，将该存储访问业务挂载到高读取优先级的存储节点设备上；数据模块23，用于由且仅由高读取优先级的存储节点设备根据所述要求读取低时延的存储访问业务的访问请求，返回关联的已存储数据。
39.在一种实施方式中，所述配置高读取优先级的存储节点设备，所述高读取优先级的存储节点设备为该存储节点设备的读取请求的优先级高于写入请求的优先级，且高于非高读取优先级的存储节点设备的读取请求、写入请求的优先级，包括：读取预先保存的配置文件，根据配置文件中记录的读取优先配置信息，将关联于该读取优先配置信息的存储节点设备配置为高读取优先级的存储节点设备。
40.在一种实施方式中，所述获取要求读取低时延的存储访问业务，将该存储访问业
务挂载到高读取优先级的存储节点设备上，包括：根据业务类型，获取要求读取低时延的存储访问业务，所述业务类型包括监控视频回放和/或图像处理。
41.在一种实施方式中，所述由且仅由高读取优先级的存储节点设备根据所述要求读取低时延的存储访问业务的访问请求，返回关联的已存储数据，包括：由且仅由高读取优先级的存储节点设备根据所述要求读取低时延的存储访问业务的访问请求，生成高优先级数据读取请求，将高优先级数据读取请求加入到请求处理队列的头部，根据高优先级数据读取请求读取并返回关联的已存储数据。
42.装置实施方式与对应的方法实施方式相同或相似，在此不再赘述。
43.在一种实施方式中，本公开提供了一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，处理器执行所述机器可执行指令以实现前述的存储管理方法，从硬件层面而言，硬件架构示意图可以参见图3所示。
44.在一种实施方式中，本公开提供了一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现前述的存储管理方法。
45.这里，机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：ram(radom access memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
46.上述实施方式阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
47.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本公开时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
48.本领域内的技术人员应明白，本公开的实施方式可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且，本公开实施方式可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
49.本公开是参照根据本公开实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
50.而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
51.这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
52.本领域技术人员应明白，本公开的实施方式可提供为方法、系统或计算机程序产品。因此，本公开可以采用完全硬件实施方式、完全软件实施方式、或者结合软件和硬件方面的实施方式的形式。而且，本公开可以采用在一个或者多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
53.以上所述仅为本公开的实施方式而已，并不用于限制本公开。对于本领域技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的权利要求范围之内。