一种存储系统中预读的方法、系统、设备及介质与流程

文档序号:21178480发布日期:2020-06-20 17:38阅读:202来源:国知局
一种存储系统中预读的方法、系统、设备及介质与流程

本发明涉及存储系统领域,更具体地,特别是指一种存储系统中预读的方法、系统、计算机设备及可读介质。



背景技术:

由于机械磁盘的访问速度与内存的访问速度差异大,所以对于全机械盘阵的存储系统,会把经常被访问的数据提取到缓存中,对于读请求,如果要访问数据在缓存中命中,那直接访问缓存中的数据;如果未命中,再从后端磁盘读取。所以缓存的命中率越高,系统访问的时延越低。为了提升缓存的命中率,对于顺序的读请求,会通过预读的方式,把后续可能被访问的数据提前提取到缓存中,以提升缓存的命中率。

现在一般都是先确定当前是顺序的读请求,才进行预读,所以顺序流判定的准确性决定了预读的有效性。当前的实现方法都是按照历史读请求lba(logicalblockaddress,逻辑区块地址)是否连续来判定是否是顺序读请求,但是对于多路的顺序访问,当前方法就不适用了。例如:用户a顺序访问lba1,lba2,lba3,…;用户b顺序访问lba1000,lba1001,lba1002,…;用户a和用户b并发的进行访问,lba的访问顺序可能为lba1,lba1000,lba2,lba1001,…,这样当前的实现方法会把这种访问类型识别为随机访问,就不触发预读操作,导致缓存命中率降低,访问时延增大。



技术实现要素:

有鉴于此,本发明实施例的目的在于提出一种存储系统中预读的方法、系统、计算机设备及计算机可读存储介质,通过判断哈希表中是否存在与当前io请求连续的io请求来识别多路并发访问的数据流,提升缓存的命中率,有效降低系统访问时延。

基于上述目的,本发明实施例的一方面提供了一种存储系统中预读的方法,包括如下步骤:响应于接收到新的io请求,在哈希表中查找是否存在最后逻辑区块地址等于所述新的io请求的最先逻辑区块地址的历史io请求;响应于所述哈希表中存在最后逻辑区块地址等于所述新的io请求的最先逻辑区块地址的历史io请求,对所述哈希表进行更新;判断更新后的所述哈希表中的权重值是否大于零;以及响应于更新后的所述哈希表中的权重值大于零,将所述新的io请求的长度与权重值的乘积作为预读大小进行预读。

在一些实施方式中,所述对所述哈希表进行更新包括:将所述历史io请求的最后逻辑区块地址替换为所述新的io请求的最后逻辑区块地址。

在一些实施方式中,所述将所述新的io请求的长度与权重值的乘积作为预读大小进行预读包括:判断所述权重值是否小于阈值;以及响应于所述权重值小于阈值,将所述权重值加一。

在一些实施方式中,还包括:响应于所述哈希表中不存在最后逻辑区块地址等于所述新的io请求的最先逻辑区块地址的历史io请求,将所述新的io请求的信息写到第一链表的最后。

在一些实施方式中,所述将所述新的io请求的信息写到第一链表的最后包括:判断所述第一链表的io请求个数是否超过第二阈值;以及响应于所述第一链表的io请求个数超过第二阈值,将所述新的io请求替换所述第一链表中的头部io请求,并将替换后的头部io请求移动到所述第一链表的最后。

本发明实施例的另一方面,还提供了一种存储系统中预读的系统,包括:查找模块,配置用于响应于接收到新的io请求,在哈希表中查找是否存在最后逻辑区块地址等于所述新的io请求的最先逻辑区块地址的历史io请求;更新模块,配置用于响应于所述哈希表中存在最后逻辑区块地址等于所述新的io请求的最先逻辑区块地址的历史io请求,对所述哈希表进行更新;判断模块,配置用于判断更新后的所述哈希表中的权重值是否大于零;以及预读模块,配置用于响应于更新后的所述哈希表中的权重值大于零,将所述新的io请求的长度与权重值的乘积作为预读大小进行预读。

在一些实施方式中,所述对所述哈希表进行更新包括:将所述历史io请求的最后逻辑区块地址替换为所述新的io请求的最后逻辑区块地址。

在一些实施方式中,所述预读模块还配置用于:判断所述权重值是否小于阈值;以及响应于所述权重值小于阈值,将所述权重值加一。

本发明实施例的又一方面,还提供了一种计算机设备,包括:至少一个处理器;以及存储器,所述存储器存储有可在所述处理器上运行的计算机指令,所述指令由所述处理器执行时实现如上方法的步骤。

本发明实施例的再一方面,还提供了一种计算机可读存储介质,计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。

本发明具有以下有益技术效果:通过判断哈希表中是否存在与当前io请求连续的io请求来识别多路并发访问的数据流,提升缓存的命中率,有效降低系统访问时延。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。

图1为本发明提供的存储系统中预读的方法的实施例的示意图;

图2为本发明提供的存储系统中预读的方法的实施例的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。

需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。

基于上述目的,本发明实施例的第一个方面,提出了一种存储系统中预读的方法的实施例。图1示出的是本发明提供的存储系统中预读的方法的实施例的示意图。如图1所示,本发明实施例包括如下步骤:

s1、响应于接收到新的io请求,在哈希表中查找是否存在最后逻辑区块地址等于新的io请求的最先逻辑区块地址的历史io请求;

s2、响应于哈希表中存在最后逻辑区块地址等于新的io请求的最先逻辑区块地址的历史io请求,对哈希表进行更新;

s3、判断更新后的哈希表中的权重值是否大于零;以及

s4、响应于更新后的哈希表中的权重值大于零,将新的io请求的长度与权重值的乘积作为预读大小进行预读。

本发明实施例最大可以支持256路io(输入输出)流的顺序检测,通过一个包含256个元素的数据保存io流的历史信息,其中lastlba字段是io访问的最后逻辑区块地址,例如一个io访问的其实lba是10,长度是32,那么最后逻辑区块地址为42;hashchain为hash(哈希)链表的链接字段,为了能够快速查找,会把这256个历史数据组织成hash表的形式,其中hashkey为数组元素的lastlba字段。

响应于接收到新的io请求,在哈希表中查找是否存在最后逻辑区块地址等于新的io请求的最先逻辑区块地址的历史io请求。新的io请求到来,用最先逻辑区块地址查找hash表,判断当前io是否与历史io连续。也即是判断是否存在最后逻辑区块地址等于新的io请求的最先逻辑区块地址的历史io请求。新的io请求到来,通过io的最先lba计算hashkey,在hash链表中查找是否有lastlba的值等于新到来io的最先lba的历史信息,如果能够查到,说明新的io跟历史io是连续的io访问,例如新的io请求的最先lba为42,长度是32,通过查找hash表,存在lastlba是42的元素,则说明新的io跟之前的io的访问时连续的,这时候新的io的lastlba为74。

响应于哈希表中存在最后逻辑区块地址等于新的io请求的最先逻辑区块地址的历史io请求,对哈希表进行更新。在一些实施方式中,所述对所述哈希表进行更新包括:将所述历史io请求的最后逻辑区块地址替换为所述新的io请求的最后逻辑区块地址。

判断更新后的哈希表中的权重值是否大于零。

响应于更新后的哈希表中的权重值大于零,将新的io请求的长度与权重值的乘积作为预读大小。在一些实施方式中,所述将所述新的io请求的长度与权重值的乘积作为预读大小进行预读包括:判断所述权重值是否小于阈值;以及响应于所述权重值小于阈值,将所述权重值加一。例如,本实施例中的阈值可以是八,如果权重值小于八,可以将权重值加一。weight是计算预读io长度的权重值,初始化时为0,最大值为8;例如,开始时weight值为0,新的io与历史io地址连续,即新io的最先lba等于历史信息的lastlba,则weight加1,如果后面的io还连续,weight值再加1,如果一直连续,增大到8时就不再增加。weight的大小决定了预读的长度大小,预读的长度为当前io的长度乘以weight值。

在一些实施方式中,还包括:响应于所述哈希表中不存在最后逻辑区块地址等于所述新的io请求的最先逻辑区块地址的历史io请求,将所述新的io请求的信息写到第一链表的最后。如果哈希表中不存在与新的io请求连续的历史io请求,把当前io请求的信息放入lru(leastrecentlyused,最近最少使用)链表尾部。lrulist为历史io信息的lru链表的链接元素,因为只保存了256个lba不连续的历史io信息,所有当这个元素使用完后,新到来io跟这256个历史信息在地址上都不连续,那么需要通过lru的规则,把lru链表最久没有访问的元素替换掉,更新为最新io的信息,例如新的io请求的最先lba为78,长度为32,在hash表中没有找到lastlba时78的元素,这把最近最少使用的元素的中信息替换掉,更新为这个新的io的信息,lastlba更新为78+32=110。

在一些实施方式中,所述将所述新的io请求的信息写到第一链表的最后包括:判断所述第一链表的io请求个数是否超过第二阈值;以及响应于所述第一链表的io请求个数超过第二阈值,将所述新的io请求替换所述第一链表中的头部io请求,并将替换后的头部io请求移动到所述第一链表的最后。

在一些实施方式中,lru链表头部为lru链表最久没有访问的元素,此时一种存储系统中预读的方法具体包括:

1)新的读io请求到来,用开始lba,查找hash表,当前io是否与历史io连续,如果不连续转2)处理;如果连续转3处理。

2)没有找到,把当前io的现象放入历史io信息lru链表尾部,如果链表已满,把链表头部的信息淘汰,更新为当前io的信息,移动都链表尾部,处理结束。

3)找到连续io,更新io信息的lastlba信息,如果weight小于8,weight值加1,更新信息后,移动到lru链表尾部,转4)继续处理。

4)满足预读条件,触发预读,预读大小为当前io的长度乘以weight值,处理结束。

需要特别指出的是,上述存储系统中预读的方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减,因此,这些合理的排列组合变换之于存储系统中预读的方法也应当属于本发明的保护范围,并且不应将本发明的保护范围局限在实施例之上。

基于上述目的,本发明实施例的第二个方面,提出了一种存储系统中预读的系统,包括:查找模块,配置用于响应于接收到新的io请求,在哈希表中查找是否存在最后逻辑区块地址等于所述新的io请求的最先逻辑区块地址的历史io请求;更新模块,配置用于响应于所述哈希表中存在最后逻辑区块地址等于所述新的io请求的最先逻辑区块地址的历史io请求,对所述哈希表进行更新;判断模块,配置用于判断更新后的所述哈希表中的权重值是否大于零;以及预读模块,配置用于响应于更新后的所述哈希表中的权重值大于零,将所述新的io请求的长度与权重值的乘积作为预读大小进行预读。

在一些实施方式中,所述对所述哈希表进行更新包括:将所述历史io请求的最后逻辑区块地址替换为所述新的io请求的最后逻辑区块地址。

在一些实施方式中,所述预读模块还配置用于:判断所述权重值是否小于阈值;以及响应于所述权重值小于阈值,将所述权重值加一。

在一些实施方式中,系统还包括:执行模块,配置用于响应于所述哈希表中不存在最后逻辑区块地址等于所述新的io请求的最先逻辑区块地址的历史io请求,将所述新的io请求的信息写到第一链表的最后。

在一些实施方式中,所述执行模块还配置用于:判断所述第一链表的io请求个数是否超过第二阈值;以及响应于所述第一链表的io请求个数超过第二阈值,将所述新的io请求替换所述第一链表中的头部io请求,并将替换后的头部io请求移动到所述第一链表的最后。

基于上述目的,本发明实施例的第三个方面,提出了一种计算机设备,包括:至少一个处理器;以及存储器,存储器存储有可在处理器上运行的计算机指令,指令由处理器执行以实现如下步骤:s1、响应于接收到新的io请求,在哈希表中查找是否存在最后逻辑区块地址等于新的io请求的最先逻辑区块地址的历史io请求;s2、响应于哈希表中存在最后逻辑区块地址等于新的io请求的最先逻辑区块地址的历史io请求,对哈希表进行更新;s3、判断更新后的哈希表中的权重值是否大于零;以及s4、响应于更新后的哈希表中的权重值大于零,将新的io请求的长度与权重值的乘积作为预读大小进行预读。

在一些实施方式中,所述对所述哈希表进行更新包括:将所述历史io请求的最后逻辑区块地址替换为所述新的io请求的最后逻辑区块地址。

在一些实施方式中,所述将所述新的io请求的长度与权重值的乘积作为预读大小进行预读包括:判断所述权重值是否小于阈值;以及响应于所述权重值小于阈值,将所述权重值加一。

在一些实施方式中,还包括:响应于所述哈希表中不存在最后逻辑区块地址等于所述新的io请求的最先逻辑区块地址的历史io请求,将所述新的io请求的信息写到第一链表的最后。

在一些实施方式中,所述将所述新的io请求的信息写到第一链表的最后包括:判断所述第一链表的io请求个数是否超过第二阈值;以及响应于所述第一链表的io请求个数超过第二阈值,将所述新的io请求替换所述第一链表中的头部io请求,并将替换后的头部io请求移动到所述第一链表的最后。

如图2所示,为本发明提供的上述存储系统中预读的方法的一个实施例的硬件结构示意图。

以如图2所示的装置为例,在该装置中包括一个处理器301以及一个存储器302,并还可以包括:输入装置303和输出装置304。

处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接,图2中以通过总线连接为例。

存储器302作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的存储系统中预读的方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的存储系统中预读的方法。

存储器302可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据存储系统中预读的方法的使用所创建的数据等。此外,存储器302可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器302可选包括相对于处理器301远程设置的存储器,这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置303可接收输入的用户名和密码等信息。输出装置304可包括显示屏等显示设备。

一个或者多个存储系统中预读的方法对应的程序指令/模块存储在存储器302中,当被处理器301执行时,执行上述任意方法实施例中的存储系统中预读的方法。

执行上述存储系统中预读的方法的计算机设备的任何一个实施例,可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

本发明还提供了一种计算机可读存储介质,计算机可读存储介质存储有被处理器执行时执行如上方法的计算机程序。

最后需要说明的是,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关硬件来完成,存储系统中预读的方法的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,程序的存储介质可为磁碟、光盘、只读存储记忆体(rom)或随机存储记忆体(ram)等。上述计算机程序的实施例,可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

此外,根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序,该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时,执行本发明实施例公开的方法中限定的上述功能。

此外,上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。

此外,应该明白的是,本文的计算机可读存储介质(例如,存储器)可以是易失性存储器或非易失性存储器,或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的,非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦写可编程rom(eeprom)或快闪存储器。易失性存储器可以包括随机存取存储器(ram),该ram可以充当外部高速缓存存储器。作为例子而非限制性的,ram可以以多种形式获得,比如同步ram(dram)、动态ram(dram)、同步dram(sdram)、双数据速率sdram(ddrsdram)、增强sdram(esdram)、同步链路dram(sldram)、以及直接rambusram(drram)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能,但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行:通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器,但是可替换地,处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如,dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp和/或任何其它这种配置。

结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在ram存储器、快闪存储器、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动盘、cd-rom、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器,使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中,存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在asic中。asic可以驻留在用户终端中。在一个替换方案中,处理器和存储介质可以作为分立组件驻留在用户终端中。

在一个或多个示例性设计中,功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现,则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质,该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的,该计算机可读介质可以包括ram、rom、eeprom、cd-rom或其它光盘存储设备、磁盘存储设备或其它磁性存储设备,或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外,任何连接都可以适当地称为计算机可读介质。例如,如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(dsl)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件,则上述同轴线缆、光纤线缆、双绞线、dsl或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的,磁盘和光盘包括压缩盘(cd)、激光盘、光盘、数字多功能盘(dvd)、软盘、蓝光盘,其中磁盘通常磁性地再现数据,而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。

以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。

应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1