一种数据写入速率的自适应限流方法、装置、设备及介质与流程

文档序号:27103563发布日期:2021-10-27 18:00阅读:来源:国知局

技术特征:
1.一种数据写入速率的自适应限流方法,应用于分布式存储系统中,其特征是,包括:对多个io实例进行数据写入控制;获取每个io实例中待写入的数据写入请求,并解析获取数据写入请求中包含的待写入的数据量;根据待写入的数据量判断当前第一周期内可写入的数据量进行对比,如果当前第一周期内可写入的数据量不小于待写入的数据量,控制待写入的数据写入,并更新当前第一周期内可写入的数据量;如果当前第一周期内可写入的数据量小于待写入的数据量,将待写入的数据写入请求放入等待队列,等待下一个第一周期判断执行;判断当前时间间隔是否满足第二周期,如果满足,根据第二周期内存在数据写入请求等待的第一周期的数量进行数据写入速率自适应调整,根据调整后的数据写入速率设置当前第一周期内可写入的数据量;其中,第二周期为多个第一周期。2.根据权利要求1所述的数据写入速率的自适应限流方法,其特征是,根据第二周期内存在数据写入请求等待的第一周期的数量进行数据写入速率自适应调整具体是:获取当前第二周期内存在数据写入请求等待的第一周期的数量;确定存在数据写入请求等待的第一周期的数量与第二周期内包含第一周期的数量之间比值;根据比值与预设数值的关系,调整下一第二周期内的每个第一周期中的数据写入速率。3.根据权利要求2所述的数据写入速率的自适应限流方法,其特征是,其中预设数值包括第一预设阈值、第二预设阈值、第三预设阈值,第一预设阈值小于第二预设阈值,且第二预设阈值小于第三预设阈值,根据比值与预设数值的关系,调整下一第二周期内的每个第一周期中的数据写入速率具体包括:如果比值小于第一预设阈值,下一第二周期内的每个第一周期中的数据写入速率为当前第二周期内的每个第一周期中数据写入速率与第一调整比例的乘积;如果比值大于第一预设阈值且小于第二预设阈值,下一第二周期内的每个第一周期中的数据写入速率为当前第二周期内的每个第一周期中数据写入速率与第二调整比例的乘积;如果比值大于第二预设阈值且小于第三预设阈值,下一第二周期内的每个第一周期中的数据写入速率为当前第二周期内的每个第一周期中数据写入速率与第三调整比例的乘积;如果比值大于第三预设阈值,下一第二周期内的每个第一周期中的数据写入速率为当前第二周期内的每个第一周期中数据写入速率与第四调整比例的乘积;其中,第一调整比例、第二调整比例、第三调整比例、第四调整比例依次增大,且第一调整比例、第二调整比例小于1,第四调整比例大于1。4.根据权利要求1所述的数据写入速率的自适应限流方法,其特征是,根据调整后的数据写入速率设置当前第一周期内可写入的数据量具体是:当前第一周期内可写入的数据量为调整后的数据写入速率均分至各个第一周期内。5.根据权利要求1所述的数据写入速率的自适应限流方法,其特征是,等待队列中多个待写入的数据写入请求根据待写入的数据写入请求的优先级顺序被下一个第一周期判断
执行。6.根据权利要求5所述的数据写入速率的自适应限流方法,其特征是,根据待写入的数据写入请求的优先级顺序具体是:等待队列中,高优先级io实例对应的待写入的数据写入请求优先级高于低优先级io实例对应的待写入的数据写入请求;和/或,等待队列中相同优先级io实例对应的待写入的数据写入请求中,先入队的待写入的数据写入请求优先级高于后入队的待写入的数据写入请求。7.根据权利要求1

6任一所述的数据写入速率的自适应限流方法,其特征是,对多个io实例进行数据写入控制之前还包括:进行初始化参数配置以及接口配置,其中,初始化参数配置包括:数据写入最高速率、第一周期、第二周期、当前第一周期内可写入的数据量;初始化接口配置包括:io实例中数据写入请求调用接口、数据写入速率获取接口、数据写入速率设置接口、数据写入速率调整接口、当前第一周期内可写入的数据量调整接口。8.一种数据写入速率的自适应限流装置,应用于分布式存储系统中,其特征是,包括:控制模块,对多个io实例进行数据写入控制;获取解析模块,获取每个io实例中待写入的数据写入请求,并解析获取数据写入请求中包含的待写入的数据量;对比模块,根据待写入的数据量判断当前第一周期内可写入的数据量进行对比,如果当前第一周期内可写入的数据量不小于待写入的数据量,控制待写入的数据写入,并更新当前第一周期内可写入的数据量;如果当前第一周期内可写入的数据量小于待写入的数据量,将待写入的数据写入请求放入等待队列,等待下一个第一周期判断执行;调整模块,判断当前时间间隔是否满足第二周期,如果满足,根据第二周期内存在数据写入请求等待的第一周期的数量进行数据写入速率自适应调整,根据调整后的数据写入速率设置当前第一周期内可写入的数据量;其中,第二周期为多个第一周期。9.一种电子设备,其特征是,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的数据写入速率的自适应限流方法的步骤。10.一种计算机可读存储介质,其特征是,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据写入速率的自适应限流方法的步骤。

技术总结
本发明提出了一种数据写入速率的自适应限流方法,应用于分布式存储系统中,包括:对多个IO实例进行数据写入控制;获取每个IO实例中待写入的数据写入请求;根据待写入的数据量判断当前第一周期内可写入的数据量进行对比,如果当前第一周期内可写入的数据量不小于待写入的数据量,控制待写入的数据写入,并更新当前第一周期内可写入的数据量;如果满足,根据第二周期内存在数据写入请求等待的第一周期的数量进行数据写入速率自适应调整,根据调整后的数据写入速率设置当前第一周期内可写入的数据量,本发明还提出了一种数据写入速率的自适应限流装置、设备及介质,有效的提高了数据写入速率限制的可靠性。据写入速率限制的可靠性。据写入速率限制的可靠性。


技术研发人员:张洪鑫 孟祥瑞
受保护的技术使用者:济南浪潮数据技术有限公司
技术研发日:2021.06.11
技术公布日:2021/10/26
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1