基于多云存储的数据访问方法、装置、计算机设备及介质与流程

文档序号:28319465发布日期:2022-01-04 21:52阅读:来源:国知局

技术特征:
1.一种基于多云存储的数据访问方法,应用于多云存储网关中,其特征在于,所述基于多云存储的数据访问方法包括:在接收到客户端发送的数据访问请求时,通过集群通信的方式,对集群中每个节点进行活性探测,得到节点状态;将所述节点状态为激活的节点,作为有效节点;采用针对s3协议的调度算法,对所述访问请求进行调度分配,将所述访问请求中的写入请求平均分配到每个所述有效节点,并将所述访问请求中的读取请求发送到当前进行多云存储对象的站点;采用令牌桶算法对每个所述有效节点的写入请求进行流量控制,在所述写入请求的数量超过预设阈值时进行及时预警限制;在将读取请求发送到当前进行多云存储对象站点后,采用服务质量qos对存储进行控制。2.如权利要求1所述的基于多云存储的数据访问方法,其特征在于,所述通过集群通信的方式,对集群中每个节点进行活性探测,得到节点状态包括:基于集群通信,向每个所述节点发送心跳包检测指令;根据每个所述节点针对所述心跳包检测指令的反馈结果,确定每个所述节点对应的节点状态。3.如权利要求1所述的基于多云存储的数据访问方法,其特征在于,所述多云存储网关部署有ecs多数据中心,所述采用针对s3协议的调度算法,对所述访问请求进行调度分配,将所述访问请求中的写入请求平均分配到每个所述有效节点包括:对所述每个有效节点的主机地址进行解析,得到每个有效节点的主机地址格式,其中,所述主机地址格式包括路径格式和虚拟主机格式;基于所述主机地址格式,生成ecs多数据中心的全局负载均衡策略;基于所述全局负载均衡策略,对所述访问请求进行调度分配,将所述访问请求中的写入请求平均分配到每个所述有效节点。4.如权利要求1所述的基于多云存储的数据访问方法,其特征在于,所述将所述访问请求中的读取请求发送到当前进行多云存储对象的站点包括:对所述客户端的ip地址进行监测;若所述客户端的ip地址为ipv6类型,对所述客户端地址进行转换,得到ipv4类型的ip地址;基于所述ipv4类型的ip地址,对所述问请求中的读取请求进行存储处理。5.如权利要求1至4任一项所述的基于多云存储的数据访问方法,其特征在于,所述采用令牌桶算法对每个所述有效节点的写入请求进行流量控制,在所述写入请求的数量超过预设阈值时进行及时预警限制包括:针对每个所述有效节点,获取所述写入请求总数a和每个写入请求的标识信息,其中,a为正整数;获取补充令牌的时间点和当前时间点,并计算所述当前时间点与所述补充令牌的时间点之间的时间间隔δt;将所述时间间隔与预设间隔阈值t进行比较,得到比较结果;
按照所述比较结果对应的预设填充方式,计算可补充令牌数量m;若m<a,则计算a与m的差值n,并从所述写入请求中选取n个请求作为待处理访问请求,并对所述待处理访问请求进行写入处理,其中n为正整数;在所述待处理访问请求处理完成后,获取处理完成的待处理访问请求的标识信息,将所述处理完成的待处理访问请求的标识信息作为目标标识信息;对标识信息为所述目标标识信息的写入请求进行移除,得到更新后的写入请求;根据所述更新后的写入请求进行m次令牌填充,并依次执行所述写入请求。6.如权利要求5所述的基于多云存储的数据访问方法,其特征在于,所述按照所述比较结果对应的预设填充方式,计算可补充令牌数量m包括:若比较结果为δt≥t,则获取当前令牌数量e与预设的令牌上限f,按公式m=f

e计算所述可补充令牌数量m;若比较结果为δt<t,则按照如下公式计算所述可补充令牌数量m:7.一种基于多云存储的数据访问装置,其特征在于,所述基于多云存储的数据访问装置包括:节点状态探测模块,用于在接收到客户端发送的数据访问请求时,通过集群通信的方式,对集群中每个节点进行活性探测,得到节点状态;有效节点确定模块,用于将所述节点状态为激活的节点,作为有效节点;请求调度分配模块,用于采用针对s3协议的调度算法,对所述访问请求进行调度分配,将所述访问请求中的写入请求平均分配到每个所述有效节点,并将所述访问请求中的读取请求发送到当前进行多云存储对象的站点;第一访问控制模块,用于采用令牌桶算法对每个所述有效节点的写入请求进行流量控制,在所述写入请求的数量超过预设阈值时进行及时预警限制;第二访问控制模块,用于在将读取请求发送到当前进行多云存储对象站点后,采用服务质量qos对存储进行控制。8.如权利要求7所述的基于多云存储的数据访问装置,其特征在于,所述请求调度分配模块包括:地址解析单元,用于对所述每个有效节点的主机地址进行解析,得到每个有效节点的主机地址格式,其中,所述主机地址格式包括路径格式和虚拟主机格式;负载均衡策略生成单元,用于基于所述主机地址格式,生成ecs多数据中心的全局负载均衡策略;写入请求调度单元,用于基于所述全局负载均衡策略,对所述访问请求进行调度分配,将所述访问请求中的写入请求平均分配到每个所述有效节点。9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于多云存储的数据访问方法。10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于多云存储的数
据访问方法。

技术总结
本发明公开了一种基于多云存储的数据访问方法、装置、计算机设备及存储介质,包括:在接收到客户端发送的数据访问请求时,通过集群通信的方式,对集群中每个节点进行活性探测,得到节点状态,将节点状态为激活的节点,作为有效节点,采用针对S3协议的调度算法,对访问请求进行调度分配,将访问请求中的写入请求平均分配到每个有效节点,并将访问请求中的读取请求发送到当前进行多云存储对象的站点,采用令牌桶算法对每个有效节点的写入请求进行流量控制,在写入请求的数量超过预设阈值时进行及时预警限制,在将读取请求发送到当前进行多云存储对象站点后,采用服务质量QOS对存储进行控制,采用本发明提高了数据访问的效率。采用本发明提高了数据访问的效率。采用本发明提高了数据访问的效率。


技术研发人员:陈旃
受保护的技术使用者:鸬鹚科技(深圳)有限公司
技术研发日:2021.09.10
技术公布日:2022/1/3
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1