数据处理方法以及系统与流程

文档序号:26405773发布日期:2021-08-24 16:20阅读:来源:国知局

技术特征:

1.一种数据处理方法,包括:

数据存储节点向日志服务节点发送日志删除请求;

所述日志服务节点接收所述数据存储节点发送的所述日志删除请求,并根据所述日志删除请求,确定待删除日志,在确定所述待删除日志被拉取过的情况下,向所述数据存储节点发送数据备份通知;

所述数据存储节点接收所述日志服务节点发送的所述数据备份通知,基于所述数据备份通知中携带的所述待删除日志的标识信息,确定待备份的数据存储空间的数据,并将所述数据上传至存储服务节点;

所述存储服务节点接收所述数据存储节点上传的所述数据,对所述数据进行备份处理,并在备份成功的情况下,向所述数据存储节点发送所述数据的备份路径;

所述数据存储节点接收所述存储服务节点发送的所述备份路径,并根据所述标识信息以及所述备份路径向所述日志服务节点反馈备份记录;

所述日志服务节点接收所述数据存储节点反馈的所述备份记录并删除日志。

2.根据权利要求1所述的数据处理方法,所述根据所述日志删除请求,确定待删除日志,包括:

根据所述日志删除请求中携带的标识信息,确定待删除日志;或

响应于所述日志删除请求,获取第一备份记录;根据所述第一备份记录中携带的第一标识信息以及预设日志间隔数量,确定所述待删除日志;或

确定各个数据存储节点的拉取日志标识;根据拉取日志标识的生成时间,确定待删除日志。

3.根据权利要求1所述的数据处理方法,所述日志服务节点接收所述数据存储节点反馈的所述备份记录并删除日志,包括:

所述日志服务节点接收所述数据存储节点反馈的所述备份记录;统计存储的第一备份记录的数量,并在所述数量大于预设数量的情况下,在所述第一备份记录中确定目标备份记录,其中,所述第一备份记录包括所述备份记录;根据所述目标备份记录中携带的标识信息,确定对应的目标日志并删除。

4.根据权利要求3所述的数据处理方法,所述确定对应的目标日志并删除之后,还包括:

将所述目标日志对应的目标备份记录发送至存储服务节点;

所述存储服务节点基于所述目标备份记录,确定待删除的备份数据并进行删除处理;在删除完成的情况下,向所述日志服务节点发送删除通知;

所述日志服务节点接收所述存储服务节点发送的所述删除通知。

5.根据权利要求1所述的数据处理方法,所述日志服务节点接收所述数据存储节点反馈的所述备份记录之后,还包括:

基于所述备份记录生成备份日志;

相应地,所述数据处理方法,还包括:

所述日志服务节点接收第三数据存储节点发送的日志拉取请求;在所述日志拉取请求对应的拉取日志中包含备份日志的情况下,判断包含的备份日志是否为目标备份日志;若否,将所述目标备份日志以及所述目标备份日志之后的日志发送至所述第三数据存储节点。

6.根据权利要求1所述的数据处理方法,所述基于所述数据备份通知中携带的所述待删除日志的标识信息,确定待备份的数据存储空间的数据,包括:

基于所述数据备份通知中携带的待删除日志的标识信息,判断是否存在与所述标识信息对应的数据存储空间的版本信息;若否,通过执行所述标识信息对应的日志,对所述数据存储空间中的数据以及所述版本信息进行更新,并将更新后的数据存储空间的数据以及更新后的版本信息确定为待备份的数据存储空间的数据。

7.根据权利要求1所述的数据处理方法,所述确定待备份的数据存储空间的数据之后,还包括:

针对所述待备份的数据存储空间的数据生成第一校验码;

相应地,所述向所述数据存储节点发送所述数据的备份路径,包括:

针对所述数据生成第二校验码;

向所述数据存储节点发送所述数据的备份路径以及所述第二校验码;

相应地,所述根据所述标识信息以及所述备份路径向所述日志服务节点反馈备份记录,包括:

接收所述存储服务节点发送的针对所述数据的备份路径以及所述第二校验码;在所述第一校验码与所述第二校验码对比一致的情况下,根据所述第一校验码或第二校验码、所述标识信息以及所述数据的备份路径,生成备份记录;向所述日志服务节点反馈所述备份记录。

8.一种数据处理方法,应用于日志服务节点,包括:

接收日志删除请求;

根据所述日志删除请求,确定待删除日志,在确定所述待删除日志被拉取过的情况下,根据拉取记录确定对应的数据存储节点;

向所述数据存储节点发送数据备份通知,其中,所述数据备份通知中携带所述待删除日志的标识信息;

接收所述数据存储节点响应于所述数据备份通知进行备份处理后反馈的备份记录并删除日志,其中,所述备份记录中携带有备份路径以及所述待删除日志的标识信息。

9.根据权利要求1所述的数据处理方法,所述根据拉取记录确定对应的数据存储节点,包括:

根据拉取记录中的日志标识以及对应的存储节点标识,确定拉取所述待删除日志的第二数据存储节点;

根据所述拉取记录中的拉取时间从前到后的顺序,对所述第二数据存储节点进行排序;

将排在末位的第二数据存储节点确定为所述数据存储节点。

10.一种数据处理方法,应用于数据存储节点,包括:

向日志服务节点发送日志删除请求;

接收所述日志服务节点响应于所述日志删除请求发送的数据备份通知;

基于所述数据备份通知中携带的待删除日志的标识信息,确定待备份的数据存储空间的数据并进行备份处理;

根据所述标识信息以及所述数据的备份路径向所述日志服务节点反馈备份记录。

11.根据权利要求10所述的数据处理方法,所述基于所述数据备份通知中携带的待删除日志的标识信息,确定待备份的数据存储空间的数据并进行备份处理,包括:

所述基于所述数据备份通知中携带的待删除日志的标识信息,确定待备份的数据存储空间的数据;

通过将所述数据上传至存储服务节点的方式,对所述数据进行备份处理;

在备份成功的情况下,接收所述存储服务节点发送的所述数据的备份路径。

12.一种数据处理系统,包括:

数据存储节点、日志服务节点以及存储服务节点;

其中,所述数据存储节点,被配置为向日志服务节点发送日志删除请求;

所述日志服务节点,被配置为接收所述数据存储节点发送的所述日志删除请求;根据所述日志删除请求,确定待删除日志,在确定所述待删除日志被拉取过的情况下,向所述数据存储节点发送数据备份通知;

所述数据存储节点,被配置为接收所述日志服务节点发送的所述数据备份通知;基于所述数据备份通知中携带的所述待删除日志的标识信息,确定待备份的数据存储空间的数据,并将所述数据上传至存储服务节点;

所述存储服务节点,被配置为接收所述数据存储节点上传的所述数据,对所述数据进行备份处理,并在备份成功的情况下,向所述数据存储节点发送所述数据的备份路径;

所述数据存储节点,被配置为接收所述数据存储节点发送的所述备份路径,并根据所述标识信息以及所述备份路径向所述日志服务节点反馈备份记录;

所述日志服务节点,被配置为接收所述数据存储节点反馈的所述备份记录并删除日志。

13.一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述计算机指令时实现权利要求1-7或8-9或10-11任意一项所述数据处理方法的步骤。

14.一种计算机可读存储介质,其存储有计算机指令,所述计算机指令被处理器执行时实现权利要求1-7或8-9或10-11任意一项所述数据处理方法的步骤。


技术总结
本说明书提供数据处理方法以及系统,其中所述数据处理方法包括:数据存储节点向日志服务节点发送日志删除请求;日志服务节点根据所述日志删除请求,确定待删除日志,在确定所述待删除日志被拉取过的情况下,向数据存储节点发送数据备份通知;数据存储节点基于所述数据备份通知中携带的所述待删除日志的标识信息,确定待备份的数据存储空间的数据,并将所述数据上传至存储服务节点;存储服务节点对上传的所述数据进行备份处理,并在备份成功的情况下,向数据存储节点发送所述数据的备份路径;所述数据存储节点根据所述标识信息以及所述备份路径向日志服务节点反馈备份记录;日志服务节点基于反馈的所述备份记录删除日志。

技术研发人员:张冠华;严祥光;鞠进涛;朱云锋
受保护的技术使用者:阿里巴巴新加坡控股有限公司
技术研发日:2021.05.19
技术公布日:2021.08.24
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1