计算集群的性能优化方法、系统、设备及存储介质与流程

本申请涉及云，尤其涉及一种计算集群的性能优化方法、系统、设备及存储介质。

背景技术：

1、大规模基础设施现已普遍采用分布式集群方式进行可靠性高并可灵活扩展的部署。计算集群与存储集群间可通过数据中心网络实现互联。根据数据一致性要求，数据需写入存储集群方可被确定为完成了持久化存储，而从计算集群到存储集群数据路径长，完成数据写入所需延迟较大。同时，计算集群也需从存储集群持续读取大量数据，在数据链路长的情况下，大量数据搬迁对性能与能耗等均构成瓶颈。

2、因此，提升读写性能是集群化部署大规模基础设施的一个关键挑战。

技术实现思路

1、本申请的多个方面提供一种计算集群的性能优化方法、系统、设备及存储介质，用以提升计算集群的读/写性能。

2、本申请实施例提供一种计算集群的性能优化系统，包括：计算集群中的各个计算节点和所述各个计算节点上分别装配的缓存设备，装配的缓存设备组成读缓存集群；

3、所述计算集群中的目标计算节点，用于响应于读请求，确定待读数据对应的目标数据标识；若在预设数据标识表中查找到所述目标数据标识，则确定所述待读数据在所述读缓存集群中所处的目标缓存设备；从所述目标缓存设备中读取所述待读数据；

4、其中，所述预设数据标识表中记录有所述读缓存集群中各个缓存设备上的缓存数据的数据标识。

5、本申请实施例还提供一种计算集群的性能优化系统，包括：计算集群中的各个计算节点和所述各个计算节点上分别装配的缓存设备，装配的缓存设备分组为至少一个写缓存组；

6、所述计算集群中的目标计算节点，用于响应于写请求，将待写数据写入所述目标计算节点上装配的第一缓存设备；利用所述第一缓存设备所在的目标写缓存组对所述待写数据进行缓存；

7、所述目标写缓存组内的第二缓存设备，用于将所述待写数据写入存储集群；

8、其中，所述第二缓存设备为所述目标写缓存组中无故障的缓存设备，第二缓存设备与所述第一缓存设备相同或不同。

9、本申请实施例还提供一种计算集群的性能优化方法，应用于计算集群中的任一目标计算节点，所述计算集群中的各个计算节点上分别装配有缓存设备，装配的缓存设备组成读缓存集群；所述方法包括：

10、响应于读请求，确定待读数据对应的目标数据标识；

11、若在预设数据标识表中查找到所述目标数据标识，则确定所述待读数据在所述读缓存集群中所处的目标缓存设备；

12、从所述目标缓存设备中读取所述待读数据；

13、其中，所述预设数据标识表中记录有所述读缓存集群中各个缓存设备上的缓存数据的数据标识。

14、本申请实施例还提供一种计算集群的性能优化方法，应用于计算集群中的任一目标计算节点，所述计算集群中的各个计算节点上分别装配有缓存设备，装配的缓存设备分组为至少一个写缓存组；所述方法包括：

15、响应于写请求，将待写数据写入所述计算节点上装配的第一缓存设备；

16、利用所述第一缓存设备所在的目标写缓存组对所述待写数据进行缓存；

17、通过所述目标写缓存组内的第二缓存设备，将所述待写数据写入存储集群；

18、其中，所述第二缓存设备为所述目标写缓存组中无故障的缓存设备，第二缓存设备与所述第一缓存设备相同或不同。

19、本申请实施例还提供一种计算节点，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令；所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于执行前述的计算集群的性能优化方法。

20、本申请实施例还提供一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行前述的计算集群的性能优化方法。

21、本申请实施例中，提出了一种计算集群的读/写缓存方案，在计算集群的各个计算节点上装配缓存设备。在读性能方面，这些装配的缓存设备可组成读缓存集群；且本实施例中可基于预设数据标识表来管理读缓存集群，减少数据重复，从而提高计算集群在读缓存集群中的命中率，进而优化计算集群的读性能。在写性能方面，这些装配的缓存设备可分组为至少一个写缓存组，计算节点可直接向其上装备的缓存设备进行本地化写入，而由该缓存设备所处的目标写缓存组接手，对待写数据进行写缓存并写入至存储集群，这可有效缩短计算节点的写入路径，缩短写延迟，进而优化计算集群的写性能。

技术特征：

1.一种计算集群的性能优化系统，包括：计算集群中的各个计算节点和所述各个计算节点上分别装配的缓存设备，装配的缓存设备组成读缓存集群；

2.根据权利要求1所述的系统，所述计算集群中所装配的缓存设备还分组为至少一个写缓存组；

3.一种计算集群的性能优化系统，包括：计算集群中的各个计算节点和所述各个计算节点上分别装配的缓存设备，装配的缓存设备分组为至少一个写缓存组；

4.一种计算集群的性能优化方法，应用于计算集群中的任一目标计算节点，所述计算集群中的各个计算节点上分别装配有缓存设备，装配的缓存设备组成读缓存集群；所述方法包括：

5.根据权利要求4所述的方法，还包括：

6.根据权利要求4所述的方法，所述预设数据标识表还包括数据标识与数据存储位置信息之间的映射关系，所述确定所述待读数据在所述读缓存集群中所处的目标缓存设备，包括：

7.根据权利要求6所述的方法，所述目标数据存储位置信息中还包含数据起始地址和数据长度，所述从所述目标缓存设备中读取所述待读数据，包括：

8.根据权利要求4所述的方法，所述计算集群中所装配的缓存设备还分组为至少一个写缓存组，所述方法还包括：

9.根据权利要求8所述的方法，所述利用所述第一缓存设备所在的目标写缓存组对所述待写数据进行缓存，包括：

10.根据权利要求9所述的方法，所述通过第二缓存设备将所述待写数据写入存储集群，包括：

11.根据权利要求8所述的方法，所述利用所述第一缓存设备所在的目标写缓存组对所述待写数据进行缓存，包括：

12.根据权利要求11所述的方法，所述通过所述目标写缓存组内的第二缓存设备将所述待写数据写入存储集群，包括：

13.根据权利要求8所述的方法，所述待写数据写入所述第一缓存设备后，作为所述第一缓存设备中的缓存数据；所述方法还包括：

14.根据权利要求4所述的方法，还包括：

15.一种计算集群的性能优化方法，应用于计算集群中的任一目标计算节点，所述计算集群中的各个计算节点上分别装配有缓存设备，装配的缓存设备分组为至少一个写缓存组；所述方法包括：

16.一种计算节点，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令；所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于执行权利要求4-15任一项所述的计算集群的性能优化方法。

17.一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求4-15任一项所述的计算集群的性能优化方法。

技术总结
本申请实施例提供一种计算集群的性能优化方法、系统、设备及存储介质。提出了一种计算集群的读/写缓存方案，在计算集群的各个计算节点上装配缓存设备。在读性能方面，这些装配的缓存设备可组成读缓存集群；且本申请实施例中可基于预设数据标识表来管理读缓存集群，减少数据重复，从而提高计算集群在读缓存集群中的命中率，进而优化计算集群的读性能。在写性能方面，这些装配的缓存设备可分组为至少一个写缓存组，计算节点可直接向其上装备的缓存设备进行本地化写入，而由该缓存设备所处的目标写缓存组接手，对待写数据进行写缓存并写入至存储集群，这可有效缩短计算节点的写入路径，缩短写延迟，进而优化计算集群的写性能。

技术研发人员：李舒
受保护的技术使用者：阿里巴巴（中国）有限公司
技术研发日：
技术公布日：2024/1/11