隐私计算的并行计算存储方法及系统与流程

本发明涉及隐私计算领域，尤其涉及一种隐私计算的并行计算存储方法及系统。

背景技术：

1、在隐私计算产品中，联邦学习需要执行大量的计算逻辑，通常为了支持大数据量的联邦学习训练，往往会将数据集分片存储，为了支持高效的读写，数据存储会使用lmdb进行本地存储，在模型训练过程中对数据集分片数据通过并行计算来执行联邦学习的模型训练逻辑。在模型训练中，需要通过dag来执行各算法组件业务逻辑，每个算法组件的输出需要将会作为下游算法组件的输入，因此在并行计算中每个算法组件的输出数据是存储在本地的lmdb数据库中。

2、在上述介绍中，每个组件的输出数据均存储在本机的服务器中，其中lmdb为高效的内存数据库，当前仅支持单服务器存储，即计算和存储均在同一服务器上。在实际业务场景中，模型训练需要的存储空间资源大小无法提前明确，在大数据场景下一旦某一计算服务器存储空间不足就会影响整个训练任务，因此这种自带存储的并行计算集群在生产中会难于管理。

3、针对现有技术中计算与存储在同一服务器上造成的资源管理不灵活的问题，目前还没有一个有效的解决方法。

技术实现思路

1、为解决上述问题，本发明提供了一种隐私计算的并行计算存储方法及系统，通过设立独立的分布式计算集群及分布式存储集群，计算集群负责并行计算，计算的结果可以分配到存储集群中的设备进行均衡存储，从而可以更好的利用存储服务器的资源，避免存储资源的浪费，以解决现有技术中计算与存储在同一服务器上造成的资源管理不灵活的问题。

2、为达到上述目的，本发明提供了一种隐私计算的并行计算存储方法，包括：获取并行计算请求；将所述并行计算请求分配给分布式计算集群中的计算节点进行计算，得到计算结果；根据存储需求对所述计算结果进行筛选，得到有存储需求的待写入计算结果；根据各存储设备的存储情况将所述待写入计算结果写入分布式存储集群中的存储设备；其中，所述分布式计算集群与分布式存储集群独立设置。

3、进一步可选的，所述根据各存储设备的存储情况将所述待写入计算结果写入分布式存储集群中的存储设备，包括：根据各存储设备的存储情况选择待写入计算结果的写入路径，将所述写入路径进行存储；根据所述写入路径将所述待写入计算结果写入对应的存储设备。

4、进一步可选的，还包括：识别待接入计算节点；将待接入计算节点接入所述分布式计算集群，并对此时的所述分布式计算集群中所有计算节点进行负载均衡。

5、进一步可选的，还包括：实时检测每个计算节点的状态；当检测到处于异常状态的异常计算节点时，将所述异常计算节点恢复为正常状态，并维持该计算节点的心跳。

6、进一步可选的，所述将所述并行计算请求分配给分布式计算集群中的计算节点进行计算，包括：根据所述并行计算请求的计算需求，对分布式计算集群中的计算节点进行增删，得到用于计算的计算节点；将所述并行计算请求分配给用于计算的计算节点进行计算。

7、另一方面，本发明还提供一种隐私计算的并行计算存储系统，包括：请求获取模块，用于获取并行计算请求；计算模块，用于将所述并行计算请求分配给分布式计算集群中的计算节点进行计算，得到计算结果；筛选模块，用于根据存储需求对所述计算结果进行筛选，得到有存储需求的待写入计算结果；存储模块，用于根据各存储设备的存储情况将所述待写入计算结果写入分布式存储集群中的存储设备；其中，所述分布式计算集群与分布式存储集群独立设置。

8、进一步可选的，所述存储模块包括：索引子模块，用于根据各存储设备的存储情况选择待写入计算结果的写入路径，将所述写入路径进行存储；写入子模块，用于根据所述写入路径将所述待写入计算结果写入对应的存储设备。

9、进一步可选的，还包括：自动识别模块，用于识别待接入计算节点；节点接入模块，用于将待接入计算节点接入所述分布式计算集群，并对此时的所述分布式计算集群中所有计算节点进行负载均衡。

10、进一步可选的，还包括：监测模块，用于实时检测每个计算节点的状态；恢复模块，用于当检测到处于异常状态的异常计算节点时，将所述异常计算节点恢复为正常状态，并维持该计算节点的心跳。

11、进一步可选的，所述计算模块包括：动态调节子模块，用于根据所述并行计算请求的计算需求，对分布式计算集群中的计算节点进行增删，得到用于计算的计算节点；节点分配子模块，用于将所述并行计算请求分配给用于计算的计算节点进行计算。

12、上述技术方案具有如下有益效果：设置独立的分布式计算集群和分布式存储集群，使分布式计算集群负责并行计算，分布式存储集群负责存储计算节点的计算结果，实现所有的存储设备统一化进行调配存储，从而更好的利用存储设备的空间资源，尽量避免了存储资源的浪费；另外，还可以很方便的支持存储扩容，且分布式存储集群设于参与方内部，不会存在隐私泄漏隐患；通过分布式计算集群进行计算后，分布式存储集群进行存储的方法在兼顾计算效率的同时提高资源存储效率，且相对于spark等架构来说具有更低的系统资源开销。

技术特征：

1.一种隐私计算的并行计算存储方法，其特征在于，包括：

2.根据权利要求1所述的隐私计算的并行计算存储方法，其特征在于，所述根据各存储设备的存储情况将所述待写入计算结果写入分布式存储集群中的存储设备，包括：

3.根据权利要求1所述的隐私计算的并行计算存储方法，其特征在于，还包括：

4.根据权利要求1所述的隐私计算的并行计算存储方法，其特征在于，还包括：

5.根据权利要求1所述的隐私计算的并行计算存储方法，其特征在于，所述将所述并行计算请求分配给分布式计算集群中的计算节点进行计算，包括：

6.一种隐私计算的并行计算存储系统，其特征在于，包括：

7.根据权利要求6所述的隐私计算的并行计算存储系统，其特征在于，所述存储模块包括：

8.根据权利要求6所述的隐私计算的并行计算存储系统，其特征在于，还包括：

9.根据权利要求6所述的隐私计算的并行计算存储系统，其特征在于，还包括：

10.根据权利要求6所述的隐私计算的并行计算存储系统，其特征在于，所述计算模块包括：

技术总结
本发明实施例公开了一种隐私计算的并行计算存储方法及系统，其中，该方法包括：获取并行计算请求；将所述并行计算请求分配给分布式计算集群中的计算节点进行计算，得到计算结果；根据存储需求对所述计算结果进行筛选，得到有存储需求的待写入计算结果；根据各存储设备的存储情况将所述待写入计算结果写入分布式存储集群中的存储设备；其中，所述分布式计算集群与分布式存储集群独立设置。在兼顾计算效率的同时提高资源存储效率，且提高了资源的利用率。

技术研发人员：徐兵,兰春嘉,刘波
受保护的技术使用者：上海零数众合信息科技有限公司
技术研发日：
技术公布日：2024/1/15