数据管理优化方法、系统及计算设备与流程

本发明涉及互联网，尤其涉及一种数据管理优化方法、数据管理优化系统及计算设备。

背景技术：

1、随着数据量的不断增加，企业需要对数据进行归档以节省存储空间，因此，对归档数据进行安全备份和恢复十分重要。为了保证归档数据的安全性和可靠性，需要将归档数据从源端同步到目标端。现有的数据同步方法通常采用ftp或者rsync等工具来实现，但是这些数据同步方法存在效率低下、容易出错等问题。

2、为此，需要一种数据管理优化方法，来解决上述技术方案中存在的问题。

技术实现思路

1、为此，本发明提供一种数据管理优化方法及数据管理优化系统，以解决或至少缓解上面存在的问题。

2、根据本发明的一个方面，提供一种数据管理优化方法，在计算设备中执行，所述计算设备与源集群、目标集群通信连接，所述源集群包括多个源服务器节点，所述目标集群包括多个目标服务器节点，所述方法包括：响应于对源归档数据的同步请求，将存储于所述源集群的各个源服务器节点的源归档数据切割为多个第一数据块，并分发至所述目标集群的各个目标服务器节点进行存储，得到目标归档数据；根据所述目标归档数据对应的业务类型，确定所述目标集群的目标运行时间，所述目标运行时间包括所述目标集群的运行周期以及每个所述运行周期的目标运行时长；在所述目标集群的各个目标服务器节点运行过程中，基于所述目标运行时间，定时控制所述目标集群的各个目标服务器节点停止运行并关机；基于所述目标运行时间，定时控制所述目标集群的各个目标服务器节点开机并进行自检，以便所述各个目标服务器节点在自检成功后启动运行。

3、可选地，在根据本发明的数据管理优化方法中，在所述目标集群的各个目标服务器节点运行过程中，基于所述目标运行时间，定时控制所述目标集群的各个目标服务器节点停止运行并关机，包括：响应于各个目标服务器节点触发的自检成功事件，等待所述目标运行时长后，控制所述目标集群的各个目标服务器节点停止运行并关机。

4、可选地，在根据本发明的数据管理优化方法中，基于所述目标运行时间，定时控制所述目标集群的各个目标服务器节点开机并进行自检，包括：响应于所述目标集群的各个目标服务器节点触发的关机成功事件，基于所述目标运行时间等待预定时长后，控制所述目标集群的各个目标服务器节点开机并进行自检；其中，所述预定时长大于所述目标运行时长，且所述预定时长与所述运行周期、所述目标运行时长相关。

5、可选地，在根据本发明的数据管理优化方法中，所述计算设备与客户端通信连接，所述方法还包括：删除存储于所述源集群的各个源服务器节点的源归档数据；响应于所述客户端触发的对源归档数据的解冻请求，将存储于所述目标集群的各个目标服务器节点的目标归档数据切割为多个第二数据块，并分发至所述源集群的各个源服务器节点进行存储，以恢复所述源归档数据。

6、可选地，在根据本发明的数据管理优化方法中，将存储于所述源集群的各个源服务器节点的源归档数据切割为多个第一数据块，并分发至所述目标集群的各个目标服务器节点进行存储，包括：通过所述源集群中的分布式复制工具，将存储于所述源集群的各个源服务器节点的源归档数据切割为多个第一数据块，并将所述多个第一数据块分发至所述目标集群的各个目标服务器节点进行存储。

7、可选地，在根据本发明的数据管理优化方法中，将存储于所述源集群的各个源服务器节点的源归档数据切割为多个第一数据块，并分发至所述目标集群的各个目标服务器节点进行存储，包括：通过所述源集群中的分布式复制工具，将存储于所述源集群的各个源服务器节点的源归档数据切割为多个第一数据块，并将所述多个第一数据块分发至所述目标集群的各个目标服务器节点进行存储。

8、可选地，在根据本发明的数据管理优化方法中，所述源集群、目标集群分别是包括hadoop服务的hadoop集群，所述hadoop服务包括资源管理器和分布式文件系统；所述源集群的各个源服务器节点适于运行所述源集群的源hadoop服务，所述目标集群的各个目标服务器节点适于运行所述目标集群的目标hadoop服务；定时控制所述目标集群的各个目标服务器节点停止运行并关机，包括：定时控制所述目标集群的各个目标服务器节点的目标hadoop服务停止运行，再控制所述目标集群的各个目标服务器节点关机；所述各个目标服务器节点在自检成功后启动运行，包括：所述各个目标服务器节点在自检成功后启动运行所述目标hadoop服务。

9、可选地，在根据本发明的数据管理优化方法中，控制所述各个目标服务器节点关机，包括：基于互联网控制消息协议，控制所述各个目标服务器节点关机；控制所述目标集群的各个目标服务器节点开机，包括：基于互联网控制消息协议，控制所述目标集群的各个目标服务器节点开机。

10、根据本发明的一个方面，提供一种数据管理优化系统，包括：源集群，包括多个源服务器节点；目标集群，包括多个目标服务器节点；计算设备，与所述源集群、所述目标集群通信连接，适于执行如上所述的方法来将所述源集群的归档数据同步至所述目标集群，并优化数据管理。

11、根据本发明的一个方面，提供一种计算设备，包括：至少一个处理器；存储器，存储有程序指令，其中，程序指令被配置为适于由上述至少一个处理器执行，所述程序指令包括用于执行如上所述的数据管理优化方法的指令。

12、根据本发明的一个方面，提供一种计算机程序产品，包括计算机程序/指令，其中，所述计算机程序/指令被处理器执行时实现如上所述的方法。

13、根据本发明的一个方面，提供一种存储有程序指令的可读存储介质，当该程序指令被计算设备读取并执行时，使得该计算设备执行如上所述的数据管理优化方法。

14、根据本发明的技术方案，提供了一种数据管理优化方法，通过将原本存储于源集群的归档数据分布式存储至目标集群的各个目标服务器节点，进而，可以根据业务类型的实际业务需求来确定目标集群的目标运行时间，并根据目标运行时间来控制目标集群的各个目标服务器节点的运行和开关机状态，从而在各目标服务器节点不需要运行时自动关闭各目标服务器节点。基于此，不仅能够实现对归档数据进行高效同步和备份，而且能够降低目标集群的运行成本，在降低目标集群运行成本的情况下高效同步和管理归档数据，实现数据管理优化；而且，通过控制各个目标服务器节点开机后进行自检，能够确保目标集群的各个目标服务器节点正常运行，进而保证目标归档数据的完整性和可用性，有效降低运维成本。可见，根据本发明的技术方案，能够在降低目标集群运行成本的情况下高效同步和管理归档数据，且能够保证归档数据的完整性和可用性。

15、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种数据管理优化方法，在计算设备中执行，所述计算设备与源集群、目标集群通信连接，所述源集群包括多个源服务器节点，所述目标集群包括多个目标服务器节点，所述方法包括：

2.如权利要求1所述的方法，其中，在所述目标集群的各个目标服务器节点运行过程中，基于所述目标运行时间，定时控制所述目标集群的各个目标服务器节点停止运行并关机，包括：

3.如权利要求1或2所述的方法，其中，基于所述目标运行时间，定时控制所述目标集群的各个目标服务器节点开机并进行自检，包括：

4.如权利要求1-3中任一项所述的方法，其中，所述计算设备与客户端通信连接，所述方法还包括：

5.如权利要求1-4中任一项所述的方法，其中，将存储于所述源集群的各个源服务器节点的源归档数据切割为多个第一数据块，并分发至所述目标集群的各个目标服务器节点进行存储，包括：

6.如权利要求5所述的方法，其中，将所述多个第一数据块分发至所述目标集群的各个目标服务器节点进行存储，包括：

7.如权利要求1-6中任一项所述的方法，其中，所述源集群、目标集群分别是包括hadoop服务的hadoop集群，所述hadoop服务包括资源管理器和分布式文件系统；

8.一种数据管理优化系统，包括：

9.一种计算设备，包括：

10.一种计算机程序产品，包括计算机程序/指令，其中，所述计算机程序/指令被处理器执行时实现如权利要求1-7中任一项所述的方法。

技术总结
本发明公开了一种数据管理优化方法、系统及计算设备，方法包括：将存储于源集群的各个源服务器节点的源归档数据切割为多个第一数据块，并分发至目标集群的各个目标服务器节点进行存储，得到目标归档数据；根据目标归档数据对应的业务类型，确定目标集群的目标运行时间，目标运行时间包括目标集群的运行周期以及每个运行周期的目标运行时长；在目标集群的各个目标服务器节点运行过程中，基于目标运行时间，定时控制目标集群的各个目标服务器节点停止运行并关机；基于目标运行时间，定时控制目标集群的各个目标服务器节点开机并进行自检，以便各个目标服务器节点在自检成功后启动运行。能够在降低目标集群运行成本的情况下高效同步和管理归档数据。

技术研发人员：张朋
受保护的技术使用者：车智互联（北京）科技有限公司
技术研发日：
技术公布日：2024/8/20