一种数据迁移的方法、装置和系统的制作方法
【技术领域】
[0001] 本发明涉及互联网技术领域，尤其涉及一种数据迀移的方法、装置和系统。
【背景技术】
[0002] 网络实现的本质是完成数据的处理以及数据的传输，在一些特定场景中，为了更 有效地利用数据，需要将数据整合存放到特定的平台中，因此，跨平台及跨机房的数据迀移 是不可避免的。例如，一个大型企业在相距甚远的另一个城市建立了分公司，此时他们需要 将该企业中的数据库迀移到分公司的平台中，以提高数据的利用率。
[0003] 现有技术中，由于源平台与目标平台的实际距离比较远，网络稳定性差，容易造成 数据丢失等现象，所以为了提高数据迀移的有效性，往往在两个平台之间增加若干个中转 平台进行数据转发。实际应用中，跨平台、跨机房的数据迀移一般采用多阶段顺次运行的方 式，其中，数据从一个平台迀移到另一个平台为一个阶段，阶段内部采用并行、压缩等方式 提高数据的迀移速度，阶段之间顺次完成数据的迀移，即当当前阶段完成所有数据的迀移 之后，才进入下一阶段。虽然在阶段内部采用并行、压缩等方式进行数据迀移，可以提高数 据迀移的速度，但是阶段之间的关联性很强，即下一阶段必须等待上一阶段全部进行完数 据迀移后才可进行，所以整个数据迀移过程中消耗的时间为每一阶段分别完成所有数据的 数据迀移任务所消耗的时间之和，并且当某一阶段发生故障造成数据迀移速度缓慢或者无 法进行时，会导致后续阶段均处于等待状态，而造成整个数据迀移的效率大大降低，甚至无 法完成。此外，某阶段的失败，会导致整个迀移过程失败，从而可靠性也大大降低。
【发明内容】
[0004] 鉴于上述问题，本发明提出的数据迀移的方法、装置和系统，能够解决数据迀移效 率低和可靠性差的问题。
[0005] 为解决上述技术问题，第一方面，本发明提供了一种数据迀移的方法，所述方法包 括：
[0006] 控制源平台对待迀移数据进行切片，获得多个数据片；
[0007] 控制源平台向目标平台流水线式发送所述多个数据片，其中，所述多个数据片经 过中转平台到达所述目标平台；
[0008] 所述控制源平台向目标平台流水线式发送所述多个数据片，包括：
[0009] 控制所述源平台向所述中转平台顺序发送所述多个数据片；
[0010] 控制所述中转平台从接收到第一个数据片起始，向所述目标平台发送接收到的数 据片，并同时接收所述源平台发送的下一个数据片。
[0011] 第二方面，本发明提供了一种数据迀移的装置，所述装置包括：
[0012] 第一控制单元，用于控制源平台对待迀移数据进行切片，获得多个数据片；
[0013] 第二控制单元，用于控制源平台向目标平台流水线式发送所述第一控制单元获得 的多个数据片，其中，所述多个数据片经过中转平台到达所述目标平台；
[0014] 所述第二控制单元，还用于控制所述源平台向所述中转平台顺序发送所述第一控 制单元获得的多个数据片；
[0015] 所述第二控制单元，还用于控制所述中转平台从接收到第一个数据片起始，向所 述目标平台发送接收到的数据片，并同时接收所述源平台发送的下一个数据片。
[0016] 第三方面，本发明提供了一种数据迀移的系统，所述系统包括：上层管理设备、源 平台、中转平台和目标平台；
[0017] 所述上层管理设备，用于控制所述源平台对待迀移数据进行切片，获得多个数据 片；
[0018] 所述源平台，用于在所述上层管理设备的控制下向所述目标平台流水线式发送所 述多个数据片，其中，所述多个数据片经过中转平台到达所述目标平台；
[0019] 所述源平台，具体用于在所述上层管理设备的控制下，向所述中转平台顺序发送 所述多个数据片；
[0020] 所述中转平台，用于在所述上层管理设备的控制下，从接收到第一个数据片起始， 向所述目标平台发送接收到的数据片，并同时接收所述源平台发送的下一个数据片；
[0021] 所述目标平台，用于顺序接收所述中转平台发送的多个数据片。
[0022] 借由上述技术方案，本发明提供的数据迀移的方法、装置和系统，能够通过上层管 理设备控制源平台对待迀移的数据进行切片，获得多个数据片，并控制源平台通过流水线 的方式经中转平台向目标平台完成数据片的迀移。与现有技术中依次完成所有数据的迀移 相比，本发明通过采用流水线的方式，将数据片从源平台经中转平台发送到目标平台，即在 当前平台向下一级平台发送所接收到的数据片的同时，接收上一级平台向其发送的下一个 数据片，从而使得各个平台均处于数据迀移状态，而不用等待将所有待迀移的数据接收完 后再向下一级平台发送该待迀移的数据，进而加快了数据迀移的速度，提高了数据迀移的 效率。
[0023] 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段， 而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够 更明显易懂，以下特举本发明的【具体实施方式】。
【附图说明】
[0024] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通 技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明 的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0025] 图1示出了一种数据迀移的方法的流程图；
[0026] 图2示出了数据块的示意图；
[0027] 图3示出了数据迀移的过程示意图；
[0028] 图4示出了多级中转平台的示意图；
[0029] 图5示出了一种数据迀移的装置的结构示意图；
[0030] 图6示出了另一种数据迀移的装置的结构示意图；
[0031] 图7示出了另一种数据迀移的装置的结构示意图；
[0032] 图8示出了另一种数据迀移的装置的结构示意图；
[0033] 图9示出了另一种数据迀移的装置的结构示意图；
[0034] 图10示出了一种数据迀移的系统示意图；
[0035] 图11示出了另一种数据迀移的系统示意图。
【具体实施方式】
[0036] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开 的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例 所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围 完整的传达给本领域的技术人员。
[0037] 为提高数据迀移的效率，本发明实施例提供了一种数据迀移的方法，本实施例由 上层管理设备来执行，并通过该上层管理设备控制各个平台来完成数据的迀移，如图1所 示，该方法包括：
[0038] 101、控制源平台对待迀移数据进