一种数据迁移的方法及装置、电子设备与流程

文档序号:30005621发布日期:2022-05-11 15:14阅读:92来源:国知局
一种数据迁移的方法及装置、电子设备与流程

1.本发明涉及计算机科学领域,具体涉及一种数据迁移的方法及装置、电子设备。


背景技术:

2.为了保证软件的可用和健壮性,同时也兼容不同地区的用户可能存在的网络情况,我们的服务通常会搭建异地多中心节点。
3.这些节点和边缘节点并不相同,边缘节点通常缓存静态的数据,或者对静态数据进行简单的处理后返回的客户,一般而言,边缘节点不会记录用户活动产生的业务数据。但是中心节点不同,中心节点对于客户产生的这些业务数据需要时刻保存敏感,同时具有实时性,当客户一个操作产生了新的业务数据变化,那么马上得更新数据库,客户下一个操作如果与这次操作相关,下一次的请求,本次请求产生的变化就必须得有所体现。
4.一般多中心节点部署会同时安排一个数据中心,各中心通过专线网络的方式与各中心进行连接,该中心可能会与其中一个中心节点放置在同一区域以节省一条专线的费用。
5.而如果需要做到多数据中心同时启用,那么每个节点均需要拉通高速专线进行连接。
6.因此,需要一种数据迁移的方法及装置、电子设备,以克服上述缺陷。


技术实现要素:

7.有鉴于此,本发明实施例提供了一种数据迁移的方法及装置、电子设备,以解决现有技术下数据无法移动导致访问不便的问题。
8.第一方面,一种数据迁移方法,应用于协调节点,所述方法包括:
9.获取节点查询消息,所述节点查询消息包括当前用户标识,所述节点查询消息是当前用户连接的当前中心节点在未匹配到所述当前用户时发送的;
10.基于所述当前用户标识确定所述当前用户对应的历史中心节点,并确定所述当前用户与所述历史中心节点的连接代价;
11.当所述连接代价不满足预设条件时,触发所述历史中心节点向所述当前中心节点迁移所述当前用户的数据。
12.结合第一方面,在第一方面第一实施方式中,所述当所述连接代价不满足预设条件时,触发所述历史中心节点向所述当前中心节点迁移所述当前用户的数据,包括:
13.向所述历史中心节点发送数据迁移需求指令,以触发所述历史中心节点向所述当前中心节点迁移所述当前用户的数据;
14.向所述当前中心节点返回迁移信号,以使得所述当前中心节点生成所述当前用户的用户凭证并基于所述用户凭证存储所述当前用户的数据。
15.结合第一方面,在第一方面第二实施方式中,所述方法还包括:
16.当所述连接代价满足所述预设条件时,将所述当前用户匹配至所述历史中心节
点。
17.结合第一方面,在第一方面第三实施方式中,,所述确定所述当前用户与所述历史中心节点的连接代价,包括:
18.获取所述当前用户与所述历史中心节点的位置关系以及连接耗时,以确定所述连接代价。
19.第二方面,一种数据迁移方法,应用于历史中心节点,所述方法包括:
20.获取迁移数据迁移需求指令,所述数据迁移需求指令携带有当前用户标识,所述数据迁移需求指令是协调节点基于权利要求1-4中任一项所述的数据迁移方法确定的;
21.基于所述当前用户标识对当前用户的数据进行优先级排序;
22.基于优先级排序结果将所述当前用户的数据迁移至所述当前中心节点。
23.结合第二方面,在第一方面第一实施方式中,所述基于所述当前用户标识对当前用户的数据进行优先级排序,包括:
24.利用所述当前用户标识确定所述当前用户的各个数据类型对应的数据,所述数据类型包括热点数据、冷数据以及归档数据;
25.基于所述数据类型对所述当前用户的数据进行优先级排序。
26.结合第二方面,在第一方面第二实施方式中,所述方法还包括:
27.当所述当前用户的数据迁移完成时,将所述当前用户的用户标识设置为过期或清除所述当前用户的用户标识。
28.结合第二方面,在第一方面第三实施方式中,所述方法还包括:
29.当达到预设同步时间时,与各个中心节点进行数据同步。
30.本发明实施例提供的数据迁移方法,通过对历史节点的查看,以及对原先节点的试探性链接,在确定原先节点不可用时,将历史节点中的数据迁移到现有的节点内,在保证数据准确性的同时保证了数据的时效性,极大的提高了工作效率。
31.根据第三方面,本发明实施例提供了一种数据迁移装置,包括:
32.第一处理单元,用于获取节点查询消息,所示节点查询消息包括当前用户标识,所述节点查询消息是当前用户连接的当前中心节点在未匹配到所述当前用户时发送的;
33.第二处理单元,用于基于所述当前用户标识确定所述当前用户对应的历史中心节点,并确定所述当前用户与所述历史中心节点的连接代价;
34.第三处理单元,用于当所述连接代价不满足预设条件时,触发所述历史中心节点向所述当前中心节点迁移所述当前用户的数据。
35.根据第四方面,本发明实施例提供了一种数据迁移装置,包括:
36.第一处理单元,用于获取迁移数据迁移需求指令,所述数据迁移需求指令携带有当前用户标识,所述数据迁移需求指令是协调节点基于权利要求1-4中任一项所述的数据迁移方法确定的;
37.第二处理单元,用于基于所述当前用户标识对当前用户的数据进行优先级排序;
38.第三处理单元,用于基于优先级排序结果将所述当前用户的数据迁移至所述当前中心节点。
39.根据第五方面,本发明实施例提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通
过执行所述计算机指令,从而执行第一方面或者第一方面的任意一种实施方式中,或者第二方面或者第二方面的任意一种实施方式中所述的数据迁移方法。
40.根据第六方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中,或者第二方面或者第二方面的任意一种实施方式中所述的数据迁移方法。
附图说明
41.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
42.图1是根据本发明实施例的数据迁移方法的流程图;
43.图2是根据本发明实施例的数据迁移方法的流程图;
44.图3a是根据本发明实施例的数据迁移方法的架构图;
45.图3b是根据本发明实施例的数据迁移方法的流程图;
46.图4是根据本发明实施例的数据迁移装置的结构框图;
47.图5是本发明实施例提供的电子设备的硬件结构示意图。
48.图6是根据本发明实施例的数据迁移装置的结构框图;
49.图7是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
50.下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
51.在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
52.在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是两个元件内部的连通,可以是无线连接,也可以是有线连接。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
53.在本发明的描述中,需要说明的是,在本技术说明书和所附权利要求书中使用的术语“及/和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
54.此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构
成冲突就可以相互结合。
55.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
56.本发明实施例提供的数据迁移方法,通过对历史节点的查看,以及对原先节点的试探性链接,在确定原先节点不可用时,将历史节点中的数据迁移到现有的节点内,在保证数据准确性的同时保证了数据的时效性,极大的提高了工作效率。
57.根据本发明实施例,提供了一种数据迁移方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
58.在本实施例中提供了一种数据迁移方法,可用于电子设备,如电脑、服务器、平板电脑等,图1是根据本发明实施例的数据迁移方法的流程图,如图1所示,该流程包括如下步骤:
59.s11,获取节点查询消息,所述节点查询消息包括当前用户标识,所述节点查询消息是当前用户连接的当前中心节点在未匹配到所述当前用户时发送的;
60.具体的,假设存在一个用户a,假设当前中心节点中alpha,在中心节点alpha中,包含有用户b,用户c,当用户a在中心节点alpha进行匹配时,发现无法成功匹配时,发送查询信息。
61.s12,基于所述当前用户标识确定所述当前用户对应的历史中心节点,并确定所述当前用户与所述历史中心节点的连接代价;
62.具体的,可以根据链接历史节点等待的时常作为链接代价。
63.关于该步骤具体将在下文中进行详细描述。
64.s13,当所述连接代价不满足预设条件时,触发所述历史中心节点向所述当前中心节点迁移所述当前用户的数据;
65.具体的,例如假设用户可以容忍10ms的延迟,但是在连接历史节点需要1s的时间,则此时触发所述历史中心节点向所述当前中心节点迁移所述当前用户的数据。
66.关于该步骤具体将在下文中进行详细描述。
67.s14,基于所述当前用户标识对当前用户的数据进行优先级排序;
68.具体的,利用所述当前用户标识确定所述当前用户的各个数据类型对应的数据,所述数据类型包括热点数据、冷数据以及归档数据。
69.例如,假设用户数据包含有10个,对这10个数据进行分类,获得热点数据2个、冷数据3个以及归档数据5个。
70.关于该步骤具体将在下文中进行详细描述。
71.s15,基于优先级排序结果将所述当前用户的数据迁移至所述当前中心节点。
72.具体的,优先迁移热点数据,其次迁移冷数据,最后迁移归档数据。
73.例如,仍以上述10个数据为例,优先迁移热点数据2个、其次迁移冷数据3个,最后迁移归档数据5个。
74.本发明实施例提供的数据迁移方法,通过对历史节点的查看,以及对原先节点的试探性链接,在确定原先节点不可用时,将历史节点中的数据迁移到现有的节点内,在保证数据准确性的同时保证了数据的时效性,极大的提高了工作效率。
75.在本实施例中提供了一种数据迁移方法,可用于电子设备,如电脑、服务器、平板电脑等,图2是根据本发明实施例的数据加密方法的流程图,如图2所示,该流程包括如下步骤:
76.s21,获取节点查询消息,所述节点查询消息包括当前用户标识,所述节点查询消息是当前用户连接的当前中心节点在未匹配到所述当前用户时发送的;
77.详细请参见图1所示实施例的s11,在此不再赘述。
78.s22,基于所述当前用户标识确定所述当前用户对应的历史中心节点,并确定所述当前用户与所述历史中心节点的连接代价;
79.具体地,上述s22包括:
80.s221,获取所述当前用户与所述历史中心节点的位置关系以及连接耗时,以确定所述连接代价。
81.具体的,假设存在用户a,存在有用户a对应的历史节点point_a,由于各种原因,例如用户a去外地旅游,导致用户a与历史节点point_a距离很远,由于距离用户a很远,因此用户a想要与历史节点point_a连接需要等待5s,将5s作为所述连接代价。
82.s23,当所述连接代价不满足预设条件时,触发所述历史中心节点向所述当前中心节点迁移所述当前用户的数据;
83.具体地,上述s23包括:
84.s231,向所述历史中心节点发送数据迁移需求指令,以触发所述历史中心节点向所述当前中心节点迁移所述当前用户的数据;
85.具体的,仍以上述用户a,存在有用户a对应的历史节点point_a为例,仍假设用户a想要与历史节点point_a连接需要等待5s,假设预设条件为等待10ms,5s远远大于10ms,因此发送数据迁移需求指令。
86.s232,向所述当前中心节点返回迁移信号,以使得所述当前中心节点生成所述当前用户的用户凭证并基于所述用户凭证存储所述当前用户的数据。
87.具体的,仍以上述用户a,存在有用户a对应的历史节点point_a为例,假设存在当前中心节点point_b,当向节点point_a发送数据迁移需求指令后,向节点point_b发送迁移信号,以使节点point_b生成用户a的凭证voucher_a。
88.s24,基于所述当前用户标识对当前用户的数据进行优先级排序;
89.具体地,上述s24包括:
90.s241,利用所述当前用户标识确定所述当前用户的各个数据类型对应的数据,所述数据类型包括热点数据、冷数据以及归档数据;
91.具体的,热点数据是指这些数据加载完成之后,前端页面就能正常访问,并进行业务的操作。冷数据是指这些数据在用户查询某些历史时才能使用到。归档数据是指这些数据仅限于一些超长的历史查询功能。
92.例如,假设存在有三个数据,其中,一个是层叠样式表(cascading style sheets,css)数据,用来配置页面信息,一个是用户3天前的历史记录,一个是用户3年前的历史记
录,根据预先设定的规则,其中css数据为热点数据,3天前的历史记录为冷数据,3年前的数据为归档数据。
93.s242,基于所述数据类型对所述当前用户的数据进行优先级排序。
94.具体的,仍以上述三个数据,其中,一个是层叠样式表(cascading style sheets,css)数据,用来配置页面信息,一个是用户3天前的历史记录,一个是用户3年前的历史记录,为例,优先迁移css数据,其次迁移用户3天前的历史记录,最后迁移用户3年前的历史记录。
95.s25,基于优先级排序结果将所述当前用户的数据迁移至所述当前中心节点。
96.详细请参见图1所示实施例的s15,在此不再赘述。
97.本发明实施例提供的数据迁移方法,通过对历史节点的查看,以及对原先节点的试探性链接,在确定原先节点不可用时,将历史节点中的数据迁移到现有的节点内,在保证数据准确性的同时保证了数据的时效性,极大的提高了工作效率。
98.作为本实施例的一个具体应用架构,如图3a所示,该数据迁移方法包括:
99.假设存在有两个业务中心,分别为业务中心1和业务中心2,每个业务中心中均包含业务系统以及数据系统和数据迁移模块,其中业务中心通过网络和协调中心相连,数据迁移模块之间也通过网络相连接。
100.作为本实施例的一个具体应用实例,如图3b所示,该数据迁移方法包括:
101.s1,用户访问任一中心节点。
102.s2,判断本节点是否具有有效的用户凭证,若有执行步骤s3,否则,执行步骤s4.
103.s3,返回域名,进行进一步业务操作。
104.s4,判断本节点是否具有历史占用记录。若是,则执行步骤s3,否则执行步骤s5。
105.s5,判断连接原历史连接时长是否大于预设的等待阈值,若是,则执行步骤s6,否则执行步骤s3。
106.s6,将原节点的凭证进行无效化处理。
107.s7,按照预先设定的数据迁移顺序开始进行数据迁移。
108.在本实施例中还提供了一种数据迁移装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
109.本实施例提供一种数据迁移装置,如图4所示,包括:
110.第一处理单元41,用于获取节点查询消息,所示节点查询消息包括当前用户标识,所述节点查询消息是当前用户连接的当前中心节点在未匹配到所述当前用户时发送的;
111.第二处理单元42,用于基于所述当前用户标识确定所述当前用户对应的历史中心节点,并确定所述当前用户与所述历史中心节点的连接代价;
112.第三处理单元43,用于当所述连接代价不满足预设条件时,触发所述历史中心节点向所述当前中心节点迁移所述当前用户的数据。
113.本实施例中的固件刷新装置是以功能单元的形式来呈现,这里的单元是指asic电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
114.上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
115.本发明实施例还提供一种电子设备,具有上述图4所示的数据迁移装置。
116.请参阅图5,图5是本发明可选实施例提供的一种电子设备的结构示意图,如图5所示,该电子设备可以包括:至少一个处理器51,例如cpu(central processing unit,中央处理器),至少一个通信接口53,存储器54,至少一个通信总线52。其中,通信总线52用于实现这些组件之间的连接通信。其中,通信接口53可以包括显示屏(display)、键盘(keyboard),可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速ram存储器(random access memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图5所描述的装置,存储器54中存储应用程序,且处理器51调用存储器54中存储的程序代码,以用于执行上述任一方法步骤。
117.其中,通信总线52可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
118.其中,存储器54可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:ram);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard disk drive,缩写:hdd)或固态硬盘(英文:solid-state drive,缩写:ssd);存储器54还可以包括上述种类的存储器的组合。
119.其中,处理器51可以是中央处理器(英文:central processing unit,缩写:cpu),网络处理器(英文:network processor,缩写:np)或者cpu和np的组合。
120.其中,处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:asic),可编程逻辑器件(英文:programmable logic device,缩写:pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:cpld),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:fpga),通用阵列逻辑(英文:generic array logic,缩写:gal)或其任意组合。
121.可选地,存储器54还用于存储程序指令。处理器51可以调用程序指令,实现如本技术任一实施例中所示的数据迁移方法。
122.本实施例提供一种数据迁移装置,如图6所示,包括:
123.第一处理单元61,用于获取迁移数据迁移需求指令,所述数据迁移需求指令携带有当前用户标识,所述数据迁移需求指令是协调节点基于权利要求1-4中任一项所述的数据迁移方法确定的;
124.第二处理单元62,用于基于所述当前用户标识对当前用户的数据进行优先级排序;
125.第三处理单元63,用于基于优先级排序结果将所述当前用户的数据迁移至所述当前中心节点。
126.本实施例中的固件刷新装置是以功能单元的形式来呈现,这里的单元是指asic电
路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
127.上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
128.本发明实施例还提供一种电子设备,具有上述图6所示的数据迁移装置。
129.请参阅图7,图7是本发明可选实施例提供的一种电子设备的结构示意图,如图7所示,该电子设备可以包括:至少一个处理器71,例如cpu(central processing unit,中央处理器),至少一个通信接口73,存储器74,至少一个通信总线72。其中,通信总线72用于实现这些组件之间的连接通信。其中,通信接口73可以包括显示屏(display)、键盘(keyboard),可选通信接口73还可以包括标准的有线接口、无线接口。存储器74可以是高速ram存储器(random access memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器74可选的还可以是至少一个位于远离前述处理器71的存储装置。其中处理器71可以结合图7所描述的装置,存储器74中存储应用程序,且处理器71调用存储器74中存储的程序代码,以用于执行上述任一方法步骤。
130.其中,通信总线72可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。通信总线72可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
131.其中,存储器74可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:ram);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard disk drive,缩写:hdd)或固态硬盘(英文:solid-state drive,缩写:ssd);存储器74还可以包括上述种类的存储器的组合。
132.其中,处理器71可以是中央处理器(英文:central processing unit,缩写:cpu),网络处理器(英文:network processor,缩写:np)或者cpu和np的组合。
133.其中,处理器71还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:asic),可编程逻辑器件(英文:programmable logic device,缩写:pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:cpld),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:fpga),通用阵列逻辑(英文:generic array logic,缩写:gal)或其任意组合。
134.可选地,存储器74还用于存储程序指令。处理器71可以调用程序指令,实现如本技术任一实施例中所示的数据迁移方法。
135.本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的数据迁移方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)、随机存储记忆体(random access memory,ram)、快闪存储器(flash memory)、硬盘(hard disk drive,缩写:hdd)或固态硬盘(solid-state drive,ssd)等;所述存储介质还可以包括上述种类的存储器的组合。
136.虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明
的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1