一种信息处理方法、装置、电子设备及存储介质与流程

文档序号:31034406发布日期:2022-08-06 02:45阅读:74来源:国知局
一种信息处理方法、装置、电子设备及存储介质与流程

1.本公开涉及信息处理领域,尤其涉及一种信息处理方法、装置、电子设备及存储介质。


背景技术:

2.随着技术的发展,出现了很多新兴的应用场景,不管是在之前已有的应用场景中还是在这些新兴的应用场景中,都需要进行业务的处理,从而实现应用的功能。随着业务处理的应用场景越来越广,不同的应用场景中业务的处理方式可能不同,不同业务的业务处理方式也可能不同。


技术实现要素:

3.本公开提供一种信息处理方法、装置、电子设备及存储介质。
4.本公开实施例的第一方面,提供一种信息处理方法,应用于控制集群的服务器,所述方法包括:建立与集群中各个节点的连接;接收配置参数;其中,所述配置参数包括所述集群的集群标识、所述集群的当前业务的业务标识、数据存储文件的数量和所述数据存储文件的备份副本的数量;各个所述数据存储文件,用于存储所述当前业务的部分业务数据;不同的所述数据存储文件存储的所述业务数据不同;根据所述配置参数和所述节点的数量,生成所述数据存储文件和所述备份副本的创建信息;其中,所述创建信息,用于指示所述数据存储文件和所述备份副本所在的节点;将所述创建信息发送至所述节点;所述节点,用于根据所述创建信息创建所述数据存储文件和所述备份副本。
5.在一些实施例中,各个所述节点中包括的所述数据存储文件的数量和所述备份副本的数量相同。
6.在一些实施例中,同一所述节点中包括的所述数据存储文件中存储的业务数据,不同于所述备份副本中存储的业务数据。
7.在一些实施例中,存储同一所述当前业务的业务数据的所述数据存储文件和所述备份副本,位于同一所述集群中的所述节点中。
8.在一些实施例中,所述方法还包括:保存各个所述数据存储文件的第一位置和各个所述备份副本的第二位置;在所述第一位置和所述第二位置发送变化后,向各个所述节点发送所述第一位置和所述第二位置的更新指令;其中,所述更新指令,用于控制所述节点更新所述节点中的所述数据存储文件和所述备份副本;所述更新指令中包括更新后的所述第一位置和更新后的所述第二位置。
9.在一些实施例中,所述配置参数包括:所述数据存储文件的数量的第一配置参数和所述备份副本的数量的第二配置参数;所述方法还包括:检测根据配置所述数据存储文件的数量的第一配置操作,根据所述第一配置操作确定第一配置参数;检测根据配置所述备份文件的数量的第二配置操作,根据所述第二配置操作确定第二配置参数。
10.在一些实施例中,所述第一配置操作是根据所述当前业务的数据总量和所述数据
存储文件存储业务数据的存储空间确定的。
11.在一些实施例中,不同所述数据存储文件存储业务数据的存储空间大小相同。
12.在一些实施例中,所述建立与集群中各个节点的连接,包括:接收各个所述节点发送的接口调用请求;响应于所述接口调用请求,允许所述节点进行接口调用;接收所述节点发送的注册请求;响应于所述注册请求,允许与所述节点进行信息交互。
13.本公开实施例的第二方面,提供一种信息处理装置,应用于控制集群的服务器,所述装置包括:连接建立模块,用于建立与集群中各个节点的连接;配置参数接收模块,用于接收配置参数;其中,所述配置参数包括所述集群的集群标识、所述集群的当前业务的业务标识、数据存储文件的数量和所述数据存储文件的备份副本的数量;各个所述数据存储文件,用于存储所述当前业务的部分业务数据;不同的所述数据存储文件存储的所述业务数据不同;创建信息生成模块,用于根据所述配置参数和所述节点的数量,生成所述数据存储文件和所述备份副本的创建信息;其中,所述创建信息,用于指示所述数据存储文件和所述备份副本所在的节点;发送模块,用于将所述创建信息发送至所述节点;所述节点,用于根据所述创建信息创建所述数据存储文件和所述备份副本。
14.本公开实施例的第三方面,提供一种电子设备,包括:处理器和用于存储能够在所述处理器上运行的可执行指令的存储器,其中:处理器用于运行所述可执行指令时,所述可执行指令执行上述任一实施例所述的方法。
15.本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述任一实施例所述的方法。
16.本公开的实施例提供的技术方案可以包括以下有益效果:
17.本公开实施例应用于控制集群的服务器,在建立与集群中各个节点的连接后,接收配置参数;该配置参数包括集群的集群标识、集群的当前业务的业务标识、数据存储文件的数量和数据存储文件的备份副本的数量;各个数据存储文件用于存储当前业务的部分业务数据;不同的数据存储文件存储的业务数据不同。然后根据配置参数和节点的数量,生成数据存储文件和备份副本的创建信息,该创建信息用于指示数据存储文件和备份副本所在的节点。再将创建信息发送至节点;节点用于根据创建信息创建数据存储文件和备份副本。
18.通过该方法可以根据与集群和集群当前业务相匹配的配置参数,再结合集群中的节点的数量,自动生成与集群中的各个节点对应的创建信息,节点在接收到该创建信息后,可以供节点创建数据存储文件和备份副本,从而实现了数据存储文件和备份副本的创建,从而保证数据存储文件具有相应的备份副本,在数据存储文件中存储的数据丢失或损坏时,通过备份副本可以得到对应数存储文件中丢失或者损坏的数据,提高了数据的安全性。
19.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
21.图1是根据一示例性实施例示出的一种信息处理方法的流程示意图;
22.图2是根据一示例性实施例示出的另一种信息处理方法的示意图;
23.图3是根据一示例性实施例示出的一种建立连接的示意图;
24.图4是根据一示例性实施例示出的信息处理装置的示意图;
25.图5是根据一示例性实施例示出的另一种信息处理的示意图。
具体实施方式
26.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置的例子。
27.参考图1,为本公开实施例提供的一种信息处理方法的流程示意图,该信息处理方法至少可以应用于控制集群的服务器,集群中包括多个节点,每个节点可以是一个终端,服务器可以控制集群中的各个节点,从而控制整个集群。该方法包括以下步骤:
28.步骤s100,建立与集群中各个节点的连接。
29.步骤s200,接收配置参数;其中,所述配置参数包括所述集群的集群标识、所述集群的当前业务的业务标识、数据存储文件的数量和所述数据存储文件的备份副本的数量;各个所述数据存储文件,用于存储所述当前业务的部分业务数据;不同的所述数据存储文件存储的所述业务数据不同。
30.步骤s300,根据所述配置参数和所述节点的数量,生成所述数据存储文件和所述备份副本的创建信息;其中,所述创建信息,用于指示所述数据存储文件和所述备份副本所在的节点。
31.步骤s400,将所述创建信息发送至所述节点;所述节点,用于根据所述创建信息创建所述数据存储文件和所述备份副本。
32.对于步骤s100,集群中的各个节点可以与服务器建立连接,各个节点可以向服务器发送连接请求,服务器在接收到连接请求后,对连接请求进行处理,响应该连接请求,可以根据各个节点发送的连接请求,建立与各个节点的连接。节点向服务器发送的连接请求的形式并不进行限定,例如,可以包括调用服务器数据接口的调用请求。节点在向服务器发送的请求能够实现与服务器建立连接即可。
33.在服务器与各个节点建立连接后即可与各个节点进行信息的交互。
34.服务器可以与多个集群连接,即与多个集群中的各个节点建立连接,不同的集群中包括的节点可能不同。
35.在一个实施例中,连接请求中包括节点所属集群的集群标识,连接请求中携带的集群标识用于确定节点所属的集群,根据连接请求和集群标识可以确定出每个集群中与服务器建立连接的节点的数量。
36.对于步骤s200,服务器还可以接收配置参数,该配置参数中至少包括建立连接的节点所属集群的集群标识、集群当前业务的业务标识、数据存储文件的数量和各个数据存储文件的备份副本的数量。
37.每个集群当前业务可能不同,即对于不同集群而言,每个集群中包括的各个节点的当前业务可能不同。每个集群包括的节点的数量可以根据实际的业务需求确定。每个集
群具有各自的集群标识,不同的集群具有不同的集群标识,集群标识用于标识对应的集群,根据集群标识可以区分各个集群。
38.每个集群的当前业务也可能不同,当前每个集群的当前业务同样具有对应的业务标识,在当前业务不同时,对应的业务标识也不同。同一个集群中各个节点处理的业务相同,集群的当前业务即为各个节点的当前业务。集群标识与业务标识具有对应关系,根据集群标识可以确定出对应当前业务的业务标识,根据业务标识也可以确定出对应的集群标识。
39.数据存储文件为用于存储集群的当前业务的数据的文件,文件的形式可以是文件夹的形式,还可以是压缩包的形式等能够进行数据存储的文件形式。每个数据存储文件都有对应的备份副本,对于一个数据存储文件而言,可以具有至少一个备份副本。
40.配置参数中还可以包括当前业务的数据总量。数据存储文件的数量和数据存储文件的备份副本的数量可以根据业务需求确定,也可以根据当前业务的数据总量的大小确定。每个数据存储文件可以用于存储当前业务的部分业务数据,不同的数据存储文件存储的业务数据不同。各个数据存储文件存储的业务数据之和为当前业务的数量总和,即每个数据存储文件存储一部分数据,所有的数据存储文件即可将当前业务的所有数据存储。
41.例如,当前业务的数据总量为a,数据存储文件的数量为10,数据存储文件1、数据存储文件2、数据存储文件3、数据存储文件4、数据存储文件5、数据存储文件6、数据存储文件7、数据存储文件8、数据存储文件9和数据存储文件10。数据存储文件1存储数据a1,数据存储文件2存储数据a2,数据存储文件3存储数据a3,数据存储文件4存储数据a4,数据存储文件5存储数据a5,数据存储文件6存储数据a6,数据存储文件7存储数据a7,数据存储文件8存储数据a8,数据存储文件9存储数据a9,数据存储文件10存储数据a10。将当前业务的数据总量为a划分为10部分,每个数据存储文件存储一部分数据。
42.这样可以减少将当前业务的数据总量都存储在一个数据存储文件,在该数据存储文件出现异常或者该存储文件内的数据丢失或者损坏时,当前业务的数据总量都会出现异常的情况。如果其中某一个或几个数据存储文件异常或者存储的处理丢弃或者损坏时,不影响其他数据存储文件中的数据,从而减少了数据的损失程度,提高了数据的安全性。
43.每个数据存储文件中存储的数据与该数据存储文件的备份副本中存储的数据相同,这样可以在数据存储文件出现异常或者数据存储文件中的数据异常时,通过备份副本可以恢复数据存储文件中的数据,提高数据的安全性。
44.配置参数可以是根据配置操作获取的,服务器可以接收配置集群标识、业务标识、当前业务的数据总量、数据存储文件的数量和各个数据存储文件的备份副本的数量的配置操作,根据配置操作确定出配置参数。
45.在另一实施例中,服务器还可以根据各个集群的当前业务确定出各个集群对应的配置参数。在各个集群中包括的节点与服务器建立连接后,服务器可以确定各个集群的集群标识、各个集群的当前业务的业务标识和当前业务的数据总量,根据当前业务的数量总量预测出数据存储文件的数量和备份副本的数量。可以根据预测关系表进行预测,预测关系表中包括集群标识、当前业务的业务标识、当前业务的数据总量、数据存储文件的数量和备份副本的数量之间的映射关系。
46.对于步骤s300,服务器在与集群中的节点建立连接后,即可确定出建立连接的节
点的数量。由于服务器在与节点建立连接时可以获取到节点所属集群的集群标识,根据各个节点所属集群的集群标识可以确定出每个集群中与服务器建立连接的节点,同时可以确定出每个集群中与服务器建立连接的节点的数量。与服务器建立连接的节点的数量也可以连接请求确定。
47.在得到配置参数和与服务器建立连接的节点的数量后,可以根据配置参数和节点的数量,生成数据存储文件和备份副本的创建信息。该创建信息用于指示数据存储文件和备份副本所在的节点。
48.由于配置参数中包括集群标识、业务标识、数据存储文件的数量和备份副本的数量,所以可以根据集群标识确定出处理当前业务的集群,根据该集群中与服务器中建立连接的节点的数量以及数据存储文件的数量和备份副本的数量,生成创建信息,该创建信息用于指示数据存储文件和备份副本所在的节点,在确定出各个数据存储文件和各个备份副本所在的节点后,也就确定出集群中与服务器建立连接的每个节点中具有的数据存储文件的数量和备份副本的数量。
49.例如,集群a中与服务器建立连接的节点数量为20个,这20个节点处理当前业务a。数据存储文件的数量为10个,每个数据存储文件的备份副本的数量为1个,共有10个备份副本。根据节点数量和数据存储文件的数量生成创建信息,创建信息可以指示每个数据存储文件和备份副本所在的节点。如,创建信息可以指示数据存储文件1位于节点1,数据存储文件2位于节点2,数据存储文件3为节点4,数据存储文件4位于节点6,数据存储文件5位于节点9,数据存储文件6位于节点10,数据存储文件7位于接15,数据存储文件8位于节点12,数据存储文件9位于节点20,数据存储文件10位于节点18。同理,备份副本也是如此。
50.创建信息中指示的数据存储文件和备份副本所在的节点可以作为目标节点,目标节点可以是处理当前业务的集群中与服务器建立连接的所有节点,也可以是部分节点。
51.步骤s400,将创建信息发送至各个节点,节点用于根据创建信息创建数据存储文件和备份副本。各个节点在接收到创建信息后,确定自身是否属于创建信息中指示数据存文件和备份副本所在的节点,在确定自身属于创建信息中指示数据存文件和备份副本所在的节点时,创建数据存储文件和/或备份副本。
52.在确定自身不属于创建信息中指示数据存文件和备份副本所在的节点时,不创建数据存储文件和/或备份副本。
53.在另一实施例中,服务器还可以根据创建信息向目标节点发送创建信息,目标节点即为创建信息中指示的数据存储文件和备份副本所在的节点。
54.在另一实施例中,创建信息中指示的数据存储文件和备份副本所在的节点的数量,小于数据存储文件的数量时,创建信息中指示的同一个节点中创建多个不同的数据存储文件。即同一个目标节点中创建多个不同的数据存储文件。
55.或者,创建信息中指示的数据存储文件和备份副本所在的节点的数量,小于备份副本的数量时,创建信息中指示的同一个节点中创建多个不同的备份副本。即同一个目标节点中创建多个不同的备份副本。
56.在另一实施例中,创建信息中指示的各个节点中包括的数据存储文件的数量和备份副本的数量相同。这样可以均衡各个创建信息中指示的各个节点的存储量和创建过程中的负载。
57.在另一实施例中,同一节点中包括的数据存储文件中存储的业务数据,不同于备份副本中存储的业务数据。
58.对于创建信息中指示的任意一个节点,该节点中创建的数据存储文件中存储的业务数据,不同于该节点中创建的备份副本中存储的业务数据。也就是,同一个节点中的数据存储文件与备份副本不是对应的,该节点中的数据存储文件的备份副本不再该节点中,位于其他节点中。一个数据存储文件和该数据存储文件的备份副本不是位于同一个节点中。这样可以减少在该节点出现异常时,该节点出现异常包括该节点中的数据存储文件和备份副本同时出现异常时,如果数据存储文件和备份副本中存储的数据相同,则该部分数据全部异常的情况。
59.参考图2,数据存储文件1位于节点1,数据存储文件1的备份副本1位于节点3。数据存储文件2位于节点3,数据存储文件2的备份副本2位于节点2。数据存储文件3位于节点2,数据存储文件3的备份副本3位于节点1。
60.在一个节点出现异常时,其他节点中还包括异常节点中数据存储文件的备份副本,或者异常节点中备份副本对应的数据存储文件,从而提高了数据的安全性。
61.在另一实施例中,存储同一当前业务的业务数据的数据存储文件和备份副本,位于同一集群中的节点中。
62.对于同一当前业务的业务数据,存储在处理该当前业务的节点上,创建信息指示的节点都为处理该当前业务的集群中的节点。例如,集群1处理当前业务1,集群1中包括节点1、节点2至节点10,则当前业务1的业务数据都存储在集群1中的节点上。创建信息中指示的存储当前业务1的业务数据的数据存储文件和备份副本所在的节点,都是集群1中的节点上。
63.这样可以便于数据的存储和匹配,处理当前业务的节点存储该业务的数据,可以减少数据存储出现混乱的情况,便于业务处理。
64.在另一实施例中,参考图3,为另一种信息处理方法的示意图,该方法还包括:
65.步骤s10,保存各个数据存储文件的第一位置和各个备份副本的第二位置;
66.步骤s20,在第一位置和第二位置发送变化后,向各个节点发送第一位置和第二位置的更新指令;
67.其中,更新指令,用于控制节点更新节点中的数据存储文件和备份副本;更新指令中包括更新后的第一位置和更新后的第二位置。
68.在向节点发送创建信息后,节点根据创建信息创建数据存储文件和备份副本,然后保存各个数据存储文件和备份副本的位置,将数据存储文件的位置记为第一位置,将备份副本的位置记为第二位置。在第一位置和第二位置发生变化后,向各个节点发送第一位置和第二位置的更新指令。更新指令用于控制节点更新数据存储文件和备份副本。更新指令中包括更新后的第一位置和更新后的第二位置,向各个节点发送更新指令后,各个节点接收到更新指令,各个节点可以根据更新指令中包括的更新后的第一位置和更新后的第二位置创建数据存储文件和备份副本。
69.例如,对于数据存储文件1,服务器保存的第一位置为节点1,在第一位置发生变化后的,变化后的第一位置为节点2,则服务器向节点1所在集群中与服务器建立连接的各个节点发送更新指令,该更新指令中包括更新后的第一位置。节点在接收到更新指令后,根据
更新指令中更新后的第一位置,创建数据存储文件1,更新指令控制节点2创建数据存储文件1,在节点2创建数据存储文件1后控制节点1删除数据存储文件1。在实现第一位置和/或第二位置更新的同时,还可以减少更新未完成之前删除数据存储文件和/或备份副本的情况,提高了数据的安全性。同时还可以提高第一位置和第二位置的准确性,便于节点对数据存储文件中的数据和备份副本中的数据进行读取。
70.在一个实施例中,第一位置和第二位置发送变化可以通过节点中的监控器驱动,节点中的监控器监控节点中的第一位置和第二位置,在第一位置和第二位置发生变化后,将发生变化后的第一位置和/或第二位置发送至服务器,服务器保存发生变化后的第一位置和第二位置。
71.在另一实施例中,配置参数包括:数据存储文件的数量的第一配置参数。
72.所述方法还包括:
73.检测根据配置数据存储文件的数量的第一配置操作,根据第一配置操作确定第一配置参数。第一配置参数可以根据第一配置操作确定,在检测到第一配置操作后,即可确定出第一配置参数。
74.在另一实施例中,配置参数包括:备份副本的数量的第二配置参数。
75.所述方法还包括:
76.检测根据配置备份文件的数量的第二配置操作,根据第二配置操作确定第二配置参数。第二配置参数可以根据第二配置操作确定,在检测到第二配置操作后,即可确定出第二配置参数。
77.在另一实施例中,配置参数中的其他参数也可以通过相应的配置操作确定。
78.在另一实施例中,第一配置操作是根据当前业务的数据总量和数据存储文件存储业务数据的存储空间确定的。
79.数据存储文件存储业务数据的存储空间和当前业务的数据总量,确定了数据存储文件的数量。在数据总量一定时,数据存储文件存储业务数据的存储空间越大,数据存储文件的数量越少,数据存储文件存储业务数据的存储空间越小,数据存储文件的数量越多。
80.配置数据存储文件的数量的第一配置操作可以根据当前业务的数据总量和数据存储文件的数量确定,根据第一配置操作即可确定出第一配置参数,进而可以确定出数据存储文件的数量。
81.在另一实施例中,不同数据存储文件存储业务数据的存储空间大小相同,这样可以均衡各个节点中存储业务数据的数据量,从而提高各个节点的存储空间的均衡性。
82.在另一实施例中,参考图4,为一种建立连接的示意图,步骤s100,建立与集群中各个节点的连接,包括:
83.步骤s101,接收各个节点发送的接口调用请求;
84.步骤s102,响应于接口调用请求,允许节点进行接口调用;
85.步骤s103,接收节点发送的注册请求;
86.步骤s104,响应于注册请求,允许与节点进行信息交互。
87.在建立与各个节点之间的连接时,各个节点向服务器发送接口调用请求,服务器接收到接口调用请求后,响应于接口调用请求,然后允许节点进行接口调用。在允许节点进行接口调用后,节点向服务器发送注册请求,服务器在接收到注册请求后,响应于注册请
求,允许该节点与服务器进行信息交互。
88.在另一实施例中,参考图5,为一种信息处理装置的示意图,该装置应用于控制集群的服务器,所述装置包括:
89.连接建立模块1,用于建立与集群中各个节点的连接;
90.配置参数接收模块2,用于接收配置参数;其中,所述配置参数包括所述集群的集群标识、所述集群的当前业务的业务标识、数据存储文件的数量和所述数据存储文件的备份副本的数量;各个所述数据存储文件,用于存储所述当前业务的部分业务数据;不同的所述数据存储文件存储的所述业务数据不同;
91.创建信息生成模块3,用于根据所述配置参数和所述节点的数量,生成所述数据存储文件和所述备份副本的创建信息;其中,所述创建信息,用于指示所述数据存储文件和所述备份副本所在的节点;
92.发送模块4,用于将所述创建信息发送至所述节点;所述节点,用于根据所述创建信息创建所述数据存储文件和所述备份副本。
93.在另一实施例中,各个所述节点中包括的所述数据存储文件的数量和所述备份副本的数量相同。
94.在另一实施例中,同一所述节点中包括的所述数据存储文件中存储的业务数据,不同于所述备份副本中存储的业务数据。
95.在另一实施例中,存储同一所述当前业务的业务数据的所述数据存储文件和所述备份副本,位于同一所述集群中的所述节点中。
96.在另一实施例中,该装置还包括:
97.保存模块,用于保存各个所述数据存储文件的第一位置和各个所述备份副本的第二位置;
98.更新指令发送模块,用于在所述第一位置和所述第二位置发送变化后,向各个所述节点发送所述第一位置和所述第二位置的更新指令;
99.其中,所述更新指令,用于控制所述节点更新所述节点中的所述数据存储文件和所述备份副本;所述更新指令中包括更新后的所述第一位置和更新后的所述第二位置。
100.在另一实施例中,所述配置参数包括:所述数据存储文件的数量的第一配置参数和所述备份副本的数量的第二配置参数;
101.所述装置还包括:
102.第一处理模块,用于检测根据配置所述数据存储文件的数量的第一配置操作,根据所述第一配置操作确定第一配置参数;
103.第二处理模块,用于检测根据配置所述备份文件的数量的第二配置操作,根据所述第二配置操作确定第二配置参数。
104.在另一实施例中,所述第一配置操作是根据所述当前业务的数据总量和所述数据存储文件存储业务数据的存储空间确定的。
105.在另一实施例中,不同所述数据存储文件存储业务数据的存储空间大小相同。
106.在另一实施例中,连接建立模块1,包括:
107.接口调用请求接收单元,用于接收各个所述节点发送的接口调用请求;
108.第一响应单元,用于响应于所述接口调用请求,允许所述节点进行接口调用;
109.注册请求接收单元,用于接收所述节点发送的注册请求;
110.第二响应单元,用于响应于所述注册请求,允许与所述节点进行信息交互。
111.在另一实施例中,还提供了一种电子设备,包括:
112.处理器和用于存储能够在所述处理器上运行的可执行指令的存储器,其中:
113.处理器用于运行所述可执行指令时,所述可执行指令执行上述任一实施例所述的方法。
114.在另一实施例中,还提供了一种非临时性计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述任一实施例所述的方法。
115.需要说明的是,本公开实施例中的“第一”和“第二”仅为表述和区分方便,并无其他特指含义。
116.在另一实施例中,还提供一种信息处理方法示例。参考图2。
117.apache helix是一个为partitioned和replicated分布式资源而设计的开源集群管理框架。作为通用的集群资源管理框架,它能被用作自动管理存在于集群节点上的分区的,有副本的分布式资源。
118.helix能够在节点停止工作、重启、集群扩容和缩容、配置更新等事件发生后自动的重新分配资源。
119.本方案的核心思想是通过helix创建资源接口,将rocksdb集群的每个数据存储文件segment划分为多分区、多副本,集群内部提供这样的路由与读写支持。
120.集群对不同的业务使用不同的数据存储文件segment,以作数据隔离。segment作为helix服务的资源来划分、调度。创建segment的具体流程是:
121.节点服务需要实现helix服务器的回调接口,这样才能处理segment划分、调度时的回调消息。
122.集群的节点在启动时,需要带上集群名向helix服务器注册,同一集群的节点将会被helix作为同一个数据存储文件segment分片与副本划分的载体。
123.业务申请建立新的数据存储文件segment时,按照业务预估的数据总量,以每个分片存储大约2gb数据来确定segment的分片数。
124.创建数据存储文件segment时,需要将包含sharestore集群名、数据存储文件segment名、分片数、副本数等信息发送给helix服务器。helix服务器会根据sharestore集群的结点数,尽可能均衡地给每个节点划分分片和副本。之后,会把划分的结果发送给每个sharestore节点,节点收到消息后,即可创建相应的数据存储文件。分片数即为数据存储文件本身的数量,副本数即为备份副本的数量。
125.helix服务器会将每个segmen划分后的数据存储文件(包括分片)和备份副本(如副本信息)记录在存储器中,例如zookeeper中,节点中部署的监控器(如zum服务)会监控相应的zookeeper路径,在value发生变动后将其拉取到本地,sharestore集群中的节点将其解析,即可得到整个集群的segment分片和副本信息,从而实现客户端的读写请求路由。
126.方案的优势:
127.实现简单:直接利用已有的开源框架,只需要做少量的适配开发,即能实现复杂的集群管理功能,大大节约了人力与时间成本。
128.可扩缩性强:将segment划分成多分区后,集群可以根据请求量与节点的压力增减节点,之后helix服务器会自动根据节点数与分区数作平衡,使每个节点的分片数大致相等。
129.数据安全性高:helix可以将segment每个分区都设置为多副本,这样,服务只要实现了同一分区的不同副本间数据同步,即可保证数据的安全性。
130.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
131.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1