数据处理方法、装置、计算机可读存储介质和处理器与流程

文档序号:25053345发布日期:2021-05-14 13:34阅读:93来源:国知局
数据处理方法、装置、计算机可读存储介质和处理器与流程

1.本发明涉及数据处理领域,具体而言,涉及一种数据处理方法、装置、计算机可读存储介质和处理器。


背景技术:

2.目前,当集群需要获取数据时,集群需要从数据源导入数据,并将数据存储在本集群中,这样才能提供给用户使用。
3.当存在较多集群重复使用相同数据时,这种方式需要重复导入和重复存储这些数据,并且每次都需要向上游系统数据,较多的数据请求对上游系统造成了压力,存在对数据处理的效率低的技术问题。
4.针对上述数据处理的效率低的技术问题,目前尚未提出有效的解决方案。


技术实现要素:

5.本发明实施例提供了一种数据处理方法、装置、计算机可读存储介质和处理器,以至少解决数据处理的效率低的技术问题。
6.根据本发明实施例的一个方面,提供了一种数据处理方法。该方法可以包括:获取第一集群的第一请求,其中,第一请求用于请求获取目标数据;响应第一请求,判断是否存在存储有目标数据的第一共享数据空间,其中,第一共享数据空间属于第二集群,且第一共享数据空间中存储的数据为多个集群所共享,多个集群包括第一集群和第二集群;如果判断出未存在第一共享数据空间,则向上游系统发送第二请求,其中,第二请求用于请求上游系统下发目标数据;如果判断出存在第一共享数据空间,则向第一集群返回目标数据的第一存储信息,其中,第一存储信息用于表示目标数据已存储至第二集群中的第一共享数据空间中。
7.可选地,在向上游系统发送第二请求之后,该方法还包括:将目标数据存储至第二共享数据空间,其中,第二共享数据空间属于第三集群,多个集群包括第三集群,第二共享数据空间为多个共享数据空间中的空闲共享数据空间,多个共享数据空间与多个集群一一对应;保存目标数据的第二存储信息,其中,第二存储信息用于表示目标数据已存储至第三集群中的第二共享数据空间中。
8.可选地,空闲共享数据空间为多个共享数据空间中的最大空闲共享数据空间。
9.可选地,在第二共享数据空间存储目标数据失败的情况下,返回提示信息,其中,提示信息用于表示请求获取目标数据失败。
10.可选地,如果第三集群与第一集群相同,则目标数据由第一集群直接查询到;如果第三集群与第一集群不相同,则目标数据由第一集群从第三集群的第二共享数据空间中查询到。
11.可选地,在向第一集群返回目标数据的第一存储信息之前,在已记录的多个存储信息中查找第一存储信息,其中,每个存储信息用于表示请求的数据已存储至对应的集群
中的共享数据空间中。
12.可选地,在向第一集群返回目标数据的第一存储信息之后,记录请求信息,其中,请求信息用于表示第一集群请求从第二集群中的第一共享数据空间中获取目标数据。
13.可选地,在向上游系统发送第二请求,或者向第一集群返回目标数据的第一存储信息之后,该方法还包括:获取第四集群的第三请求,其中,多个集群包括第四集群,第三请求用于请求删除目标数据;在多个集群中未有请求获取目标数据的集群的情况下,允许在目标数据所存储的共享数据空间中删除目标数据;在多个集群中有请求获取目标数据的集群的情况下,禁止在目标数据所存储的共享数据空间中删除目标数据。
14.可选地,响应第一请求,包括:在目标数据的属性为共享属性的情况下,响应第一请求,其中,共享属性用于表示目标数据允许由多个集群共享。
15.可选地,该方法还包括:在目标数据的属性为私有属性的情况下,向上游系统发送第二请求,其中,私有属性用于表示目标数据由第一集群私有;将上游系统下发的目标数据存储至第一集群的私有数据空间中。
16.根据本发明实施例的另一方面,还提供了一种数据处理装置。该装置包括:获取单元,用于获取第一集群的第一请求,其中,第一请求用于请求获取目标数据;判断单元,用于响应第一请求,判断是否存在存储有目标数据的第一共享数据空间,其中,第一共享数据空间属于第二集群,且第一共享数据空间中存储的数据为多个集群所共享,多个集群包括第一集群和第二集群;发送单元,用于在判断出未存在第一共享数据空间时,向上游系统发送第二请求,其中,第二请求用于请求上游系统下发目标数据;返回单元,用于在判断出存在第一共享数据空间时,向第一集群返回目标数据的第一存储信息,其中,第一存储信息用于表示目标数据已存储至第二集群中的第一共享数据空间中。
17.根据本发明实施例的另一方面,还提供了一种计算机可读存储介质。该计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行本发明实施例的数据处理方法。
18.根据本发明实施例的另一方面,还提供了一种处理器。该处理器用于运行程序,其中,程序被处理器运行时执行本发明实施例的数据处理方法。
19.在本发明实施例中,采用获取第一集群的第一请求,其中,第一请求用于请求获取目标数据;响应第一请求,判断是否存在存储有目标数据的第一共享数据空间,其中,第一共享数据空间属于第二集群,且第一共享数据空间中存储的数据为多个集群所共享,多个集群包括第一集群和第二集群;如果判断出未存在第一共享数据空间,则向上游系统发送第二请求,其中,第二请求用于请求上游系统下发目标数据;如果判断出存在第一共享数据空间,则向第一集群返回目标数据的第一存储信息,其中,第一存储信息用于表示目标数据已存储至第二集群中的第一共享数据空间中。也就是说,本申请的数据共享模块可以获取各个集群的数据申请,并判断当前的共享数据空间中是否已经存在所需要的数据,如果不存在所需要的数据,则从上游系统申请该数据;如果存在所需要的数据,则返回已保存的数据的存储信息,这样在多集群场景下,数据仅需要申请一次,也仅需要存储一次,就可以由多集群共享使用,从而避免了相同数据重复申请,节省了数据申请的时间,且节省了数据重复存储所占用的空间,降低了数据提供方提供数据的压力,从而解决了数据处理的效率低的技术问题,达到了提高数据处理的效率的技术效果。
附图说明
20.此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
21.图1是根据本发明实施例的一种数据处理方法的流程图;
22.图2是根据本发明实施例的一种在多集群中共享数据的系统的示意图;
23.图3是根据本发明实施例的一种集群的数据申请的方法的流程图;
24.图4是根据本发明实施例的一种集群请求删除数据的方法的流程图;
25.图5是根据本发明实施例的一种数据处理装置的示意图。
具体实施方式
26.为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
27.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
28.实施例1
29.根据本发明实施例,提供了一种数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
30.图1是根据本发明实施例的一种数据处理方法的流程图。如图1所示,该方法可以包括以下步骤:
31.步骤s102,获取第一集群的第一请求,其中,第一请求用于请求获取目标数据。
32.在本发明上述步骤s102提供的技术方案中,创建数据共享模块,该数据共享模块获取第一集群发送的第一请求,该第一集群可以为多个集群中任一需要获取目标数据的集群,第一请求也即数据申请请求,用于向数据共享模块请求获取(申请)第一集群所需要的目标数据,其可以为数据文件,从而第一集群为多个集群中本次发起数据申请的集群,也即,数据申请集群。
33.在该实施例中,上述每个集群会划分出两种存储空间,一种为私有数据空间,另一种为共享数据空间。其中,私有数据空间的数据为本集群私有,保存的数据不会与其它集群共享,也即,为当前集群用户所独享,可以称为集群私有空间。而共享数据空间保存的数据用于各集群间共享,可以为其它集群访问,可以称为集群共享空间。上述共享数据空间主要
由数据共享模块来进行管理。
34.步骤s104,响应第一请求,判断是否存在存储有目标数据的第一共享数据空间。
35.在本发明上述步骤s104提供的技术方案中,在获取第一集群的第一请求之后,响应第一请求,判断是否存在存储有目标数据的第一共享数据空间,其中,第一共享数据空间属于第二集群,且第一共享数据空间中存储的数据为多个集群所共享,多个集群包括第一集群和第二集群。
36.在该实施例中,数据共享模块对获取到的第一请求进行响应,判断是否存在存储有目标数据的第一共享数据空间,可以判断集群是否首次向数据共享模块请求获取目标数据,如果集群首次向数据共享模块请求获取目标数据,则不存在存储有目标数据的第一共享数据空间,如果非首次请求获取目标数据,则可以存在存储有目标数据的第一共享数据空间。
37.可选地,该实施例的数据共享模块响应第一请求,可以获取向数据共享模块请求数据的记录信息,如果该记录信息中未包括请求获取目标数据的记录信息,则可以确定集群首次向数据共享模块请求获取目标数据;如果上述记录信息中包括请求获取目标数据的记录信息,则可以确定集群非首次向数据共享模块请求获取目标数据。
38.在该实施例中,多个集群可以包括第二集群,上述第一共享数据空间为第二集群中的共享数据空间。
39.步骤s106,如果判断出未存在第一共享数据空间,则向上游系统发送第二请求。
40.在本发明上述步骤s106提供的技术方案中,在判断是否存在存储有目标数据的第一共享数据空间之后,如果判断出未存在第一共享数据空间,则向上游系统发送第二请求,其中,第二请求用于请求上游系统下发目标数据。
41.在该实施例中,如果判断出未存在存储有目标数据的第一共享数据空间,也即,数据共享模块确定集群首次向数据共享模块请求目标数据,则数据共享模块向上游系统发送第二请求,该第二请求也即数据获取请求,用于请求上游系统发送目标数据,该上游系统为集群需要获取的数据的数据源(数据提供方),从而使得数据共享模块获取到目标数据,以使得第一集群获取该目标数据。
42.步骤s108,如果判断出存在第一共享数据空间,则向第一集群返回目标数据的第一存储信息。
43.在本发明上述步骤s108提供的技术方案中,在判断是否存在存储有目标数据的第一共享数据空间之后,如果判断出存在第一共享数据空间,则向第一集群返回目标数据的第一存储信息,其中,第一存储信息用于表示目标数据已存储至第二集群中的第一共享数据空间中。
44.在该实施例中,如果判断出存在存储有目标数据的第一共享数据空间,也即,数据共享模块确定集群非首次向数据共享模块请求目标数据,则可以查找已在数据共享模块记录的第一存储信息,该第一存储信息用于表示目标数据已存储至第二集群中的第一共享数据空间中,也即,第二集群为当前已存储目标数据的集群,可以通过该第一存储信息可以确定第二集群,从而该第一存储信息可以理解为集群信息。数据共享模块向第一集群返回上述第一存储信息,这样第一集群可以通过该第一存储信息确定第二集群,通过与第二集群进行通讯连接,从第二集群的第二共享数据空间中获取上述目标数据。
45.通过本申请上述步骤s102至步骤s108,获取第一集群的第一请求,其中,第一请求用于请求获取目标数据;响应第一请求,判断是否存在存储有目标数据的第一共享数据空间,其中,第一共享数据空间属于第二集群,且第一共享数据空间中存储的数据为多个集群所共享,多个集群包括第一集群和第二集群;如果判断出未存在第一共享数据空间,则向上游系统发送第二请求,其中,第二请求用于请求上游系统下发目标数据;如果判断出存在第一共享数据空间,则向第一集群返回目标数据的第一存储信息,其中,第一存储信息用于表示目标数据已存储至第二集群中的第一共享数据空间中。也就是说,该实施例的数据共享模块可以获取各个集群的数据申请,并判断当前的共享数据空间中是否已经存在所需要的数据,如果不存在所需要的数据,则从上游系统申请该数据;如果存在所需要的数据,则返回已保存的数据的存储信息,这样在多集群场景下,数据仅需要申请一次,也仅需要存储一次,就可以由多集群共享使用,从而避免了相同数据重复申请,节省了数据申请的时间,且节省了数据重复存储所占用的空间,降低了数据提供方提供数据的压力,从而解决了数据处理的效率低的技术问题,达到了提高数据处理的效率的技术效果。
46.下面对该实施例的上述方法进行进一步介绍。
47.作为一种可选的实施方式,在步骤s106,向上游系统发送第二请求之后,该方法还包括:将目标数据存储至第二共享数据空间,其中,第二共享数据空间属于第三集群,多个集群包括第三集群,第二共享数据空间为多个共享数据空间中的最大空闲共享数据空间,多个共享数据空间与多个集群一一对应;保存目标数据的第二存储信息,其中,第二存储信息用于表示目标数据已存储至第三集群中的第二共享数据空间中。
48.在该实施例中,在数据共享模块向上游系统发送第二请求,且获取到上游系统下发的目标数据之后,数据共享模块可以根据多个集群的共享数据空间的使用情况,确定第二共享数据空间,该第二共享数据空间可以为多个集群的多个共享数据空间中的空闲共享数据空间,可以为多个共享数据空间中的最大空闲共享数据空间,进而将上游系统下发的目标数据存储至第三集群的第二共享数据空间中。
49.作为一种可选的实施方式,该方法还包括:在第二共享数据空间存储目标数据失败的情况下,返回提示信息,其中,提示信息用于表示请求获取目标数据失败。
50.在该实施例中,在将目标数据存储至第二共享数据空间之前,可以先获取目标数据的大小,获取第二共享存储空间的容量,如果第二共享存储空间的容量不足以存储下上述目标数据,则可以确定第二共享数据空间存储目标数据失败,返回提示信息,该提示信息可以用于表示请求获取目标数据失败,可以不记录此次第一集群向数据共享模块请求获取目标数据的信息。
51.作为一种可选的实施方式,如果第三集群与第一集群相同,则目标数据由第一集群直接查询到;如果第三集群与第一集群不相同,则目标数据由第一集群从第三集群的第二共享数据空间中查询到。
52.在该实施例中,如果第三集群与第一集群相同,也即,数据共享模块将目标数据存储至第一集群中,从而发起数据请求和存储请求到的数据的集群为同一集群,则可以直接在第一集群中查询到目标数据;如果第三集群与第一集群不相同,则第一集群可以与第三集群进行通讯连接,从第三集群的第二共享数据空间中查询到上述目标数据,返回结果。
53.作为一种可选的实施方式,在步骤s108,向第一集群返回目标数据的第一存储信
息之前,该方法还包括:在已记录的多个存储信息中查找第一存储信息,其中,每个存储信息用于表示请求的数据已存储至对应的集群中的共享数据空间中。
54.在该实施例中,数据共享模块中记录了多个存储信息,该每个存储信息用于表示请求的数据已存储至对应的集群中的共享数据空间中,可以用于确定已存储请求的数据的集群。在数据共享模块中向第一集群返回目标数据的第一存储信息之前,该实施例可以在已记录的多个存储信息中查找第一存储信息,进而根据该第一存储信息确定已存储目标数据的第二集群。
55.作为一种可选的实施方式,在步骤s108,向第一集群返回目标数据的第一存储信息之后,该方法还包括:记录请求信息,其中,请求信息用于表示第一集群请求从第二集群中的第一共享数据空间中获取目标数据。
56.在该实施例中,在数据共享模块中向第一集群返回目标数据的第一存储信息之后,可以记录本次的请求信息,其用于表示第二集群中的第一共享数据空间中存储目标数据,第一集群可以请求从第二集群中的第一共享数据空间中获取上述目标数据。
57.作为一种可选的实施方式,在步骤s106,向上游系统发送第二请求,或者步骤s108,向第一集群返回目标数据的第一存储信息之后,该方法还包括:获取第四集群的第三请求,其中,多个集群包括第四集群,第三请求用于请求删除目标数据;在多个集群中未有请求获取目标数据的集群的情况下,允许在目标数据所存储的共享数据空间中删除目标数据;在多个集群中有请求获取目标数据的集群的情况下,禁止在目标数据所存储的共享数据空间中删除目标数据。
58.在该实施例中,数据共享模块可以接收第四集群的第三请求,该第三请求可以用于请求数据共享模块删除目标数据。在数据共享模块接收到上述第三请求之后,可以判断多个集群中是否还有请求获取目标数据的集群,可以是判断是否有请求获取目标数据的集群的申请记录,如果没有,则可以在目标数据所存储的共享数据空间中删除目标数据;如果有,则数据共享模块会记录本次的用于请求数据共享模块删除目标数据的第三请求,但目标数据不会在目标数据所存储的共享数据空间中直接删除。
59.作为一种可选的实施方式,步骤s104,响应第一请求,包括:在目标数据的属性为共享属性的情况下,响应第一请求,其中,共享属性用于表示目标数据允许由多个集群共享。
60.在该实施例中,在获取第一请求之后,可以判断通过第一请求所请求到的目标数据的属性是否为共享属性,也即,判断目标数据是否为共享数据空间的数据,该共享数据空间的数据可以由多个集群可共享使用。如果判断出目标数据的属性为共享属性,则可以直接响应第一请求,判断是否存在存储有目标数据的第一共享数据空间。
61.作为一种可选的实施方式,该方法还包括:在目标数据的属性为私有属性的情况下,向上游系统发送第二请求,其中,私有属性用于表示目标数据由第一集群私有;将上游系统下发的目标数据存储至第一集群的私有数据空间中。
62.在该实施例中,在获取第一请求之后,如果判断出通过第一请求所请求到的目标数据的属性不为共享属性,也即,为私有属性,该目标数据由第一集群私有,为私有空间数据,则数据共享模块可直接向上游系统发起用于请求上游系统下发的第二请求,将请求到的目标数据记录在第一集群的私有数据空间中,数据共享模块不记录该次目标数据的申请
记录以及存储情况。
63.在该实施例中,在多集群环境下,集群的数据申请、数据删除等请求都需要统一发送到数据共享模块,由数据共享模块接受和处理相应的请求。数据共享模块可以接收各个集群的数据申请,并判断当前的共享数据空间中是否已经存在所需要的数据,如果未存在所需要的数据,则从上游系统申请该数据;如果已经存在,则返回已保存数据的存储信息;在数据删除时,由数据共享模块统一接受各集群的请求,数据共享模块在接收到删除请求后,如果该数据还有已申请数据的记录,则该数据不删除,只有当该数据已没有申请记录后,才进行删除,从而实现了相同数据的多次申请将只保存一份数据,实现了多集群中的数据共享,在多集群环境下,减少了相同数据对存储设备的占用,加快了相同数据申请加载的速度,减少数据的传输,从而更高效地利用集群资源,减轻了上游系统在数据提供方面的压力,重复的数据仅需要提供一次,不需要多次提供,解决了数据处理的效率低的技术问题,达到了提高数据处理的效率的技术效果。
64.实施例3
65.下面结合优选的实施例对本发明实施例的技术方案进行举例介绍。
66.在相关技术中,当需要获取数据时,集群都需要从数据源导入数据,并将数据存储在本集群中,这样才能提供给用户使用;当存在较多集群重复使用数据时,这种方式需要重复导入和重复存储这些数据,并且每次申请时都需要上游系统提供数据,较多的数据申请对上游系统也会造成压力。
67.针对上述问题,该实施例主要用于解决多集群数据共享的问题,在多集群场景下数据仅需要申请一次,就可以由多集群共享使用,并且数据也仅需要保存一次,从而节省了数据重复申请的时间,节省了数据重复保存所占用的空间,并且降低了数据提供方提供数据的压力。
68.图2是根据本发明实施例的一种在多集群中共享数据的系统的示意图。如图2所示,该系统包括:集群1、集群2
……
集群n、数据共享模块21和上游系统22。
69.该实施例采用建设数据共享模块21的方式,集群1、集群2
……
集群n的数据申请、数据删除等请求都需要统一发送到数据共享模块21,由数据共享模块21接受和处理相应的请求。
70.该实施例的数据共享模块21接受各个集群的数据申请,并判断当前的共享数据空间中是否已经存在所需要的数据,如果之前并没有申请,从而共享数据空间中未存在所需要的数据,则需要从上游系统22申请该数据;如果共享数据空间中已经存在,则可以返回共享数据空间中已保存的数据的存储信息。
71.在数据删除时也是一样,由数据共享模块21统一接收各集群的请求,数据共享模块在接收到删除请求后,如果该数据还有已申请数据的记录,则该数据不删除,只有当该数据已没有申请记录后,才进行删除。
72.该实施例在每个集群中将划分出两种数据存储空间,一种为私有数据空间,一种为共享数据空间。其中,私有数据空间中保存的数据为本集群私有,保存的数据不会与其它集群共享,也即,为当前集群用户独享。共享数据空间中保存的数据用于各集群间共享,可以为其它集群访问。其中,共享数据空间主要由数据共享模块来进行管理。
73.下面对该实施例的具体实现过程进行介绍。
74.图3是根据本发明实施例的一种集群的数据申请的方法的流程图。如图3所示,该方法可以包括以下步骤:
75.步骤s301,集群向数据共享模块发起申请数据的请求。
76.当某个集群向数据共享模块发起申请数据的请求时,可以将该请求发送至数据共享模块。如果该请求用于申请私有数据空间的数据,则数据共享模块可以直接向上游系统发起数据申请,数据共享模块不记录该次针对该数据的申请记录以及存储情况。如果该请求为申请共享数据空间的数据,执行步骤s302。
77.步骤s302,数据共享模块通过申请数据的请求中的要素来判断是否首次申请该数据。
78.如果数据共享模块判断出首次申请该数据,则执行步骤s303,否则,执行步骤s305。
79.步骤s303,数据共享模块向上游系统发起申请数据的请求。
80.如果数据为首次申请,则数据共享模块可以向上游系统发起申请数据的请求。
81.步骤s304,根据各集群共享数据空间的使用情况,优先将上游系统下发的数据存储至空闲共享数据空间较大的集群中。
82.该实施例还可以保存最大空闲共享数据空间所在集群的信息。如果该次申请的数据较大,已记录的最大空闲共享数据空间仍无法满足,则确定数据申请失败。
83.步骤s305,返回已存储有请求的数据的集群信息。
84.如果数据为非首次申请,则在数据共享模块中查找已记录的信息,找到已存储有请求的数据的集群信息,并将该信息返回给本次发起数据申请的集群,数据申请集群通过该集群信息连接至已存储数据的集群,从该集群的共享数据空间中获取所需要的数据,数据共享模块记录本次申请信息。
85.在该实施例中,当集群查询数据时,如果所需数据刚好存储在本集群中,则可以直接返回结果。如果所需数据存储在其它集群中,可以通过连接到保存数据的集群,从该集群的共享数据空间中获取数据,返回结果。
86.图4是根据本发明实施例的一种集群请求删除数据的方法的流程图。如图4所示,该方法可以包括以下步骤:
87.步骤s401,集群向数据共享模块发起删除数据的请求。
88.当删除数据时,将删除数据的请求发送到数据共享模块。
89.步骤s402,数据共享模块检查是否存在其它集群的数据申请记录。
90.如果存在其它集群的数据申请记录,则执行步骤s403;否则,执行步骤s405。
91.步骤s403,数据共享模块记录本次数据删除请求。
92.如果存在其他集群数据申请记录,则数据共享模块记录本次数据删除请求。
93.步骤s404,数据不会直接删除。
94.步骤s405,删除其它集群中存储的数据。
95.如果没有其他集群数据申请的记录,则删除该数据。
96.该实施例通过上述方法,在多集群的环境下,使用数据共享模块管理数据申请、删除等操作,在此基础上,当已存在该部分数据时,可以实现相同数据的多次申请将只保存一份数据,减少数据导入集群的操作,节省导入的时间,实现多集群中的数据共享,减少了相
同数据对存储设备的占用,加快了相同数据申请加载的速度,减少数据的传输,从而更高效地利用集群资源,并且减轻了上游系统在数据提供方面的压力,重复的数据也仅需要提供一次,而不需要多次提供,减少数据重复加载(导入)和数据重复存储的问题,从而节省了集群资源,解决了数据处理的效率低的技术问题,达到了提高数据处理的效率的技术效果。
97.实施例3
98.本发明实施例还提供了一种数据处理装置。需要说明的是,该实施例的数据处理装置用于执行本发明实施例的数据处理方法。
99.图5是根据本发明实施例的一种数据处理装置的示意图。如图5所示,该数据处理装置50可以包括:获取单元51、判断单元52、发送单元53和返回单元54。
100.获取单元51,用于获取第一集群的第一请求,其中,第一请求用于请求获取目标数据。
101.判断单元52,用于响应第一请求,判断是否存在存储有目标数据的第一共享数据空间,其中,第一共享数据空间属于第二集群,且第一共享数据空间中存储的数据为多个集群所共享,多个集群包括第一集群和第二集群。
102.发送单元53,用于在判断出未存在第一共享数据空间时,向上游系统发送第二请求,其中,第二请求用于请求上游系统下发目标数据。
103.返回单元54,用于在判断出存在第一共享数据空间时,向第一集群返回目标数据的第一存储信息,其中,第一存储信息用于表示目标数据已存储至第二集群中的第一共享数据空间中。
104.在该实施例的数据处理装置中,数据共享模块可以获取各个集群的数据申请,并判断当前的共享数据空间中是否已经存在所需要的数据,如果不存在所需要的数据,则从上游系统申请该数据;如果存在所需要的数据,则返回已保存的数据的存储信息,这样在多集群场景下,数据仅需要申请一次,也仅需要存储一次,就可以由多集群共享使用,从而避免了相同数据重复申请,节省了数据申请的时间,且节省了数据重复存储所占用的空间,降低了数据提供方提供数据的压力,从而解决了数据处理的效率低的技术问题,达到了提高数据处理的效率的技术效果。
105.实施例4
106.根据本发明实施例,还提供了一种计算机可读存储介质。该计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行本发明实施例的数据处理方法。
107.实施例5
108.根据本发明实施例,还提供了一种处理器,该处理器用于运行程序,其中,程序被处理器运行时执行本发明实施例的数据处理方法。
109.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
110.在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
111.在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或
者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
112.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
113.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
114.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read

only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
115.以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1