一种数据管理方法、系统和相关设备与流程

本技术涉及计算机，尤其涉及一种数据管理方法、系统和相关设备。

背景技术：

1、当前许多公司的线上服务每秒生成大量的数据，数据管理系统需要将这些数据分类存储和处理。例如，一些数据需要及时传输到计算集群进行在线计算，比如用于内容推荐的用户行为日志，需要及时在线处理；另外一些数据则需要进行离线处理，例如用于生成运营报表的数据。还有些数据即需要及时在线处理也需要离线处理，因此需要发送至不同的集群，以满足不同的需求。

2、当前，通过数据管理系统进行数据管理时，需要业务开发人员具备丰富的经验和知识，熟知不同集群的配置参数和运行原理，这会降低业务人员的进行业务开发和数据管理的效率。因此，如何降低业务开发人员通过数据管理系统采集对数据进行采集的难度，提高业务开发和数据管理的效率，是一个亟待解决的技术问题。

技术实现思路

1、本技术提供一种数据管理方法、系统和相关设备，能够降低数据管理的难度，提高业务开发和数据管理的效率。

2、第一方面，本技术实施例提供一种数据管理方法，应用于包括控制节点和多个计算节点的数据管理系统，包括：

3、第一计算节点获取用户通过控制节点设置的第一业务的配置信息，所述配置信息包括一个或多个目的集群；所述一个或多个目的集群指示所述第一业务的业务数据发送至的集群；所述第一计算节点是所述多个计算节点中部署有所述第一业务的节点；

4、所述第一计算节点采集所述第一计算节点内部署的所述第一业务生成的业务数据，并写入本地存储节点；

5、所述第一计算节点读取所述本地存储节点中存储的目标业务数据，将所述目标业务数据发送给所述一个或多个目的集群；其中，所述目标业务数据包括所述第一业务在一个预设周期内生成的业务数据。

6、在一种可能的实现方式中，所述一个或多个目的集群包括即时计算集群和/或数据存储集群；

7、所述将所述目标业务数据发送给所述一个或多个目的集群，包括：

8、在所述目的集群包括即时计算集群的情况下，所述第一计算节点将所述目标业务数据发送给所述目的集群所包括的即时计算集群；和/或，

9、在所述目的集群包括数据存储集群的情况下，所述第一计算节点将所述目标业务数据发送给中间存储集群，以通过中间存储集群发送给所述数据存储集群；其中，所述中间存储集群的存储容量大于所述本地存储节点。

10、在一种可能的实现方式中，所述方法还包括：所述第一计算节点以第一时间间隔将读取所述目标业务数据时的偏移量持久化到所述本地存储节点；所述偏移量指示所述第一计算节点持久化偏移量时读取所述目标业务数据的位置。

11、在一种可能的实现方式中，所述方法还包括：所述第一计算节点在发送完所述目标业务数据之后，生成一条记录信息，将所述记录信息写入数据库；其中，所述记录信息指示所述第一计算节点中所述第一业务在所述预设周期内生成的业务数据已从所述本地存储节点发送完毕。

12、在一种可能的实现方式中，所述第一计算节点中部署有一个或多个实例，所述一个或多个实例中的部分实例或者全部实例中部署有所述第一业务，所述目标业务数据包括所述第一计算节点中部署的所有所述第一业务在所述预设周期生成的业务数据。

13、在一种可能的实现方式中，所述配置信息还包括但不限于以下任意一项或多项：应用名、所述第一业务的标识、业务数据模式、优先级、事件记录器版本或负责人；其中，所述应用名指示所述第一业务属于的应用；所述业务数据模式指示解析所述业务数据的方式；所述优先级用于指示中间存储集群在将多个业务的业务数据发往数据存储集群时的发送顺序；所述事件记录器版本指示第一计算节点将业务数据写入本地存储节点时所调用的记录器的版本；所述负责人用于指示负责所述第一业务的业务人员。其中，业务在运行的过程中，会调用事件记录器将业务数据写入本地存储节点。

14、第二方面，本技术实施例提供一种数据管理方法，应用于包括控制节点和多个计算节点的数据管理系统，包括：

15、所述控制节点接收用户设置的第一业务的配置信息，并将所述配置信息发送给第一计算节点；其中，所述配置信息包括一个或多个目的集群；所述一个或多个目的集群指示所述第一业务的业务数据发送至的集群；所述第一计算节点是所述多个计算节点中部署有所述第一业务的节点；

16、所述第一计算节点采集所述第一计算节点内部署的所述第一业务生成的业务数据，并写入本地存储节点；

17、所述第一计算节点读取所述本地存储节点中存储的目标业务数据，将所述目标业务数据发送给所述一个或多个目的集群；其中，所述目标业务数据包括所述第一业务在一个预设周期内生成的业务数据。

18、在一种可能的实现方式中，所述一个或多个目的集群包括即时计算集群和/或数据存储集群；

19、所述将所述目标业务数据发送给所述一个或多个目的集群，包括：

20、在所述目的集群包括即时计算集群的情况下，所述第一计算节点将所述目标业务数据发送给所述目的集群所包括的即时计算集群；和/或，

21、在所述目的集群包括数据存储集群的情况下，所述第一计算节点将所述目标业务数据发送给中间存储集群，以通过中间存储集群发送给所述数据存储集群；其中，所述中间存储集群的存储容量大于所述本地存储节点。

22、在一种可能的实现方式中，所述方法还包括：

23、所述第一计算节点以第一时间间隔将读取所述目标业务数据时的偏移量持久化到所述本地存储节点；所述偏移量指示所述第一计算节点持久化偏移量时读取所述目标业务数据的位置。

24、在一种可能的实现方式中，所述第一计算节点中部署有一个或多个实例，所述一个或多个实例中的部分实例或者全部实例中部署有所述第一业务，所述目标业务数据包括所述第一计算节点中部署的所有所述第一业务在所述预设周期生成的业务数据。

25、在一种可能的实现方式中，所述方法还包括：

26、所述控制节点接收用户通过配置界面配置的所述第一业务的配置信息，所述配置信息还包括但不限于以下任意一项或多项：应用名、所述第一业务的标识、业务数据模式、优先级、事件记录器版本或负责人；其中，所述应用名指示所述第一业务属于的应用；所述业务数据模式指示解析所述业务数据的方式；所述优先级用于指示中间存储集群在将多个业务的业务数据发往数据存储集群时的发送顺序；所述事件记录器版本用于指示第一计算节点将业务数据写入本地存储节点时所调用的记录器的版本；所述负责人用于指示负责所述第一业务的业务人员。

27、在一种可能的实现方式中，所述方法还包括：

28、所述第一计算节点在发送完所述目标业务数据之后，生成一条记录信息，将所述记录信息写入数据库；其中，所述记录信息指示所述第一计算节点中所述第一业务在所述预设周期内生成的业务数据已从所述本地存储节点发送完毕。

29、在一种可能的实现方式中，所述数据管理系统还包括调度器；所述方法还包括：

30、所述调度器获取所述数据库中所述第一业务对应的记录信息，在所述第一业务对应的记录信息指示目标计算节点中所述第一业务在所述预设周期产生的业务数据均已发送给所述中间存储集群的情况下，启动所述第一业务对应的传输任务，所述第一业务对应的传输任务指示将所述第一业务在所述预设周期产生的业务数据传输至所述目标集群中的数据存储集群；其中，所述目标计算节点为部署有所述第一业务的计算节点。

31、在一种可能的实现方式中，所述方法还包括：

32、所述调度器在需要发送第一业务在所述预设周期产生的业务数据和第二业务的业务数据的情况下，获取第一业务的优先级和第二业务的优先级，在所述第一业务的优先级高于所述第二业务的优先级时，先发送所述第一业务在所述预设周期内产生的业务数据至所述目标集群中的数据存储集群。

33、第三方面，本技术实施例提供一种数据管理系统，应用于包括控制节点和多个计算节点的数据管理系统，包括：

34、所述控制节点，用于接收用户设置的第一业务的配置信息，并将所述配置信息发送给第一计算节点；其中，所述配置信息包括一个或多个目的集群；所述一个或多个目的集群指示所述第一业务的业务数据发送至的集群；所述第一计算节点是所述多个计算节点中部署有所述第一业务的节点；

35、所述第一计算节点，用于采集所述第一计算节点内部署的所述第一业务生成的业务数据，并写入本地存储节点；

36、所述第一计算节点，还用于读取所述本地存储节点中存储的目标业务数据，将所述目标业务数据发送给所述一个或多个目的集群；其中，所述目标业务数据包括所述第一业务在一个预设周期内生成的业务数据。

37、在一种可能的实现方式中，所述一个或多个目的集群包括即时计算集群和/或数据存储集群；

38、所述第一计算节点将所述目标业务数据发送给所述一个或多个目的集群，具体包括：

39、在所述目的集群包括即时计算集群的情况下，所述第一计算节点将所述目标业务数据发送给所述目的集群所包括的即时计算集群；和/或，

40、在所述目的集群包括数据存储集群的情况下，所述第一计算节点将所述目标业务数据发送给中间存储集群，以通过中间存储集群发送给所述数据存储集群；其中，所述中间存储集群的存储容量大于所述本地存储节点。

41、在一种可能的实现方式中，所述第一计算节点还用于：所述第一计算节点以第一时间间隔将读取所述目标业务数据时的偏移量持久化到所述本地存储节点；所述偏移量指示所述第一计算节点持久化偏移量时读取所述目标业务数据的位置。

42、在一种可能的实现方式中，所述第一计算节点中部署有一个或多个实例，所述一个或多个实例中的部分实例或者全部实例中部署有所述第一业务，所述目标业务数据包括所述第一计算节点中部署的所有所述第一业务在所述预设周期生成的业务数据。

43、在一种可能的实现方式中，所述控制节点还用于：所述控制节点接收用户通过配置界面配置的所述第一业务的配置信息，所述配置信息还包括但不限于以下任意一项或多项：应用名、所述第一业务的标识、业务数据模式、优先级、事件记录器版本或负责人；其中，所述应用名指示所述第一业务属于的应用；所述业务数据模式指示解析所述业务数据的方式；所述优先级用于指示中间存储集群在将多个业务的业务数据发往数据存储集群时的发送顺序；所述事件记录器版本指示第一计算节点将业务数据写入本地存储节点时所调用的记录器的版本；所述负责人用于指示负责所述第一业务的业务人员。

44、在一种可能的实现方式中，所述第一计算节点还用于：在所述第一计算节点在发送完所述目标业务数据之后，生成一条记录信息，将所述记录信息写入数据库；其中，所述记录信息指示所述第一计算节点中所述第一业务在所述预设周期内生成的业务数据已从所述本地存储节点发送完毕。

45、在一种可能的实现方式中，所述数据管理系统还包括调度器；所述调度器用于：获取所述数据库中所述第一业务对应的记录信息，在所述第一业务对应的记录信息指示目标计算节点中所述第一业务在所述预设周期产生的业务数据均已发送给所述中间存储集群的情况下，启动所述第一业务对应的传输任务，所述第一业务对应的传输任务指示将所述第一业务在所述预设周期产生的业务数据传输至所述目标集群中的数据存储集群；其中，所述目标计算节点为部署有所述第一业务的计算节点。

46、在一种可能的实现方式中，所述调度器还用于：所述调度器在需要发送第一业务在所述预设周期产生的业务数据和第二业务的业务数据的情况下，获取第一业务的优先级和第二业务的优先级，在所述第一业务的优先级高于所述第二业务的优先级时，先发送所述第一业务在所述预设周期内产生的业务数据至所述目标集群中的数据存储集群。

47、第四方面，本技术实施例提供一种数据管理装置，包括客户端和事件记录器，其中：

48、所述客户端，用于获取用户通过控制节点设置的第一业务的配置信息，所述配置信息包括一个或多个目的集群；所述一个或多个目的集群指示所述第一业务的业务数据发送至的集群；所述客户端部署在第一计算节点，所述第一计算节点是所述多个计算节点中部署有所述第一业务的节点；

49、所述事件记录器，用于供所述第一业务调用以将所述第一业务的业务数据写入本地存储节点；

50、所述客户端，还用于读取所述本地存储节点中存储的目标业务数据，将所述目标业务数据发送给所述一个或多个目的集群；其中，所述目标业务数据包括所述第一业务在一个预设周期内生成的业务数据。

51、在一种可能的实现方式中，所述一个或多个目的集群包括即时计算集群和/或数据存储集群；

52、在所述目的集群包括即时计算集群的情况下，所述客户端将所述目标业务数据发送给所述目的集群所包括的即时计算集群；和/或，

53、在所述目的集群包括数据存储集群的情况下，所述客户端将所述目标业务数据发送给中间存储集群，以通过中间存储集群发送给所述数据存储集群；其中，所述中间存储集群的存储容量大于所述本地存储节点。

54、在一种可能的实现方式中，所述客户端还用于以第一时间间隔将读取所述目标业务数据时的偏移量持久化到所述本地存储节点；所述偏移量指示所述第一计算节点持久化偏移量时读取所述目标业务数据的位置。

55、在一种可能的实现方式中，所述客户端还用于在发送完所述目标业务数据之后，生成一条记录信息，将所述记录信息写入数据库；其中，所述记录信息指示所述第一计算节点中所述第一业务在所述预设周期内生成的业务数据已从所述本地存储节点发送完毕。

56、在一种可能的实现方式中，所述第一计算节点中部署有一个或多个实例，每个实例对应有一个事件记录器，所述一个或多个实例中的部分实例或者全部实例中部署有所述第一业务，所述目标业务数据包括所述第一计算节点中部署的所有所述第一业务在所述预设周期生成的业务数据。

57、在一种可能的实现方式中，所述配置信息还包括但不限于以下任意一项或多项：应用名、所述第一业务的标识、业务数据模式、优先级、事件记录器版本或负责人；其中，所述应用名指示所述第一业务属于的应用；所述业务数据模式指示解析所述业务数据的方式；所述优先级用于指示中间存储集群在将多个业务的业务数据发往数据存储集群时的发送顺序；所述事件记录器版本指示第一计算节点将业务数据写入本地存储节点时所调用的记录器的版本；所述负责人用于指示负责所述第一业务的业务人员。

58、第五方面，本技术实施例提供一种控制装置，包括用于实现如上述第二方面或第二方面任一可能的实现方式中控制节点实现的方法的模块。

59、第六方面，本技术实施例提供一种计算设备，包括处理器和存储器，所述存储器用于存储指令，所述处理器用于执行所述指令，当所述处理器执行所述指令时，实现如权上述第一方面或第一方面任意可能的实现方式中所述的方法。

60、第七方面，本技术提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当所述指令在计算设备上运行时，使得服务器执行第一方面或第一方面任一种可能实现方式中所述的方法。

61、第八方面，本技术提供了一种计算机程序产品，当该计算机程序产品在服务器上运行时，使得服务器执行第一方面或第一方面任一种可能实现方式中所述的方法。

62、通过本技术提供的数据管理系统，利用本地存储节点存储业务数据，解耦了业务与即时计算集群(例如kafka集群)和数据存储集群(例如hive集群)的依赖关系，即使在kafka集群或hive集群出现故障或者通信网络出现故障时，数据还能够先写入本地存储节点，不会因为故障影响业务的正常运行。同时，该数据管理系统能够简化数据写入不同集群的流程，用户只需要在控制节点配置好目的地以及其他配置信息后，计算节点即可根据配置信息完成数据管理和传输操作，用户无需关注数据管理和传输的细节，从而提高了数据管理和业务开发的效率。用户还能够通过控制节点自由修改目的地，修改后客户端能够及时得到修改后的配置信息，无需停止或重启业务进程。另外，业务数据的目的地可以配置为多个，即可以将同一份数据同时写入多个kafka集群或hive集群的能力，在单个集群发生故障时，确保数据的高可用。