一种跨平台的大数据资源管理系统及方法与流程

1.本发明涉及信息管理系统技术领域，特别是涉及一种跨平台的大数据资源管理系统及方法。


背景技术：

2.目前，大部分大数据平台hadoop(分布式系统基础架构)集群的资源是基于yarn(hadoop的资源管理系统)的租户进行管理的，开源的hadoop产品需要手工修改配置文件管理租户，华为和 cloudera等公司的商用hadoop产品可以通过页面化的配置工具管理租户。出于管理方式或业务场景等不同目的的需要，一个组织通常会选择多种hadoop产品，并且部署多个hadoop集群。
3.由于每个集群的资源都是独立进行管理的，不同hadoop产品资源管理的操作步骤不同，同一hadoop产品的不同集群资源配置内容不同。另外，大部分组织除了使用hadoop集群外，还会使用到诸如 elasticsearch、redis、sbd等软件，这些软件往往没有纳入到商用的大数据产品中，无法集中管理这些软件的资源。当管理的集群数量达到一定规模时，多个集群的资源管理工作就会变得非常复杂和繁琐，而且容易出错，极大的影响工作效率。


技术实现要素：

4.本发明提供一种跨平台的大数据资源管理系统及方法，兼容不同的hadoop产品和其他开源软件，同时管理多个集群的资源，通过页面化的操作，直观的管理多个集群的资源，提高工作效率，降低集群资源管理成本。
5.本发明一个实施例提供一种跨平台的大数据资源管理系统，包括：应用系统接口模块、资源管理模块、资源监控模块、集群接口模块、数据存储模块；其中；
6.所述应用系统接口模块，用于接收应用系统发送的资源请求，在判断资所述资源请求合法时，将所述资源请求发送至所述资源管理模块；其中，所述资源请求包括：新增租户请求、数据目录或数据库表授权请求、新增集群用户请求、新增集群请求；
7.所述资源管理模块，用于根据所述资源请求的类型选择接收所述资源请求的资源管理子模板，并将所述资源请求发送至集群接口模块；其中，所述资源管理子模板包括：租户管理子模板、授权管理子模板、用户管理子模板、集群管理子模板；
8.所述集群接口模块，用于根据所述资源请求的类型将所述资源请求转发至对应的hadoop集群，并将所述资源请求发送至资源监控模块；
9.所述资源监控模块，用于在预设时间内根据所述资源请求的类型选择资源监控子模块以获取所述hadoop集群的使用数据，并将所述 hadoop集群的使用数据发送至所述数据存储模块中进行存储；其中，所述资源监控子模块包括：集群监控子模块、租户监控子模块、应用监控子模块、库表监控子模块；
10.所述数据存储模块，用于存储所述hadoop集群的使用数据。
11.进一步地，所述的一种跨平台的大数据资源管理系统，还包括：规则引擎模块，用
于提供资源请求合法性判断规则给所述应用接口模块，以判断资所述源请求合法性；还用于提供资源请求的类型判断规则给所述资源管理模块和资源监控模块，以判断所述资源请求的类型。
12.进一步地，所述租户管理子模板，用于接收所述新增租户请求，在租户管理中增加租户的配置信息；
13.所述授权管理子模板，用于接收所述数据目录或数据库表授权请求，在授权管理中的树形结构查询到被授权目标，通过多选的方式分配读、写、执行和继承的权限；
14.所述用户管理子模板，用于接收所述新增集群用户请求，在用户管理中增加用户的配置信息；其中，所述配置信息包括：用户名、用户类型、角色、用户组信息；
15.所述集群管理子模板，用于接收所述新增集群请求，在集群管理中增加集群的配置信息，其中，所述配置信息包括：集群名称、集群类别、ip地址、端口、用户名、密码信息。
16.进一步地，所述集群监控子模块，用于获取并监控整个集群的平均的cpu信息、内存信息、网络io信息以及存储空间信息；
17.所述租户监控子模块，用于获取并监控租户的cpu信息、存储空间的使用信息；
18.所述应用监控子模块，用于获取并监控提交到应用的cpu和内容使用信息、运行时长信息；
19.所述库表监控子模块，用于获取并监控数据库和数据表的访问信息。
20.进一步地，所述的一种跨平台的大数据资源管理系统，还包括：平台管理模块，用于管理平台的管理配置；其中，所述管理配置包括用户、组织、权限、审计、参数配置和准入管理。
21.进一步地，所述的一种跨平台的大数据资源管理系统，还包括：调度引擎模块，用于管理资源监控模块进行监控信息获取。
22.进一步地，所述的一种跨平台的大数据资源管理系统，还包括：web服务模块，用于用户交互。
23.本发明一实施例还提供一种跨平台的大数据资源管理方法，包括：
24.控制应用系统接口模块接收应用系统发送的资源请求，在判断资所述源请求合法时，将所述资源请求发送至所述资源管理模块；其中，所述资源请求包括：新增租户请求、数据目录或数据库表授权请求、新增集群用户请求、新增集群请求；
25.控制所述资源管理模块根据所述资源请求的类型选择接收所述资源请求的资源管理子模板，并将所述资源请求发送至集群接口模块；其中，所述资源管理子模板包括：租户管理子模板、授权管理子模板、用户管理子模板、集群管理子模板；
26.控制所述集群接口模块根据所述资源请求的类型将所述资源请求转发至对应的hadoop集群，并将所述资源请求发送至资源监控模块；
27.控制所述资源监控模块在预设时间内根据所述资源请求的类型选择资源监控子模块以获取所述hadoop集群的使用数据，并将所述 hadoop集群的使用数据发送至所述数据存储模块中进行存储；其中，所述资源监控子模块包括：集群监控子模块、租户监控子模块、应用监控子模块、库表监控子模块。
28.进一步地，所述的一种跨平台的大数据资源管理方法，还包括：控制规则引擎模块提供资源请求合法性判断规则给所述应用接口模块，以判断资所述源请求合法性，并提供
资源请求的类型判断规则给所述资源管理模块和资源监控模块，以判断所述资源请求的类型。
29.本发明一实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行所述的跨平台的大数据资源管理方法。
30.与现有技术相比，本发明实施例的有益效果在于：
31.本发明提供一种跨平台的大数据资源管理系统，包括：应用系统接口、资源管理模块、资源监控模块、集群接口模块、数据存储模块；其中；所述应用接口模块，用于接收应用系统发送的资源请求，在判断资所述资源请求合法时，将所述资源请求发送至所述资源管理模块；其中，所述资源请求包括：新增租户请求、数据目录或数据库表授权请求、新增集群用户请求、新增集群请求；所述资源管理模块，用于根据所述资源请求的类型选择接收所述资源请求的资源管理子模板，并将所述资源请求发送至集群接口模块；其中，所述资源管理子模板包括：租户管理子模板、授权管理子模板、用户管理子模板、集群管理子模板；所述集群接口模块，用于根据所述资源请求的类型将所述资源请求转发至对应的hadoop集群，并将所述资源请求发送至资源监控模块；所述资源监控模块，用于在预设时间内根据所述资源请求的类型选择资源监控子模块以获取所述hadoop集群的使用数据，并将所述hadoop集群的使用数据发送至所述数据存储模块中进行存储；其中，所述资源监控子模块包括：集群监控子模块、租户监控子模块、应用监控子模块、库表监控子模块；所述数据存储模块，用于存储所述hadoop集群的使用数据。本发明集中统一的管理了 hadoop集群或其他开源软件的资源，提升了资源管理的工作效率，降低了同时管理多个集群的运营成本；实现用户、租户等信息的可视化管理，简化了hadoop集群或其他开源软件资源管理的操作步骤，降低了手工执行命令带来的误操作风险；涵盖了常见的开源软件、华为、cloudera等产品的配置和监控规则，适用性高，无需二次开发，节省人力和时间成本。
附图说明
32.为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1是本发明某一实施例提供的一种跨平台的大数据资源管理系统的结构图；
34.图2是本发明另一实施例提供的一种跨平台的大数据资源管理系统的结构图；
35.图3是本发明另一实施例提供的一种跨平台的大数据资源管理系统的结构图；
36.图4是本发明另一实施例提供的一种跨平台的大数据资源管理系统的结构图；
37.图5是本发明另一实施例提供的一种跨平台的大数据资源管理系统的结构图；
38.图6是本发明另一实施例提供的一种跨平台的大数据资源管理系统的结构图；
39.图7是本发明另一实施例提供的一种跨平台的大数据资源管理系统的结构图；
40.图8是本发明又一实施例提供的一种跨平台的大数据资源管理系统的结构图；
41.图9是本发明某一实施例提供的一种跨平台的大数据资源管理方法的流程图；
42.图10是本发明另一实施例提供的一种跨平台的大数据资源管理方法的流程图；
43.图11是本发明又一实施例提供的一种跨平台的大数据资源管理方法的流程图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
46.应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
47.术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
48.术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
49.第一方面。
50.目前，大部分大数据平台hadoop集群的资源是基于yarn的租户进行管理的，开源的hadoop产品需要手工修改配置文件管理租户，华为和cloudera等公司的商用hadoop产品可以通过页面化的配置工具管理租户。出于管理方式或业务场景等不同目的的需要，一个组织通常会选择多种hadoop产品，并且部署多个hadoop集群。由于每个集群的资源都是独立进行管理的，不同hadoop产品资源管理的操作步骤不同，同一hadoop产品的不同集群资源配置内容不同。另外，大部分组织除了使用hadoop集群外，还会使用到诸如elasticsearch、 redis、sbd等软件，这些软件往往没有纳入到商用的大数据产品中，无法集中管理这些软件的资源。当管理的集群数量达到一定规模时，多个集群的资源管理工作就会变得非常复杂和繁琐，而且容易出错，极大的影响工作效率。
51.请参阅图1
‑
8，本发明一个实施例提供一种跨平台的大数据资源管理系统，包括：应用系统接口10、资源管理模块20、资源监控模块30、集群接口模块40、数据存储模块50；其中；
52.所述应用接口模块10，用于接收应用系统发送的资源请求，在判断资所述资源请求合法时，将所述资源请求发送至所述资源管理模块20；其中，所述资源请求包括：新增租户请求、数据目录或数据库表授权请求、新增集群用户请求、新增集群请求。
53.在某一实施例中，如图8所示，应用系统接口：主要负责资源管理平台与各应用系统之间的消息处理，这里主要包括数据授权和秘钥下发两个重要的接口。数据授权接口是上游应用系统需要对某些数据进行授权时，应用系统发送特定格式的消息给资源管理平台，资源管理平台收到消息后首先到本地配置库中查询授权是否合法，再到 hadoop集群或其他开源软件中查询授权是否合法，如果合法则发送到对应的hadoop集群或其他开源软件中执行授权命令，执行完毕返回执行结果给上游应用系统。秘钥下发接口是上游应用系统需要获取某个用户的秘钥信息时，上游应用系统先发送请求秘钥的消息，资源管理平台会将该用户的秘钥信息打包存储在本地，并将存储位置返回给上游应用系统。消息超时或处理失败后，资源管理平台将返回给上游系统相应标志和具体原因，以便管理员处理，消息超
时时间在平台管理中的参数配置中设置。消息头主要确定是哪个hadoop集群或其他开源软件，消息体为具体要执行的命令和参数。
54.所述资源管理模块20，用于根据所述资源请求的类型选择接收所述资源请求的资源管理子模板，并将所述资源请求发送至集群接口模块40；其中，所述资源管理子模板包括：租户管理子模板21、授权管理子模板22、用户管理子模板23、集群管理子模板24。
55.在某一实施例中，如图8所示，资源管理模块是资源管理平台的核心模块，主要负责hadoop及其他开源软件的集群管理、租户管理、数据访问授权、集群用户管理。当在集群中新增租户的时候，需要在租户管理中增加租户的配置信息，例如租户名称、最大和最小的cpu 核数、最大和最小的内存数量、分配的数据存储目录及大小等。当对一个数据目录或数据库表进行授权的时候，首先在授权管理中的树形结构查询到被授权目标，通过多选的方式分配读、写、执行和继承等权限。当新增集群用户的时候，需要在用户管理中增加用户的配置信息，例如用户名、用户类型、角色、用户组等信息，其中用户类型分为人机用户和程序用户，人机用户要求设置密码，程序用户不要求设置密码，自动生成秘钥文件。
56.在某一具体实施方式中，所述租户管理子模板21，用于接收所述新增租户请求，在租户管理中增加租户的配置信息。
57.所述授权管理子模板22，用于接收所述数据目录或数据库表授权请求，在授权管理中的树形结构查询到被授权目标，通过多选的方式分配读、写、执行和继承的权限。
58.所述用户管理子模板23，用于接收所述新增集群用户请求，在用户管理中增加用户的配置信息；其中，所述配置信息包括：用户名、用户类型、角色、用户组信息。
59.所述集群管理子模板24，用于接收所述新增集群请求，在集群管理中增加集群的配置信息，其中，所述配置信息包括：集群名称、集群类别、ip地址、端口、用户名、密码信息。
60.所述集群接口模块40，用于根据所述资源请求的类型将所述资源请求转发至对应的hadoop集群，并将所述资源请求发送至资源监控模块30。
61.在某一实施例中，如图8所示，集群接口主要负责资源管理平台与各hadoop集群或其他开源软件之间的消息处理，这里主要包括租户管理、用户管理、数据授权三个接口，分别对应资源管理模块的三个功能。资源管理平台发送消息给指定的hadoop集群或其他开源软件后等待集群返回的消息，收到hadoop集群或其他开源软件返回消息后，在平台页面上显示或者转发给上游应用系统。当消息超时或处理失败后，资源管理平台会在页面上显示或转发给上游系统相应标志和具体原因，以便管理员处理，消息超时时间在平台管理中的参数配置中设置。消息头主要确定是哪个hadoop集群或其他开源软件，消息体为具体要执行的命令和参数。
62.所述资源监控模块30，用于在预设时间内根据所述资源请求的类型选择资源监控子模块以获取所述hadoop集群的使用数据，并将所述hadoop集群的使用数据发送至所述数据存储模块50中进行存储；其中，所述资源监控子模块包括：集群监控子模块31、租户监控子模块32、应用监控子模块33、库表监控子模块34。
63.在某一实施例中，如图8所示，资源监控模块主要负责监控 hadoop集群和其他开源软件的资源使用情况，包括集群监控、租户监控、应用监控和库表监控。监控默认显示一小时内的统计信息，可选择更久的时间段。资源监控模块通过集群接口采集到相应的监控信息，格式化后保存在数据存储中。集群监控会监控整个集群的平均的 cpu、内存、网络io
以及存储空间等信息。租户监控会监控租户的 cpu、存储空间的使用情况等信息。应用监控会监控提交到yarn 上的application的cpu和内容使用情况、运行时长等信息。库表监控会监控hive、hbase、redis等数据库和数据表的访问情况、大小等信息。
64.在某一具体实施方式中，所述集群监控子模块31，用于获取并监控整个集群的平均的cpu信息、内存信息、网络io信息以及存储空间信息。
65.所述租户监控子模块32，用于获取并监控租户的cpu信息、存储空间的使用信息。
66.所述应用监控子模块33，用于获取并监控提交到应用的cpu和内容使用信息、运行时长信息。
67.所述库表监控子模块34，用于获取并监控数据库和数据表的访问信息。
68.所述数据存储模块50，用于存储所述hadoop集群的使用数据。
69.在某一实施例中，如图8所示，数据存储：主要负责资源管理平台各类监控信息的存储，可供是平台展示和查询。存储的数据分为热数据和冷数据，不同类型的数据存储在不同的组件中。热数据(根据管理需要设定周期，例如一周)保存在查询性能较高的组件中，冷数据保存在查询性能较低的组件中，过期的热数据每天自动转移到存储冷数据的组件中。
70.在某一具体实施方式中，本发明提供的一种跨平台的大数据资源管理系统，还包括：规则引擎模块60，用于提供资源请求合法性判断规则给所述应用接口模块10，以判断资所述源请求合法性；还用于提供资源请求的类型判断规则给所述资源管理模块20和资源监控模块30，以判断所述所述资源请求的类型。
71.在某一实施例中，如图8所示，规则引擎主要负责资源管理平台的资源规则维护，因为不同集群的配置参数不尽相同，需要单独管理，因此需要维护资源配置的规则。资源规则主要包括集群信息、租户信息、用户信息、授权信息，平台根据hadoop集群或其他开源软件的产品类型，制定不同的命令规则，例如华为的hadoop集群的租户配置命令与cloudera的hadoop集群的租户配置命令就有一定的差别，必须制定两个配置模板。资源管理平台必须能根据不同类型的产品选择不同的配置模板，发送不同的指令，接受不同的返回消息，存储不同的监控信息格式，统一在页面展示。
72.在某一具体实施方式中，本发明提供的一种跨平台的大数据资源管理系统，还包括：平台管理模块70，用于管理平台的管理配置；其中，所述管理配置包括用户、组织、权限、审计、参数配置和准入管理。
73.在某一实施例中，如图8所示，平台管理模块主要负责资源管理平台的管理配置，包括用户、组织、权限、审计、参数配置和准入管理。用户管理是在资源管理平台上的管理用户信息，新增用户后可登陆到资源管理平台，根据组织、权限维度查看或修改相关配置。组织管理是在资源管理平台上管理组织架构信息，不同组织的用户的管理范围是不同的，相应地，在集群租户、授权和用户的配置中也有对应的组织信息。权限管理是在资源管理平台上管理平台用户的权限的，不同角色的用户权限不同，例如配置管理员、操作员、审计员等。审计管理是在资源管理平台上查询审计信息，包括用户名、操作时间，具体的内容包括登录登出情况、用户执行的操作明细等信息。参数配置是资源管理平台的自身参数设置，例如接口相应时长、数据采集周期等。准入管理是配置允许接入的上游应用系统、下游hadoop集群或其他开源软件的ip地址，没有配置过的信息源发来的接口信息将被绝拒。
74.在某一具体实施方式中，本发明提供的一种跨平台的大数据资源管理系统，还包
括：调度引擎模块80，用于管理资源监控模块进行监控信息获取。
75.在某一实施例中，如图8所示，调度引擎：主要负责资源管理平台的任务管理，任务包括不同hadoop集群或其他开源软件的各类监控信息采集任务。资源管理平台会每隔一段时间去hadoop集群或其他开源软件采集监控信息，采集到的信息保存在数据存储中供平台展示和查询。信息采集周期在资源管理平台的参数配置中设置。
76.在某一具体实施方式中，本发明提供的一种跨平台的大数据资源管理系统，还包括：web服务模块90，用于用户交互。
77.在某一实施例中，如图8所示，web服务：是资源管理平台的前端页面，主要负责给用户交互。
78.第二方面。
79.请参阅图10
‑
11，本发明提供一种跨平台的大数据资源管理方法，包括：
80.s10、控制所述应用接口模块接收应用系统发送的资源请求，在判断资所述源请求合法时，将所述资源请求发送至所述资源管理模块；其中，所述资源请求包括：新增租户请求、数据目录或数据库表授权请求、新增集群用户请求、新增集群请求。
81.s20、控制所述资源管理模块根据所述资源请求的类型选择接收所述资源请求的资源管理子模板，并将所述资源请求发送至集群接口模块；其中，所述资源管理子模板包括：租户管理子模板、授权管理子模板、用户管理子模板、集群管理子模板。
82.s30、控制所述集群接口模块根据所述资源请求的类型将所述资源请求转发至对应的hadoop集群，并将所述资源请求发送至资源监控模块。
83.s40控制所述资源监控模块在预设时间内根据所述资源请求的类型选择资源监控子模块以获取所述hadoop集群的使用数据，并将所述hadoop集群的使用数据发送至所述数据存储模块中进行存储；其中，所述资源监控子模块包括：集群监控子模块、租户监控子模块、应用监控子模块、库表监控子模块。
84.在某一具体实施方式中，所述的一种跨平台的大数据资源管理方法，还包括：
85.s50、控制规则引擎模块提供资源请求合法性判断规则给所述应用接口模块，以判断资所述源请求合法性，并提供资源请求的类型判断规则给所述资源管理模块和资源监控模块，以判断所述所述资源请求的类型。
86.在某一实施例中，如图11所示，一种跨平台的大数据资源管理方法，包括：
87.(1)应用系统发送资源请求，给资源管理平台的应用系统接口。
88.(2)应用接口在规则引擎中判断请求是否合法，当返回时非法请求则立刻终止。
89.(3)应用接口收到合法请求后将请求转发给资源管理模块。
90.(4)资源管理模块接收到请求后在规则引擎中查询对应的配置模板，将接收到的报文信息转化为对应集群的消息格式。
91.(5)资源管理模块将请求消息发送给集群接口。
92.(6)集群接口发送指令到对应的集群，集群返回处理结果。
93.(7)集群接口将返回结果转发给资源管理模块。
94.(8)资源管理模块将执行结果写入数据存储。
95.(9)资源管理模块将执行结果转发给应用接口。
96.(10)应用接口将执行结果返回给应用系统。
97.第三方面。
98.本发明一个实施例提供一种电子装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述的一种跨平台的大数据资源管理方法。
99.第四方面。
100.本发明一个实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的一种跨平台的大数据资源管理方法。