hadoop集群的自动配置方法及装置与流程

本公开涉及云计算，具体涉及运维，尤其涉及一种hadoop集群的自动配置方法、装置、设备、存储介质和程序产品。

背景技术：

1、随着物联网、云计算和云存储等技术的蓬勃发展，大数据分析开始融入各行各业，而hadoop作为业界公认的大数据通用存储和分析平台，作为大数据的基础设施而被广泛的运用于各个领域。由于hadoop涉及到的组件繁多，配置更是多达上千项，所以为了方便对hadoop平台的安装配置及维护，通常不会直接使用hadoop原生版本，而是选择cloudera或自研运维套件，利用可视化webui统一配置安装hadoop平台，然后再给各个业务方提供平台接口使用。

2、相关技术中，主要有两种搭建hadoop平台的方式，一种是纯脚本安装，把所有二进制和配置提前准备好，然后利用脚本去分发以及配置相关配置文件。但这种方式没有统一界面查看组件启动、运行情况；若脚本执行报错，无法直观显示哪些机器已安装成功或失败，即不适合大规模集群部署；同时由于组件运行日志分散在集群的各个物理机中，bug排查困难。第二种是利用clouderamanager安装，即利用web可视化ui安装，安装人员只需要按照步骤手动选择组件，然后添加节点，修改配置保存，即可管理整个集群，保存后会自动滚动同步到所有节点配置中。但由于组件配置复杂繁多，需要对hadoop上百个配置项进行配置，极易人工操作失误导致部署失败，从而影响后续业务开发。

3、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、鉴于上述问题，本公开提供了提高hadoop部署效率的hadoop集群的自动配置方法、装置、设备、存储介质和程序产品。

2、根据本公开的第一个方面，提供了一种hadoop集群的自动配置方法，包括：

3、响应于hadoop集群部署指令，根据集群落位规划信息、配置键值对信息和运维工具访问地址信息生成配置文件；

4、将所述配置文件和自动化测试工具脚本包上传至主节点；以及

5、运行所述自动化测试工具脚本包，根据所述配置文件模拟web页面的配置操作，以完成hadoop集群组件的自动配置。

6、根据本公开的实施例，所述根据集群落位规划信息、配置键值对信息和运维工具访问地址信息生成配置文件包括：

7、根据集群规划信息和网络规划信息确定主机列表信息；

8、根据组件角色规划信息确定每个主机的服务列表信息；以及

9、根据所述主机列表信息、所述服务列表信息、运维工具访问地址信息和配置键值对信息生成配置文件。

10、根据本公开的实施例，所述根据所述配置文件模拟web页面的配置操作，以完成hadoop集群组件的自动配置包括：

11、根据运维工具访问地址信息访问运维工具的web页面；

12、根据配置键值对信息模拟web页面的配置操作，以完成hadoop集群组件的自动配置。

13、根据本公开的实施例，所述根据配置键值对信息模拟web页面的配置操作，以完成hadoop集群组件的自动配置包括：

14、根据所述配置键值对信息确定web页面中配置项的配置操作；

15、循环执行所述配置操作直至完成hadoop集群组件的配置。

16、根据本公开的实施例，所述配置键值对信息包括关键字段、键值和键值类型，所述根据所述配置键值对信息确定web页面中配置项的配置操作包括：

17、根据所述关键字段确定web页面中配置项的位置信息；以及

18、根据所述键值类型确定web页面的配置操作信息，其中，所述配置操作信息包括点击操作、输入操作和下拉选择操作。

19、根据本公开的实施例，所述自动化测试工具脚本包为selenium脚本。

20、本公开的第二方面提供了一种hadoop集群的自动配置装置，包括：获取模块，用于响应于hadoop集群部署指令，根据集群落位规划信息、配置键值对信息和运维工具访问地址信息生成配置文件；

21、上传模块，用于将所述配置文件和自动化测试工具脚本包上传至主节点；以及

22、配置模块，用于运行所述自动化测试工具脚本包，根据所述配置文件模拟web页面的配置操作，以完成hadoop集群组件的自动配置。

23、本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述hadoop集群的自动配置方法。

24、本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述hadoop集群的自动配置方法。

25、本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述hadoop集群的自动配置方法。

26、通过本公开实施例提供的hadoop集群的自动配置方法，通过响应于hadoop集群部署指令，根据集群落位规划信息、配置键值对信息和运维工具访问地址信息生成配置文件；将所述配置文件和自动化测试工具脚本包上传至主节点；运行自动化测试工具脚本包，模拟web页面的配置操作，从而实现hadoop集群组件的自动配置。通过运行自动化测试工具脚本，根据预先生成的配置文件确定各个配置项页面位置，利用seleniumapi完成填充配置值的操作，实现hadoop集群组件的自动配置，相较于相关技术中运维人员手动操作配置的方案，大幅提高了hadoop集群配置部署效率，减小运维人员工作量。

技术特征：

1.一种hadoop集群的自动配置方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据集群落位规划信息、配置键值对信息和运维工具访问地址信息生成配置文件包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述配置文件模拟web页面的配置操作，以完成hadoop集群组件的自动配置包括：

4.根据权利要求3所述的方法，其特征在于，所述根据配置键值对信息模拟web页面的配置操作，以完成hadoop集群组件的自动配置包括：

5.根据权利要求4所述的方法，其特征在于，所述配置键值对信息包括关键字段、键值和键值类型，所述根据所述配置键值对信息确定web页面中配置项的配置操作包括：

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述自动化测试工具脚本包为selenium脚本。

7.一种hadoop集群的自动配置装置，其特征在于，包括：

8.一种电子设备，包括：

9.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～6中任一项所述的方法。

10.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～6中任一项所述的方法。

技术总结
本公开提供了一种hadoop集群的自动配置方法，可以应用于运维技术领域。该方法包括：响应于hadoop集群部署指令，根据集群落位规划信息、配置键值对信息和运维工具访问地址信息生成配置文件；将所述配置文件和自动化测试工具脚本包上传至主节点；以及运行所述自动化测试工具脚本包，根据所述配置文件模拟web页面的配置操作，以完成hadoop集群组件的自动配置。本公开还提供了一种hadoop集群的自动配置装置、设备、存储介质和程序产品。

技术研发人员：危奇,池溢,刘志杰
受保护的技术使用者：建信金融科技有限责任公司
技术研发日：
技术公布日：2024/1/11