提升Hadoop双机集群下Web_HDFS可用性的方法与流程

本发明涉及计算机领域，特别指一种提升hadoop双机集群下web_hdfs可用性的方法。

背景技术

应用端程序在hadoop双机集群中使用web_hdfs操作文件时，需要获取到活动节点进行文件操作，当获取的节点为备用节点时就会存在部分文件操作失败的情况。针对这种操作失败的情况，传统的做法是通过web_hdfs对各节点进行逐一访问、测试；但是这种方法存在有如下问题：1、对各节点进行逐一访问、测试，增加了应用端节点切换测试时的网络开销；2、增加了应用端切换节点时因网络断开而造成文件操作失败的风险；3、增加了应用端使用web_hdfs时重复测试所造成的程序资源的开销。

技术实现要素：

本发明要解决的技术问题，在于提供一种提升hadoop双机集群下web_hdfs可用性的方法，用来减少应用端节点切换测试时的网络开销以及程序资源开销，减少应用端切换活动节点或者备用节点时因网络断开而造成文件操作失败的风险。

本发明是这样实现的：一种提升hadoop双机集群下web_hdfs可用性的方法，包括如下步骤：

步骤s10、创建hadoop的zookeeper会话；

步骤s20、启动活动节点的缓存功能，从zookeeper会话中获取活动节点以及备用节点并进行缓存；启动活动节点的更新功能，调用文件管理服务对活动节点进行逐一访问，验证活动节点的可操作性，并更新可操作性信息至应用端；

步骤s30、应用端从缓存中获取活动节点，调用web_hdfs进行文件操作，若文件操作失败，依据可操作性信息获取具备可操作性的活动节点进行文件操作。

进一步地，所述步骤s10具体为：

步骤s11、配置zookeeper地址；

步骤s12、创建zookeeper会话，建立应用端与服务器的连接，连接成功后保存会话连接。

进一步地，所述步骤s20中具体为：

步骤s21、启动活动节点的缓存功能，在程序初始化时，自动从zookeeper会话中的zookeeper地址获取各namenode信息并区分出活动节点以及备用节点，并对活动节点以及备用节点进行缓存；

步骤s22、启动活动节点的定时更新功能，在设定的第一周期内调用文件管理服务对活动节点进行逐一访问，验证活动节点的可操作性，并更新可操作性信息至应用端。

进一步地，所述步骤s22中，所述在设定的第一周期内调用文件管理服务具体为：

记录活动节点可操作性信息的更新次数，若在设定的第二周期内未更新，则延长第一周期至第三周期；若延长第一周期至第三周期后，在设定的第二周期内产生更新，则缩短第三周期至第一周期。

进一步地，所述步骤s30具体为：

步骤s31、应用端从缓存中获取活动节点，调用web_hdfs进行文件操作，若文件操作失败，则进入步骤s32；若文件操作成功，则结束流程；

步骤s32、依据可操作性信息，通过zookeeper会话获取具备可操作性的活动节点进行文件操作，操作完成结束流程。

本发明的优点在于：

1、通过在设定的第一周期内调用文件管理服务对活动节点进行逐一访问，验证活动节点的可操作性，并更新可操作性信息至应用端，减少了web_hdfs对活动节点以及备用节点进行逐一访问验证的网络资源开销以及程序资源开销。

2、通过保存zookeeper会话连接，减少应用端切换活动节点或者备用节点时因网络断开而造成文件操作失败的风险。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明提升hadoop双机集群下web_hdfs可用性的方法的流程图。

具体实施方式

请参照图1所示，本发明提升hadoop双机集群下web_hdfs可用性的方法的较佳实施例，包括如下步骤：

步骤s10、创建hadoop的zookeeper会话；hadoop是一个能够对大量数据进行分布式处理的软件框架；

步骤s20、启动活动节点的缓存功能，从zookeeper会话中获取活动节点以及备用节点并进行缓存；启动活动节点的更新功能，调用文件管理服务对活动节点进行逐一访问，验证活动节点的可操作性，并更新可操作性信息至应用端；

步骤s30、应用端从缓存中获取活动节点，调用web_hdfs进行文件操作，若文件操作失败，依据可操作性信息获取具备可操作性的活动节点进行文件操作。

所述步骤s10具体为：

步骤s11、配置zookeeper地址；

步骤s12、创建zookeeper会话，建立应用端与服务器的连接，连接成功后保存会话连接文件操作失败时，通过保存的zookeeper会话获取具备可操作性的活动节点进行文件操作，减少了应用端切换活动节点或者备用节点时因网络断开而造成文件操作失败的风险。

所述步骤s20中具体为：

步骤s21、启动活动节点的缓存功能，在程序初始化时，自动从zookeeper会话中的zookeeper地址获取各namenode信息并区分出活动节点以及备用节点，并对活动节点以及备用节点进行缓存；web_hdfs包括一个namenode(管理者)以及多个datanode(工作者)，namenode主要负责管理文件系统，datanode主要用来存储数据文件；

步骤s22、启动活动节点的定时更新功能，在设定的第一周期内调用文件管理服务对活动节点进行逐一访问，验证活动节点的可操作性，并更新可操作性信息至应用端；该步骤减少了web_hdfs对活动节点以及备用节点进行逐一访问验证的网络资源开销以及程序资源开销。

所述步骤s22中，所述在设定的第一周期内调用文件管理服务具体为：

记录活动节点可操作性信息的更新次数，若在设定的第二周期内未更新，则延长第一周期至第三周期；若延长第一周期至第三周期后，在设定的第二周期内产生更新，则缩短第三周期至第一周期；一般设定第三周期为十分钟，据此调整访问验证的周期，可以有效节约系统资源。

所述步骤s30具体为：

步骤s31、应用端从缓存中获取活动节点，调用web_hdfs进行文件操作，若文件操作失败，则进入步骤s32；若文件操作成功，则结束流程；

步骤s32、依据可操作性信息，通过zookeeper会话获取具备可操作性的活动节点进行文件操作，操作完成结束流程。

综上所述，本发明的优点在于：

1、通过在设定的第一周期内调用文件管理服务对活动节点进行逐一访问，验证活动节点的可操作性，并更新可操作性信息至应用端，减少了web_hdfs对活动节点以及备用节点进行逐一访问验证的网络资源开销以及程序资源开销。

2、通过保存zookeeper会话连接，减少应用端切换活动节点或者备用节点时因网络断开而造成文件操作失败的风险。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。