经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置：技术经验 » 大数据/云/AI » Hadoop » 查看文章
Hadoop高可用集群
来源：cnblogs　　作者：辣鸡小篮子　　时间：2018/11/13 9:47:59　　对本文有异议

1.简介

 若HDFS集群中只配置了一个NameNode，那么当该NameNode所在的节点宕机，则整个HDFS就不能进行文件的上传和下载。

若YARN集群中只配置了一个ResourceManager，那么当该ResourceManager所在的节点宕机，则整个YARN就不能进行任务的计算。

*Hadoop依赖Zookeeper进行各个模块的HA配置，其中状态为Active的节点对外提供服务，而状态为StandBy的节点则只负责数据的同步，在必要时提供快速故障转移。

 

Hadoop各个模块剖析：https://www.cnblogs.com/funyoung/p/9889719.html

Hadoop集群管理：https://www.cnblogs.com/funyoung/p/9920828.html

2.HDFS HA集群

2.1 模型


当有两个NameNode时，提供哪个NameNode地址给客户端？

 

 

1.Hadoop提供了NameService进程，其是NameNode的代理，维护NameNode列表并存储NameNode的状态，客户端直接访问的是NameService，NameService会将请求转发给当前状态为Active的NameNode。

2.当启动HDFS时，DataNode将同时向两个NameNode进行注册。

 

 

怎样发现NameNode无法提供服务以及如何进行NameNode间状态的切换？

 



1.Hadoop提供了FailoverControllerActive和FailoverControllerStandBy两个进程用于NameNode的生命监控。

2.FailoverControllerActive和FailoverControllerStandBy会分别监控对应状态的NameNode，若NameNode无异常则定期向Zookeeper集群发送心跳，若在一定时间内Zookeeper集群没收到FailoverControllerActive发送的心跳，则认为此时状态为Active的NameNode已经无法对外提供服务，因此将状态为StandBy的NameNode切换为Active状态。

 

NameNode之间的数据如何进行同步和共享？

1.Hadoop提供了JournalNode用于存放NameNode中的编辑日志。

2.当激活的NameNode执行任何名称空间上的修改时，它将修改的记录保存到JournalNode集群中，备用的NameNode能够实时监控JournalNode集群中日志的变化，当监控到日志发生改变时会将其同步到本地。

 

*当状态为Active的NameNode无法对外提供服务时，Zookeeper将会自动的将处于StandBy状态的NameNode切换成Active。

2.2 HDFS HA高可用集群搭建

1.安装并配置Zookeeper集群

https://www.cnblogs.com/funyoung/p/8778106.html 

2.配置HDFS（hdfs-site.xml）

  1. <configuration> 
  2.   <!-- 指定NameService的名称 -->  
  3.   <property> <name>dfs.nameservices</name>  <value>mycluster</value> 
  4.   </property>  
  5.   <!-- 指定NameService下两个NameNode的名称 -->  
  6.   <property> <name>dfs.ha.namenodes.mycluster</name>  <value>nn1,nn2</value> 
  7.   </property>  
  8.   <!-- 分别指定NameNode的RPC通讯地址 -->  
  9.   <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name>  <value>192.168.1.80:8020</value> 
  10.   </property>  
  11.   <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name>  <value>192.168.1.81:8020</value> 
  12.   </property>  
  13.   <!-- 分别指定NameNode的Web监控页面地址 -->  
  14.   <property> <name>dfs.namenode.http-address.mycluster.nn1</name>  <value>192.168.1.80:50070</value> 
  15.   </property>  
  16.   <property> <name>dfs.namenode.http-address.mycluster.nn2</name>  <value>192.168.1.81:50070</value> 
  17.   </property>  
  18.   <!-- 指定NameNode编辑日志存储在JournalNode集群中的目录-->  
  19.   <property> <name>dfs.namenode.shared.edits.dir</name>  <value>qjournal://192.168.1.80:8485;192.168.1.81:8485;192.168.1.82:8485/mycluster</value> 
  20.   </property>
  21.   <!-- 指定JournalNode集群存放日志的目录-->  
  22.   <property> <name>dfs.journalnode.edits.dir</name>  <value>/usr/hadoop/hadoop-2.9.0/journalnode</value> 
  23.   </property>  
  24.   <!-- 配置NameNode失败自动切换的方式-->  
  25.   <property> <name>dfs.client.failover.proxy.provider.mycluster</name>  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
  26.   </property>  
  27.   <!-- 配置隔离机制-->  
  28.   <property> <name>dfs.ha.fencing.methods</name>  <value>sshfence</value> 
  29.   </property>  
  30.   <!-- 由于使用SSH,那么需要指定密钥的位置-->  
  31.   <property> <name>dfs.ha.fencing.ssh.private-key-files</name>  <value>/root/.ssh/id_rsa</value> 
  32.   </property>  
  33.   <!-- 开启失败故障自动转移-->  
  34.   <property> <name>dfs.ha.automatic-failover.enabled</name>  <value>true</value> 
  35.   </property>  
  36.   <!-- 配置Zookeeper地址-->  
  37.   <property> <name>ha.zookeeper.quorum</name>  <value>192.168.1.80:2181,192.168.1.81:2181,192.168.1.82:2181</value> 
  38.   </property>  
  39.   <!-- 文件在HDFS中的备份数(小于等于NameNode) -->  
  40.   <property> <name>dfs.replication</name>  <value>3</value> 
  41.   </property>  
  42.   <!-- 关闭HDFS的访问权限 -->  
  43.   <property> <name>dfs.permissions.enabled</name>  <value>false</value> 
  44.   </property>  
  45.   <!-- 指定一个配置文件,使NameNode过滤配置文件中指定的host -->  
  46.   <property> <name>dfs.hosts.exclude</name>  <value>/usr/hadoop/hadoop-2.9.0/etc/hadoop/hdfs.exclude</value> 
  47.   </property> </configuration>

 

*指定NameNode的RPC通讯地址是为了接收FailoverControllerActive和FailoverControllerStandBy以及DataNode发送的心跳。

3.配置Hadoop公共属性（core-site.xml）

  1. <configuration> 
  2.   <!-- Hadoop工作目录,用于存放Hadoop运行时NameNode、DataNode产生的数据 -->  
  3.   <property> <name>hadoop.tmp.dir</name>  <value>/usr/hadoop/hadoop-2.9.0/data</value> 
  4.   </property>  
  5.   <!-- 默认NameNode,使用NameService的名称 -->  
  6.   <property> <name>fs.defaultFS</name>  <value>hdfs://mycluster</value> 
  7.   </property>  
  8.   <!-- 开启Hadoop的回收站机制,当删除HDFS中的文件时,文件将会被移动到回收站(/usr/<username>/.Trash),在指定的时间过后再对其进行删除,此机制可以防止文件被误删除 -->  
  9.   <property> <name>fs.trash.interval</name>  <!-- 单位是分钟 -->  <value>1440</value> 
  10.   </property> </configuration>

 

*在HDFS HA集群中，StandBy的NameNode会对namespace进行checkpoint操作，因此就不需要在HA集群中运行SecondaryNameNode、CheckpintNode、BackupNode。

 

4.启动HDFS HA高可用集群

1.分别启动JournalNode

 

2.格式化第一个NameNode并启动

 

3.第二个NameNode同步第一个NameNode的信息

 

4.启动第二个NameNode

 

5.启动Zookeeper集群

 

6.格式化Zookeeper

*当格式化ZK后，ZK中将会多了hadoop-ha节点。

 

7.重启HDFS集群

 

当HDFS HA集群启动完毕后，可以分别访问NameNode管理页面查看当前NameNode的状态，http://192.168.1.80:50070、http://192.168.1.81:50070。

 

 

*可以查看到主机名为hadoop1的NamNode其状态为StandBy，而主机名为hadoop2的NameNode其状态为Active。

 

8.模拟NameNode宕机，手动杀死进程。

 

此时访问NameNode管理页面，可见主机名为hadoop1的NameNode其状态从原本的StandBy切换成Active。

2.3 JAVA操作HDFS HA集群

*由于在HDFS HA集群中存在两个NameNode，且服务端暴露的是NameService，因此在通过JAVA连接HDFS HA集群时需要使用Configuration实例进行相关的配置。

  1. /**
  2.  * @Auther: ZHUANGHAOTANG
  3.  * @Date: 2018/11/6 11:49
  4.  * @Description: */public class HDFSUtils {/** * HDFS NamenNode URL     */private static final String NAMENODE_URL = "hdfs://mycluster:8020";/** * 配置项     */private static Configuration conf = null;static {
  5.         conf = new Configuration();//指定默认连接的NameNode,使用NameService的名称conf.set("fs.defaultFS", "hdfs://mycluster");//指定NameService的名称conf.set("dfs.nameservices", "mycluster");//指定NameService下的NameNode列表conf.set("dfs.ha.namenodes.mycluster", "nn1,nn2");//分别指定NameNode的RPC通讯地址conf.set("dfs.namenode.rpc-address.mycluster.nn1", "hadoop1:8020");
  6.         conf.set("dfs.namenode.rpc-address.mycluster.nn2", "hadoop2:8020");//配置NameNode失败自动切换的方式conf.set("dfs.client.failover.proxy.provider.mycluster", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
  7.     }/** * 创建目录     */public static void mkdir(String dir) throws Exception {if (StringUtils.isBlank(dir)) {throw new Exception("Parameter Is NULL");
  8.         }
  9.         dir = NAMENODE_URL + dir;
  10.         FileSystem fs = FileSystem.get(URI.create(NAMENODE_URL), conf);if (!fs.exists(new Path(dir))) {
  11.             fs.mkdirs(new Path(dir));
  12.         }
  13.         fs.close();
  14.     }/** * 删除目录或文件     */public static void delete(String dir) throws Exception {if (StringUtils.isBlank(dir)) {throw new Exception("Parameter Is NULL");
  15.         }
  16.         dir = NAMENODE_URL + dir;
  17.         FileSystem fs = FileSystem.get(URI.create(NAMENODE_URL), conf);
  18.         fs.delete(new Path(dir), true);
  19.         fs.close();
  20.     }/** * 遍历指定路径下的目录和文件     */public static List<String> listAll(String dir) throws Exception {
  21.         List<String> names = new ArrayList<>();if (StringUtils.isBlank(dir)) {throw new Exception("Parameter Is NULL");
  22.         }
  23.         dir = NAMENODE_URL + dir;
  24.         FileSystem fs = FileSystem.get(URI.create(dir), conf);
  25.         FileStatus[] files = fs.listStatus(new Path(dir));for (int i = 0, len = files.length; i < len; i++) {if (files[i].isFile()) { //文件                names.add(files[i].getPath().toString());
  26.             } else if (files[i].isDirectory()) { //目录                names.add(files[i].getPath().toString());
  27.             } else if (files[i].isSymlink()) { //软或硬链接                names.add(files[i].getPath().toString());
  28.             }
  29.         }
  30.         fs.close();return names;
  31.     }/** * 上传当前服务器的文件到HDFS中     */public static void uploadLocalFileToHDFS(String localFile, String hdfsFile) throws Exception {if (StringUtils.isBlank(localFile) || StringUtils.isBlank(hdfsFile)) {throw new Exception("Parameter Is NULL");
  32.         }
  33.         hdfsFile = NAMENODE_URL + hdfsFile;
  34.         FileSystem fs = FileSystem.get(URI.create(NAMENODE_URL), conf);
  35.         Path src = new Path(localFile);
  36.         Path dst = new Path(hdfsFile);
  37.         fs.copyFromLocalFile(src, dst);
  38.         fs.close();
  39.     }/** * 通过流上传文件     */public static void uploadFile(String hdfsPath, InputStream inputStream) throws Exception {if (StringUtils.isBlank(hdfsPath)) {throw new Exception("Parameter Is NULL");
  40.         }
  41.         hdfsPath = NAMENODE_URL + hdfsPath;
  42.         FileSystem fs = FileSystem.get(URI.create(NAMENODE_URL), conf);
  43.         FSDataOutputStream os = fs.create(new Path(hdfsPath));
  44.         BufferedInputStream bufferedInputStream = new BufferedInputStream(inputStream);byte[] data = new byte[1024];while (bufferedInputStream.read(data) != -1) {
  45.             os.write(data);
  46.         }
  47.         os.close();
  48.         fs.close();
  49.     }/** * 从HDFS中下载文件     */public static byte[] readFile(String hdfsFile) throws Exception {if (StringUtils.isBlank(hdfsFile)) {throw new Exception("Parameter Is NULL");
  50.         }
  51.         hdfsFile = NAMENODE_URL + hdfsFile;
  52.         FileSystem fs = FileSystem.get(URI.create(NAMENODE_URL), conf);
  53.         Path path = new Path(hdfsFile);if (fs.exists(path)) {
  54.             FSDataInputStream is = fs.open(path);
  55.             FileStatus stat = fs.getFileStatus(path);byte[] data = new byte[(int) stat.getLen()];
  56.             is.readFully(0, data);
  57.             is.close();
  58.             fs.close();return data;
  59.         } else {throw new Exception("File Not Found In HDFS");
  60.         }
  61.     }
  62.  
  63.  
  64. }

3.YARN HA集群

3.1 模型

 

 

 

 

*启动两个ResourceManager后分别向Zookeeper注册，通过Zookeeper管理他们的状态，一旦状态为Active的ResourceManager无法正常提供服务，Zookeeper将会立即将状态为StandBy的ResourceManager切换为Active。

3.2 YARN HA高可用集群搭建 

1.配置YARN（yarn-site.xml）

  1. <configuration> 
  2.   <!-- 配置Reduce取数据的方式是shuffle(随机) -->  
  3.   <property> <name>yarn.nodemanager.aux-services</name>  <value>mapreduce_shuffle</value> 
  4.   </property>  
  5.   <!-- 开启日志 -->  
  6.   <property> <name>yarn.log-aggregation-enable</name>  <value>true</value> 
  7.   </property>  
  8.   <!-- 设置日志的删除时间 -1:禁用,单位为秒 -->  
  9.   <property> <name>yarn.log-aggregation。retain-seconds</name>  <value>864000</value> 
  10.   </property>  
  11.   <!-- 设置yarn的内存大小,单位是MB -->  
  12.   <property> <name>yarn.nodemanager.resource.memory-mb</name>  <value>8192</value> 
  13.   </property>  
  14.   <!-- 设置yarn的CPU核数 -->  
  15.   <property> <name>yarn.nodemanager.resource.cpu-vcores</name>  <value>8</value> 
  16.   </property>
  17.   <!-- YARN HA配置 -->  
  18.   <!-- 开启yarn ha -->  
  19.   <property> <name>yarn.resourcemanager.ha.enabled</name>  <value>true</value> 
  20.   </property>  
  21.   <!-- 指定yarn ha的名称 -->  
  22.   <property> <name>yarn.resourcemanager.cluster-id</name>  <value>cluster1</value> 
  23.   </property>  
  24.   <!-- 分别指定两个ResourceManager的名称 -->  
  25.   <property> <name>yarn.resourcemanager.ha.rm-ids</name>  <value>rm1,rm2</value> 
  26.   </property>  
  27.   <!-- 分别指定两个ResourceManager的地址 -->  
  28.   <property> <name>yarn.resourcemanager.hostname.rm1</name>  <value>192.168.1.80</value> 
  29.   </property>  
  30.   <property> <name>yarn.resourcemanager.hostname.rm2</name>  <value>192.168.1.81</value> 
  31.   </property>  
  32.   <!-- 分别指定两个ResourceManager的Web访问地址 -->  
  33.   <property> <name>yarn.resourcemanager.webapp.address.rm1</name>  <value>192.168.1.80:8088</value> 
  34.   </property>  
  35.   <property> <name>yarn.resourcemanager.webapp.address.rm2</name>  <value>192.168.1.81:8088</value> 
  36.   </property>  
  37.   <!-- 配置使用的Zookeeper集群 -->  
  38.   <property> <name>yarn.resourcemanager.zk-address</name>  <value>192.168.1.80:2181,192.168.1.81:2181,192.168.1.82:2181</value> 
  39.   </property>  
  40.   <!-- ResourceManager Restart配置 -->  
  41.   <!-- 启用ResourceManager的restart功能,当ResourceManager重启时将会保存运行时信息到指定的位置,重启成功后再进行读取 -->  
  42.   <property> <name>yarn.resourcemanager.recovery.enabled</name>  <value>true</value> 
  43.   </property>  
  44.   <!-- ResourceManager Restart使用的存储方式(实现类) -->  
  45.   <property> <name>yarn.resourcemanager.store.class</name>  <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
  46.   </property>  
  47.   <!-- ResourceManager重启时数据保存在Zookeeper中的目录 -->  
  48.   <property> <name>yarn.resourcemanager.zk-state-store.parent-path</name>  <value>/rmstore</value> 
  49.   </property>  
  50.   <!-- NodeManager Restart配置 -->  
  51.   <!-- 启用NodeManager的restart功能,当NodeManager重启时将会保存运行时信息到指定的位置,重启成功后再进行读取 -->  
  52.   <property> <name>yarn.nodemanager.recovery.enabled</name>  <value>true</value> 
  53.   </property>  
  54.   <!-- NodeManager重启时数据保存在本地的目录 -->  
  55.   <property> <name>yarn.nodemanager.recovery.dir</name>  <value>/usr/hadoop/hadoop-2.9.0/data/rsnodemanager</value> 
  56.   </property>  
  57.   <!-- 配置NodeManager的RPC通讯端口 -->  
  58.   <property> <name>yarn.nodemanager.address</name>  <value>0.0.0.0:45454</value> 
  59.   </property> </configuration>

 

ResourceManager Restart使用的存储方式(实现类)

1.ResourceManager运行时的数据保存在ZK中：org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore

2.ResourceManager运行时的数据保存在HDFS中：org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore

3.ResourceManager运行时的数据保存在本地：org.apache.hadoop.yarn.server.resourcemanager.recovery.LeveldbRMStateStore

*使用不同的存储方式将需要额外的配置项，可参考官网，http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html

2.启动YARN HA高可用集群

1.在ResourceManager所在节点中启动YARN集群

2.手动启动另一个ResourceManager

 

*当启动YARN HA集群后，可以分别访问ResourceManager管理页面，http://192.168.1.80:8088、http://192.168.1.81:8088。

访问状态为StandBy的ResourceManager时，会将请求重定向到状态为Active的ResourceManager的管理页面。

3.模拟ResourceManager宕机，手动杀死进程

*Zookeeper在一定时间内无法接收到状态为Active的ResourceManager发送的心跳时，将会立即将状态为StandBy的ResourceManager切换为Active。

 

 友情链接：直通硅谷 　点职佳 　北美留学生论坛

Hadoop热门文章

  • Hive中的去重 ：distinct,group by与ROW_Number()窗口函数
  • HBASE的安装过程及运行HBASE程序的需要配置的内容
  • hadoop--Unable to load native-hadoop library for your platform解决方法
  • Hive sampling 语法之TABLESAMPLE用法理解
  • idea项目运行时报错提示Could not locate executable null\bin\winutils.exe in the Hadoop binaries
  • hadoop 无法访问50070端口问题解决
  • Hadoop运行时遇到java.io.FileNotFoundException错误的解决方法
  • KUDU数据导入尝试一：TextFile数据导入Hive,Hive数据导入KUDU
  • Hive安装
  • Hadoop 学习笔记 生态

    • Hadoop推荐文章

  • 基于Hive的大数据分析系统
  • HBase 在统一内容平台业务的优化实践
  • hive窗口分析函数使用详解系列一
  • 两台实体机器4个虚拟机节点的Hadoop集群搭建（Ubuntu版）
  • 在阿里云和腾讯云的轻量应用服务器上搭建Hadoop集群
  • Haproxy搭建 Web 群集实现负载均衡
  • HBase Compaction 原理与线上调优实践
  • Hive执行计划之hive依赖及权限查询和常见使用场景
  • 工良出品：包教会，Hadoop、Hive 搭建部署简易教程
  • Centos7系统编译Hadoop3.3.4

    • 本站QQ群：前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

    W3xue 的所有内容仅供测试，对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
    关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接（目前9元/月）请联系QQ：27243702 沸活量
    皖ICP备17017327号-2　皖公网安备34020702000426号