经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置：技术经验 » 大数据/云/AI » Hadoop » 查看文章
hadoop2集群环境搭建
来源：cnblogs　　作者：Hongten　　时间：2018/10/29 9:46:34　　对本文有异议

在查询了很多资料以后，发现国内外没有一篇关于hadoop2集群环境搭建的详细步骤的文章。

所以，我想把我知道的分享给大家，方便大家交流。

以下是本文的大纲：

1. 在windows7 下面安装虚拟机
2.在虚拟机上面安装linux操作系统
3.启动Linux操作系统
4.修改hostname
       4.1.在node1上面修改hostname
       4.2.在node2上面修改hostname
       4.3.在node3上面修改hostname
       4.4.在node4上面修改hostname
       4.5.重启4台机器，hostname会永久生效
5.安装JDK
6.免密码登录
7.Linux域名解析配置
8.Windows域名解析配置
9.节点分布方案
10.zookeeper的解压缩和安装
11.Hadoop压缩包安装
       11.1.修改hadoop-evn.sh
       11.2.修改hdfs-site.xml
       11.3.修改core-site.xml
       11.4.配置datanode
12.在node2， node3， node4上安装hadoop
13.启动JournalNodes
14.在第一个namenode（node1）上面进行格式化操作并启动namenode
15.拷贝拷贝元数据文件到第二个namenode
16.停止所有服务
17.格式化zookeeper

18.配置mapreduce
19.启动所有服务
20.测试是否成功
21.上传文件测试

 

若有不正之处，还请多多谅解，并希望批评指正。

请尊重作者劳动成果，转发请标明blog地址

https://www.cnblogs.com/hongten/p/hongten_hadoop.html

 

正所谓磨刀不费砍材功，下面的工具大家可以先下载备用。

环境及工具：

Windows 7 （64位）下面的虚拟机（64位）：VMware-workstation-full-14.0.0-6661328.exe

Linux操作系统：CentOS-6.5-x86_64-bin-DVD1.iso

Xshell：Xshell-6.0.0101p.exe  

WinSCP：从windows上面上传文件到Linux

JDK：jdk-7u67-linux-x64.rpm

zookeeper：zookeeper-3.4.6.tar.gz

hadoop：hadoop-2.5.1_x64.tar.gz  

链接：https://pan.baidu.com/s/1hvdbGUh488Gl1EF2v44BIw
提取码：ncdd

 

在做好准备工作后，我们就可以来手动搭建hadoop集群

1. 在windows7 下面安装虚拟机

安装说明已经激活码请点击上面虚拟机链接。

VMware Workstation Pro v14.0

*注：上述链接提供的安装包仅支持Windows 7及以上操作系统的64位版，已经不支持32位版的操作系统！

激活码：FF31K-AHZD1-H8ETZ-8WWEZ-WUUVA

 

2.在虚拟机上面安装linux操作系统

这里我把RedHat，Ubuntu，CentOS都安装过了，最后感觉CentOS好用一点（个人觉得，哈哈哈）

  1. CentOS-6.5-x86_64-bin-DVD1.iso
  2.   After the installation is complete, please run "yum update" in order to update your system.

安装好Linux后，需要运行 'yum update' 命令。这里是需要花一点时间的，（我花了大概十多分钟的样子来执行yum update）。

在虚拟机里面，我安装了4台相同配置的CentOS。

 

3.启动Linux操作系统

在虚拟机里面启动4台机器。然后都以root账号进行登录。

启动完以后，我们要记录各个node（节点）ip地址（下面是我机器上面的ip地址情况）

  1. //四台Linux的ip地址
  2. 192.168.79.133 node1
  3. 192.168.79.134 node2
  4. 192.168.79.135 node3
  5. 192.168.79.136 node4

*注：在Linux里面查看ip的命令是ifconfig

  1. //在node4上面的ip地址情况
  2. [root@node4 ~]# ifconfig
  3. eth0      Link encap:Ethernet  HWaddr 00:0C:29:80:01:39  
  4.           inet addr:192.168.79.136  Bcast:192.168.79.255  Mask:255.255.255.0
  5.           inet6 addr: fe80::20c:29ff:fe80:139/64 Scope:Link
  6.           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
  7.           RX packets:201532 errors:0 dropped:0 overruns:0 frame:0
  8.           TX packets:27023 errors:0 dropped:0 overruns:0 carrier:0
  9.           collisions:0 txqueuelen:1000 
  10.           RX bytes:275203684 (262.4 MiB)  TX bytes:4283436 (4.0 MiB)
  12. lo        Link encap:Local Loopback  
  13.           inet addr:127.0.0.1  Mask:255.0.0.0
  14.           inet6 addr: ::1/128 Scope:Host
  15.           UP LOOPBACK RUNNING  MTU:65536  Metric:1
  16.           RX packets:18 errors:0 dropped:0 overruns:0 frame:0
  17.           TX packets:18 errors:0 dropped:0 overruns:0 carrier:0
  18.           collisions:0 txqueuelen:0 
  19.           RX bytes:1064 (1.0 KiB)  TX bytes:1064 (1.0 KiB)
  21. You have new mail in /var/spool/mail/root

 

4.修改hostname

刚开始的时候，我们在4台机器上看到的都是如下的hostname

  1. [root@localhost ~]

我们现在要把他们修改为

  1. [root@node1 ~]
  2. [root@node2 ~]
  3. [root@node3 ~]
  4. [root@node4 ~]

我们为什么要修改hostname呢？

因为我们要在下面的配置文件里面添加这些节点名称，如node1，node2，node3， node4.

那么我们应该怎样做呢？下面给出了方法。

4.1.在node1上面修改hostname

  1. --http://www.cnblogs.com/kerrycode/p/3595724.html（深入理解Linux修改hostname）
  2. --在node1上面运行
  3. vi /etc/sysconfig/network
  4. --设置hostname=node1
  5. :qw
  7. --再运行
  8. sysctl kernel.hostname=node1

4.2.在node2上面修改hostname

  1. --http://www.cnblogs.com/kerrycode/p/3595724.html（深入理解Linux修改hostname）
  2. --在node2上面运行
  3. vi /etc/sysconfig/network
  4. --设置hostname=node2
  5. :qw
  7. --再运行
  8. sysctl kernel.hostname=node2

4.3.在node3上面修改hostname

  1. --http://www.cnblogs.com/kerrycode/p/3595724.html（深入理解Linux修改hostname）
  2. --在node3上面运行
  3. vi /etc/sysconfig/network
  4. --设置hostname=node3
  5. :qw
  7. --再运行
  8. sysctl kernel.hostname=node3

4.4.在node4上面修改hostname

  1. --http://www.cnblogs.com/kerrycode/p/3595724.html（深入理解Linux修改hostname）
  2. --在node4上面运行
  3. vi /etc/sysconfig/network
  4. --设置hostname=node4
  5. :qw
  7. --再运行
  8. sysctl kernel.hostname=node4

4.5.重启4台机器，hostname会永久生效

*注：在Linux里面查看ip情况，看看是否有变化。如果有变化，则调整相应的ip所对应的节点。

  1. --我虚拟机里面的ip情况
  2. 192.168.79.133 node1
  3. 192.168.79.134 node2
  4. 192.168.79.135 node3
  5. 192.168.79.136 node4

 

5.安装JDK

把我们下载好的jdk-7u67-linux-x64.rpm通过WinSCP上传到4台机器的根目录上。

  1. --在node1， node2， node3， node4上面安装jdk
  2. --install JDK   -- http://blog.51cto.com/vvxyz/1642258（LInux安装jdk的三种方法）
  3. --解压安装
  4. rpm -ivh your-package.rpm
  6. --修改环境变量
  7. vi /etc/profile
  9. JAVA_HOME=/usr/java/jdk1.7.0_67
  10. JRE_HOME=/usr/java/jdk1.7.0_67/jre
  11. CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
  12. PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
  13. export JAVA_HOME JRE_HOME CLASS_PATH PATH
  15. :wq
  17. --使配置有效
  18. source /etc/profile

*注：在4个节点上都要安装JDK。

 

6.免密码登录

  1. --免密码登录
  2. --分别在node1， node2， node3， node4,上面运行
  3. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  4. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  5. chmod 0600 ~/.ssh/authorized_keys
  7. --在node1上面运行，拷贝node1的公钥到node2，node3，node4上面的根目录里面去
  8. scp id_rsa.pub root@node2:~
  9. scp id_rsa.pub root@node3:~
  10. scp id_rsa.pub root@node4:~
  11.  
  12. --分别进入node2， node3， node4运行，把node1的公钥追加到~/.ssh/authorized_keys文件里面
  13. cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
  15. --测试
  16. --在node1上面运行下面命令，应该都能够免密码登录，即成功。
    ssh node1
  17. ssh node2
  18. ssh node3
  19. ssh node4

*注：我在这里遇到很多坑，最后还是搞定了。

 

7.Linux域名解析配置

  1. --修改域名解析conf hosts
  2. --在node1上面运行下面命令
  3. vi /etc/hosts
  5. --根据自己机器上面的ip进行配置
  6. 192.168.79.134 node1
  7. 192.168.79.135 node2
  8. 192.168.79.133 node3
  9. 192.168.79.136 node4
  11. :wq
  13. --copy hosts file to node2, node3, node4
  14. scp /etc/hosts root@node2:/etc/
  15. scp /etc/hosts root@node3:/etc/
  16. scp /etc/hosts root@node4:/etc/

 

8.Windows域名解析配置

  1. --windows 域名解析
  2. --打开C:/WINDOWS/system32/drivers/etc/hosts文件
  3. --把下面的信息复制到文件最后尾 -- 根据自己机器ip进行配置
  4. 192.168.79.134 node1
  5. 192.168.79.135 node2
  6. 192.168.79.133 node3
  7. 192.168.79.136 node4

为什么要做这个呢？

因为下面我们会在浏览器里面输入http:node1:50070进行测试，就会用到这个配置了。

 

9.节点分布方案

*注：打钩的表示在该节点上有相对应的服务。

 

10.zookeeper的解压缩和安装

  1. --解压zookeeper压缩包并安装
  2. tar -zxvf zookeeper-3.4.6.tar.gz 
  4. --创建zookeeper的软链
  5. ln -sf /root/zookeeper-3.4.6 /home/zk
  7. --配置zookeeper
  8. cd /home/zk/conf/
  9.  
  10. --把下面的zoo_sample.cfg文件重新命名
  11. cp zoo_sample.cfg zoo.cfg
  13. --修改zoo.cfg配置文件
  14. vi zoo.cfg
  16. --设置zookeeper的文件存放目录
  17. --找到dataDir=/tmp/zookeeper，并设置为下面值
  18. dataDir=/opt/zookeeper
  20. --设置zookeeper集群
  21. server.1=node1:2888:3888
  22. server.2=node2:2888:3888
  23. server.3=node3:2888:3888
  25. :wq
  27. --创建/opt/zookeeper目录
  28. mkdir /opt/zookeeper
  30. --进入/opt/zookeeper目录
  31. cd /opt/zookeeper
  33. --创建一个文件myid
  34. vi myid
  36. --输入1
  37. 1
  38. ：wq
  39. --以此类推，在node2，node3，值分别是2， 3
  40.  
  41. --拷贝zookeeper目录到node2， node3的/opt/目录下面
  42. cd ..
  43. scp -r zookeeper/ root@node2:/opt/
  44. scp -r zookeeper/ root@node3:/opt/
  45.  
  46. --分别进入到node2， node3里面，修改/opt/zookeeper/myid，值分别是2， 3
  47.  
  48. --作为以上配置，把node1里面的zookeeper拷贝到node2， node3上面。
  49. scp -r zookeeper-3.4.6 root@node2:~/
  50. scp -r zookeeper-3.4.6 root@node3:~/
  51.  
  52. --分别进入到node2， node3里面，创建软链
  53. ln -sf /root/zookeeper-3.4.6/ /home/zk
  55. --配置zookeeper环境变量
  56. cd /home/zk/bin
  58. --修改/etc/profile文件，把zookeeper的bin目录路径添加进去
  59. vi /etc/profile
  60. PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:/home/zk/bin
  62. --让配置文件生效
  63. source /etc/profile
  65. --分别进入到node2， node3里面，修改/etc/profile文件，把zookeeper的bin目录路径添加进去
  66.  
  67. --作为环境变量配置，就可以启动zookeeper了。
  68. --分别在node1， node2， node3上面启动zookeeper
  69. zkServer.sh start
  71. --测试是否启动成功
  72. jps
  73. --观察是否有QuorumPeerMain进程

 

11.Hadoop压缩包安装

  1. --解压Hadoop压缩包安装
  2. --在node1上面安装
  3. tar -zxvf hadoop-2.5.1_x64.tar.gz
  5. --解压完，创建一个软链到home目录下面
  6. ln -sf /root/hadoop-2.5.1 /home/hadoop-2.5
  7.  
  8. --进入hadoop中进行文件配置
  9. cd /home/hadoop-2.5/etc/hadoop/

11.1.修改hadoop-evn.sh

  1. --1.修改hadoop-evn.sh
  2. --修改JAVA_HOME配置
  3. vi hadoop-env.sh
  5. --The java implementation to use. 根据上面JDK的配置信息
  6. export JAVA_HOME=/usr/java/jdk1.7.0_67

    :wq

11.2.修改hdfs-site.xml

  1. --2.修改hdfs-site.xml
  2. vi hdfs-site.xml
  4. --2.1.配置dfs.nameservices - the logical name for this new nameservice
  5. --服务名称
  6. <property>
  7.   <name>dfs.nameservices</name>
  8.   <value>mycluster</value>
  9. </property>
  10.  
  11. --2.2.配置namenode节点名称。这里的名称是namenode的名称，不是主机名（hostname)。
  12. <property>
  13.   <name>dfs.ha.namenodes.mycluster</name>
  14.   <value>nn1,nn2</value>
  15. </property>
  16.  
  17. --2.3.配置RPC协议和端口
  18. --有多少namenode，就需要配置多少次。
  19. <property>
  20.   <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  21.   <value>node1:8020</value>
  22. </property>
  23. <property>
  24.   <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  25.   <value>node2:8020</value>
  26. </property>
  27.  
  28. --2.4.配置HTTP协议和主机
  29. --这里也是针对上面的namenode
  30. --有多少namenode，就需要配置多少次。
  31. <property>
  32.   <name>dfs.namenode.http-address.mycluster.nn1</name>
  33.   <value>node1:50070</value>
  34. </property>
  35. <property>
  36.   <name>dfs.namenode.http-address.mycluster.nn2</name>
  37.   <value>node2:50070</value>
  38. </property>
  39.  
  40. --2.5.配置dfs.namenode.shared.edits.dir
  41. --the URI which identifies the group of JNs(JournalNodes) where the NameNodes will write/read edits
  42. <property>
  43.   <name>dfs.namenode.shared.edits.dir</name>
  44.   <value>qjournal://node2:8485;node3:8485;node4:8485/mycluster</value>
  45. </property>
  46.  
  47. --2.6.配置客户端使用的一个类，固定配置
  48. --作用：客户端使用该类去找到active namenode
  49. <property>
  50.   <name>dfs.client.failover.proxy.provider.mycluster</name>
  51.   <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  52. </property>
  53.  
  54. --2.7.配置sshfence
  55. --这里配置的私钥路径，是根据上面免密登录设置的路径
  56. --ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  57. <property>
  58.   <name>dfs.ha.fencing.methods</name>
  59.   <value>sshfence</value>
  60. </property>
  61.  
  62. <property>
  63.   <name>dfs.ha.fencing.ssh.private-key-files</name>
  64.   <value>/root/.ssh/id_rsa</value>
  65. </property>
  66.  
  67. --2.8.配置JournalNodes的工作目录
  68. <property>
  69.   <name>dfs.journalnode.edits.dir</name>
  70.   <value>/opt/jn/data</value>
  71. </property>
  72.  
  73. --------
  74. --以上基本配置完成
  75. --下面进行自动切换配置
  76.  
  77. --2.9.配置自动切换
  78. --自动切换配置好了以后，可以允许手动切换
  79. <property>
  80.   <name>dfs.ha.automatic-failover.enabled</name>
  81.   <value>true</value>
  82. </property>
  84. :wq

下面是完整的配置信息（hdfs-site.xml配置）

  1. <configuration>
  2. <property>
  3.   <name>dfs.nameservices</name>
  4.   <value>mycluster</value>
  5. </property>
  6.  
  7. <property>
  8.   <name>dfs.ha.namenodes.mycluster</name>
  9.   <value>nn1,nn2</value>
  10. </property>
  11.  
  12. <property>
  13.   <name>dfs.ha.namenodes.mycluster</name>
  14.   <value>nn1,nn2</value>
  15. </property>
  16.  
  17. <property>
  18.   <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  19.   <value>node1:8020</value>
  20. </property>
  21. <property>
  22.   <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  23.   <value>node2:8020</value>
  24. </property>
  25.  
  26. <property>
  27.   <name>dfs.namenode.http-address.mycluster.nn1</name>
  28.   <value>node1:50070</value>
  29. </property>
  30. <property>
  31.   <name>dfs.namenode.http-address.mycluster.nn2</name>
  32.   <value>node2:50070</value>
  33. </property>
  34.  
  35. <property>
  36.   <name>dfs.namenode.shared.edits.dir</name>
  37.   <value>qjournal://node2:8485;node3:8485;node4:8485/mycluster</value>
  38. </property>
  39.  
  40. <property>
  41.   <name>dfs.client.failover.proxy.provider.mycluster</name>
  42.   <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  43. </property>
  44.  
  45. <property>
  46.   <name>dfs.ha.fencing.methods</name>
  47.   <value>sshfence</value>
  48. </property>
  49.  
  50. <property>
  51.   <name>dfs.ha.fencing.ssh.private-key-files</name>
  52.   <value>/root/.ssh/id_rsa</value>
  53. </property>
  54.  
  55. <property>
  56.   <name>dfs.journalnode.edits.dir</name>
  57.   <value>/opt/jn/data</value>
  58. </property>
  59.  
  60. <property>
  61.   <name>dfs.ha.automatic-failover.enabled</name>
  62.   <value>true</value>
  63. </property>
  64. </configuration>

11.3.修改core-site.xml

  1. --修改core-site.xml
  2. vi core-site.xml
  4. --3.1.配置namenode入口
  5. <property>
  6.   <name>fs.defaultFS</name>
  7.   <value>hdfs://mycluster</value>
  8. </property>
  9.  
  10. --3.2.配置ZooKeeper集群
  11. <property>
  12.   <name>ha.zookeeper.quorum</name>
  13.   <value>node1:2181,node2:2181,node3:2181</value>
  14. </property>
  15.  
  16. --3.3.修改hadoop的临时目录
  17. <property>
  18.   <name>hadoop.tmp.dir</name>
  19.   <value>/opt/hadoop2</value>
  20. </property>
  22. :wq

下面是完整的配置信息（core-site.xml配置）

  1. <configuration>
  2. <property>
  3.   <name>fs.defaultFS</name>
  4.   <value>hdfs://mycluster</value>
  5. </property>
  6.  
  7. <property>
  8.   <name>ha.zookeeper.quorum</name>
  9.   <value>node1:2181,node2:2181,node3:2181</value>
  10. </property>
  11.  
  12. <property>
  13.   <name>hadoop.tmp.dir</name>
  14.   <value>/opt/hadoop2</value>
  15. </property>
  16. </configuration>

11.4.配置datanode

  1. cd /home/hadoop-2.5/etc/hadoop/
  3. vi slaves
  4. --输入
  5. node2
  6. node3
  7. node4
  9. :wq

*注：以上为hadoop的配置

 

12.在node2， node3， node4上安装hadnoop

  1. --拷贝hadoop到node2， node3， node4上去
  2. scp hadoop-2.5.1_x64.tar.gz root@node2:~/
  3. scp hadoop-2.5.1_x64.tar.gz root@node3:~/
  4. scp hadoop-2.5.1_x64.tar.gz root@node4:~/
  5.  
  6. --然后分别进入到node2，node3， node4上面去解压缩文件，分别创建软链
  7. cd ~
  8. tar -zxvf hadoop-2.5.1_x64.tar.gz
  10. ln -sf /root/hadoop-2.5.1 /home/hadoop-2.5
  11.  
  12. --回到node1， 进入到/home/hadoop-2.5/etc/hadoop/目录
  13. cd /home/hadoop-2.5/etc/hadoop/
  14.  
  15.  
  16. --把所有配置文件拷贝到node2，node3， node4上面的/home/hadoop-2.5/etc/hadoop/目录下面
  17. --这样做的目的是保证，所有机器上面的配置文件都一样
  18. scp ./* root@node2:/home/hadoop-2.5/etc/hadoop/
  19. scp ./* root@node3:/home/hadoop-2.5/etc/hadoop/
  20. scp ./* root@node4:/home/hadoop-2.5/etc/hadoop/

 

13.启动JournalNodes

  1. --做完这些后，就可以启动JournalNodes
  2. --去到node2， node3， node4
  3. cd /home/hadoop-2.5/sbin/
  5. ./hadoop-daemon.sh start journalnode
  7. --检查是否启动成功：
  8. jps
  9. --检查是否有：JournalNode

 

14.在第一个namenode（node1）上面进行格式化操作并启动namenode

  1. --在第一个namenode上面进行格式化操作
  2. --进入node1
  3. cd /home/hadoop-2.5/bin
  5. ./hdfs namenode -format
  7. --格式化成功后，会在/opt/hadoop2/dfs/name/current/目录下面生成元数据文件
  8. cd /opt/hadoop2/dfs/name/current
  9.  
  10.  
  11. --需要把元数据文件拷贝到第二个namenode上面去。
  12. --在拷贝之前，需要启动刚刚格式化后的namenode（node1）
  13. cd /home/hadoop-2.5/sbin/
  15. ./hadoop-daemon.sh start namenode
  17. --查看是否启动成功
  18. jps
  19. --检查是否包含：NameNode

 

15.拷贝拷贝元数据文件到第二个namenode

  1. --然后去到node2上去。要保证第一个（即格式化后的namenode（node1）要先启动--运行着的状态）
  2. --执行拷贝元数据文件命令
  4. cd /home/hadoop-2.5/bin/
  6. ./hdfs namenode -bootstrapStandby
  8. --检查是否拷贝成功：
  9. cd /opt/hadoop2/dfs/name/current/
  10.  
  11. --查看是否有元数据
    ls

 

16.停止所有服务

  1. --如果都完成，在node1上面
  2. cd /home/hadoop-2.5/sbin/
  3.  
  4. --停止所有服务
  5. ./stop-dfs.sh

 

17.格式化zookeeper

  1. --格式化zookeeper
  2. cd /home/hadoop-2.5/bin/
  4. ./hdfs zkfc -formatZK

 

18.配置mapreduce

  1. --配置mapreduce
  2. cd /home/hadoop-2.5/etc/hadoop/
  3.  
  4. --复制/创建mapred-site.xml
  5. cp mapred-site.xml.template mapred-site.xml
  7. --修改mapred-site.xml
  8. vi mapred-site.xml
  10. <configuration>
  11.  <property>
  12.         <name>mapreduce.framework.name</name>
  13.         <value>yarn</value>
  14.  </property>
  15. </configuration>
  17. :wq
  19. --修改yarn-site.xml
  20. vi yarn-site.xml
  22. <configuration>
  23.  
  24. <!-- Site specific YARN configuration properties -->
  25. <property>
  26.         <name>yarn.resourcemanager.hostname</name>
  27.         <value>node1</value>
  28. </property>
  29. <property>
  30.         <name>yarn.nodemanager.aux-services</name>
  31.         <value>mapreduce_shuffle</value>
  32. </property>
  33. <property>
  34.         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  35.         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  36. </property>
  37. </configuration>
  39. :wq

 

19.启动所有服务

  1. --然后启动所有服务
  2. cd /home/hadoop-2.5/sbin/
  3. ./start-all.sh

*注：下面是我机器上面的运行结果

  1. [root@node1 sbin]# ./start-all.sh 
  2. This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
  3. Starting namenodes on [node1 node2]
  4. node1: starting namenode, logging to /root/hadoop-2.5.1/logs/hadoop-root-namenode-node1.out
  5. node2: starting namenode, logging to /root/hadoop-2.5.1/logs/hadoop-root-namenode-node2.out
  6. node3: starting datanode, logging to /root/hadoop-2.5.1/logs/hadoop-root-datanode-node3.out
  7. node2: starting datanode, logging to /root/hadoop-2.5.1/logs/hadoop-root-datanode-node2.out
  8. node4: starting datanode, logging to /root/hadoop-2.5.1/logs/hadoop-root-datanode-node4.out
  9. Starting journal nodes [node2 node3 node4]
  10. node2: starting journalnode, logging to /root/hadoop-2.5.1/logs/hadoop-root-journalnode-node2.out
  11. node3: starting journalnode, logging to /root/hadoop-2.5.1/logs/hadoop-root-journalnode-node3.out
  12. node4: starting journalnode, logging to /root/hadoop-2.5.1/logs/hadoop-root-journalnode-node4.out
  13. Starting ZK Failover Controllers on NN hosts [node1 node2]
  14. node2: starting zkfc, logging to /root/hadoop-2.5.1/logs/hadoop-root-zkfc-node2.out
  15. node1: starting zkfc, logging to /root/hadoop-2.5.1/logs/hadoop-root-zkfc-node1.out
  16. starting yarn daemons
  17. starting resourcemanager, logging to /root/hadoop-2.5.1/logs/yarn-root-resourcemanager-node1.out
  18. node3: starting nodemanager, logging to /root/hadoop-2.5.1/logs/yarn-root-nodemanager-node3.out
  19. node4: starting nodemanager, logging to /root/hadoop-2.5.1/logs/yarn-root-nodemanager-node4.out
  20. node2: starting nodemanager, logging to /root/hadoop-2.5.1/logs/yarn-root-nodemanager-node2.out

 

20.测试是否成功

  1. --打开windows上面的浏览器
  2. --输入：
  3. http://node1:50070
  4. --输入：
  5. http://node2:50070
  6.  
  7. --可以看到hadoop启动成功

node运行结果（standby）：

node2运行结果（active）：

 

21.上传文件测试

  1. --上传文件测试：
  2. cd /home/hadoop-2.5/bin/
  3.  
  4. --创建上传文件目录
  5. ./hdfs dfs -mkdir -p /usr/file
  6.  
  7. --这里上传的文件是jdk-7u67-linux-x64.rpm
  8. ./hdfs dfs -put /root/jdk-7u67-linux-x64.rpm /usr/file
  9.  
  10. --在浏览器上面查看是否上传文件成功。

点击Name

到这里我们的hadoop集群环境成功搭建完成。

 

========================================================

More reading,and english is important.

I'm Hongten

 

  1. 大哥哥大姐姐，觉得有用打赏点哦！你的支持是我最大的动力。谢谢。
    Hongten博客排名在100名以内。粉丝过千。
    Hongten出品，必是精品。

E | hongtenzone@foxmail.com  B | http://www.cnblogs.com/hongten

======================================================== 

 

 友情链接：直通硅谷 　点职佳 　北美留学生论坛

Hadoop热门文章

  • Hive中的去重 ：distinct,group by与ROW_Number()窗口函数
  • HBASE的安装过程及运行HBASE程序的需要配置的内容
  • hadoop--Unable to load native-hadoop library for your platform解决方法
  • Hive sampling 语法之TABLESAMPLE用法理解
  • idea项目运行时报错提示Could not locate executable null\bin\winutils.exe in the Hadoop binaries
  • hadoop 无法访问50070端口问题解决
  • Hadoop运行时遇到java.io.FileNotFoundException错误的解决方法
  • KUDU数据导入尝试一：TextFile数据导入Hive,Hive数据导入KUDU
  • Hive安装
  • Hadoop 学习笔记 生态

    • Hadoop推荐文章

  • 基于Hive的大数据分析系统
  • HBase 在统一内容平台业务的优化实践
  • hive窗口分析函数使用详解系列一
  • 两台实体机器4个虚拟机节点的Hadoop集群搭建（Ubuntu版）
  • 在阿里云和腾讯云的轻量应用服务器上搭建Hadoop集群
  • Haproxy搭建 Web 群集实现负载均衡
  • HBase Compaction 原理与线上调优实践
  • Hive执行计划之hive依赖及权限查询和常见使用场景
  • 工良出品：包教会，Hadoop、Hive 搭建部署简易教程
  • Centos7系统编译Hadoop3.3.4

    • 本站QQ群：前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

    W3xue 的所有内容仅供测试，对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
    关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接（目前9元/月）请联系QQ：27243702 沸活量
    皖ICP备17017327号-2　皖公网安备34020702000426号