经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置：技术经验 » 大数据/云/AI » Hadoop » 查看文章
Centos7.5搭建Hadoop2.8.5完全分布式集群部署
来源：cnblogs　　作者：濁水君　　时间：2018/10/18 8:52:38　　对本文有异议

一、基础环境设置


1. 准备4台客户机（VMware虚拟机）

系统版本：Centos7.5

节点配置：

192.168.208.128 ——Master

192.168.208.129 ——Slaver-1

192.168.208.130 ——Slaver-2

192.168.208.130 ——Slaver-3


2. 配置hosts文件，使4台客户机能够以主机名相互访问

  1. [root@Master ~]# vi /etc/hosts
  3. 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
  4. ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
  5. 192.168.208.128 Master
  6. 192.168.208.129 Slaver-1
  7. 192.168.208.130 Slaver-2
  8. 192.168.208.131 Slaver-3 
  10. # 将hosts文件传送给其它3台客户机
  11. [root@Master ~]# scp -r /etc/hosts root@Slaver-1:/etc
  12. [root@Master ~]# scp -r /etc/hosts root@Slaver-2:/etc
  13. [root@Master ~]# scp -r /etc/hosts root@Slaver-3:/etc


3. 为4台客户机配置jdk环境

我们选择配置jdk1.8.0_181，点击此处下载。

  1. [root@Master ~]# wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz
  3. # 解压
  4. [root@Master ~]# tar -xzvf jdk-8u181-linux-x64.tar.gz
  6. [root@Master ~]# mkdir /usr/local/java # 创建jdk存放目录
  7. [root@Master ~]# mv jdk1.8.0_181/ /usr/local/java  # 将解压缩文件转移至存放目录
  9. # 配置jdk环境
  11. [root@Master ~]# vi /etc/profile
  12. # 在文件末尾添加如下内容
  13. # java
  14. export JAVA_HOME=/usr/local/java/jdk1.8.0_181 # 注意，要与刚刚所创建的目录匹配
  15. export PATH=$JAVA_HOME/bin:$PATH
  16. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  18. # 使jdk配置文件生效
  19. [root@Master ~]# source /etc/profile
  21. # 测试jdk环境配置是否成功，如输出如下内容，则表示成功
  22. [root@Master ~]# java -version
  23. java version "1.8.0_181"
  24. Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
  25. Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)


4. 关闭防火墙，SELinux

a. iptables

  1. # 临时关闭
  2. [root@Master ~]# service iptables stop
  4. # 禁止开机启动
  5. [root@Master ~]# chkconfig iptables off

b.firewalld

CentOS7版本后防火墙默认使用firewalld，默认是没有iptables的，所以关闭防火墙的命令如下：

  1. # 临时关闭
  2. [root@Master ~]# systemctl stop firewalld
  4. # 禁止开机启动，输出如下，则表示禁止成功
  5. [root@Master ~]# systemctl disable firewalld
  6. Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
  7. Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

c.关闭SELinux

  1. # 永久关闭SELinux
  2. [root@Master ~]# vi /etc/selinux/config
  3. #disabled - No SELinux policy is loaded.
  4. SELINUX=disabled  # 此处将SELINUX=enforcing改为SELINUX=disabled
  5. # SELINUXTYPE= can take one of three two values:
  7. # 修改SELinux配置后，需重启客户机才能生效
  8. [root@Master ~]# reboot
  10. # 重启之后，查看SELinux状态
  11. [root@Master ~]# /usr/sbin/sestatus 
  12. SELinux status: disabled  # 如果输出如是，则表示SELinux永久关闭成功


5. 设置SSH免密钥

关于ssh免密码的设置，要求每两台主机之间设置免密码，自己的主机与自己的主机之间也要求设置免密码。在这里，为了避免后面的各种权限问题，我们直接使用root账户来设置面密钥登陆。

  1. [root@Master ~]$ ssh-keygen -t rsa
  2. [root@Master ~]$ ssh-copy-id node-1
  3. [root@Master ~]$ ssh-copy-id node-2
  4. [root@Master ~]$ ssh-copy-id node-3

注：每一台客户机都要做如上设置，所以，最好的方式是：按上述方法配置好一台虚拟机之后，再克隆出其它几台。




二、安装hadoop集群


1. 下载hadoop2.8.5二进制文件

hadoop2.8.5下载链接


2. hadoop安装目录

为了统一管理，我们将hadoop的安装路径定为/usr/opt/hadoop下，创建目录后，我们将hadoop二进制文件解压至这个目录下。


3. 配置core-site.xml

hadoop的配置文件，在/opt/hadoop/hadoop-2.8.5/etc/hadoop下，

  1. [root@Master ~]# cd /opt/hadoop/hadoop-2.8.5/etc/hadoop
  2. [root@Master hadoop]# vi core-site.xml
  1. <configuration>
  3. <!--配置hdfs文件系统的命名空间--> 
  4.   <property> 
  5.     <name>fs.defaultFS</name> 
  6.     <value>hdfs://Master:9000</value> 
  7.   </property> 
  9. <!-- 配置操作hdfs的存冲大小 --> 
  10.   <property> 
  11.     <name>io.file.buffer.size</name> 
  12.     <value>4096</value> 
  13.   </property> 
  14. <!-- 配置临时数据存储目录 --> 
  15.   <property> 
  16.     <name>hadoop.tmp.dir</name> 
  17.     <value>/opt/hadoop/hadoop-2.8.5/tmp</value> 
  18.   </property>
  20. </configuration>


4. 配置hdfs-site.xml

  1. [root@Master hadoop]# vim hdfs-site.xml
  1. <configuration>
  3. <!--配置副本数--> 
  4.     <property> 
  5.         <name>dfs.replication</name> 
  6.         <value>3</value> 
  7.     </property> 
  8. <!--hdfs的元数据存储位置--> 
  9.     <property> 
  10.         <name>dfs.namenode.name.dir</name> 
  11.         <value>/opt/hadoop/hadoop-2.8.5/hdfs/name</value> 
  12.     </property> 
  13. <!--hdfs的数据存储位置--> 
  14.     <property> 
  15.         <name>dfs.datanode.data.dir</name> 
  16.         <value>/opt/hadoop/hadoop-2.8.5/hdfs/data</value> 
  17.     </property> 
  18. <!--hdfs的namenode的web ui 地址--> 
  19.     <property> 
  20.         <name>dfs.http.address</name> 
  21.         <value>Master:50070</value> 
  22.     </property> 
  23. <!--hdfs的snn的web ui 地址--> 
  24.     <property> 
  25.         <name>dfs.secondary.http.address</name> 
  26.         <value>Master:50090</value> 
  27.     </property> 
  28. <!--是否开启web操作hdfs--> 
  29.     <property> 
  30.         <name>dfs.webhdfs.enabled</name> 
  31.         <value>true</value> 
  32.     </property> 
  33. <!--是否启用hdfs权限（acl）--> 
  34.     <property> 
  35.         <name>dfs.permissions</name> 
  36.         <value>false</value> </property>
  38. </configuration>


5. 配置mapred-site.xml

  1. [root@Master hadoop]# cp mapred-site.xml.template mapred-site.xml
  2. [root@Master hadoop]# vim mapred-site.xml
  1. <configuration>
  3. <!--指定maoreduce运行框架--> 
  4.     <property> 
  5.         <name>mapreduce.framework.name</name> 
  6.         <value>yarn</value> </property> 
  7. <!--历史服务的通信地址--> 
  8.     <property> 
  9.         <name>mapreduce.jobhistory.address</name> 
  10.         <value>Master:10020</value> 
  11.     </property> 
  12. <!--历史服务的web ui地址--> 
  13.     <property> 
  14.         <name>mapreduce.jobhistory.webapp.address</name> 
  15.         <value>Master:19888</value> 
  16.     </property>
  18. </configuration>


6. 配置yarn-site.xml

  1. [root@Master hadoop]# vim yarn-site.xml
  1. <configuration>
  3. <!-- Site specific YARN configuration properties -->
  5. <!--指定resourcemanager所启动的服务器主机名--> 
  6.     <property> 
  7.         <name>yarn.resourcemanager.hostname</name> 
  8.         <value>Master</value> 
  9.     </property> 
  10. <!--指定mapreduce的shuffle--> 
  11.     <property> 
  12.         <name>yarn.nodemanager.aux-services</name> 
  13.         <value>mapreduce_shuffle</value> 
  14.     </property> 
  15. <!--指定resourcemanager的内部通讯地址--> 
  16.     <property> 
  17.         <name>yarn.resourcemanager.address</name> 
  18.         <value>Master:8032</value> 
  19.     </property> 
  20. <!--指定scheduler的内部通讯地址--> 
  21.     <property> 
  22.         <name>yarn.resourcemanager.scheduler.address</name> 
  23.         <value>Master:8030</value> 
  24.     </property> 
  25. <!--指定resource-tracker的内部通讯地址--> 
  26.     <property> 
  27.         <name>yarn.resourcemanager.resource-tracker.address</name> 
  28.         <value>Master:8031</value> 
  29.     </property> 
  30. <!--指定resourcemanager.admin的内部通讯地址--> 
  31.     <property> 
  32.         <name>yarn.resourcemanager.admin.address</name> 
  33.         <value>Master:8033</value> 
  34.     </property> 
  35. <!--指定resourcemanager.webapp的ui监控地址--> 
  36.     <property> 
  37.         <name>yarn.resourcemanager.webapp.address</name> 
  38.         <value>Master:8088</value> 
  39.     </property>
  41. </configuration>


7. 配置slaves文件

  1. [root@Master hadoop]# vim slaves
  1. Slaver-1
  2. Slaver-2
  3. Slaver-3


8. 配置hadoop-env.sh，指定JAVA_HOME

  1. [root@Master hadoop]# vim hadoop-env.sh
  3. 修改 export JAVA_HOME=/usr/local/java/jdk1.8.0_181


9. 配置yarn-env.sh，指定JAVA_HOME

  1. [root@Master hadoop]# vim yarn-env.sh
  3. 修改 export JAVA_HOME=/usr/local/java/jdk1.8.0_181


10. 配置mapred-env.sh，指定JAVA_HOME

  1. [root@Master hadoop]# vim mapred-env.sh
  3. 修改 export JAVA_HOME=/usr/local/java/jdk1.8.0_181


11. 将hadoop文件分发到其它几台客户机上

  1. [root@Master hadoop]# scp -r hadoop/ Slaver-1:`pwd`
  2. [root@Master hadoop]# scp -r hadoop/ Slaver-2:`pwd`
  3. [root@Master hadoop]# scp -r hadoop/ Slaver-3:`pwd`




三、启动并验证hadoop集群


1. 启动集群

第一次启动集群，需要格式化namenode，操作如下：

  1. [root@Master ~]# hdfs namenode -format

输出如下内容，则表示格式化成功

test



启动HDFS

格式化成功之后，我们就可以启动HDFS了，命令如下：

  1. [root@Master hadoop]# start-dfs.sh
  2. Starting namenodes on [Master]
  3. Master: starting namenode, logging to /opt/hadoop/hadoop-2.8.5/logs/hadoop-root-namenode-Master.out
  4. Slaver-3: starting datanode, logging to /opt/hadoop/hadoop-2.8.5/logs/hadoop-root-datanode-Slaver-3.out
  5. Slaver-2: starting datanode, logging to /opt/hadoop/hadoop-2.8.5/logs/hadoop-root-datanode-Slaver-2.out
  6. Slaver-1: starting datanode, logging to /opt/hadoop/hadoop-2.8.5/logs/hadoop-root-datanode-Slaver-1.out
  7. Starting secondary namenodes [Master]
  8. Master: starting secondarynamenode, logging to /opt/hadoop/hadoop-2.8.5/logs/hadoop-root-secondarynamenode-Master.out


启动Yarn

启动Yarn时需要注意，我们不能在NameNode上启动Yarn，而应该在ResouceManager所在的主机上启动。但我们这里是将NameNode和ResouceManager部署在了同一台主机上，所以，我们直接在Master这台机器上启动Yarn。

  1. [root@Master hadoop]# start-yarn.sh
  2. starting yarn daemons
  3. starting resourcemanager, logging to /opt/hadoop/hadoop-2.8.5/logs/yarn-root-resourcemanager-Master.out
  4. Slaver-2: starting nodemanager, logging to /opt/hadoop/hadoop-2.8.5/logs/yarn-root-nodemanager-Slaver-2.out
  5. Slaver-1: starting nodemanager, logging to /opt/hadoop/hadoop-2.8.5/logs/yarn-root-nodemanager-Slaver-1.out
  6. Slaver-3: starting nodemanager, logging to /opt/hadoop/hadoop-2.8.5/logs/yarn-root-nodemanager-Slaver-3.out


2. web验证

至此，我们的集群就已完全启动起来了，我们可以通过访问web页面，来做最后一步验证。我们已将web页面配置在Master主机上，因此，我们访问http://192.168.208.128:50070/，页面显示如下：

1539781810394


1539781852813

 友情链接：直通硅谷 　点职佳 　北美留学生论坛

Hadoop热门文章

  • Hive中的去重 ：distinct,group by与ROW_Number()窗口函数
  • HBASE的安装过程及运行HBASE程序的需要配置的内容
  • hadoop--Unable to load native-hadoop library for your platform解决方法
  • Hive sampling 语法之TABLESAMPLE用法理解
  • idea项目运行时报错提示Could not locate executable null\bin\winutils.exe in the Hadoop binaries
  • hadoop 无法访问50070端口问题解决
  • Hadoop运行时遇到java.io.FileNotFoundException错误的解决方法
  • KUDU数据导入尝试一：TextFile数据导入Hive,Hive数据导入KUDU
  • Hive安装
  • Hadoop 学习笔记 生态

    • Hadoop推荐文章

  • 基于Hive的大数据分析系统
  • HBase 在统一内容平台业务的优化实践
  • hive窗口分析函数使用详解系列一
  • 两台实体机器4个虚拟机节点的Hadoop集群搭建（Ubuntu版）
  • 在阿里云和腾讯云的轻量应用服务器上搭建Hadoop集群
  • Haproxy搭建 Web 群集实现负载均衡
  • HBase Compaction 原理与线上调优实践
  • Hive执行计划之hive依赖及权限查询和常见使用场景
  • 工良出品：包教会，Hadoop、Hive 搭建部署简易教程
  • Centos7系统编译Hadoop3.3.4

    • 本站QQ群：前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

    W3xue 的所有内容仅供测试，对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
    关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接（目前9元/月）请联系QQ：27243702 沸活量
    皖ICP备17017327号-2　皖公网安备34020702000426号