经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Hadoop » 查看文章
hadoop在CentOS下的安装配置
来源:cnblogs  作者:马小强  时间:2018/12/13 9:20:18  对本文有异议
 
  • 版本:CentOS-6.8-x86_64-minimal,hadoop2.6.4,jdk1.7.0
  • 首先把jdk、hadoop压缩包下载发送到CentOS下并解压

下载发送不多赘述,解压命令tar -zxvf 压缩包

mv 原文件名 新文件名

(注意空格)

  • 先配置jdk
  1. 进入jdk目录 pwd 查看当前目录复制备用/apps/jdk1.7.0_25
  2. 配置环境变量

vi ~/.bash_profile

JAVA_HOME=/apps/jdk1.7.0_25
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

source ~/.bash_profile

  • 关闭防火墙,做好ssh免密登录
    • 关闭防火墙
      • service iptables stop
      • chkconfig iptables off
      • ssh-keygen -t rsa
    • ssh免密登录
      • master: cat /root/.ssh/id_rsa.pub >>/root/.ssh/authorized_keys
      • master:scp /root/.ssh/authorized_keys @slave1:/root/.ssh/authorized_keys
      • slave1:cat /root/.ssh/id_rsa.pub >>/root/.ssh/authorized_keys
      • slave1:scp /root/.ssh/authorized_keys @slave2:/root/.ssh/authorized_keys
      • slave2:cat /root/.ssh/id_rsa.pub >>/root/.ssh/authorized_keys
      • slave2:scp /root/.ssh/authorized_keys @master:/root/.ssh/authorized_keys
      • master:scp /root/.ssh/authorized_keys @slave1:/root/.ssh/authorized_keys
      • slave2:scp /root/.ssh/authorized_keys @slave2:/root/.ssh/authorized_keys
  • 再配置hadoop
  1. 环境变量vi ~/.bash_profile

    HADOOP_HOME=/apps/hadoop-2.6.4
    PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    source ~/.bash_profile

  2. 配置运行环境
    • core-site.xml
      • <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
        </property>

    • hdfs-site.xml

      • <property>
        <name>dfs.replication</name>
        <value>3</value>
        </property>

        <property>
        <name>dfs.namenode.name.dir</name>
        <value>/app/hadoop/dfs/name</value>
        </property>

        <property>
        <name>dfs.datanode.data.dir</name>
        <value>/app/hadoop/dfs/data</value>
        </property>

        <property>
        <name>dfs.secondary.http.address</name>
        <value>slave2:50090</value>
        </property>

        <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>/app/hadoop/dfs/namesecondary</value>
        </property>

    • hadoop-env.sh
      •  export JAVA_HOME=/apps/jdk1.7.0_25
    • yarn-site.xml
      • <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>

        <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
        </property>


        mapreduce-site.xml
        <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        </property>

      • slaves
        • 将原有内容替换为从节点主机名
  3. 将配置完成的jdk、hadoop发送到另外两台主机上
    • master:scp -r apps/ @slave1:/apps/
    • master:scp -r apps/ @slave2:/apps/
    • master:scp ~/.bash_profile @slave1:~/.bash_profile
    • master:scp ~/.bash_profile @slave2:~/.bash_profile
    • slave1: source ~/.bash_profile
    • slave2: source ~/.bash_profile

  hadoop集群配置完成

格式化namenode

  hadoop namenode -format

启动所有节点

  start-all.sh

 

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号