经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Hadoop » 查看文章
hadoop集群搭建及易踩坑收录
来源:cnblogs  作者:小小分析猿  时间:2019/7/19 8:36:11  对本文有异议

 配置前先把域名映射配好哈 详情参考我的其他随笔

 

下载好hdfs.tar.gz 后

在/home/ldy下

mkdir apps/   

tar -xzvf hdfs.tar.gz  -C  /home/ldy/apps/       #专门用来安装hdfs 和jdk的

 

修改环境变量:vim /etc/profile

在最后的fi上面添加

export HDP_HOME=/home/ldy/apps/hadoop-2.8.5/etc/hadoop    #路径因人而定

export PATH=$PATH:$HDP_HOME/sbin : $HDP_HOME/bin

hadoop-daemon.sh 等命令在sbin目录下(旧版的在bin下)   最好两个都配。jdk的配置也是一样的道理

当出现命令not found 时:source /etc/profile 即可

 

配置文件:

在/home/ldy/apps/hadoop-2.8.5/etc/hadoop下

vim hadoop-env.sh    #告诉它java_home即可

 

Vim core-site.xml

 

 

Vim hdfs-site.xml

 

 

注:core-site.xml配置错误会导致 incorrect namenode addr

name标签的值不可以修改

域名映射后可以写主机名,且所有服务器的core-site.xml的地址必须一致,确保使用同一个文件系统

配置一下secondary namenodes:(这个是优化设置,配了会好些)

建议大家先配好一个服务器然后直接复制粘贴文件到其他服务器,省得麻烦

这里远程连接需要 scp 以及开启 ssh

开启ssh:

运行 ps -e | grep ssh,查看是否有sshd进程

如果没有,说明server没启动,通过 /etc/init.d/ssh -start 启动server进程,如果提示ssh不存在 那么就是没安装server

安装server

1.sudo apt-get update

2.sudo apt-get install openssh-server

 

apt-get过程中可能出现:

E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource temporarly unavailable)

E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), is an other process using it?

 

当出现这个报错时直接:

sudo rm /var/lib/dpkg/lock-frontend

sudo rm /var/lib/dpkg/lock

 

接下来有可能还会报下面的错:

E: Could not get lock /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)

Unable to lock directory /var/lib/apt/lists

 

sudo rm /var/lib/apt/lists/lock

apt-get update  即可

 

Scp :

scp -r  /home/ldy/apps/hadoop-2.8.5   ubuntu-01:/home/ldy/apps/

报错:   ssh连接The authenticity of host can't be established

修改/etc/ssh/ssh_config文件的配置

修改:(没有就在最后面添加)

StrictHostKeyChecking no

注:一般是禁止root用户登录的,切换到普通用户可正常使用

 当出现这个错误时:

Permisson denied ,please try again

 

当出现这个错误时,被拒绝,是因为ssh的权限问题,需要修改权限,进入到/etc/ssh文件夹下,用root用户修改文件sshd_config

将PermitRootLogin no 改为 PermitRootLogin yes

记得重启ssh:sudo service ssh restart

 

hadoop  namenode -format (一次就够了)

start-dfs.sh  (开启namenode和datanode服务)

使用这个命令每次都要输密码,这里可以设一个免密登录,在namenode服务器上设比较好

免密登录:

     ssh-keygen;(一直回车就行)

     ssh-copy-id  主机名;(有多少个主机执行多少次这个命令)

     vim etc/hadoop/slaves  (加上所有需要免密的主机名)

 

注意:虚拟机重启后得重新执行 start-dfs.sh,namenode和datanode才启动(其本质是软件)

 

 若有不对敬请指正........

 

原文链接:http://www.cnblogs.com/ldy233/p/11206622.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号