经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Hadoop » 查看文章
2.Hadoop集群安装进阶
来源:cnblogs  作者:零度微笑  时间:2018/10/18 8:52:41  对本文有异议

Hadoop进阶

1.配置SSH免密

(1)修改slaves文件

切换到master机器,本节操作全在master进行。

进入/usr/hadoop/etc/hadoop目录下,找到slaves文件,修改:

  1. slave1
  2. slave2
  3. slave3

(2)发送公钥

进入根目录下的.ssh目录:

  1. 生成公私钥

    ssh-keygen -t rsa

    会生成两个文件:id.rsa id.rsa.pub

  2. 发送

    ssh-copy-id master

    ssh-copy-id slave1

    ssh-copy-id slave2

    ssh-copy-id slave3

    在四台机器上的.ssh目录下,都会生成authorized_keys文件

2.配置集群集中启动、关闭

(1)打开

start-dfs.sh

(2)关闭

stop-dfs.sh

3.hdfs 文件目录命令

命令 含义 实例 含义
hadoop fs -ls 目录 查看某个目录下所有文件和子目录 hadoop fs -ls / 查看根目录
hadoop fs -put 本机文件 目录 上传本机文件到hdfs目录下 hadoop fs -put hello.txt / 把hello.txt上传到hdfs根目录下
hadoop fs -rm 文件或目录 删除文件或目录 hadoop fs -rm /hello.txt 删除hello.txt
hadoop fs -text 文本文件 查看文本文件 hadoop fs -text /hello.txt 查看hello.txt内容
 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号