Hadoop进阶
1.配置SSH免密
(1)修改slaves文件
切换到master机器,本节操作全在master进行。
进入/usr/hadoop/etc/hadoop目录下,找到slaves文件,修改:
slave1
slave2
slave3
(2)发送公钥
进入根目录下的.ssh目录:
生成公私钥
ssh-keygen -t rsa
会生成两个文件:id.rsa id.rsa.pub
发送
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
ssh-copy-id slave3
在四台机器上的.ssh目录下,都会生成authorized_keys文件
2.配置集群集中启动、关闭
(1)打开
start-dfs.sh
(2)关闭
stop-dfs.sh
3.hdfs 文件目录命令
hadoop fs -ls 目录 |
查看某个目录下所有文件和子目录 |
hadoop fs -ls / |
查看根目录 |
hadoop fs -put 本机文件 目录 |
上传本机文件到hdfs目录下 |
hadoop fs -put hello.txt / |
把hello.txt上传到hdfs根目录下 |
hadoop fs -rm 文件或目录 |
删除文件或目录 |
hadoop fs -rm /hello.txt |
删除hello.txt |
hadoop fs -text 文本文件 |
查看文本文件 |
hadoop fs -text /hello.txt |
查看hello.txt内容 |