Hadoop进阶 1.配置SSH免密 (1)修改slaves文件
切换到master机器,本节操作全在master进行。
进入/usr/hadoop/etc/hadoop目录下,找到slaves文件,修改:
slave1 slave2 slave3 (2)发送公钥进入根目录下的.ssh目录:
生成公私钥
ssh-keygen -t rsa
会生成两个文件:id.rsa id.rsa.pub
发送
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
ssh-copy-id slave3
在四台机器上的.ssh目录下,都会生成authorized_keys文件
2.配置集群集中启动、关闭 (1)打开start-dfs.sh
(2)关闭stop-dfs.sh
3.hdfs 文件目录命令 命令 含义 实例 含义hadoop fs -ls 目录 查看某个目录下所有文件和子目录 hadoop fs -ls / 查看根目录
hadoop fs -put 本机文件 目录 上传本机文件到hdfs目录下 hadoop fs -put hello.txt / 把hello.txt上传到hdfs根目录下
hadoop fs -rm 文件或目录 删除文件或目录 hadoop fs -rm /hello.txt 删除hello.txt
hadoop fs -text 文本文件 查看文本文件 hadoop fs -text /hello.txt 查看hello.txt内容