TIPS: 第一段为启动服务的节点少于红色数字时就报错,因此修改为1.
TIPS: 后两段为分布式数据存储的路径问题,同样是报错的高频率地方,而且在网上许多搭建教程中并没有后两段的配置,经过小僧实验,服务启动是肯定会失败的,文件夹可能需要手动创建,请注意修改好这个文件夹的权限问题还有查看日志。
配置 mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>10.117.253.201:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/opt/Hadoop/tmp</value>
</property>
</configuration>
TIPS:与 core-site.xml 一样请注意tmp文件夹问题
4. 测试以上搭建可以算是完成了,启动服务之前,先格式化hdfs系统 $ hadoop namenode -format
注意提示,如果成功格式化的话就可以用命令启动服务了 $ start-all.sh / 关闭是用 $ stop-all.sh
服务启动后可以使用$ jps 命令或者 $ hadoop dfsadmin -report 来查看进程是否启动。
HDFS web方式 : :50070
MR web方式: :50030
hadoopdfs -ls 列出HDFS下的文件
hadoop dfs -ls in 列出HDFS下某个文档中的文件
hadoop fs -mkdir 创建文件夹
hadoop dfs -put test1.txt test 上传文件到指定目录并且重新命名,只有所有的DataNode都接收完数据才算成功
hadoop dfs -get in getin 从HDFS获取文件并且重新命名为getin,同put一样可操作文件也可操作目录
hadoop dfs -rmr out 删除指定文件从HDFS上
hadoop dfs -cat in/* 查看HDFS上in目录的内容
hadoop dfsadmin -report 查看HDFS的基本统计信息,结果如下
hadoop dfsadmin -safemode leave 退出安全模式
hadoop dfsadmin -safemode enter 进入安全模式
另外,运行自带的wordcount.Java程序可以体现简单的MR工作原理,这里不进行说明,需求的请自行GOOGLE
总结一句,凡是搭建过程中遇到错误的, Google and Log is your friend。