Hadoop DEMO搭建集群(3)

TIPS: 第一段为启动服务的节点少于红色数字时就报错,因此修改为1.
TIPS: 后两段为分布式数据存储的路径问题,同样是报错的高频率地方,而且在网上许多搭建教程中并没有后两段的配置,经过小僧实验,服务启动是肯定会失败的,文件夹可能需要手动创建,请注意修改好这个文件夹的权限问题还有查看日志。

配置 mapred-site.xml

<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>10.117.253.201:9001</value>
</property>
<property>
  <name>mapred.local.dir</name>
 <value>/opt/Hadoop/tmp</value>
</property>
</configuration>

TIPS:与 core-site.xml 一样请注意tmp文件夹问题

4. 测试

以上搭建可以算是完成了,启动服务之前,先格式化hdfs系统 $ hadoop namenode -format

注意提示,如果成功格式化的话就可以用命令启动服务了 $ start-all.sh / 关闭是用 $ stop-all.sh

服务启动后可以使用$ jps 命令或者 $ hadoop dfsadmin -report 来查看进程是否启动。

HDFS web方式 : :50070

MR web方式: :50030

hadoopdfs -ls                            列出HDFS下的文件
hadoop dfs -ls in                        列出HDFS下某个文档中的文件
hadoop fs -mkdir                        创建文件夹
hadoop dfs -put test1.txt test          上传文件到指定目录并且重新命名,只有所有的DataNode都接收完数据才算成功
hadoop dfs -get in getin                从HDFS获取文件并且重新命名为getin,同put一样可操作文件也可操作目录
hadoop dfs -rmr out                      删除指定文件从HDFS上
hadoop dfs -cat in/*                    查看HDFS上in目录的内容
hadoop dfsadmin -report                  查看HDFS的基本统计信息,结果如下
hadoop dfsadmin -safemode leave          退出安全模式
hadoop dfsadmin -safemode enter          进入安全模式

另外,运行自带的wordcount.Java程序可以体现简单的MR工作原理,这里不进行说明,需求的请自行GOOGLE

总结一句,凡是搭建过程中遇到错误的, Google and Log is your friend。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/bc3e4cd89a0285e7e353df67bd86fd3c.html