Hadoop 单机、伪分布式及集群下的运行测试总结

找几个并行框架来测试一下,想用于分布式图像渲染。之前了解过google的GFS和mapreduce,然后听说Hadoop不错,试着用了一下。
我使用的是hadoop0.20.2版,测试的例子均使用统计单词个数的例子,下面是总结:

首先提一下,命令的格式一般为 bin/hadoop (命令所属集) -(具体命令).

1.单机模式
hadoop支持在单机的情况下,用一个进程以非分布式的方式去运行,主要用于调试.
$ cd $(HADOOP_HOME)
$ mkdir input 
$ cp conf/*.xml input 
$ bin/hadoop jar hadoop-*-examples.jar input output
$ cat output/*


2.伪分布式模式
1)此时需要进入ssh(security shell)
$ssh localhost


2)为使程序能在无需人干涉的情况下顺利进行,需要将密码登录取消掉
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys


3)按一下方式配置各节点:
在 core-site.xml:(namenode)
  <property>
<name>fs.default.name</name>
    <value>localhost:9000</value>
  </property>
在 hdfs-site.xml:
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
在 mapred-site.xml:(jobtracker)
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
  注意:旧版的hadoop-site.xml ��经被弃用了


4) 格式化文件系统
在首次使用时需要格式化文件系统
bin/hadoop namenode -format (注意是namenode,不是fs)


5) 启动各进程 namenode secondarynamenode datanode jobtracker tasktracker  
bin/start-all.sh


6) 建立输入文件目录,并将需要处理的数据放进去
bin/hadoop fs -put conf input 
input 会自动创建,将conf目录下的文件放进去,conf为可以为其他,这只是用于处理的数据,不是用来配置的


7) 运行
bin/hadoop jar hadoop-*-exampers.jar wordcount input output
wordcount 为.jar 文件中的一个程序,其实现了map reduce等函数,输出将会在output出现


8) 查看结果
bin/hadoop fs -cat output/*


3.集群模式
1)  我使用了四台机器,ip分别为 
192.168.1.1 
192.168.1.252
192.168.1.253
192.168.1.254


2)  我将192.168.1.1 设为namenode和jobtracker,其他为datanode和tasktracker
在 core-site.xml:
  <property>
<name>fs.default.name</name>
    <value>192.168.1.1:9000</value>
  </property>
在 hdfs-site.xml:
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
在 mapred-site.xml:
  <property>
    <name>mapred.job.tracker</name>
    <value>192.168.1.1:9001</value>
  </property>
 
3)  设置masters\slaves
在masters设置
192.168.1.1
在slaves设置 
192.168.1.252
192.168.1.253
192.168.1.254


4)将上面的hadoop整个目录发送到其他机器,我的机器事先已经设置好机器间即时同步,
该命令我尚未测试
scp -r $(HADOOP_HOME) 192.168.1.252
scp -r $(HADOOP_HOME) 192.168.1.253
scp -r $(HADOOP_HOME) 192.168.1.254


5)在192.168.1.1启动
bin/start-all.sh


6)查看运行情况
使用jps命令可查看可机器上目前运行的hadoop进程,右上角的jps显示的是namenode及JobTracker, 其他为datanode和 tasktracer。

Hadoop 单机、伪分布式及集群下的运行测试总结



7) 运行
bin/hadoop jar hadoop-*-exampers.jar wordcount input output


8) 查看结果
bin/hadoop fs -cat output/*
 
9)其他
另外,在一开始,文件系统可能是处于安全模式的,需要按处理。
其他的一些命令:
bin/hadoop fs -rmr directory
bin/hadoop fs -rm  filename 
bin/hadoop fs -get source destinate 
bin/hadoop fs -put source destinate 
bin/hadoop fs -ls 
hadoop的核心思想是Google的三大论文,目前还没有完全体会其精髓。Hadoop 能用于什么情景,
在特定的前景下又应该如何优化,这些我还不是很清楚。希望大家能交流一下。
hadoop的核心思想是Google的三大论文,目前还没有完全体会其精髓。Hadoop 能用于什么情景,
在特定的前景下又应该如何优化,这些我还不是很清楚。希望大家能交流一下。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/ppyxx.html