Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行,这种运行方式的配置和操作如下:
关于hadoop的安装和测试可以参考hadoop学习之安装与单机模式 见
这里仍假定${HADOOP_HOME}为位置是/data/fkong/hadoop-0.20.203.0
1. 修改hadoop配置
1.1 编辑${HADOOP_HOME}/conf/core-site.xml文件,内容修改如下:
[plain] view plaincopyprint?
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> 1.2 编辑${HADOOP_HOME}/conf/hdfs-site.xml文件,内如修改如下:
[plain] view plaincopyprint?
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 1.3 编辑${HADOOP_HOME}/conf/mapred-site.xml文件,内如修改如下:
[plain] view plaincopyprint?
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration> 2. 设置linux上ssh是用户可以自动登录
[plain] view plaincopyprint?
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 3. 格式化一个新的分布式文件系统:
[plain] view plaincopyprint?
$ bin/hadoop namenode -format 4. 执行hadoop4.1 启动hadoop后台daemon
[plain] view plaincopyprint?
$ bin/start-all.sh 启动后可以通过以下w网页方式查看NameNode和JobTracker状态
[plain] view plaincopyprint?
NameNode - :50070/ JobTracker - :50030/ 4.2 复制文件到分布式文件系统上
[plain] view plaincopyprint?
$ bin/hadoop fs -put conf input 4.3 运行测试
[plain] view plaincopyprint?
$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+' 4.4 获取测试程序的执行结果
[plain] view plaincopyprint?
$ bin/hadoop fs -cat output/* 4.5 停止hadoop后台daemon
[plain] view plaincopyprint?
$ bin/stop-all.sh