背景:
阅读新闻
Fedora 15 Hadoop单机配置方法
[日期:2012-02-29] 来源:blog.csdn.net/shibingli 作者:shibingli [字体:]
1、下载并安装JDK
安装目录:/soft/java/jdk1.6.0_26
2、下载并解压Hadoop
解压目录:/soft/java/hadoop/hadoop-0.21.0
3、配置环境变量
export JAVA_HOME=/soft/java/jdk1.6.0_26
export JRE_HOME=/soft/java/jdk1.6.0_26/jre
export HADOOP_HOME=/soft/java/hadoop/hadoop-0.21.0
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
4、将以下内容写入到/conf/hadoop-env.sh
export JAVA_HOME=/soft/java/jdk1.6.0_26
export JRE_HOME=/soft/java/jdk1.6.0_26/jre
export HADOOP_HOME=/soft/java/hadoop/hadoop-0.21.0
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
5、配置Hadoop安装目录/conf/core-site.xml文件
在configuration节点中增加以下内容:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop/hadoop-${user.name}</value>
</property>
6、配置Hadoop安装目录/conf/hdfs-site.xml文件
在configuration节点中增加以下内容:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
7、配置Hadoop安装目录/conf/mapred-site.xml文件
在configuration节点中增加以下内容:
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
8、配置Hadoop安装目录/conf/mapred-site.xml文件
在configuration节点中增加以下内容:
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
9、配置 SSH 免密码登陆
a、ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
b、cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
c、chmod 600 ~/.ssh/authorized_keys
d、sudo service sshd restart
10、重启服务器或者使用source使配置文件生效(/etc/profile、Hadoop安装目录/conf/hadoop-env.sh)
11、格式化nameNode(配置好环境就可以直接使用以下命令格式化nameNode)
hadoop namenode -format
12、运行Hadoop(配置好环境就可以直接使用以下命令启动脚本)
启动:start-all.sh
停止:stop-all.sh
创建目录:hadoop dfs -mkdir 目录名称
浏览目录:hadoop dfs -ls 目录名称
复制文件到目录:hadoop dfs -copyFromLocal 文件名称 目录名称
hadoop dfs 查询帮助
13、安装完毕,享受hadoop带给你的快乐吧。
最新版的SSH框整合(Spring 3.1.1 + Struts 2.3.1.2 + Hibernate 4.1)