学习Hadoop有两天了,配置Hadoop到环境也用了两天,将自己在Ubuntu 14.04下Hadoop Eclipse 环境配置过程写在这里,希望对大家有所帮助!
我将文中用到的所有资源都分享到了 Linuxidc.com的资源网站里,不需要一个个的找啦!
------------------------------------------分割线------------------------------------------
FTP地址:ftp://ftp1.linuxidc.com
用户名:ftp1.linuxidc.com
密码:
在 2014年LinuxIDC.com\6月\Ubuntu 14.04下Hadoop Eclipse 环境配置教程
------------------------------------------分割线------------------------------------------
其中有《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》这本书(PDF高清扫描版下载见 ),第一章讲述了这个配置过程,但是不详细~
---------------安装jdk-------------------------------
1.
下载jdk1.6.0_45
2.解压到opt文件夹下,配置/etc/profile,在文件尾部加上
#set java environment
JAVA_HOME=/opt/jdk1.6.0_45
export JRE_HOME=/opt/jdk1.6.0_45/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
3.然后用source /etc/profile来重新执行刚修改的初始化文件(profile)
4.配置默认程序
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/java 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javac 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/jar 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javah 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javap 300
然后执行以下代码选择我安装到jdk版本:
update-alternatives --config java
5.之后就可以用java -version来查看java的版本了
CentOS6.3安装JDK和环境配置
---------------安装eclipse-------------------------------
1.从官网下载java版到eclipse
2.解压到/home/simon文件夹下
3.用vi建立shell脚本命名为eclipse
vi /usr/local/bin/eclipse
内容如下:
/home/simon/eclipse/eclipse
4.为脚本eclipse添加可执行权限: chmod +x /usr/local/bin/eclipse
5.直接输入eclipse来启动它了
---------------安装ant-------------------------------
1.下载ant
2.解压复制到/home/simon 文件夹下
3.修改/etc/profile 文件
export ANT_HOME=/home/simon/apache-ant-1.9.4
export PATH=$PATH$:$ANT_HOME/bin
4.然后用source /etc/profile来重新执行刚修改
5.输入ant -version验证安装成功
Apache Ant(TM) version 1.9.4 compiled on April 29 2014
Android 编译工具 Ant
---------------安装hadoop-------------------------------
1.修改机器名称,编辑/etc/hostname 修改为localhost
2.配置ssh无密码登录
ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
apt-get install openssh-server
3.如果命令 ssh localhost不成功,则需要启动ssh服务
通过以下命令启动ssh服务
service ssh start
/etc/init.d/ssh start
如果还是启动失败,那就重启吧,管用
3.配置hadoop
(1)编辑conf/hadoop-env.sh,修改JAVA_HOME的值:
export JAVA_HOME=/opt/jdk1.6.0_45
(2)编辑conf/mapred-site.xml,添加内容:
<property>
<name>mapred.job.tracker</name>
<value>:9001</value>
</property>
(3)编辑conf/hdfs-site.xml,添加内容:
<property>
<name>dfs.name.dir</name>
<value>/home/simon/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/simon/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
(4)编辑conf/core-site.xml,添加内容:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-1.0.0/tmp</value>
</property>
(5)
格式化hdfs: bin/hadoop namenode -format
启动hadoop: bin/start-all.sh
如果显示没有权限,可能是文件无权限,或者文件到用户不是当前用户(root)
可以尝试 chmod +x 文件名
chown root:root bin/*