Ubuntu 14.04下Hadoop Eclipse 环境配置教程

学习Hadoop有两天了,配置Hadoop到环境也用了两天,将自己在Ubuntu 14.04下Hadoop Eclipse 环境配置过程写在这里,希望对大家有所帮助!

我将文中用到的所有资源都分享到了 Linuxidc.com的资源网站里,不需要一个个的找啦!

------------------------------------------分割线------------------------------------------

FTP地址:ftp://ftp1.linuxidc.com

用户名:ftp1.linuxidc.com

密码:

在 2014年LinuxIDC.com\6月\Ubuntu 14.04下Hadoop Eclipse 环境配置教程

下载方法见

------------------------------------------分割线------------------------------------------
 
其中有《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》这本书(PDF高清扫描版下载见 ),第一章讲述了这个配置过程,但是不详细~

---------------安装jdk-------------------------------
 1.
 下载jdk1.6.0_45
 
2.解压到opt文件夹下,配置/etc/profile,在文件尾部加上
 #set java environment
 JAVA_HOME=/opt/jdk1.6.0_45
 export JRE_HOME=/opt/jdk1.6.0_45/jre
 export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
 export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
 
3.然后用source /etc/profile来重新执行刚修改的初始化文件(profile)
 
4.配置默认程序
 update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/java 300
 update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javac 300
 update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/jar 300
 update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javah 300
 update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javap 300
 
然后执行以下代码选择我安装到jdk版本:
 update-alternatives --config java
 5.之后就可以用java -version来查看java的版本了

Ubuntu下安装JDK7(附Clojure下载)

Ubuntu 12.04下安装JDK1.7

CentOS6.3安装JDK和环境配置
 
---------------安装eclipse-------------------------------
 1.从官网下载java版到eclipse
 
 2.解压到/home/simon文件夹下
 3.用vi建立shell脚本命名为eclipse
  vi /usr/local/bin/eclipse
 内容如下:
 /home/simon/eclipse/eclipse
4.为脚本eclipse添加可执行权限: chmod +x /usr/local/bin/eclipse
 5.直接输入eclipse来启动它了
 
---------------安装ant-------------------------------
 1.下载ant
 
 2.解压复制到/home/simon 文件夹下
 3.修改/etc/profile 文件
 export ANT_HOME=/home/simon/apache-ant-1.9.4
 export PATH=$PATH$:$ANT_HOME/bin
 4.然后用source /etc/profile来重新执行刚修改
 5.输入ant -version验证安装成功
 Apache Ant(TM) version 1.9.4 compiled on April 29 2014

如何在 Linux 服务器上安装 apache ant?

Apache Ant 的详细介绍下载见

Android 编译工具 Ant

---------------安装hadoop-------------------------------
 1.修改机器名称,编辑/etc/hostname 修改为localhost
 2.配置ssh无密码登录
 ssh-keygen -t rsa
 cd ~/.ssh
 cat id_rsa.pub >> authorized_keys
 apt-get install openssh-server
 3.如果命令 ssh localhost不成功,则需要启动ssh服务
 通过以下命令启动ssh服务
 service ssh start
 /etc/init.d/ssh start
 如果还是启动失败,那就重启吧,管用
 
3.配置hadoop
 (1)编辑conf/hadoop-env.sh,修改JAVA_HOME的值:
 export JAVA_HOME=/opt/jdk1.6.0_45
 (2)编辑conf/mapred-site.xml,添加内容:
 <property>
    <name>mapred.job.tracker</name>
        <value>:9001</value>
 </property>
 (3)编辑conf/hdfs-site.xml,添加内容:
 <property>
        <name>dfs.name.dir</name>
        <value>/home/simon/name</value>
 </property>
 
<property>
        <name>dfs.data.dir</name>
        <value>/home/simon/data</value>
 </property>
 <property>
        <name>dfs.permissions</name>
        <value>false</value>
 </property>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
 </property>
 (4)编辑conf/core-site.xml,添加内容:
 <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
 </property>
 
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-1.0.0/tmp</value>
 </property>
 (5)
 格式化hdfs: bin/hadoop namenode -format
 启动hadoop: bin/start-all.sh
如果显示没有权限,可能是文件无权限,或者文件到用户不是当前用户(root)
 可以尝试 chmod +x 文件名
 chown root:root bin/*

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/bed99a2c00347a3daaeacbe9e6254f7f.html