Hadoop local模式部署(单节点)

装个Hadoop单节点的,为得是方便学习和调试。

0.jdk安装,很简单在本博可以找到。

(我直接用root玩了,你也可以不这么搞)

在终端窗口里面输入: sudo -s.然后输入普通用户登陆的密码,回车即可进入 root用户权限模式。

然后执行: vim /etc/lightdm/lightdm.conf.

增加 greeter-show-manual-login=true allow-guest=false . 修改完的整个配置文件是


[SeatDefaults]
greeter-session=unity-greeter
user-session=Ubuntu
greeter-show-manual-login=true #手工输入登陆系统的用户名和密码
allow-guest=false #不允许guest登录

1.下载hadoop-2.2.0.tar.gz(从Apache官方可以下载)

Hadoop路径配置

建议将Hadoop安装在/opt下,所以将/opt的属主修改为实际用户(本文以kevin用户为例):

$sudo chown kevin:kevin /opt

tar xzvf hadoop-2.2.0.tar.gz

$ mv hadoop-2.2.0 /opt/hadoop

ssh本地互通

sudo apt-get install openssh-client
sudo apt-get install openssh-server

cd /root
ssh-keygen -t rsa -P "" (回车)
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys用命令验证一下是否可以免密码链接localhost

然后执行以下命令:

$ ssh localhost

全局变量

在/etc/profile的末尾加入:

vim /etc/profile

export HADOOP_HOME=/opt/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

确保可以在任意位置执行hadoop命令。

然后将配置文件启用:

$ source /etc/profile

目录配置

创建Hadoop的数据存储目录,并修改属主权限(我这用的root可以不需要这写)

$ sudo mkdir /hadoop
$ sudo chown krvin:kevin /hadoop
$ mkdir /hadoop/dfs
$ mkdir /hadoop/tmp

配置Hadoop 配置hadoop-env.sh

修改hadoop-env.sh文件:

$ cd /opt/hadoop/etc/hadoop
$ vim hadoop-env.sh

将默认的JAVA_HOME修改为:/opt/jdk1.6.0_35

配置core-site.xml

修改core-site.xml文件:

$cd /opt/hadoop/etc/hadoop
$vim core-site.xml

<configuration>标签中(即嵌套在该标签中)加入以下内容:


<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
<description>temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.100:9000</value>
<description>The name of the defaultfile system. Either the literal string "local" or a host:port forNDFS.
</description>
<final>true</final>
</property>

更多配置信息,参考:

配置hdfs-site.xml

修改hdfs-site.xml

$ vim hdfs-site.xml

<configuration>标签中(即嵌套在该标签中)加入以下内容:

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/dfs/name</value>
<description>Determineswhere on the local filesystem the DFS name node should store the name table.</description>
<final>true</final>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/dfs/data</value>
<description>Determineswhere on the local filesystem an DFS data node should store its blocks.
</description>
<final>true</final>
</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

更多hdfs-site.xml的配置信息,参考:

相关阅读:

将本地文件拷到HDFS中

从HDFS下载文件到本地

将本地文件上传至HDFS

HDFS基本文件常用命令

Hadoop中HDFS和MapReduce节点基本简介

《Hadoop实战》中文版+英文文字版+源码【PDF】

Hadoop: The Definitive Guide【PDF版】

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/1a75122806b33aa27d5fd58b1501b8e4.html