Hadoop伪分布式配置及遇到的问题(2)

三、单击伪分布式配置

1.装jdk,配置环境变量

chmod +x jdk-6u24-linux-i586.bin 

./jdk-6u24-linux-i586.bin 

修改文件:sudo gedit /etc/profile

#set Java Environment

export  JAVA_HOME="/home/user/software/jdk1.6.0_24" 

export  CLASSPATH="$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib"

export  PATH="$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOMR/bin"

umask 022

2.装ssh

1)确认已经连接上互联网,输入命令

sudo apt-get install ssh

2)配置为可以无密码登录本机。

首先查看在u用户下是否存在.ssh文件夹(注意ssh前面有“.”,这是一个隐藏文件夹),输入命令:

1) ls -a /home/u

一般来说,安装SSH时会自动在当前用户下创建这个隐藏文件夹,如果没有,可以手动创建一个。u为当前登陆系统的用户名。

接下来,输入命令:

2)ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

解释一下,ssh-keygen代表生成密钥;-t(注意区分大小写)表示指定生成的密钥类型;dsa是dsa密钥认证的意思,即密钥类型;-P用于提供密语;-f指定生成的密钥文件。(关于密钥密语的相关知识这里就不详细介绍了,里面会涉及SSH的一些知识,如果读者有兴趣,可以自行查阅资料。)

Ubuntu中,~代表当前用户文件夹,这里即/home/u。

这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub,这是SSH的一对私钥和公钥,类似于钥匙及锁,把id_dsa.pub(公钥)追加到授权的key里面去。

输入命令:

3) cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

这段话的意思是把公钥加到用于认证的公钥文件中,这里的authorized_keys是用于认证的公钥文件。

至此无密码登录本机已设置完毕。

4)验证SSH是否已安装成功,以及是否可以无密码登录本机。(如果需要输入密码,那么可以修改/etc/ssh/sshd_config文件下的PasswordAuthentication no)

输入命令:

1. ssh -version

显示结果:

OpenSSH_5.1p1 Debian-6ubuntu2, OpenSSL 0.9.8g 19 Oct 2007 

Bad escape character 'rsion'.

显示SSH已经安装成功了。

输入命令:

2. ssh localhost

会有如下显示:

The authenticity of host 'localhost (::1)' can't be established. 

RSA key fingerprint is 8b:c3:51:a5:2a:31:b7:74:06:9d:62:04:4f:84:f8:77. 

Are you sure you want to continue connecting (yes/no)? yes 

Warning: Permanently added 'localhost' (RSA) to the list of known hosts. 

Linux master 2.6.31-14-generic #48-Ubuntu SMP Fri Oct 16 14:04:26 UTC 2009 i686 

To access official Ubuntu documentation, please visit: 

 

Last login: Mon Oct 18 17:12:40 2010 from master 

admin@Hadoop:~$

这说明已经安装成功,第一次登录时会询问你是否继续链接,输入yes即可进入。

实际上,在Hadoop的安装过程中,是否无密码登录是无关紧要的,但是如果

配置无密码登录,每次启动Hadoop,都需要输入密码以登录到每台机器的DataNode上,考虑到一般的Hadoop集群动辄数百台或上千台机器,因此一般来说都会配置SSH的无密码登录。

ps -e |grep ssh

如果看到sshd那说明ssh-server已经启动了。

如果没有则可以这样启动:sudo /etc/init.d/ssh start

ssh-server配置文件位于/ etc/ssh/sshd_config,在这里可以定义SSH的服务端口,默认端口是22,你可以自己定义成其他端口号,如222。

然后重启SSH服务:

sudo /etc/init.d/ssh stop

sudo /etc/init.d/ssh start

3. Hadoop-env.sh: 

export JAVA_HOME=你的JDK安装地址 //不要加双引号

这里 指定JDK的安装位置。

4. conf/core-site.xml: 

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

这是Hadoop核心的配置文件,这里配置的是HDFS的地址和端口号。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/pswdf.html