Hadoop在Windows环境下的部署(2)

配置SSH服务(首先确认安装了OpenSSH,OpenSSL两个包)

1.打开CygWin输入SSH-HOST-CONFIG

2.系统提示:should privilege  separation be used ? 回答:no

3.系统提示:if sshd should be installed as service?回答:yes

4.系统提示:the value of CYGWIN environment variable 输入: ntsec

5.成功

下面是图示(我自己当时没记录,所以参考的是网络上的图片)

Hadoop在Windows环境下的部署



下一步,进入Window系统的服务菜单,打开Cygwin的SSHD服务:如下图所示:

Hadoop在Windows环境下的部署


下面继续回到CygWin环境:执行如下命令:

1.ssh-keygen然后一直回车

2.cd ~/.ssh

3.     cp id_rsa_pub anthorized_keys

4.exit 退出cygwin,若不退出,可能出错

再次登录时查看一下:

Hadoop在Windows环境下的部署


5运行 ssh localhost  若有提示,则回车。

6执行 ps  若看到 有/usr/bin/ssh 进程,说明成功


------------------------------------华丽分割----------------------------------

启动Hadoop

第0步:为了避免jobtracker,info could only be replicated to 0 node,instead of 1错误,最好把 hadoop/conf目录下面的 masters和slaves文件全部改为127.0.0.1(原内容为:localhost)

第一步,在hadoop目录下创建目录logs,用于保存日志


第二步,格式化管理者,即namenode,创建HDFS

执行命令: bin/hadoop namenode -format,下面示代表成功

Hadoop在Windows环境下的部署

此时,执行ps,应该能看到ssh进程,且看不到java虚拟机进程。


第三步,启动Hadoop,执行命令: bin/start-all.sh

然后执行jps命令,你可能会看到如下图:


会发现Datanode ,Secondarynamenode以及TaskTracker都没有启动。网上有人说是JPS的问题,具体不是很清楚,但本文后面的文件系统可以使用。Datanode可以保存数据,继续看吧。


不过此时执行PS命令,能看到5个JVM进程。

Hadoop在Windows环境下的部署


不知道这算不算成功,但我的Logs日志文件夹里面没有报错。


------------------------------华丽分割---------------------------------------

文件系统操作

为了验证HDFS能够正常工作我们可以进行文件的上传操作。

执行命令:

bin/hadoop fs -mkdir In

bin/hadoop fs -put  *.txt In

以上命令会在HDFS中建立In文件夹,然后把本地Hadoop目录下的所有文本文件上传到HDFS中,Hadoop目录下共用四个txt文件:

Hadoop在Windows环境下的部署


OK,上传的太少,不爽,再上传一部电影。比如,我要把一个视频文件movie.mpg上传到HDFS中,首先,在Hadoop根目录下建立文件夹local,然后把movie.mpg拷贝到其中

Hadoop在Windows环境下的部署


下面执行命令:

Hadoop在Windows环境下的部署


然后,查看文件系统是否有上述文件:

Hadoop在Windows环境下的部署


可以看到Movie.mpg在HDFS中。


同样在Eclipse中也能看到哇:

Hadoop在Windows环境下的部署



OK,突然不能贴图了,我再接着写一篇吧。介绍一下常见的错误处理。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/1f5aee7460235383f8aac633ccc74da6.html