基于Hadoop云模型及相关云技术研究(3)

2.3 伪分布模式

基于Hadoop云模型及相关云技术研究

图4

  (2)安装配置SSH

  启动eygwin,执行命令:$ssh-host—eonfig。

  当询问“Should privilege separation be used”时.输入no;当询问”Do you want to install sshd as a service?”选yes;当提示“Enterthe valHe of CYGWIN forthe daemon:[ntsee]”时,选择ntsec。

  提示sshd服务已经在本地系统安装完毕。输入命令$net startsshd,启动SSH,或者在Windows服务项里启动CYGWIN sshd。

基于Hadoop云模型及相关云技术研究

图片说明

  然后执行$ssh—keygen来生成密钥对.然后一直回车键确定。这样会把生产的密钥对保存在.ssh目录下。使用命令将RSA公钥加入到公钥授权文件authorized_ keys中:

  访问http://grid1:50070可以查看NameNote以及整个分布式文件系统的状态.访问http://gridl:50060可以查看TaskTraeker的运行状态。

  运行完数据处理.查看结果和关闭Hadoop的操作和伪分布模式相同。

  3 结束语

  虽然Hadoop支持Windows,但官网上同时声明Hadoop尚未在Windows下严格测试,建议只作为开发平台。

  而且,格式化Hadoop文件系统是Hadoop启动的第一步,每次格式化前,要清空$HADOOP_HOME\tmp目录下的所有文件.因为Hadoop格式化时会重新建立NameNoteID.而tmp里还包含上次格式化留下的信息。格式化虽然清空了NameNote的数据,但是保留了DateNote的数据,这样会导致启动失败。

  另外,在{HADOOP_HOME}logs目录下,NameNode、DataNode、Secondary NameNode、JobTracker、Tasktracker各有一个日志文件,当出现故障时,分析这些文件也许会有帮助。

更多Hadoop相关信息见Hadoop 专题页面 ?tid=13

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/244f3c1e02c88beb5d69554312debd23.html