2.3 伪分布模式
图4
(2)安装配置SSH
启动eygwin,执行命令:$ssh-host—eonfig。
当询问“Should privilege separation be used”时.输入no;当询问”Do you want to install sshd as a service?”选yes;当提示“Enterthe valHe of CYGWIN forthe daemon:[ntsee]”时,选择ntsec。
提示sshd服务已经在本地系统安装完毕。输入命令$net startsshd,启动SSH,或者在Windows服务项里启动CYGWIN sshd。
图片说明
然后执行$ssh—keygen来生成密钥对.然后一直回车键确定。这样会把生产的密钥对保存在.ssh目录下。使用命令将RSA公钥加入到公钥授权文件authorized_ keys中:
访问http://grid1:50070可以查看NameNote以及整个分布式文件系统的状态.访问http://gridl:50060可以查看TaskTraeker的运行状态。
运行完数据处理.查看结果和关闭Hadoop的操作和伪分布模式相同。
3 结束语
虽然Hadoop支持Windows,但官网上同时声明Hadoop尚未在Windows下严格测试,建议只作为开发平台。
而且,格式化Hadoop文件系统是Hadoop启动的第一步,每次格式化前,要清空$HADOOP_HOME\tmp目录下的所有文件.因为Hadoop格式化时会重新建立NameNoteID.而tmp里还包含上次格式化留下的信息。格式化虽然清空了NameNote的数据,但是保留了DateNote的数据,这样会导致启动失败。
另外,在{HADOOP_HOME}logs目录下,NameNode、DataNode、Secondary NameNode、JobTracker、Tasktracker各有一个日志文件,当出现故障时,分析这些文件也许会有帮助。
更多Hadoop相关信息见Hadoop 专题页面 ?tid=13