Ubuntu 13.04上搭建Hadoop环境
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置
搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)
1、执行bin/hadoopnamenode –format时提示没有配置JAVA_HOME
linux自带的SDK并不是Sun公司的SDK,而是开源的OpenSDK。为了保险,还是决定重新配置java环境,使用SUN jdk。
2、执行启动命令bin/start-all.sh后出现:JAVA_HOMEis not set
但是执行java -version后可以看到java版本信息,证明系统的jdk没有配置错误。
再次检查hadoop-env.sh中的配置。发现路径虽然改了,但是那个语句还在注释里(#),我忘记把注释去掉了。(摔!)
3、执行jps发现没有启动NameNode以及JobTracker
@:~/hadoop-0.20.2$jps
5457SecondaryNameNode
7491Jps
5672TaskTracker
5323DataNode
根据网友提示,可能是由于运行hadoop的用户对/data/hadoop/name1这个目录没有访问权限。因此,进入root中执行上述命令运行hadoop,结果显示完全正确,只是每次启动一个java程序都要输入密码很麻烦。根据ppt提示进行了免密码ssh设置
4、输入hadoop文件命令的时候总是提示hadoop命令未找到,发现应该输入bin/hadoop所有的hadoop命令由bin/ hadoop脚本调用。
PS:(与云计算无关)之前jdk8出来了,我就配置在自己的ubuntu上了。但是安装eclipse和Android studio的时候发现各种问题。于是我又配置了系统自带的OpenJDK。然后eclipse和android studio就恢复正常了。