Hadoop中,关于文件路径的配置是最令人混淆的,有些是本地路径,有些是服务器路径。
hdfs-site.xml文件中的dfs.name.dir为元数据存放目录,应当设置为本地目录,如:D:/hadoop/dfs-name-dir
core-site.xml文件中的hadoop.tmp.dir为临时文件存放目录,应当设置为本地目录,如:D:/hadoop/tmp
mapred-site.xml文件中的mapred.local.dir为mapreduce本地数据目录,应当设置为本地目录,如:D:/hadoop/mapred-local-dir。mapreduce在执行一个task时,需要将task的JAR包
和配置文件等下载到本地,然后才能执行,而提交job时,只是将JAR等上传到了HDFS上。
mapred-site.xml文件中的mapred.system.dir为mapreduce共享目录,不能为本地目录,只能为HDFS目录,可以填写相对目录如:sysdir,假设以Administrator登录cygwin,并启动hadoop,则:
$ ./hadoop fs -ls /user/Administrator
Found 1 items
drwx-wx-wx - Administrator supergroup 0 2012-07-07 14:32 /user/Administrator/sysdir