Hadoop 配置参数路径说明

Hadoop中,关于文件路径的配置是最令人混淆的,有些是本地路径,有些是服务器路径。

hdfs-site.xml文件中的dfs.name.dir为元数据存放目录,应当设置为本地目录,如:D:/hadoop/dfs-name-dir

core-site.xml文件中的hadoop.tmp.dir为临时文件存放目录,应当设置为本地目录,如:D:/hadoop/tmp

mapred-site.xml文件中的mapred.local.dir为mapreduce本地数据目录,应当设置为本地目录,如:D:/hadoop/mapred-local-dir。mapreduce在执行一个task时,需要将task的JAR包

和配置文件等下载到本地,然后才能执行,而提交job时,只是将JAR等上传到了HDFS上。

mapred-site.xml文件中的mapred.system.dir为mapreduce共享目录,不能为本地目录,只能为HDFS目录,可以填写相对目录如:sysdir,假设以Administrator登录cygwin,并启动hadoop,则:

$ ./hadoop fs -ls /user/Administrator

Found 1 items

drwx-wx-wx   - Administrator supergroup          0 2012-07-07 14:32 /user/Administrator/sysdir

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/027fad67827d5a545309541bed69cc0b.html