Win7环境下Eclipse连接Hadoop报错简单解决:重编译

Win7环境下通过Eclipse连接Hadoop1.2.1集群时,会遇到如下报错:
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700

此时只需要修改org.apache.hadoop.fs.FileUtil文件并重新编译即可,简单解决步骤如下:

1.eclipse中新建java工程

2.将hadoop相关jar包都导入工程

3.到源码中拷贝src/core/org/apache/hadoop/fs/FileUtil.java文件,粘贴到eclipse工程的src目录下

4.找到以下部分,注释掉checkReturnValue方法中的代码

  private static void checkReturnValue(boolean rv, File p,

                                      FsPermission permission

                                      ) throws IOException {

    /*

//win7 connect to linux hadoop

if (!rv) {

      throw new IOException("Failed to set permissions of path: " + p +

                            " to " +

                            String.format("%04o", permission.toShort()));

    }

*/

  }

5.到工程的输出目录找到class文件,会有两个class文件,因为FileUtil.java有内部类

6.将该class文件添加到hadoop-core-1.2.1.jar中对应的目录,覆盖原文件

7.将更新过的hadoop-core-1.2.1.jar拷贝到Hadoop集群,覆盖原有文件,重启Hadoop集群

8.将更新过的hadoop-core-1.2.1.jar添加到项目的依赖中,如果用到Maven可能涉及覆盖Maven库中的对应文件

9.运行程序,万事大吉!!!

--------------------------------------分割线 --------------------------------------

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

--------------------------------------分割线 --------------------------------------

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/f6e606235d62ec2814735f2a6eab3a90.html