在Linux下编译Hadoop1.0.3

最近想开始学习Hadoop,所以决定从编译开始,一点一点的学习。

我是在本机用eclipse签出svn,准备在本机上查看源码进行学习,和编译环境无关。

所以首先需要从svn上签出 hadoop1.0.3源码

(1)签出源码

svn地址:

(2)将源码拷贝到要进行编译的linux环境中。可以是虚拟机或者物理机。

默认环境中有java环境、ant环境和eclipse以及可视化界面。

如果没有请自行安装。

(3)在eclipse中编译源码

1) 运行eclipse--》导入已有工程--》选择源码目录release-1.0.3,导入

2)导入后,在eclipse界面中,右击build.xml,然后点击Ant build开始编译即可。

3)编译中出现一个错误:找不到autoreconf (视机器环境而定),定位到文件中位置:

<target>
                            <exec executable="autoreconf" dir="${native.src.dir}" searchpath="yes"
                                        failonerror="yes">
                                  <arg value="-if"/>
                            </exec>
                        </target>

解决方式:直接注释掉<exec>的内容。所有native相关包都不编译。

4)重新编译,编译通过。

(4)采用ant编译build.xml

默认已经安装ant环境。

直接运行ant -file build.xml即可。同上面的问题一样,直接注释掉即可。尚未发现问题。

说明:默认情况下其实是不编译native和c++内容的。

(5)采用ant编译源码包(这个部分内容,请参考这篇博客)

同第(4)步一样, 默认已经安装ant环境。

运行:ant package命令,开始编译部署

1, 遇到一个错误:'java5.home' is not defined

解决方法:下载JDK5并部署到编译机器上,运行如下命令执行:ant package-Djava5.home=JDK5所在目录

2,重新编译后,又遇到一个错误:forrest.home' is not defined

解决方法:下载forrest8.0(没有试过9.0是否可以)部署到编译机器上。运行如下命令:ant package-Djava5.home=JDK5所在目录 -Dforrest.home=forrest所在目录

编译后,完全通过,没有任何问题。在build目录下,会出现一个hadoop-1.0.4-SNAPSHOT目录,这就是最终运行的可执行目录了。可以按照hadoop部署的步骤进行部署。

3,没有执行native和c++,build中C++目录里为空。因为hadoop默认不执行这个编译步骤,需要进行如下设置:

ant -Dcompile.native=true -Dcompile.c++=true package-Djava5.home=JDK5所在目录 -Dforrest.home=forrest所在目录

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/c879d5070a6d8101089d2955f22a56e1.html