Windows 10下编译安装Hadoop2.6

不需要在Cygwin下安装Hadoop,官方也不推荐使用Cygwin。

Hadoop版本支持情况:Hadoop 2.2版本起包括Windows的原生支持。截至2014年一月份,官方的Apache Hadoop的版本不包括Windows二进制文件。

Windows版本支持情况:Hadoop官方人员开发、测试环境分别是32的 Windows Server 2008 和32位的 Windows Server 2008 R2 。因为服务器型号win32位的API相似,所以官方推测Windows7或者Windows Vista应该也是支持的。Windows XP Hadoop官方不测试也不支持。

总之,Windows版本的Hadoop需要在2.2之后可自行编译,并且不支持Windows XP,在其他Windows平台下,官方不予严格的支持(仅仅提供二进制文件,部分组件需要自行编译)。

以下内容是具体实施,Hadoop集群在Windows环境下支持情况调研与测试部署,罗列了Windows实际部署情况,以及所遇到的问题和解决方案。

1. 自行编译Windows环境的二进制包 Requirements: * Windows System * JDK 1.6+ * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffer 2.5.0 * CMake 2.6 or newer * Windows SDK or Visual Studio 2010 Professional * Unix command-line tools from GnuWin32 or Cygwin: sh, mkdir, rm, cp, tar, gzip * zlib headers (if building native code bindings for zlib) * Internet connection for first build (to fetch all Maven and Hadoop dependencies) 1. 配置编译环境 1.1. 设置JDK环境

JAVA_HOME设置

<img src=''/>

jdk设置path

Windows 10下编译安装Hadoop2.6

1.2. 安装编译工具maven

下载maven的zip包 将maven的根目录放置系统变量path中

Windows 10下编译安装Hadoop2.6

测试mvn -v

mvn-version

1.3. 安装ProtocolBuffer

下载 先切换到带有pom文件路径中

cd E:\IDE\protobuf-3.0.0-beta-3\java

通过mvn 安装 mvn test 测试 mvn install

mvn install.png

1.4. 安装CMake

下载 安装即可。

1.5. 安装visual studio 2010之后(直接下载安装,不再赘述) 或者安装Windows SDK

下面关于Hadoop的文章您也可能喜欢,不妨看看:

CentOS7.2下Hadoop2.7.2集群搭建

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 

CentOS安装和配置Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

2. 编译安装

设置环境编译环境位数 set Platform=x64 (when building on a 64-bit system) set Platform=Win32 (when building on a 32-bit system) 设置安装包环境 设置环境变量添加至将ZLIB_HOME至环境变量中 set ZLIB_HOME=C:\zlib-1.2.7 mvn编译命令

mvn package -Pdist,native-win -DskipTests -Dtar

mvn-p

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/33652d83e37f19c0e7924935b1615374.html