不需要在Cygwin下安装Hadoop,官方也不推荐使用Cygwin。
Hadoop版本支持情况:Hadoop 2.2版本起包括Windows的原生支持。截至2014年一月份,官方的Apache Hadoop的版本不包括Windows二进制文件。
Windows版本支持情况:Hadoop官方人员开发、测试环境分别是32的 Windows Server 2008 和32位的 Windows Server 2008 R2 。因为服务器型号win32位的API相似,所以官方推测Windows7或者Windows Vista应该也是支持的。Windows XP Hadoop官方不测试也不支持。
总之,Windows版本的Hadoop需要在2.2之后可自行编译,并且不支持Windows XP,在其他Windows平台下,官方不予严格的支持(仅仅提供二进制文件,部分组件需要自行编译)。
以下内容是具体实施,Hadoop集群在Windows环境下支持情况调研与测试部署,罗列了Windows实际部署情况,以及所遇到的问题和解决方案。
1. 自行编译Windows环境的二进制包 Requirements: * Windows System * JDK 1.6+ * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffer 2.5.0 * CMake 2.6 or newer * Windows SDK or Visual Studio 2010 Professional * Unix command-line tools from GnuWin32 or Cygwin: sh, mkdir, rm, cp, tar, gzip * zlib headers (if building native code bindings for zlib) * Internet connection for first build (to fetch all Maven and Hadoop dependencies) 1. 配置编译环境 1.1. 设置JDK环境JAVA_HOME设置
jdk设置path
1.2. 安装编译工具maven下载maven的zip包 将maven的根目录放置系统变量path中
测试mvn -v
1.3. 安装ProtocolBuffer下载 先切换到带有pom文件路径中
cd E:\IDE\protobuf-3.0.0-beta-3\java通过mvn 安装 mvn test 测试 mvn install
1.4. 安装CMake下载 安装即可。
1.5. 安装visual studio 2010之后(直接下载安装,不再赘述) 或者安装Windows SDK下面关于Hadoop的文章您也可能喜欢,不妨看看:
CentOS7.2下Hadoop2.7.2集群搭建
Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置
2. 编译安装设置环境编译环境位数 set Platform=x64 (when building on a 64-bit system) set Platform=Win32 (when building on a 32-bit system) 设置安装包环境 设置环境变量添加至将ZLIB_HOME至环境变量中 set ZLIB_HOME=C:\zlib-1.2.7 mvn编译命令
mvn package -Pdist,native-win -DskipTests -Dtar