Windows下使用Hadoop实例的研究
2.1 Windows下使用Hadoop的环境配置:
(1)安装Hadoop前,首先需要安装Cygwin
Cygwin是一个在Windows平台上运行的Unix模拟环境,提供了shel1支持。安装中需要选中Net category中的openssh。如图2所示。
图2 下载Cygwin安装包
(2)配置Windows系统变量
新建系统变量CYGWIN.变量值为ntsec tty编辑系统变量里的Path变量.加入C:\eygwin\bin
(3)安装Java,即安装idk,配置JAVA环境变量。
2.2 单机模式
(1)启动Cygwin,解压缩Hadoop安装包,例如Hapoop安装包位于e:\下,则解压命令为$tar—zxvf/cygdrive/e/hadoop一0.19.2.tar.gz。
解压默认目录在C:\cygwinhome\user文件夹下。
(2)编辑C:\cygwin\home\Administrato ad0op-0.19.2\conf里的hadoop-env.sh,将JAVA_HOME变量设置成JDK安装目录,如果路径中有空格,需要把Program Files改成Progra~1。
[img][/img]
图3
(3)配置完后即可运行WordCount实例。
在C:\cygwiI ome dministratorhadoop-0.19.2下创建一个输入目录input.新建2个本文文件:
txt1.txt:yangshenyuan hello world hello hadooop
txt2.txt:yangshenyuan bye hadoop
然后运行实例,并将结果输出到output目录下:
$bin/hadoop jar hadoop-0.1 9.2-examples.jar wordeount inputoutput