在Windows XP系统下配置Eclipse集成Hadoop开发

一、目的:
由于Hadoop只能在Linux环境下运行,所以对于在windwos系统下使用IDE工作的开发人员来说,调试是件麻烦的工作,所以我们今天要配置的Hadoop开发环境是在Windows XP系统下,并集成eclipse使开发人员在做hadoop开发时更容易调试。

二、本人配置的版本信息:
windows XP系统,
jdk1.6.0_05,
eclipse-jee-indigo-win32 Release 3.7.0,
cygwin 1.7.9-1,
hadoop-0.20.2,

三、配置步骤:
1、安装cygwin:
cygwin的资料很多,参考

2、JAVA安装
对于JAVA的安装与环境配置这里也不再详述,如果不清楚的话,参考
JAVA_HOME=C:/Java/jdk1.6.0_05

3、配置Hadoop
3.1、配置hadoop-env.sh文件,设置export JAVA_HOME=C:/Java/jdk1.6.0_05

3.2、配置HADOOP_HOME=D:\adsitcloud\hadoop-0.20.2

3.3、配置core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="https://www.linuxidc.com/configuration.xsl"?>
<configuration>
<property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/adsitcloud/temporary</value>
</property>
</configuration>

3.4、配置hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="https://www.linuxidc.com/configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
</configuration>

3.5、配置mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="https://www.linuxidc.com/configuration.xsl"?>
<configuration>
<property>
   <name>mapred.job.tracker</name>
   <value>localhost:9001</value>
</property>
</configuration>

3.6、Hadoop启动和一些基本命令
在cygwin环境中,进入Hadoop安装目录,
cd /cygdrive/d/adsitcloud/hadoop-0.20.2
a、格式化hadoop命名节点:bin/hadoop namenode -format
b、启动Hdfs和MapReduce,在这里可以全部启动:bin/start-all.sh
c、以下是基本命令
bin/hadoop dsfadmin –report   查看运行状况,验证配置是否成功,查看datanodes中正常和不正常的个数
bin/hadoop dfs –mkdir yesq   创建名为yesq的目录
bin/hadoop dfs –put .bin/*.txt yesq    把上一目录下所有的txt文件上传到yesq目录
bin/hadoop dfs –ls yesq  列出yesq目录下的文件,输出文件列表信息,此时可以看到刚上传的txt文件。表时已经配置成功。

3.7、输入以下网址查看是否配置成功。
:50070/dfshealth.jsp
点击:Browse the filesystem(:50070/nn_browsedfscontent.jsp),并一直点击目录文件,此时也可以看到刚才上传的txt文件。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/8fcc4f2b7876dd05f0e470a9b8eccd59.html