Hadoop单机模式环境搭建关键步骤

Hadoop环境需要sshd服务一直开启,故,在服务器上需要按照ssh服务,以Ubuntu Linux为例,按照ssh服务如下:

sudo apt-get install ssh

sudo apt-get install rsync

编辑HADOOP_HOME/conf/hadoop-env.sh文件,将JAVA_HOME设置为Java安装路径。

Hadoop的集群分为三种模式:

单机模式
伪分布式模式
完全分布式模式
不管哪种模型,都需要系统能够免密码ssh设置:
$ssh localhost
看看是否需要登录本机需要密码,如果需要使用如下操作:
$ssh -keygen -t dsp -P '' -f ~/.ssh/id_dsa
$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

执行:
格式化一个新的分布式文件系统
$bin/hadoop namenode -format
启动Hadoop守护进程:
$bin/start-all.sh

浏览NameNode和JobTracker的网络接口,默认地址分别为:
NameNode :50070
JobTracker :50030
将输入文件copy到分布式文件系统:
$bin/hadoop fs -put conf input
运行示例程序;
$bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
查看输出文件:
$bin/hadoop fs -get output output
$cat output/*
或者在分布式文件系统上查看输出文件:
$bin/hadoop fs -cat output/*

停止Hadoop守护进程:
$bin/stop-all.sh

完全分布式集群:
通常选择集群中的一台机器作为NameNode,另外一台不同的机器作为JobTracker,这些被称为Master,余下的机器即作为DataNode,又作为TaskTracker,这些被称为Slaves。
在conf/slaves文件中列出所有slaves的主机名称或者Ip地址,一行一个。

更具体的完全分布式环境搭建可以见经验总结文章: Hadoop环境搭建()和 Hadoop搭建和Eclipse开发环境设置 (

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/bb62ac3f7c8ea1e92f84cbc96d25680b.html