Hadoop2.7.2集群搭建详解（单机）

最新版本Hadoop2.7,如果安装过以前Hadoop2.2或则其他版本，那么集群的安装都是通用的。

如果你还没有虚拟机，请参考：
如果你还没有配置Java，请参考：

参考：

下载安装Hadoop

1、下载地址

http://hadoop.apache.org/releases.html

我下载的是2.7.2，官网在2.5之后默认提供的就是64位的，这里直接下载下来用即可

2、安装Hadoop

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/soft

3、查看Hadoop是32 or 64 位
参考：

cd /opt/soft/hadoop-2.7.2/lib/native file libhadoop.so.1.0.0

4、配置/etc/hosts

vi /etc/hosts

配置启动Hadoop

1、修改hadoop2.7.2/etc/hadoop/hadoop-env.sh指定JAVA_HOME

# The java implementation to use. export JAVA_HOME=/opt/soft/jdk1.8.0_91

2、修改hdfs的配置文件

修改hadoop2.7.2/etc/hadoop/core-site.xml 如下：

<configuration> <!-- 指定HDFS老大（namenode）的通信地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://singlenode:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储路径 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/soft/hadoop-2.7.2/tmp</value> </property> </configuration>

这里fs.defaultFS的value最好是写本机的静态IP当然写本机主机名，再配置hosts是最好的，如果用localhost，然后在windows用java操作hdfs的时候，会连接不上主机。

修改hadoop2.7.2/etc/hadoop/hdfs-site.xml 如下：

<configuration> <!-- 设置hdfs副本数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

3、配置SSH免密码登录

配置前：

ssh localhost

会出现如上效果，要求我输入本机登录密码

配置方法：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys

配置后，不用密码可以直接登录了

4、hdfs启动与停止

第一次启动得先格式化（最好不要复制）：

./bin/hdfs namenode –format

启动hdfs

./sbin/start-dfs.sh

看到如下效果表示成功：

测试用浏览器访问：（如果没响应，则开发50070端口）

firewall-cmd --zone=public --add-port=50070/tcp --permanent firewall-cmd --reload http://192.168.2.100:50070/

效果如下：

停止hdfs

sbin/stop-dfs.sh

5、常用操作：
HDFS shell
查看帮助

hadoop fs -help <cmd>

上传

hadoop fs -put <linux上文件> <hdfs上的路径>

查看文件内容

hadoop fs -cat <hdfs上的路径>

查看文件列表

hadoop fs -ls /

下载文件

hadoop fs -get <hdfs上的路径> <linux上文件>

上传文件测试
创建一个words.txt 文件并上传

vi words.txt Hello World Hello Tom Hello Jack Hello Hadoop Bye hadoop

将words.txt上传到hdfs的根目录

bin/hadoop fs -put words.txt /

可以通过浏览器访问：:50070/

这里的words.txt就是我们上传的words.txt

配置启动YARN

从上图看看出我们的MapReduce是运行在YARN上的，而YARN是运行在HDFS之上的，我们已经安装了HDFS现在来配置启动YARN，然后运行一个WordCount程序。

1、配置etc/hadoop/mapred-site.xml：