首先先不看理论,搭建起环境之后再看;搭建伪分布式是为了模拟环境,调试方便。
电脑是Windows 10,用的虚拟机VMware Workstation 12 Pro,跑的Linux系统是CentOS6.5 ,安装的Hadoop2.6.0,jdk1.8;
1.准备工作
准备工作:把JDK和Hadoop安装包上传到linux系统(hadoop用户的根目录)
系统环境:IP:192.168.80.99,
linux用户:
root/123456,hadoop/123456
主机名:node
把防火墙关闭,root执行:service iptables stop
2.jdk安装
1.在hadoop用户的根目录,Jdk解压,(hadoop用户操作)tar -zxvf jdk-8u65-linux-x64.tar.gz 解压完成后,在hadoop用户的根目录有一个jdk1.8.0_65目录
2.配置环境变量,需要修改/etc/profile文件(root用户操作)切到root用户,输入su命令 vi /etc/profile 进去编辑器后,输入i,进入vi编辑器的插入模式在profile文件最后添加
JAVA_HOME=/home/hadoop/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
编辑完成后,按下esc退出插入模式输入:,这时在左下角有一个冒号的标识
q 退出不保存
wq 保存退出
q! 强制退出
3.把修改的环境变量生效(hadoop用户操作)
执行source /etc/profile
4.执行 java -version 查看版本,如果成功证明jdk配置成功
3.Hadoop 安装
1.在hadoop用户的根目录,解压(hadoop用户操作)
tar -zxvf hadoop-2.6.0.tar.gz
解压完成在hadoop用户的根目录下有一个hadoop-2.6.0目录
2.修改配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.sh(hadoop用户操作)
export JAVA_HOME=/home/hadoop/jdk1.8.0_65
3.修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,添加(hadoop用户操作)
<property>
<name>fs.defaultFS</name>
<value>hdfs://node:9000</value>
</property>
4.修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,添加(hadoop用户操作)
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
5.修改修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml (hadoop用户操作),这个文件没有,需要复制一份
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6.修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,添加(hadoop用户操作)
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
7.修改主机名称(root用户操作),重启生效
vi /etc/sysconfig/network
修改HOSTNAME的值为用户名
8.修改/etc/hosts文件(root用户操作),添加: ip 主机名称
192.168.44.199(用自己的ip,下边讲如何获得) node
附:查看ip地址
编辑-->虚拟网络编辑器
net模式,选DHCP设置,得到ip地址起始
net设置,得到网关
点右边小电脑,选择 VPN Connections-->Configue VPN
选中eth0,点有右边edit
选择IP Settings ,根据自己的ip按图修改,Address就是你的ip地址,在起始ip地址和结束ip地址之间选一个就行
9.格式化HDFS,在hadoop解压目录下,执行如下命令:(hadoop用户操作)
bin/hdfs namenode -format