版本:2.77 jdk:1.8 系统:centos7
注意不要在root下解压,要单独建一个用户安装hadoop及其组件。
一、先查看系统是否有自带j
#dk: rpm -qa|grep java
通常是如下4个包:
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
步骤三:验证一下是还有jdk
#rpm -qa|grep java
#rpm -qa | grep jdk
#rpm -qa | grep gc
#java -version
没有内容证明已经卸载干净了
二、安装jkd&hadoop:创建hadoop安装目录:mkdir /soft
在soft下:
tar –zxvf jdk-7u80-linux-x64.tar.gz
tar -xzvf hadoop-2.7.3.tar.gz
建立符号链接:
ln –s jkd文件名 jdk
ln –s hadoop-2.7.3 hadoop
配置hadoop&jdk环境变量:
su root
vi /etc/profile
使环境变量即刻生效
source /etc/profile
回到hadoop用户,进入任意目录下,测试是否ok
java –version
hadoop version
配置hadoop:
伪分布模式:
编辑:core-site.xml
<?xml version="1.0"?>
<!-- core-site.xml -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
编辑:httpfs-site.xml
<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
编辑:mapred-site.xml (框架)–是由mapred-site.xml.template拷贝过来的模板
cp mapred-site.xml.template mapred-site.xml
<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
编辑:yarn-site.xml(底层)
<?xml version="1.0"?>
<!-- yarn-site.xml -->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
配置SSH:
查看系统是否有安装的ssh包
yum list installed | grep ssh
如果没有要自行安装ssh
检查是否启动了sshd进程:ps –Af | grep sshd
在client侧生产公私密匙对:ssh-keygen -t rsa -P \'\' -f ~/.ssh/id_rsa
追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
修改authorized_keys的权限为644:chmod 644 authoried_keys
测试: ssh localhost