hadoop环境搭建-伪分布模式

版本:2.77   jdk:1.8  系统:centos7

注意不要在root下解压,要单独建一个用户安装hadoop及其组件。

一、先查看系统是否有自带j

  #dk: rpm -qa|grep java

  通常是如下4个包:

  rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64

  rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64

  rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

  rpm -e --nodeps java-1.7.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

步骤三:验证一下是还有jdk

  #rpm -qa|grep java

  #rpm -qa | grep jdk

  #rpm -qa | grep gc

  #java -version

  没有内容证明已经卸载干净了

二、安装jkd&hadoop:创建hadoop安装目录:mkdir /soft

  在soft下:

  tar –zxvf jdk-7u80-linux-x64.tar.gz

  tar -xzvf hadoop-2.7.3.tar.gz

  建立符号链接:

  ln –s jkd文件名 jdk  

  ln –s hadoop-2.7.3 hadoop

  配置hadoop&jdk环境变量:

  su root

  vi /etc/profile

  

hadoop环境搭建-伪分布模式

  使环境变量即刻生效

  source /etc/profile

  回到hadoop用户,进入任意目录下,测试是否ok

  java –version

   

hadoop环境搭建-伪分布模式

  hadoop version

   

hadoop环境搭建-伪分布模式

配置hadoop:

伪分布模式:

hadoop环境搭建-伪分布模式

编辑:core-site.xml

<?xml version="1.0"?>

<!-- core-site.xml -->

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost/</value>

</property>

</configuration>

hadoop环境搭建-伪分布模式

编辑:httpfs-site.xml

<?xml version="1.0"?>

<!-- hdfs-site.xml -->

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

hadoop环境搭建-伪分布模式

编辑:mapred-site.xml (框架)–是由mapred-site.xml.template拷贝过来的模板

cp mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?>

<!-- mapred-site.xml -->

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

hadoop环境搭建-伪分布模式

编辑:yarn-site.xml(底层)

<?xml version="1.0"?>

<!-- yarn-site.xml -->

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>localhost</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

hadoop环境搭建-伪分布模式

配置SSH:

查看系统是否有安装的ssh包

yum list installed | grep ssh

hadoop环境搭建-伪分布模式

如果没有要自行安装ssh

检查是否启动了sshd进程:ps –Af | grep sshd

hadoop环境搭建-伪分布模式

在client侧生产公私密匙对:ssh-keygen -t rsa -P \'\' -f ~/.ssh/id_rsa

追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

修改authorized_keys的权限为644:chmod 644 authoried_keys

测试: ssh localhost

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzjjdj.html