大数据学习系列之六 ----- Hadoop+Spark环境搭建 (2)

Hadoop的具体配置在大数据学习系列之一 ----- Hadoop环境搭建(单机) ： 中介绍得很详细了。所以本文就大体介绍一下。
注:具体配置以自己的为准。

1，环境变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

配置文件:

export HADOOP_HOME=http://www.likecs.com/opt/hadoop/hadoop2.8 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH 2，配置文件更改

先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下

5.2.1 修改 core-site.xml

输入:

vim core-site.xml

在

<configuration> <property> <name>hadoop.tmp.dir</name> <value>/root/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> </configuration> 5.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改为自己的JDK路径

export JAVA_HOME=${JAVA_HOME}

修改为：

export JAVA_HOME=http://www.likecs.com/home/java/jdk1.8 5.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在

<property> <name>dfs.name.dir</name> <value>/root/hadoop/dfs/name</value> <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description> </property> <property> <name>dfs.data.dir</name> <value>/root/hadoop/dfs/data</value> <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> <description>need not permissions</description> </property> 5.2.4 修改mapred-site.xml

如果没有 mapred-site.xml 该文件，就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
输入:

vim mapred-site.xml

修改这个新建的mapred-site.xml文件，在

<property> <name>mapred.job.tracker</name> <value>master:9001</value> </property> <property> <name>mapred.local.dir</name> <value>/root/hadoop/var</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 3，Hadoop启动

注:如果已经成功配置了就不用了
启动之前需要先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:

./hadoop namenode -format

格式化成功后，再切换到/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:

start-dfs.sh start-yarn.sh

启动成功后，输入jsp查看是否启动成功
在浏览器输入 ip+8088 和ip +50070 界面查看是否能访问
能正确访问则启动成功

六、Spark启动

启动spark要确保hadoop已经成功启动
首先使用jps命令查看启动的程序
在成功启动spark之后，再使用jps命令查看
切换到Spark目录下
输入:

cd /opt/spark/spark1.6-hadoop2.4-hive/sbin

然后启动Spark
输入:

start-all.sh

然后在浏览器输入
:8080/

正确显示该界面，则启动成功

注:如果spark成功启动，但是无法访问界面，首先检查防火墙是否关闭，然后在使用jps查看进程，如果都没问题的，一般就可以访问界面。如果还是不行，那么检查hadoop、scala、spark的配置。