Ubuntu 14.04安装Hadoop2.5.2(伪分布模式)

记录下Ubuntu 14.04下安装Hadoop2.5.2(伪分布模式)的详细过程,希望对大家有所帮助。

Hadoop也可以运行在一个伪分布模式,每个Hadoop守护进程运行在一个单独的Java程序的一个节点。

伪分布模式需要在单机模式基础上进行配置。

在/software/hadoop/etc/hadoop/ 目录下
core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml等文件。
下面对以上文件进行配置。

一、etc/hadoop/core-site.xml
包含了hadoop启动时的配置信息。

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>

二、etc/hadoop/hdfs-site.xml
用来配置集群中每台主机都可用,指定主机上作为namenode和datanode的目录。

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

三、etc/hadoop/mapred-site.xml
默认情况下,/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件,我们要复制该文件,并命名为mapred.xml,该文件用于指定MapReduce使用的框架

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

四、etc/hadoop/yarn-site.xml
包含了MapReduce启动时的配置信息。

<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

五、格式化hdfs

hdfs namenode -format

只需要执行一次即可,如果在hadoop已经使用后再次执行,会清除掉hdfs上的所有数据。

六、启动Hadoop
经过上文所描述配置和操作后,下面就可以启动这个单节点的集群
执行启动命令:

sbin/start-dfs.sh

1

执行该命令时,如果有yes /no提示,输入yes回车即可。


接下来,执行:

sbin/start-yarn.sh

执行完这两个命令后,Hadoop会启动并运行。
执行 jps命令,会看到Hadoop相关的进程。

浏览器打开 :50070/,会看到hdfs管理页面。

浏览器打开 :8088,会看到hadoop进程管理页面。

更多详情见请继续阅读下一页的精彩内容

--------------------------------------分割线 --------------------------------------

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/c6c34fe3eef21ceea9daaa3bdd525266.html