Ubuntu 16.04.3 下安装配置 Hadoop(2)

          使用命令 hadoop namenode -format。每次重新安装或者初次安装hadoop都需要且仅一次格式化。

        (4)启动Hadoop

        在Hadoop安装根目录sbin文件存放这启动和关闭Hadoop的运行文件。为了启动关闭方便,把hadoop目录下的sbin添加环境中。

       

Ubuntu 16.04.3 下安装配置 Hadoop

Hadoop的命令如下(*.sh 是linux系统使用的命令,*.cmd是windows系统使用的命令)

       

Ubuntu 16.04.3 下安装配置 Hadoop

①启动HDFS 输入命令 start-dfs.sh,启动namenode、 datanode 、secondary namenode

②输入jps查看hadoop进程

③输入hadoop fs -ls / 查看HDFS的文件根目录。(为了演示效果,我通过-mkdir 命令 创建一个temp文件夹,hadoop的命令类似linux系统)

Ubuntu 16.04.3 下安装配置 Hadoop

Hadoop做了一个web管理系统,我们可以输入Hadoop所配置的IP和端口进行访问,比如我的是192.168.157.130:50070(默认是50070端口)

Ubuntu 16.04.3 下安装配置 Hadoop

④输入start-yarn.sh启动yarn,并输入jps查看进程,我们可以发现启动了两个进程,ResourceManager和NodeManager。

Ubuntu 16.04.3 下安装配置 Hadoop

如果能正常启动着几个进程,说明Hadoop环境搭建完成。

三、遇到的问题

1、无法启动Datanode

在配置Hadoop过程中可能进行多次的测试,所以避免不了重复多次要格式化namenode,网上一些说法是多次格式化namenode导致namenode和datanode的VERSION不一致,其解决的方法是拷贝namenode的VERSION文件覆盖datanode的。我的解决方法是,删除文件夹,重新格式化,该方法会导致数据的丢失,由于是初始搭建,所以存在的都是测试的无用数据。

  2、无法启动Secondary Namenode

①查看core-site.xml文件是否配置了hadoop.tmp.dir。

②是否正确创建hadoop.tmp.dir对应的路径,同时要访问权限设置为777。

  3、无法访问50070端口

查看hdfs-site.xml文件是否配置dfs.http.address,值为0.0.0.0:50070。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/aa99300c1f051339bd975d3bf9573b71.html