使用命令 hadoop namenode -format。每次重新安装或者初次安装hadoop都需要且仅一次格式化。
(4)启动Hadoop
在Hadoop安装根目录sbin文件存放这启动和关闭Hadoop的运行文件。为了启动关闭方便,把hadoop目录下的sbin添加环境中。
Hadoop的命令如下(*.sh 是linux系统使用的命令,*.cmd是windows系统使用的命令)
①启动HDFS 输入命令 start-dfs.sh,启动namenode、 datanode 、secondary namenode
②输入jps查看hadoop进程
③输入hadoop fs -ls / 查看HDFS的文件根目录。(为了演示效果,我通过-mkdir 命令 创建一个temp文件夹,hadoop的命令类似linux系统)
Hadoop做了一个web管理系统,我们可以输入Hadoop所配置的IP和端口进行访问,比如我的是192.168.157.130:50070(默认是50070端口)
④输入start-yarn.sh启动yarn,并输入jps查看进程,我们可以发现启动了两个进程,ResourceManager和NodeManager。
如果能正常启动着几个进程,说明Hadoop环境搭建完成。
三、遇到的问题
1、无法启动Datanode
在配置Hadoop过程中可能进行多次的测试,所以避免不了重复多次要格式化namenode,网上一些说法是多次格式化namenode导致namenode和datanode的VERSION不一致,其解决的方法是拷贝namenode的VERSION文件覆盖datanode的。我的解决方法是,删除文件夹,重新格式化,该方法会导致数据的丢失,由于是初始搭建,所以存在的都是测试的无用数据。
2、无法启动Secondary Namenode
①查看core-site.xml文件是否配置了hadoop.tmp.dir。
②是否正确创建hadoop.tmp.dir对应的路径,同时要访问权限设置为777。
3、无法访问50070端口
查看hdfs-site.xml文件是否配置dfs.http.address,值为0.0.0.0:50070。