Hadoop + Hive + Map +reduce 集群安装部署(2)


          /home/hadoop/filedta/data01      DataNode存放块数据的本地文件系统路径,逗号分割的列表。 当这个值是逗号分割的目录列表时,数据将被存储在所有目录下,通常分布在不同设备上。 (程序自己创建)


(五)  在namenode 上格式化
    /home/hadoop/hadoop/bin/hadoop namenode -format
          查看输出保证分布式文件系统格式化成功
          执行完后可以到master机器上看到/home/hadoop//name1和/home/hadoop//name2两个目录。在主节点                master上面启动hadoop,主节点会启动所有从节点的hadoop。
(六)  /home/hadoop/hadoop/bin/start-all.sh (启动所有服务)
        执行完毕后,可以用jps 查看所有启动的服务      (启动日志在hadoop安装的logs目录下)   
[hadoop@master ~]$ jps
16276 SecondaryNameNode
16374 JobTracker
16103 NameNode
19003 Jps


这时可以去看看dataname节点上有没有创建数据目录,当然也可以用jps查看,但是我的dataname有得这个命令可以用,有得不可以,原因待查

(七) 上传文件测试
/home/hadoop/hadoop/bin/hadoop dfs -put X-ForWarded-For-survey.beisen.com-10.22.1.35_D2013070* /home/iis_log/survey.beisen.com/20130705

(八) 查看上传的文件
/home/hadoop/hadoop/bin/hadoop dfs -ls /home/iis_log/survey.beisen.com/20130705

advanceiislog map/reduces 处理过程,下一节介绍!! 见

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/d16480e66a29867f3bf2487730f3a3da.html