/home/hadoop/filedta/data01 DataNode存放块数据的本地文件系统路径,逗号分割的列表。 当这个值是逗号分割的目录列表时,数据将被存储在所有目录下,通常分布在不同设备上。 (程序自己创建)
(五) 在namenode 上格式化
/home/hadoop/hadoop/bin/hadoop namenode -format
查看输出保证分布式文件系统格式化成功
执行完后可以到master机器上看到/home/hadoop//name1和/home/hadoop//name2两个目录。在主节点 master上面启动hadoop,主节点会启动所有从节点的hadoop。
(六) /home/hadoop/hadoop/bin/start-all.sh (启动所有服务)
执行完毕后,可以用jps 查看所有启动的服务 (启动日志在hadoop安装的logs目录下)
[hadoop@master ~]$ jps
16276 SecondaryNameNode
16374 JobTracker
16103 NameNode
19003 Jps
这时可以去看看dataname节点上有没有创建数据目录,当然也可以用jps查看,但是我的dataname有得这个命令可以用,有得不可以,原因待查
(七) 上传文件测试
/home/hadoop/hadoop/bin/hadoop dfs -put X-ForWarded-For-survey.beisen.com-10.22.1.35_D2013070* /home/iis_log/survey.beisen.com/20130705
(八) 查看上传的文件
/home/hadoop/hadoop/bin/hadoop dfs -ls /home/iis_log/survey.beisen.com/20130705
advanceiislog map/reduces 处理过程,下一节介绍!! 见