1、将安装包 hadoop-0.21.0.tar.gz 拷贝至 /usr 下
cp /mnt/hgfs/share/hadoop-0.20.2.tar.gz /usr
2、/usr目录下解压包:tar -zvxf hadoop-0.20.2.tar.gz
解压完毕,出现文件夹:hadoop-0.20.2
六、配置Hadoop
1、配置Hadoop环境参数:
vim /etc/profile
加入以下信息
:wq 保存 退出
2、reboot 重启电脑
输入 hadoop version 出现版本信息 安装完毕
3、编辑usr/hadoop2-0.20.2/conf/hadoop-env.sh文件
vim conf/hadoop-env.sh
七、单机模式
1、在usr/ usr/hadoop2-0.20.2目录下用root用户:
2.查看结果 cat output/*
八、伪分布模式
1、hadoop配置:
1)core-site.xml文档内容,(位置在vim /usr/hadoop-0.20.2/conf/core-site.xml)
2)hdfs-site.xml文档内容:
3)mapred -site.xml文档内容:
2、免密码SSH设置:
1)生成密钥对:ssh-keygen –t rsa
一路回车,文件保存在/root/.ssh里
2)进入.ssh目录,执行命令:
cp id_rsa.pub authorized_keys
ssh localhost
3、Hadoop运行
1)格式化分布式文件系统,在usr/hadoop2-0.20.2目录下:
bin/hadoop namenode –format
2)启动hadoop守护进程,启动五个进程:
bin/start-all.sh
3)运行WordConut实例:
将本地系统中的input目录复制到HDFS的根目录下,重新命名为in,运行Hadoop自带的WordConut实例。Out为数据处理完后的输出目录,默认为在Hadoop的根目录下,运行之前必须清空或者删除out目录,否则会报错。
4)任务执行完,查看数据处理结果:
也可以把输出文件从Hadoop分布式文件系统复制到本地文件系统查看
5)停止Hadoop守护进程。
bin/stop-all.sh