使用VMware安装Hadoop全过程(2)

1、将安装包 hadoop-0.21.0.tar.gz 拷贝至 /usr 下

cp /mnt/hgfs/share/hadoop-0.20.2.tar.gz  /usr

2、/usr目录下解压包:tar -zvxf hadoop-0.20.2.tar.gz

解压完毕,出现文件夹:hadoop-0.20.2

六、配置Hadoop

1、配置Hadoop环境参数:

vim /etc/profile

使用VMware安装Hadoop全过程

加入以下信息
:wq 保存 退出

2、reboot 重启电脑

输入 hadoop version 出现版本信息 安装完毕

3、编辑usr/hadoop2-0.20.2/conf/hadoop-env.sh文件

vim conf/hadoop-env.sh

七、单机模式

1、在usr/ usr/hadoop2-0.20.2目录下用root用户:

使用VMware安装Hadoop全过程

2.查看结果    cat output/*

八、伪分布模式

1、hadoop配置:

1)core-site.xml文档内容,(位置在vim /usr/hadoop-0.20.2/conf/core-site.xml)

使用VMware安装Hadoop全过程

2)hdfs-site.xml文档内容:

使用VMware安装Hadoop全过程

3)mapred -site.xml文档内容:

使用VMware安装Hadoop全过程

2、免密码SSH设置:

1)生成密钥对:ssh-keygen –t rsa

一路回车,文件保存在/root/.ssh里

2)进入.ssh目录,执行命令:

cp id_rsa.pub authorized_keys

ssh localhost

使用VMware安装Hadoop全过程

3、Hadoop运行

1)格式化分布式文件系统,在usr/hadoop2-0.20.2目录下:

bin/hadoop namenode –format

2)启动hadoop守护进程,启动五个进程:

bin/start-all.sh

3)运行WordConut实例:

使用VMware安装Hadoop全过程

将本地系统中的input目录复制到HDFS的根目录下,重新命名为in,运行Hadoop自带的WordConut实例。Out为数据处理完后的输出目录,默认为在Hadoop的根目录下,运行之前必须清空或者删除out目录,否则会报错。

4)任务执行完,查看数据处理结果:

使用VMware安装Hadoop全过程

也可以把输出文件从Hadoop分布式文件系统复制到本地文件系统查看

使用VMware安装Hadoop全过程

5)停止Hadoop守护进程。

bin/stop-all.sh

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://127.0.0.1/wyysyp.html