Hadoop1.0之集群搭建

VirtualBox虚拟机 下载地址

下载择操作系统对应的基础安装包
下载扩展包(不区分操作系统)

安装基础包

按照提示安装即可

扩展包安装

1 先安装基础包

2 安装扩展包

打开虚拟机 -> 管理 -> 全局设定 -> 扩展 -> 点击右边的加号 -> 选择下载的扩展包文件,按照提示安装即可

VBox安装CentOS7 下载minimalISO

从镜像列表里选择离自己近的镜像下载,我选择的是网易163源

虚拟机配置规划

CPU 2核,内存 1G,SWAP:2G,硬盘 40G(动态增长,非预先分配固定模式)

创建虚拟机

新建 -> 按照提示操作即可

安装CentOS7操作系统 创建包含操作系统iso文件的光盘

选中刚才创建的虚拟机 -> 设置 -> 存储 -> 点击+号,然后选择CentOS7 ISO文件

安装操作系统

启动虚拟机,会显示图形化安装界面,按照提示操作即可,会提示一系列的设置,硬盘分区我选择的自动分区。
各种设置都完成后,点击安装,等待一段时间,安装需要一些时间,我的机器上,大概等了十几分钟:)

配置虚拟机网络

最好选择NAT网络模式

安装依赖的包

因为是安装的是最小化ISO,有些基础的包都没有

yum install gcc wget lrzsz vim

问题

1 NAT网络虚拟机可以ping通主机,但主机ping不通虚拟机

采用了以下办法都不能解决(PS:以前是可以的)

1.关闭主机,虚拟机防火墙
2.重新安装VBox和虚拟机

折腾了几小时,未找到原因,先暂时使用桥接模式,后面再看看能不能想到是什么原因

Hadoop集群环境搭建 集群规划

使用3台虚拟机
1台master, ip地址:192.168.1.15
2台slave, slave1 ip地址:192.168.1.15, slave2 ip地址:192.168.1.16

实际环境中,namenode需要多分配内存,datanode需要多分配硬盘空间

master虚拟机操作 安装java 下载地址

选择安装java8

解压 tar -xvzf jdk-8u181-linux-x64.tar.gz 设置环境变量 export JAVA_HOME=http://www.likecs.com/usr/local/src/jdk1.8.0_181 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib export PATH=$PATH:$JAVA_HOME/bin 环境变量生效 source ~/.bashrc 问题

x86,x64是什么意思?
x86:32位,x64:64位

2.选择tar.gz还是rpm?
这个看个人喜好吧,我选择的tar.gz,需要单独配置java相关的环境变量

hadoop 1.2.1安装 解压 [root@localhost src]# tar -xvzf hadoop-1.2.1-bin.tar.gz 创建tmp目录 [root@localhost src]# cd hadoop-1.2.1 [root@localhost hadoop-1.2.1]# mkdir tmp 配置

进入conf目录

[root@localhost hadoop-1.2.1]# cd conf [root@localhost conf]# pwd /usr/local/src/hadoop-1.2.1/conf

配置masters

[root@localhost conf]# vim masters master

配置slaves

[root@localhost conf]# vim slaves slave1 slave2

配置core-site.xml

vim core-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="http://www.likecs.com/configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/src/hadoop-1.2.1/tmp</value> </property> <property> <name>fs.default.name</name> <value>hdfs://192.168.1.15:9000</value> </property> </configuration>

配置mapred-site.xml

[root@localhost conf]# vim mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="http://www.likecs.com/configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>:9001</value> </property> </configuration>

配置hdfs-site.xml

[root@localhost conf]# vim hdfs-site.xml <?xml-stylesheet type="text/xsl" href="http://www.likecs.com/configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration>

6.配置hadoop-env.sh

[root@localhost conf]# vim hadoop-env.sh # 增加 export JAVA_HOME=http://www.likecs.com/usr/local/src/jdk1.8.0_181

配置hosts

[root@localhost conf]# vim /etc/hosts 192.168.1.15 master 192.168.1.16 slave1 192.168.1.17 slave2

配置hostname

[root@localhost conf]# hostnamectl set-hostname master [root@localhost conf]# hostnamectl status Static hostname: master Icon name: computer-vm Chassis: vm Machine ID: 8751162d551a426393cd5e5c2fadf3d3 Boot ID: 4d3093f75e514da399ff522bea8b420f Virtualization: kvm Operating System: CentOS Linux 7 (Core) CPE OS Name: cpe:/o:centos:centos:7 Kernel: Linux 3.10.0-862.el7.x86_64 Architecture: x86-64 slave1虚拟机操作 创建

从master克隆一份(克隆之前,先退出虚拟机)

选中master虚拟机->点击鼠标右键->复制->设置虚拟名(勾选重新初始化所有网卡地址)->接下来的步骤按提示操作

设置hostname hostnamectl set-hostname slave2 slave2虚拟机操作

操作同slave1,只不过主机名设置为slave2

虚拟机间建立互信,实现免密码登录

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzpdgw.html