HIVE 2.3.4 本地安装与部署 (Ubuntu)

配置环境总是令人头大!
苦苦挣扎数日后,博主总算活过来了!
特分享成功配置HIVE的过程!

类似HadoopHive也有三种也不同的部署模式(本文采用第二种):

内嵌模式:将元数据保存在Hive内嵌的Derby数据库中,只允许一个会话连接

本地模式:(以MySQL为例)在本地安装MySQL,将元数据保存在MySQL中,支持多个会话、多用户连接

远程模式:将元数据保存在远端数据库中

基本环境:

Ubuntu 18.04 (Ubuntu 16.04 同样适用噢)

Hadoop 2.9.1

注:本文在已配置Hadoop的用户(用户名为hadoop)下执行操作。

1.下载安装hive

下载hive

可以从Apache官方镜像直接下载:
https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

也可以通过命令行命令:
wget

解压缩到路径 /usr/local
tar -zxvf ./apache-hive-2.3.4-bin.tar.gz -C /usr/local/

重命名
sudo mv apache-hive-2.3.4-bin hive

2.配置Hive 2.1 配置环境变量

vim ~/.bashrc
也可用gedit等其他编辑器打开并编辑
在 bashrc 中添加

# /usr/local/hadoop 为 Hadoop 安装目录 export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/sbin:/usr/local/hive/bin export HIVE_HOME=http://www.likecs.com/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin

保存后,执行
source ~/.bashrc
使文件生效

2.2 修改配置文件 hive-site.xml

进入hive配置目录:
cd /usr/local/hive/conf
将hive-default.xml.template重命名为hive-default.xml
sudo mv hive-default.xml.template hive-default.xml
新建一个配置文件hive-site.xml并编辑
sudo vim hive-site.xml
在hive-site.xml中写入MySQL配置信息(虽然我们还没有安装MySQL):
注意,第三部分<value>hadoop</value>处hadoop为MySQL用户名
同样,第四部分<value>123456</value>处123456为MySQL密码

<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="http://www.likecs.com/configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hadoop</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> <description>password to use against metastore database</description> </property> </configuration> 2.3修改配置文件 hive-env.xml

将hive-env.xml.template重命名为hive-env.xml:
sudo mv hive-env.xml.template hive-env.xml
在hive-env.xml中增加:

# Hadoop的位置: export HADOOP_HOME=http://www.likecs.com/usr/local/hadoop # hive的conf目录位置: export HIVE_CONF_DIR=http://www.likecs.com/usr/local/hive/conf # hive的lib目录位置: export HIVE_AUX_JARS_PATH=http://www.likecs.com/usr/local/hive/lib 3. 下载安装MySQL 3.1 安装

更新软件源: sudo apt-get update
安装MySQL:sudo apt-get install mysql-server
安装过程会设置root用户密码,设置完成后自动安装即可

3.2 启动MySQL

service mysql start

3.3 检查是否启动成功

sudo netstat -tap | grep mysql
有mysql信息即启动成功,也说明安装成功

3.4 配置驱动(mysql jdbc,本文使用5.1.46版本)

命令行下载:
sudo wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz
解压:
sudo tar -zxvf mysql-connector-java-5.1.46.tar.gz
移动到hive/lib目录下
sudo cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /usr/local/hive/lib
友情提醒,这里有个坑... 如果使用其他版本connector,版本不宜过低

4.配置权限 4.1 配置MySQL接入权限 # root登陆MySQL: sudo mysql -u root -p # 进入mysql shell,注意 ";" 标识一条命令结束 # 授予权限给用户hadoop,密码123456: mysql> GRANT ALL ON *.* TO 'hadoop'@'%' IDENTIFIED BY '123456'; # 配置成功,回显: Query OK, 0 rows affected, 1 warning (0.02 sec) # 退出: mysql> exit; # 退出成功,回显: Bye 之后可以以hadoop用户(非授权用户需要 sudo 指令) mysql -u hadoop -p 登陆 mysql shell 4.2 创建仓库并配置权限

在hdfs上创建相关仓库,并配置权限:
若未启动hadoop,请先启动hadoop

hadoop fs -mkdir -p /user/hive/warehouse hadoop fs -mkdir -p /user/hive/tmp hadoop fs -mkdir -p /user/hive/log hadoop fs -chmod -R 777 /user/hive/warehouse hadoop fs -chmod -R 777 /user/hive/tmp hadoop fs -chmod -R 777 /user/hive/log

注意,直接调用hadoop fs命令需要已配置相关环境变量

4.3 初始化

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpfxwg.html