大数据学习系列之五 ----- Hive整合HBase图文详解 (2)

在

<property> <name>dfs.name.dir</name> <value>/root/hadoop/dfs/name</value> <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description> </property> <property> <name>dfs.data.dir</name> <value>/root/hadoop/dfs/data</value> <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> <description>need not permissions</description> </property> 3.2.4 修改mapred-site.xml

如果没有 mapred-site.xml 该文件，就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
输入:

vim mapred-site.xml

修改这个新建的mapred-site.xml文件，在

<property> <name>mapred.job.tracker</name> <value>master:9001</value> </property> <property> <name>mapred.local.dir</name> <value>/root/hadoop/var</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 3，Hadoop启动

启动之前需要先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:

./hadoop namenode -format

格式化成功后，再切换到/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:

start-dfs.sh start-yarn.sh

启动成功后，输入jsp查看是否启动成功
在浏览器输入 ip+8088 和ip +50070 界面查看是否能访问
能正确访问则启动成功

四、Hive的环境配置

Hive环境的具体配置在我的这篇大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机) 以及介绍得很详细了。本篇就大概介绍下。

修改hive-site.xml

切换到 /opt/hive/hive2.1/conf 目录下
将hive-default.xml.template 拷贝一份，并重命名为hive-site.xml
然后编辑hive-site.xml文件

cp hive-default.xml.template hive-site.xml vim hive-site.xml

编辑hive-site.xml文件，在

<!-- 指定HDFS中的hive仓库地址 --> <property> <name>hive.metastore.warehouse.dir</name> <value>/root/hive/warehouse</value> </property> <property> <name>hive.exec.scratchdir</name> <value>/root/hive</value> </property> <!-- 该属性为空表示嵌入模式或本地模式，否则为远程模式 --> <property> <name>hive.metastore.uris</name> <value></value> </property> <!-- 指定mysql的连接 --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value> </property> <!-- 指定驱动类 --> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <!-- 指定用户名 --> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <!-- 指定密码 --> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> </property> <property> <name>hive.metastore.schema.verification</name> <value>false</value> <description> </description> </property>

然后将配置文件中所有的

${system:java.io.tmpdir}

更改为 /opt/hive/tmp (如果没有该文件则创建)，
并将此文件夹赋予读写权限，将
${system:user.name}
更改为 root

例如:
更改之前的:

更改之后:

配置图: