HadoopDB集群配置方法(2)

4 数据加载

在此以 raw 这个 talbe 当作例子进行讲解。根据前面HadoopDB.xml的内容,集群中的两个节点,第一个节点的数据库名称为udb0 ,第二个节点为udb1,首先分别创建这两个数据库: hadoop@Cluster01:~$ createdb udb0
hadoop@Cluster02:~$ createdb udb1 在对应数据库上建立raw 这个table:
hadoop@Cluster01:~$ psql udb0
udb0=# 
CREATE TABLE raw (
ID int,
NAME varchar(300)
); 同理如 Cluster02 先将本地文件系统中的数据put到HDFS中: $ hadoop fs -put  localfile  input_in_hdfs/ 数据切割: 使用 HadoopDB 所提供的切割工具将数据切割成n份(一般,n是集群有节点数目),以下例子中:n=2,每一份数据的分割符是'/n':
$ hadoop jar lib/hadoopdb.jar edu.yale.cs.hadoopdb.dataloader.GlobalHasher input_in_hdfs out_in_hdfs 2 '/n' 0 在各个节点上,将切割后的数据,从hdfs中传到各个节点的本地文件系统中: $ hadoop fs -get out_in_hdfs/part-00000 /home/hadoop/p0 将本地文件载入到数据库中:
hadoop@Cluster01:~$ psql udb0 
udb0=# COPY RAW FROM '/home/hadoop/p0' WITH DELIMITER E'/t' ;
同理如 Cluster02

5 SMS安装配置

第3步下载的hadoopdb解压后包含SMS_dist.tar.gz文件夹。

SMS的安装方法很简单:首先将其解压,然后打开bin目录下的hive-config.sh文件,再最后加上一句:

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/ppdyd.html