Hive导入数据的四种方法 (2)


通过上面的输出,我们可以看到从wyp表中查询出来的东西已经成功插入到test表中去了!如果目标表(test)中不存在分区字段,可以去掉partition(age=’25′)语句。当然,我们也可以在select语句里面通过使用分区值来动态指明分区:

1. hive> set hive.exec.dynamic.partition.mode=nonstrict;

2. hive> insert into table test

3.     > partition (age)

4.     > select id, name,

5.     > tel, age

6.     > from wyp;

7. #####################################################################

8.            这里输出了一堆Mapreduce任务信息,这里省略

9. #####################################################################

10.Total MapReduce CPU Time Spent: 1 seconds 510 msec

11.OK

12.Time taken: 17.712 seconds

13. 

14. 

15.hive> select * from test;

16.OK

17.5       wyp1   131212121212    23

18.6       wyp2   134535353535    24

19.7       wyp3   132453535353    25

20.1       wyp    13188888888888  25

21.8       wyp4   154243434355    26

22.2       test   13888888888888  30

23.3       zs     899314121       34

24.Time taken: 0.399 seconds, Fetched: 7 row(s)


这种方法叫做动态分区插入,但是Hive中默认是关闭的,所以在使用前需要先把hive.exec.dynamic.partition.mode设置为nonstrict。当然,Hive也支持insertoverwrite方式来插入数据,从字面我们就可以看出,overwrite是覆盖的意思,是的,执行完这条语句的时候,相应数据目录下的数据将会被覆盖!而insert into则不会,注意两者之间的区别。例子如下:

1. hive> insert overwrite table test

2.     > PARTITION (age)

3.     > select id, name, tel, age

4.     > from wyp;


更可喜的是,Hive还支持多表插入,什么意思呢?在Hive中,我们可以把insert语句倒过来,把from放在最前面,它的执行效果和放在后面是一样的,如下:

1. hive> show create table test3;

2. OK

3. CREATE  TABLE test3(

4.   id int,

5.   name string)

6. Time taken: 0.277 seconds, Fetched: 18 row(s)

7.  

8. hive> from wyp

9.     > insert into table test

10.    > partition(age)

11.    > select id, name, tel, age

12.    > insert into table test3

13.    > select id, name

14.    > where age>25;

15. 

16.hive> select * from test3;

17.OK

18.8       wyp4

19.2       test

20.3       zs

21.Time taken: 4.308 seconds, Fetched: 3 row(s)


可以在同一个查询中使用多个insert子句,这样的好处是我们只需要扫描一遍源表就可以生成多个不相交的输出。这个很酷吧!

四、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中



在实际情况中,表的输出结果可能太多,不适于显示在控制台上,这时候,将Hive的查询输出结果直接存在一个新的表中是非常方便的,我们称这种情况为CTAS(create table .. as select)如下:

1. hive> create table test4

2.     > as

3.     > select id, name, tel

4.     > from wyp;

5.  

6. hive> select * from test4;

7. OK

8. 5       wyp1   131212121212

9. 6       wyp2   134535353535

10.7       wyp3   132453535353

11.8       wyp4   154243434355

12.1       wyp    13188888888888

13.2       test   13888888888888

14.3       zs     899314121

15.Time taken: 0.089 seconds, Fetched: 7 row(s) 

数据就插入到test4表中去了,CTAS操作是原子的,因此如果select查询由于某种原因而失败,新表是不会创建的!

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzfjyx.html