Hive使用心得和常见问题

1、hive属于java体系,数据编码是unicode,所以从生产库抽过来的GB18030极其子编码集的数据,load到hive是可能出现乱码的。幸好有mapreduce的存在,我们可以写一个数据清洗程序,不仅可以完成转码功能,还可以格式化为hive可用的数据,比如行分隔符,列分隔符的替换,记录字段个数的检查等。

文件小的话也可以使用命令:iconv -f GBK -t UTF8 cui.dat > cui2.dat_utf8

2、hive表的分割符只支持一个字符,默认是\001,即asc码的第一个字符。

3、hive语法类似mysql,但没有查看创建表语句功能,可以通过元数据表之间的关联来拼接一个建表语句,做成以脚本命令运行的方式。

4、hive ql 中不存在写法为 exist not ,而非关系型库的not exist。

5、hive中的函数均为java实现的方法,扩展此功能需要写一个UDF的子类,覆盖evaluate方法,重新编译hive即可。

6、hive中使用多个union all时最外面还要包一层select,否则会报错。

7、hive以hdfs文件的方式存在,不支持追加的功能,但可以通过建表时指定多个分区变通实现追加功能。

8、hive中alter开头的命令格式为:use database;alter 语句 。而不能写成这样:alter table  database.tablename...

9、hive 两个表join操作,on 后面只能有 “=” 关系,不能有大于,小于,like等其他的,可以用子查询变通。

10、hive 中,对于select count(distinct   c1)  ......group by  c1 语句,会导致执行的错误,在这里写count(distinct   c1) 实际上等于1

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/173590bedae8640f9a200d7cdd423cc3.html