1、hive属于java体系,数据编码是unicode,所以从生产库抽过来的GB18030极其子编码集的数据,load到hive是可能出现乱码的。幸好有mapreduce的存在,我们可以写一个数据清洗程序,不仅可以完成转码功能,还可以格式化为hive可用的数据,比如行分隔符,列分隔符的替换,记录字段个数的检查等。
文件小的话也可以使用命令:iconv -f GBK -t UTF8 cui.dat > cui2.dat_utf8
2、hive表的分割符只支持一个字符,默认是\001,即asc码的第一个字符。
3、hive语法类似mysql,但没有查看创建表语句功能,可以通过元数据表之间的关联来拼接一个建表语句,做成以脚本命令运行的方式。
4、hive ql 中不存在写法为 exist not ,而非关系型库的not exist。
5、hive中的函数均为java实现的方法,扩展此功能需要写一个UDF的子类,覆盖evaluate方法,重新编译hive即可。
6、hive中使用多个union all时最外面还要包一层select,否则会报错。
7、hive以hdfs文件的方式存在,不支持追加的功能,但可以通过建表时指定多个分区变通实现追加功能。
8、hive中alter开头的命令格式为:use database;alter 语句 。而不能写成这样:alter table database.tablename...
9、hive 两个表join操作,on 后面只能有 “=” 关系,不能有大于,小于,like等其他的,可以用子查询变通。
10、hive 中,对于select count(distinct c1) ......group by c1 语句,会导致执行的错误,在这里写count(distinct c1) 实际上等于1