hive 数据储存

数据库储存位置

hdfs/Data Load

hive 数据储存

数据倾斜

map/reduce程序执行时,reduce大部分节点执行完毕,只有几个reduce 节点执行很慢,导致整体处理时间很长,这是因为某一个key的条数比其他key多很多,这条key所在的reduce节点处理的数据量很大,从而导致某几个节点运行速度慢,成为数据倾斜。

 

hive表

临时表:特殊管理表,仅作用于当前进程

内部表、管理表:只供hive使用,一般创建在默认路径

位置:hffs://192.168.200.10/user/hive/warehouse/tb_neme/a.txt

删除时,将删除mysql的原数据和dfs上的数据

外部表:可供hive和其他程序使用,一般创建在指定location;

删除时,只删除mysql的原数据,不删除dfs上的数据。

再次创建同名表,数据还会恢复。