hive 数据储存
数据库储存位置
hdfs/Data Load
数据倾斜
map/reduce程序执行时,reduce大部分节点执行完毕,只有几个reduce 节点执行很慢,导致整体处理时间很长,这是因为某一个key的条数比其他key多很多,这条key所在的reduce节点处理的数据量很大,从而导致某几个节点运行速度慢,成为数据倾斜。
hive表
临时表:特殊管理表,仅作用于当前进程
内部表、管理表:只供hive使用,一般创建在默认路径
位置:hffs://192.168.200.10/user/hive/warehouse/tb_neme/a.txt
删除时,将删除mysql的原数据和dfs上的数据
外部表:可供hive和其他程序使用,一般创建在指定location;
删除时,只删除mysql的原数据,不删除dfs上的数据。
再次创建同名表,数据还会恢复。