存储方案 :HBase对比HDFS
Hbase与HDFS对比
总结一下:什么时候选用Hbase,什么场景使用HDFS进行存储?
1. 对于经常需要修改原有的数据的场景使用Hbase进行存储;
2. 对于性能要求不高且只需要支持单条数据查询或者小批量数据进行查询,两者均可;
3. 对于需要经常进行全表扫描进行大批量的查询的选择HDFS;
最适合使用Hbase存储的数据是非常稀疏的数据(非结构化或者半结构化的数据)(空值不占存储空间,列集合 column families 处理机制)
Hbase不支持join查询,但你存储时可以用:parent-child tuple 的方式来变相解决。
既能满足实时的更新,又能满足大量的数据分析工作,可以使用kudu。
对于简单的结构化数据,我们在HDFS和HBASE上的传递可能只需要用框架即可完成,但是对于复杂的数据传输,特别是实际工作中,数据的收集整理并非简单的结构,因此,我们需要对数据重新整理,并进行发送。这个过程就是依赖MapReduce,通过底层对数据的拆分和重组,达到我们要传输的结构要求。
在hbase表设计中,可以将基础数据与动态数据分两个 column famlily来存储