【生活现场】从洗袜子到hbase存储原理解析（下篇）
郑重声明：漫画人物和故事情节均是原创，未经同意禁止任何形式的转载，侵权将进入法律程序。大佬除外。
欢迎大家转发文章，谢谢！
小史是一个非科班的程序员，虽然学的是电子专业，但是通过自己的努力成功通过了面试，现在要开始迎接新生活了。
对小史面试情况感兴趣的同学可以观看
注：这篇是hbase存储原理解析的第二篇，接
【LSM三层存储模型】
小史：但是吕老师，我有一个问题啊，之前说过hdfs不适合存储小文件，而hbase中的一条记录只有一点点数据，记录条数却很多，属于海量小文件，存在hdfs中不是内存爆炸了吗？
小史：哦，这就像把盆里的袜子放到桶里一样。但是吕老师，如果数据量大的话，时间一长，就会有很多次刷写，不就形成了很多个小文件吗？这岂不又是海量小文件了？
不记得hdfs原理的同学可以温习一下，
吕老师：对了，hbase也是使用同样的思想，其实这就是WAL预写日志的思想，hbase也会将数据的操作先写日志，然后存到内存，哪天机器挂了，内存丢了，还能从WAL日志中将数据恢复。
【数据修改】
小史：不过吕老师，我还有问题啊，我记得hdfs是不能随机修改文件的，只能追加，那么hbase里的数据是不是写了之后就不能改也不能删除呢？
吕老师：删除同样是追加一条版本最新的记录，只不过标记这个数据被删除而已，查询的时候，看到版本最新的记录是数据删除，就知道这个数据被删了。
吕老师：哈，小史，你思考得非常深入，还记得LSM的第三层吗，hbase会在合并的时候，将这些用不到的记录删除掉，节省存储空间。
吕老师：不全对，其实hbase把合并分为两种，一种是小合并minor compact，这种方式只会将少数文件进行简单合并，不会进行数据的清理，还有一种是大合并major compact，这种方式会将大部分文件进行合并，并且清理数据。
吕老师：基本正确，但是你要知道，如果数据量大，这个过程是非常耗性能的，一般在生产环境都禁止大合并，否则在正常服务的时候突然来个大合并，整个集群可能资源被耗光，没法正常服务。
【hbase架构】
小史：hbase的架构似乎也是master-slave架构，和hdfs有点像，HMaster是用来管理集群，HRegionServer是真正存储数据的地方吧？
吕老师：啊，这块不太对，hbase在数据查询和写入的时候，其实并不是像hdfs那样询问HMaster。在hbase中，每一张表都会有元信息，这些信息也是被存储为hbase表，称为元信息表，也叫meta表，这是一种系统表。
小史：但是这又有个问题，既然meta表也是存储在hbase上，那么hbase又如何知道meta表存在哪个HRegionServer上呢？这岂不是一个鸡生蛋蛋生鸡的问题？
吕老师：小史啊，我说meta表是hbase表，是指meta表也是用rowkey和value的键值存储，但是我并没有说meta表在hbase上啊。其实meta表不是存储在HRegionServer上，而是存储在那个分布式协调服务zookeeper上面。
小史：哦，原来如此，所以meta表其实是在一个固定地方读取，然后根据meta表就知道数据在哪个HRegionServer上。但是zookeeper又是啥呢？
吕老师：其实HMaster的任务相对不繁重，但是却比较重要，它主要是通过调整和管理Region分布来实现HRegionServer的负载均衡。
【HRegionServer架构】
吕老师：其实Region是hbase在rowkey上的切分，每个Region都可以通过startKey和endKey来确定rowkey的范围，一个HRegionServer上可能会有多个Region。
小史：所以说数据是根据rowkey和一定的哈希规则，分散到不同的Region上面，而Region又是属于某一个HRegionServer上的，这个关系没错吧？
吕老师：没错，通过这里其实可以得出rowkey设计的另一个原则，就是散列性，rowkey的头几个字母，最好不要是一样的，不然会分布在同一个HRegionServer上面，导致这个HRegionServer的负载非常高，累死累活，其他HRegionServer却没事干。一般可以根据一定规则算一个数据的摘要，比如md5，把md5的头几位拼在rowkey的前面。
吕老师：哈哈，名词没讲过，原理可都是讲过的哟。比如这个Store，我们之前说过，一个列簇中的列是存储在一起的，对应到这里，一个列簇中的数据就是存到一个Store中。
吕老师：没错，这里StoreFile只是一个名字，它是以HFile的格式存储在hdfs上，HFile是一个存储格式，在新版本的HFile存储格式中，它就是一个类似B+树的索引索引形式。
【读取和写入流程】
1、hbase client要写输入了，先从zookeeper中拿到meta表信息，根据数据的rowkey找到应该往哪个RegionServer写
2、然后hbase会将数据写入对应RegionServer的内存MemStore中，同时记录操作日志WAL
3、当MemStore超过一定阈值，就会将内存MemStore中的数据刷写到硬盘上，形成StoreFile
4、在触发了一定条件的时候，小的StoreFile会进行合并，变成大的StoreFile，有利于hdfs存储
吕老师：其实当大量rowkey相近的数据都被分配到一个Region中，导致这个Region数据过大的时候，Region进行拆分，HMaster会对拆分后的Region重新分配RegionServer，这是HMaster的负载均衡策略。
1、hbase client要读数据了，先从zookeeper中拿到meta表信息，根据要查的rowkey找到对应的数据在哪些RegionServer上
2、分别在这些RegionServer上根据列簇进行StoreFile和MemStore的查找，得到很多key-value结构的数据
3、根据数据的版本找到最新数据进行返回
【OLTP和OLAP】
吕老师：OLTP应用叫联机事务处理应用，就是类似银行转账等业务的，这类应用对事务要求比较高，而OLAP应用叫联机分析处理应用，比如推荐系统，是在收集了大量用户行为后进行分析，再得出结论的应用，主要侧重分析，对事务要求非常低。
【笔记】
小史把这次学习到的hbase的知识记了下来
1、hbase是列式存储，和mysql的行式存储不一样
2、hbase中有列簇概念，同一个列簇下的列存储在一起，在Region的一个StoreFile中
3、hbase是按照rowkey进行查找，要查询的字段要想办法放到rowkey中
4、hbase内部使用LSM三层模型进行存储，数据先写到内存MemStore中，内存达到一定阈值再刷写到硬盘StoreFile中，再满足一定条件时，小的StoreFile会合并为大的StoreFile
5、hbase适合OLAP类的应用
学完hbase，记完笔记，小史开开心心地洗袜子去了。
生活现场是互联网侦察推出的现场系列中的另一个板块，旨在通过生活中的场景，来解释大数据微服务技术中的基本原理，希望对大家学习技术原理有所帮助。
往期回顾