求职——1、菊花厂Cloud&AI 技术LEADER建议学习
于4.22参加了菊花厂顶尖人才专场,先后和软件老大、Cloud&AI的一个老大还有成渝招聘总监交流(技术摸底)。其中Cloud&AI的那位老大人很nice,给了许多建议:
1、学习HDFS;点击此处
2、raft协议;点击此处
3、共识算法;点击此处
4、拜占庭将军;1 2 3漫画解读
5、《分布式系统》;简介 学习笔记
6、新型数据结构:lsm树;点击此处
7、虚拟化技术;点击此处
一、Hadoop——HDFS 原理、架构与特性介绍
目录:
1:当前 HDFS 架构详尽分析
2:HDFS 文件读取的解析
3:HDFS 文件写入的解析
4:副本机制
5:HDFS 负载均衡
6:HDFS 机架感知
7:HDFS 访问
8:HDFS 健壮性
9:HDFS 文件删除恢复机制
10:HDFS分布式缓存(DistributedCache )
11:HDFS缺点
1、当前 HDFS 架构详尽分析
HDFS架构
•NameNode
•DataNode
•Sencondary NameNode
数据存储细节
未完待续。
二、raft协议
1、说明
分布式存储系统通常通过维护多个副本来进行容错,提高系统的可用性。要实现此目标,就必须要解决分布式存储系统的最核心问题:维护多个副本的一致性。
首先需要解释一下什么是一致性(consensus):
它是构建具有容错性(fault-tolerant)的分布式系统的基础。
在一个具有一致性的性质的集群里面,同一时刻所有的结点对存储在其中的某个值都有相同的结果,即对其共享的存储保持一致。集群具有自动恢复的性质,当少数结点失效的时候不影响集群的正常工作,当大多数集群中的结点失效的时候,集群则会停止服务(不会返回一个错误的结果)。