求职——1、菊花厂Cloud&AI 技术LEADER建议学习

于4.22参加了菊花厂顶尖人才专场,先后和软件老大、Cloud&AI的一个老大还有成渝招聘总监交流(技术摸底)。其中Cloud&AI的那位老大人很nice,给了许多建议:
1、学习HDFS;点击此处
2、raft协议;点击此处
3、共识算法;点击此处
4、拜占庭将军;1 2 3漫画解读
5、《分布式系统》;简介 学习笔记
6、新型数据结构:lsm树;点击此处
7、虚拟化技术;点击此处

一、Hadoop——HDFS 原理、架构与特性介绍

目录
1:当前 HDFS 架构详尽分析
2:HDFS 文件读取的解析
3:HDFS 文件写入的解析
4:副本机制
5:HDFS 负载均衡
6:HDFS 机架感知
7:HDFS 访问
8:HDFS 健壮性
9:HDFS 文件删除恢复机制
10:HDFS分布式缓存(DistributedCache )
11:HDFS缺点

1、当前 HDFS 架构详尽分析

求职——1、菊花厂Cloud&AI 技术LEADER建议学习

HDFS架构

•NameNode
•DataNode
•Sencondary NameNode

数据存储细节

求职——1、菊花厂Cloud&AI 技术LEADER建议学习
未完待续。

二、raft协议

1、说明

分布式存储系统通常通过维护多个副本来进行容错,提高系统的可用性。要实现此目标,就必须要解决分布式存储系统的最核心问题:维护多个副本的一致性。

首先需要解释一下什么是一致性(consensus)

它是构建具有容错性(fault-tolerant)的分布式系统的基础。
在一个具有一致性的性质的集群里面,同一时刻所有的结点对存储在其中的某个值都有相同的结果,即对其共享的存储保持一致。集群具有自动恢复的性质,当少数结点失效的时候不影响集群的正常工作,当大多数集群中的结点失效的时候,集群则会停止服务(不会返回一个错误的结果)。