hadoop（三）进一步理解
HDFS的实现思想：
1.hdfs是通过分布式集群来存储文件，吧文件切分成block，存放在若干平台的datanode数据节点
2.hdfs文件系统的文件与block之间有映射关系，由namenode命名服务器管理
3.每一个block在集群中会存多个副本，好处是可以提高系统的可靠性，还可以提高系统的吞吐量
Map Reduce
- JobTracker
hadoop的Map/Reduce调度器，负责与TackTracker通信分配计算任务并跟踪任务进度
- TaskTracker
启动和管理Map和Reduce子任务的节点
NameNode和SecondaryNamenode
职责：1.维护元数据信息
2.维护hdfs目录树
3.响应客户端的请求
1、客户端上传文件时，NN首先往edits log文件中记录元数据操作日志
2、客户端开始上传文件，完成后返回成功信息给NN，NN就在内存中写入这次上传操作的新产生的元数据信息
3、每当editslog写满时，需要将这一段时间的新的元数据刷到fsimage文件中去
editslog与fsimage的合并是SecondaryNamenode去做的：
·fs.checkpoint.period 指定两次checkpoint的最大时间间隔，默认3600秒。
·fs.checkpoint.size-规定edits文件的最大值，一旦超过这个值则强制checkpoint，不管是否到达最大时间间隔。默认大小是64M。
Datanode
提供真实文件数据的存储服务。
·文件块（block）：最基本的存储单位。对于文件内容而言，一个文件的长度大小是size，那么从文件的0偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。HDFS默认Block大小是128MB，以一个256MB文件，共有256/128=2个Block.
dfs.block.size
·不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间Replication。多复本。默认是三个。
hdfs-site.xml的cfs.replication属性来定义Block副本数，默认值3
YARN
yarn
MapReduce要运行job，yarn产生jobId,并把文件放入指定目录，之后分发到机器，并在各个节点上分配运行容器，产生一个主管进程appMaster，使得yarn的通用性很强，不仅仅支持MapReduce这种运算模型，也能支持