HDFS基础知识
1、HDFS的定义?
HDFS是一个文件系统,其次它是分布式的。
2、HDFS的使用场景?
适合多次写入,多读出的场景,且不支持文件的修改。
3、HDFS的特点有哪些?
优点:
(1)高容错性
a、数据的自动保存多个副本
b、某一个副本丢失后,他可以自动回恢复
(2)适合处理大数据
a、数据规模:PB级别的数据
b、文件规模:处理百万规模以上的文件数量
(3)可构建在廉价机器上,通过多副本机制,提高可靠性
缺点:
(1)不适合低时延数据访问
(2)无法高效的对大量小文件进行存储
(3)不支持并发写入、文件随机修改
4、HDFS组成架构?
client:客户端
作用:a、文件切分
b、交互和命令管理
5、HDFS文件块的大小?
HDFS中文件子啊物理上是分块存储的,块的大小可以通过配置参数规定,默认在Hadoop2.x版本中是128M,老版本是64M
a、集群中的block
b、如皋寻址时间为10ms,即查找到目标BLOk的时间为10ms
c、寻址时间为传输时间的1%时,则为最佳状态,因此,传输时间为:10ms/0.01=1000ms=1s
d、而且前磁盘的传输速率普遍为100MB/s
e、block的大小:1s*100m/s=100mb