Hadoop入门学习笔记_day01（大数据的相关概念 ）

一、大数据的相关概念：

（一）大数据，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到获取、管理、处理、并整理成为帮助企业经营决策更积极的资讯。

• 随着技术的不断发展，符合大数据标准的数据集容量也会增长
• 不同行业使用的软件和数据集可能差别较大
• 大数据在今天不同行业的范围可以从十几TB到几PB

（二）大数据的四个特点–4Vs

• 大量：数据量大，从TB级别跃升到PB级别
• 多样：数据类型繁多
  
  • 非结构化：文本、图形、声音等
  • 半结构化：日志
  • 结构化数据：行列规整的表单数据
  • 多结构化数据：以上三种类型混合的数据
• 高速：数据即时处理的速度

• 真实性和准确性：只有真实而准确的数据才能让对数据的管控和治理真的有意义

  (三) Hadoop需要解决的问题

• 海量数据的存储（HDFS）

• 海量数据的分析（MapReduce）

• 资源管理调度（YARN）

  问题：怎样解决海量数据的存储？
  分布式文件系统的概念：（HDFS）
  Hadoop分布式文件系统是一种适于在廉价硬件上的分布式文件系统
  ①HDFS是Apache Hadoop核心项目的一部分，例HBase,是在HDFS上构建的
  ②在HDFS文件系统中，一个文件将被分布在集群中的多台机器上存储
  ③是一个高度容错性的系统[HDFS的设计目标：硬件故障是常态而非异态，所以他会提供对于硬件故障处理]
  ④能提供高吞吐量的数据访问
  ⑤非常适合大规模数据集上的应用

①问题：怎样解决海量数据的计算？

---

求和：1+5+3+4+9+3+5+6=？

②问题：怎样解决海量数据的存储？
分布式文件系统的描述（HDFS）