云计算与大数据：第十章
云存储技术
存储分类
DAS（Direct Attachment Storage）
直接连接存储：存储设备是通过电缆（通常是SCSI接口电缆）直接连到服务器的。 I/O请求直接发送到存储设备
NAS（Network Attachment Storage）
网络 连接/附加/附属 存储：存储设备连接到现有的网络上，提供数据和文件服务，应用服务器直接把File I/O请求通过LAN传给远端NAS中的文件系统，NAS中的文件系统发起Block I/O到与NAS直连的磁盘。主要面向高效的文件共享任务，适用于那些需要网络进行大容量文件数据传输的场合。
SAN（Storage Area Network）
存储区域网络：它是一个用在服务器和存储资源之间的、专用的、高性能的网络体系。它为实现大量原始数据的传输而进行了专门的优化。
DAS、NAS、SAN三种形态比较
RAID
RAID0 ：Striped Disk Array without Fault Tolerance( 没有容错设计的条带磁盘阵列，以条带形式将RAID阵列的数据均匀分布在各个阵列中。 总容量=(磁盘数量)(磁盘容量)
RAID 1 ：以镜像作为冗余手段，虚拟磁盘中的数据有多个拷贝，放在成员磁盘上。
总容量=(磁盘数量 / 2)(磁盘容量)
RAID3 ：(条带分布+专用盘校验)：以xor校验为冗余方式，使用专门的磁盘存放校验数据， 虚拟磁盘上的数据块被分为更小的数据块并行传输到各个成员物理磁盘上 ，同时计算出xor校验数据存放到校验磁盘上。
总容量=(磁盘数量 -1)(磁盘容量)
RAID5： (条带技术+分布式校验)：以XOR检验为冗余方式，校验数据均匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。
RAID6：能够允许两颗磁盘同时失效的RAID级别系统。 总容量=(磁盘数 -2)(磁盘容量)
RAID10： (镜像阵列条带化)：将镜像和条带组合起来的组合RAID级别，最低一级是RAID1镜像对，第二级为RAID0。
总容量=(磁盘数 /2)(磁盘容量)
RAID50定义：将镜像和条带组合起来的组合RAID级别，最低一级是RAID5镜像对，第二级为RAID0。
总容量=(磁盘数 -1)(磁盘容量)
RAID 级别比较
云存储技术分类
目前业界两种主流云存储技术解决方案：基于虚拟化技术和分布式存储。
分布式存储:
分布式块存储
分布式文件存储
分布式对象存储
分布式表存储
存储虚拟化：
基于主机的存储虚拟化
基于网络的存储虚拟化
基于存储设备的存储虚拟化
各种存储技术对比
传统块存储与对象存储
在传统的存储系统中用文件或块作为基本的存储单位，块设备要记录每个存储数据块在设备上的位置；而在对象存储系统中，对象是数据存储的基本单元，Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性，在存储设备中，所有对象都有一个对象标识，通过对象标识OSD命令访问该对象。
对象是系统中数据存储的基本单位，每个Object是数据和数据属性集的综合体，数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。
OSD的主要功能
OSD提供三个主要功能：
（1） 数据存储。OSD管理对象数据，并将它们放置在标准的磁盘系统上，OSD不提供块接口访问方式，Client请求数据时用对象ID、偏移进行数据读写。
（2） 智能分布。OSD用其自身的CPU和内存优化数据分布，并支持数据的预取。由于OSD可以智能地支持对象的预取，从而可以优化磁盘的性能。
（3） 每个对象元数据的管理。OSD管理存储在其上对象的元数据，该元数据与传统的inode元数据相似，通常包括对象的数据块和对象的长度。而在传统的NAS系统中，这些元数据是由文件服务器维护的，对象存储架构将系统中主要的元数据管理工作由OSD来完成，降低了Client的开销。
文件系统
文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。
现有的应用对数据的访问大部分都是通过POSIX文件方式进行的，对象存储系统提供给用户的也是标准的POSIX文件访问接口。
接口具有和通用文件系统相同的访问方式，同时为了提高性能，也具有对数据的Cache功能和文件的条带功能。
同时，文件系统必须维护不同客户端上Cache的一致性，保证文件系统的数据一致
元数据服务器 (Metadata Server)
MDS控制Client与OSD对象的交互，主要提供以下几个功能：
（1） 对象存储访问：MDS构造、管理描述每个文件分布的视图，允许Client直接访问对象。MDS为Client提供访问该文件所含对象的能力，OSD在接收到每个请求时将先验证该能力，然后才可以访问。
（2） 文件和目录访问管理：MDS在存储系统上构建一个文件结构，包括限额控制、目录和文件的创建和删除、访问控制等。
（3） Client Cache一致性：为了提高Client性能，在对象存储系统设计时通常支持Client方的Cache。由于引入Client方的Cache，带来了Cache一致性问题，MDS支持基于Client的文件Cache，当Cache的文件发生改变时，将通知Client刷新Cache，从而防止Cache不一致引发的问题。