fastDFS及搭建过程
1.fastDFS介绍
fsatDFS是以C语言开发的一项开源轻量级的分布式文件系统,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
2.fsatDFS构成
2.1 Tracker server追踪服务器
Tracker server负责接收客户端的请求,选择合适的组合storage server。Tracker server和storage server之间也会用心跳机制来检测对方是否活着。
Tracker需要管理的信息都放在内存中,并且里面所有的Tracker都是对等的(每个节点地位相同),容易扩展
客户端访问集群的时候会随机分配一个Tracker来和客户端交互
2.2 Storage server 储存服务器
存储数据分成若干个组(group),实际traker就是管理的storage中的组,而组内机器中则存储数据,group可以隔离不同应用的数据,不同的应用的数据放在不同group里面
优点:海量存储:主从型分布式存储,存储空间方便拓展
fastDFS对文件内容做hash处理,避免出现重复文件,然后集成nginx,提供网站效率
2.3 Client 客户端
主要是上传下载数据的服务器,即自己项目部署所在的服务器。每个客户服务器都需要安装nginx
3.文件上传、下载流程
3.1 文件上传
写操作的时候,storage会将他所挂载的所有数据存储目录的底下都创建2级子目录,每一级256个总共65536个,新写的文件会以hash的方式被路由到其中某个子目录下,然后将文件数据作为本地文件存储到该目录中。如果返回类似group1/M00/00/00/rBIK6VcaP0aARXDSNFHrUgHEviQ394.jpg
的file_id则说明文件上传成功
3.2 文件下载
当客户端向Tracker发起下载请求时,并不会直接下载,而是先查询storage server(检测同步状态),返回storage server的ip和端口,
然后客户端会带着文件信息(组名,路径,文件名),去访问相关的storage,然后下载文件。
3.3 上传文件的文件名
客户端上传文件后存储服务器将文件ID返回给客户端,此文件ID用于以后访问该文件的索引信息。
文件索引信息=组名+虚拟磁盘路径+数据两级目录+文件名
例如:group1/M00/00/00/rBIK6VcaP0aARXDSNFHrUgHEviQ394.jpg
- 组名:文件上传后所在的storage组名称,在文件上传成功后有storage服务器返回,需要客户端自行保存。
- 虚拟磁盘路径:storage配置的虚拟路径,与磁盘选项store_path*对应。如果配置了store_path0则是M00,如果配置了store_path1则是M01,以此类推。
- 数据两级目录:storage服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。
- 文件名:与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。
3.4 安装过程
https://www.jianshu.com/p/b7c330a87855
https://www.cnblogs.com/sunnydou/p/49b92d511047f4f9da6cd727cfd415d5.html