分布式文件系统 - FastDFS 在64位CentOS 下配置安装部署

以前总在网上找文章解决问题，现在上网方便，自己也留个博客，别总私藏在自己脑子里面作为自己的经验。

参考了Mafly的文章，写的很好。唯有随着时间的变迁，一些地址失效，现重新整理一下，方便大家照猫画虎。

本着“能yum在线安装可用，就不手动”的懒人原则，现在开始。

分布式文件系统 -FastDFS 简单了解一下的朋友应该知道，本次安装是使用目前余庆老师开源的最新 v5.12 版本，是余庆老师放在 Github 上的，感谢老师的无私奉献。

一、安装libfastcommon和FastDFS

1.安装git并下载安装 libfastcommon 

yum-y install git

gitclone https://github.com/happyfish100/libfastcommon

安装gcc，已经有gcc环境的请忽略

yum-y install gcc

cdlibfastcommon/

编译

./make.sh

安装，命令：

./make.sh install

2.下载安装 FastDFS

gitclone https://github.com/happyfish100/fastdfs

cdfastdfs

./make.sh

./make.sh install

二、配置 Tracker 服务

在/etc/目录下会有一个fdfs的目录，进入它。会看到三个.sample后缀的文件，这是作者给我们的示例文件，我们需要把其中的tracker.conf.sample文件改为tracker.conf配置文件并修改它。看命令：

cd /etc/fdfs/

cp tracker.conf.sampletracker.conf

创建了/data/fastdfs目录。

mkdir –p /data/fastdfs

 

vimtracker.conf

打开tracker.conf文件，只需要找到你只需要该这两个参数就可以了。

# the base path to store data and log files

base_path=/data/fastdfs

# HTTP port on this tracker server

http.server_port=80

port=22122这个端口参数不建议修改，除非你已经占用它了。

修改完成保存并退出 vim ，这时候我们可以使用/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start来启动 Tracker服务，但是这个命令不够优雅，怎么做呢？使用ln -s 建立软链接：

ln -s/usr/bin/fdfs_trackerd/usr/local/bin

ln -s/usr/bin/stop.sh/usr/local/bin

ln -s/usr/bin/restart.sh/usr/local/bin

这时候我们就可以使用servicefdfs_trackerd start来优雅地启动 Tracker服务了，是不是比刚才带目录的命令好记太多了（懒是社会生产力）。你也可以启动过服务看一下端口是否在监听，命令：

·         启动服务：service fdfs_trackerd start

·         查看监听：netstat -unltp|grep fdfs

看到22122端口正常被监听后，这时候就算Tracker服务安装成功啦！

三、配置 Storage 服务

现在开始配置 Storage 服务，由于我这是单机器测试，你把Storage服务放在多台服务器也是可以的，它有 Group(组)的概念，同一组内服务器互备同步，这里不再演示。直接开始配置，依然是进入/etc/fdfs的目录操作，首先进入它。会看到三个.sample后缀的文件，我们需要把其中的storage.conf.sample文件改为storage.conf配置文件并修改它。还看命令：

cd /etc/fdfs

cp storage.conf.samplestorage.conf

创建文件夹storage，日志以及文件都会在这个下面，启动时候会自动生成许多文件夹。

mkdir –p /data/fastdfs/storage

 

vimstorage.conf

打开storage.conf文件后，找到这两个参数进行修改：

# the base path to store data and log files

base_path=/data/fastdfs/storage

# store_path#, based 0, if store_path0 not exists, it's value is base_path

# the paths must be exist

store_path0=/data/fastdfs/storage

#store_path1=/home/yuqing/fastdfs2

# tracker_server can ocur more than once, and tracker_server format is

#  "host:port", host can be hostname or ip address

tracker_server=192.168.198.129:22122

stroage服务的port=23000这个端口参数也不建议修改，默认就好，除非你已经占用它了。

修改完成保存并退出 vim ，这时候我们依然想优雅地启动Storage服务，带目录的命令不够优雅，这里还是使用ln -s建立软链接：

ln -s /usr/bin/fdfs_storaged /usr/local/bin

执行命令启动服务：

service fdfs_storaged start

启动成功，没有错误了。查看一下监听：

·         netstat -unltp|grep fdfs

很好，22122和 23000端口都在监听了，这个时候你去/data/fastdfs/storage文件夹下看的话，会出现一大堆文件夹，而且进去还有一大堆，哈哈，这就是存放文件的啦！下一篇会讲它们的作用和怎么存储的。

四、确认Tracker 和 Storage 服务通信成功

应该是完成了。我们安装配置并启动了 Tracker和 Storage服务，也没有报错了。那他俩是不是在通信呢？我们可以监视一下：

/usr/bin/fdfs_monitor/etc/fdfs/storage.conf

看到我红线处ACTIVE这样就 ok 啦！

其实这个时候你就可以进行上传测试了，但下载不了。

由于余老师在 V4.05 以后的版本就把内置 HTTP服务去掉了，推荐大家结合 Nginx 使用 fastdfs-nginx-module 模块，所以，就算这篇你测试上传成功了，你也访问不了，哈哈哈...

 

分布式文件系统 - FastDFS 配置 Nginx 模块及上传测试

配合 Nginx 来进行文件的上传下载，这一篇就安装 Nginx 以及结合 fastdfs-nginx-module 模块使用。

四、安装 Nginx的前提依赖

1. gcc-c++ 安装

安装 nginx需要先将官网下载的源码进行编译，编译依赖 gcc环境，如果没有 gcc环境，则需要安装：

yum install gcc-c++

2. PCRE pcre-devel 安装

PCRE(Perl Compatible Regular Expressions)是一个Perl库，包括 perl兼容的正则表达式库。nginx的 http 模块使用 pcre来解析正则表达式，所以需要在 linux上安装 pcre库，pcre-devel是使用 pcre 开发的一个二次开发库。nginx也需要此库。命令：

yum install -y pcre pcre-devel

3. zlib 安装

zlib 库提供了很多种压缩和解压缩的方式， nginx使用 zlib对 http 包的内容进行 gzip，所以需要在 Centos上安装 zlib库。

yum install -y zlib zlib-devel

 

4. OpenSSL 安装

OpenSSL 是一个强大的安全套接字层密码库，囊括主要的密码算法、常用的**和证书封装管理功能及 SSL协议，并提供丰富的应用程序供测试或其它目的使用。

nginx 不仅支持 http协议，还支持 https（即在ssl协议上传输http），所以需要在 Centos 安装 OpenSSL库。

五、安装 Nginx 和 fastdfs-nginx-module

1.下载 Nginx和 fastdfs-nginx-module ，这里是通过wget下载（我喜欢这种方式）。

wget -c https://nginx.org/download/nginx-1.13.7.tar.gz

tar -zxvf nginx-1.13.7.tar.gz

git clone https://github.com/happyfish100/fastdfs-nginx-module

2.配置 nginx安装，加入fastdfs-nginx-module模块。这是和普通 Nginx 安装不一样的地方，因为加载了模块。

cdnginx-1.13.7

./configure--add-module=../fastdfs-nginx-module/src/

都安装一下之后我们再次进行 Nginx的安装

make  

make install

 

这时候，我们可以看一下 Nginx下安装成功的版本及模块，命令：

/usr/local/nginx/sbin/nginx –V

小坑：报错信息如下，这是什么鬼？

/usr/local/nginx/sbin/nginx: error while loading shared libraries: libpcre.so.1: cannot open shared object file: No such file or directory

 解决办法：

64位CentOS下

cd /lib64

因为事先已经安装过pcre库，所以纳闷为何找不到库。查看库的位置：

ll libpcre*

lrwxrwxrwx. 1root root     16 Apr 27 18:42 /lib/libpcre.so.0 ->libpcre.so.0.0.1

-rwxr-xr-x. 1root root 190732 Aug 19  2010/lib/libpcre.so.0.0.1

pcre库存在，只是名字不是libpcre.so.1，而是libpcre.so.0。尝试建立一个新的链接，解决这个问题：

 ln -s libpcre.so.0.0.1 libpcre.so.1

再次查看一下：

 ldd  /usr/local/nginx/sbin/nginx

六、配置fastdfs-nginx-module和Nginx

1.配置mod-fastdfs.conf，并拷贝到/etc/fdfs文件目录下。

cd fastdfs-nginx-module/src

vim mod_fastdfs.conf

cp mod_fastdfs.conf /etc/fdfs

修改mod-fastdfs.conf配置只需要修改我标注的这三个地方就行了，其他不需要也不建议改变。

·         # FastDFS tracker_server can ocur more than once, and tracker_server format is

·         #  "host:port", host can be hostname or ip address

·         # valid only when load_fdfs_parameters_from_tracker is true

·         tracker_server=192.168.198.129:22122

·          

·         # if the url / uri including the group name

·         # set to false when uri like /M00/00/00/xxx

·         # set to true when uri like ${group_name}/M00/00/00/xxx, such as group1/M00/xxx

·         # default value is false

·         url_have_group_name = true

·          

·         # store_path#, based 0, if store_path0 not exists, it's value is base_path

·         # the paths must be exist

·         # must same as storage.conf

·         store_path0=/data/fastdfs/storage

·         #store_path1=/home/yuqing/fastdfs1

 

接着我们需要把fastdfs下面的配置中还没有存在/etc/fdfs中的拷贝进去

cd fastdfs/conf

·         cp anti-steal.jpg http.conf mime.types /etc/fdfs/

 

2.配置 Nginx。编辑nginx.conf文件：

·         cd /usr/local/nginx/conf

·         vim nginx.conf

 

在配置文件中加入：

·         location /group1/M00 {

·             root /data/fastdfs/storage/;

·             ngx_fastdfs_module;

·         }

由于我们配置了group1/M00的访问，我们需要建立一个group1文件夹，并建立M00到data的软链接。

·           mkdir /data/fastdfs/storage/data/group1

·           ln -s /data/fastdfs/storage/data /data/fastdfs/storage/data/group1/M00

启动 Nginx ，会打印出fastdfs模块的pid，看看日志是否报错，正常不会报错的

·         /usr/local/nginx/sbin/nginx

打开浏览器，访问一下发现并不能访问，也并没有报错，但显示如下画面。糟糕了，怎么办？对了，我好像没关闭防火墙。

开放80端口访问权限。在iptables中加入重启就行，或者你直接关闭防火墙，本地测试环境可以这么干，但到线上万万不能关闭防火墙的。

/sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT

/etc/rc.d/init.d/iptables save

或者

·         vi /etc/sysconfig/iptables

·         -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT

重启防火墙，使设置生效：

·         service iptables restart

再次刷新浏览器，可以看到如下画面，说明我们 Nginx结合 fastdfs-nginx-module模块安装并配置成功啦！

我最后说一下怎么在已经安装过 Nginx的服务器上安装配置 fastdfs-nginx-module模块？ 因为，一般我们线上服务器都是已经安装过 Nginx的，所以这个时候，我们就直接进入 Nginx的存放目录，进行配置后编译，就不需要执行最后安装make install这一步了，接着重启就行了。

七、上传测试

完成上面的步骤后，我们已经安装配置完成了全部工作，接下来就是测试了。因为执行文件全部在/usr/bin目录下，我们切换到这里，并新建一个test.txt文件，随便写一点什么，我写了This is a test file. by:mafly这句话在里边。然后测试上传：

·         cd /usr/bin

·         vim test.txt

/usr/bin/fdfs_test/etc/fdfs/client.conf upload /usr/bin/test.txt

很不幸，并没有成功，报错了。

·         ERROR - file: shared_func.c, line: 960, open file /etc/fdfs/client.conf fail, errno: 2, error info: No such file or directory

·         ERROR - file: ../client/client_func.c, line: 402, load conf file "/etc/fdfs/client.conf" fail, ret code: 2

一般什么事情第一次都不是很顺利，这很正常，通过错误提示我看到，好像没有找到client.conf这个文件，现在想起来的确没有配置这个文件，那我们现在去配置一下图中的两个参数：

·         cd /etc/fdfs

·         cp client.conf.sample client.conf

·         vim client.conf

·         /usr/bin/fdfs_test /etc/fdfs/client.conf upload /usr/bin/test.txt

成功啦！！！ 返回文件信息及上传后的文件HTTP地址，你打开浏览器访问一下试试

总结一下

这篇文章一步一步的讲了通过 Nginx结合fastdfs-nginx-module模块来进行上传测试及下载工作，整体进行了FastDFS的安装与配置，分布式的配置也几乎和这没差别，只不过是增加了不同组和多台服务器，有机会希望你亲自试试。