Centos7配置fastdfs和nginx分布式文件存储系统实现过程解析

简介

FastDFS是一款开源的轻量级分布式文件系统，其主要特点是高性能、可扩展性、高可靠性和开源免费等。FastDFS主要解决了海量数据存储问题，适合大规模的图片或者音视频文件等大文件存储。

Nginx是一款高性能的Web服务器，也可以用来作为负载均衡服务器。在FastDFS中，我们可以使用Nginx作为文件的访问入口，实现文件的负载均衡和高可用。

本文将详细讲解在Centos7环境下如何配置FastDFS和Nginx实现分布式文件存储系统，并提供两个实例作为参考。

配置FastDFS

安装FastDFS

1. 首先我们需要安装libfastcommon依赖库，可使用以下命令安装：

shell
yum install -y git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel
git clone https://github.com/happyfish100/libfastcommon.git
cd libfastcommon/
./make.sh
./make.sh install
cd ..

1. 然后安装FastDFS，可使用以下命令安装：

shell
git clone https://github.com/happyfish100/fastdfs.git
cd fastdfs/
./make.sh
./make.sh install
cd ..

配置FastDFS

1. 首先我们需要创建一个tracker服务节点，执行以下命令：

shell
mkdir /fastdfs/tracker
cp fastdfs/conf/tracker.conf.sample /etc/fdfs/tracker.conf
vi /etc/fdfs/tracker.conf

修改以下内容：

```ini
base_path=/fastdfs/tracker

tracker_server=127.0.0.1:22122
# 修改成自己tracker服务器IP或hostname地址和端口号

allow_hosts=127.0.0.1
# 允许访问的客户端IP，默认只允许本地访问

port=22122
# 默认tracker端口号
```

1. 然后我们需要创建一个storage服务节点，执行以下命令：

shell
mkdir -p /fastdfs/storage/data
mkdir -p /fastdfs/storage/logs
cp fastdfs/conf/storage.conf.sample /etc/fdfs/storage.conf
vi /etc/fdfs/storage.conf

修改以下内容：

```ini
base_path=/fastdfs/storage

tracker_server=127.0.0.1:22122
# 修改成自己tracker服务器IP或hostname地址和端口号

store_path0=/fastdfs/storage/data
# 数据存储路径

log_file=/fastdfs/storage/logs/storage.log
# 日志文件路径

port=23000
# 默认storage端口号，可使用多个storage节点，需注意端口号不能重复
```

1. 最后我们需要启动tracker和storage服务节点，执行以下命令：

shell
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf

测试FastDFS

1. 上传文件

shell
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/test.jpg

返回结果为：

group1/M00/00/00/wKgNAl5_MJOAavfuAABaLmLAaqA711.jpg

1. 下载文件

shell
/usr/bin/fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/wKgNAl5_MJOAavfuAABaLmLAaqA711.jpg /root/test_download.jpg

文件会下载到/root/目录下。

配置Nginx

安装Nginx

1. 首先安装EPEL源并安装Nginx，执行以下命令：

shell
yum install -y epel-release
yum install -y nginx

配置Nginx

1. 配置Nginx，执行以下命令：

shell
vi /etc/nginx/nginx.conf

添加以下内容：

```nginx
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;

   log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                     '$status $body_bytes_sent "$http_referer" '
                     '"$http_user_agent" "$http_x_forwarded_for"';

   access_log  /var/log/nginx/access.log  main;

   sendfile        on;
   #tcp_nopush     on;

   keepalive_timeout  65;

   #gzip  on;

   server {
       listen       80 default_server;
       listen       [::]:80 default_server;
       server_name  _;
       root         /usr/share/nginx/html;

       location / {
           proxy_pass http://fastdfs;
           proxy_set_header Host $host;
           proxy_set_header X-Real-IP $remote_addr;
           proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
       }
   }

   include /etc/nginx/conf.d/*.conf;

}
```

1. 配置Nginx虚拟主机，执行以下命令：

shell
vi /etc/nginx/conf.d/fastdfs.conf

添加以下内容：

nginx
upstream fastdfs {
server 127.0.0.1:8888;
# 修改成FastDFS tracker所在服务器IP和端口号
}

1. 启动Nginx，执行以下命令：

shell
systemctl start nginx

测试Nginx

1. 首先上传一个文件到FastDFS中，执行以下命令：

shell
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/test.jpg

返回结果为：

group1/M00/00/00/wKgNAl5_MJOAavfuAABaLmLAaqA711.jpg

1. 然后在浏览器中访问http://serverip/group1/M00/00/00/wKgNAl5_MJOAavfuAABaLmLAaqA711.jpg，如果出现图片则表示配置成功。

示例

实例1：使用FastDFS和Nginx搭建静态文件服务器

1. 首先配置FastDFS和Nginx，可参考上面的内容。

2. 然后上传需要访问的静态文件到FastDFS中，执行以下命令：

shell
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/static/index.html

返回一个文件的URL地址，例如：

group1/M00/00/00/wKgNAl5_T9GAAvfuAABaLmLAaxE757.html

1. 在Nginx虚拟主机中配置静态文件访问路径，执行以下命令：

shell
vi /etc/nginx/conf.d/static.conf

添加以下内容：

nginx
location /static/ {
proxy_pass http://fastdfs;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

1. 再次访问http://serverip/static/index.html，即可访问到上传的静态文件。

实例2：使用FastDFS和Nginx搭建图床

1. 首先配置FastDFS和Nginx，可参考上面的内容。

2. 然后使用一个图床工具，例如PicGo，上传图片到FastDFS中。

3. 在Nginx虚拟主机中配置图片访问路径，执行以下命令：

shell
vi /etc/nginx/conf.d/pic.conf

添加以下内容：

nginx
location /pic/ {
proxy_pass http://fastdfs;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

1. 再将上传的图片的URL地址替换成http://serverip/pic/即可在浏览器中访问到上传的图片。