Centos7.7部署fastdfs分布式文件系统
1.服务器规划
跟踪服务器1：192.168.33.3
跟踪服务器2：192.168.33.4
存储服务器1：192.168.33.5
存储服务器2：192.168.33.6
存储服务器3：192.168.33.7
存储服务器4：192.168.33.8
2.下载相关软件包
git clone https://github.com/happyfish100/.......
libfastcommon-1.0.7.tar.gz FastDFS_v5.05.tar.gz fastdfs-nginx-module_v1.16.tar.gz nginx-1.13.11.tar.gz ngx_cache_purge-2.3.tar.gz
3.FastDFS 的安装（所有跟踪服务器和存储服务器均执行如下操作）
yum -y install make cmake gcc gcc-c++ git lrzsz wget automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel
4.安装fastdfs依赖包libfastcommon
cd /usr/local/src tar -zxvf libfastcommon-1.0.7.tar.gz cd libfastcommon-1.0.7 ./make.sh ./make.sh install
5.安装fastdfs
cd /usr/local/src/ tar -zxvf FastDFS_v5.05.tar.gz cd FastDFS ./make.sh ./make.sh install
Notice：
采用默认安装方式，相应的文件与目录检查如下：
#）服务脚本
/etc/init.d/fdfs_storaged /etc/init.d/fdfs_trackerd
#）配置文件（示例配置文件）
/etc/fdfs/client.conf.sample /etc/fdfs/storage.conf.sample /etc/fdfs/tracker.conf.sample
#) 命令行工具（/usr/bin目录下）
/usr/bin/fdfs_appender_test /usr/bin/fdfs_appender_test1 /usr/bin/fdfs_append_file /usr/bin/fdfs_crc32 /usr/bin/fdfs_delete_file /usr/bin/fdfs_download_file /usr/bin/fdfs_file_info /usr/bin/fdfs_monitor /usr/bin/fdfs_storaged /usr/bin/fdfs_test /usr/bin/fdfs_test1 /usr/bin/fdfs_trackerd /usr/bin/fdfs_upload_appender /usr/bin/fdfs_upload_file
6.配置tracker服务器（192.168.33.3、192.168.33.4）
1）复制tracker样例配置文件，并重命名
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
2）修改tracker配置文件
vim /etc/fdfs/tracker.conf # 修改的内容如下： disabled=false # 启用配置文件 port=22122 # tracker服务器端口（默认22122） base_path=/fastdfs/tracker # 存储日志和数据的根目录 store_lookup=0 # 轮询方式上传
3）创建基础数据目录
mkdir -p /data/fastdfs/tracker
4）启动tracker服务器
/etc/init.d/fdfs_trackerd start
5) 初次启动，会在/data/fastdfs/tracker目录下生成logs、data两个目录
drwxr-xr-x 2 root root 178 May 3 22:34 data drwxr-xr-x 2 root root 26 May 2 18:57 logs
6）检查FastDFS Tracker Server是否启动成功
ps aux | grep fdfs_trackerd
7）设置tracker server开机启动
chkconfig fdfs_trackerd on
7.配置storage服务器（192.168.33.5、192.168.33.6、192.168.33.7、192.168.33.8）
1）复制storage样例配置文件，并重命名
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
2）修改storage配置文件
vim /etc/fdfs/storage.conf # 修改的内容如下： disabled=false # 启用配置文件 port=23000 # storage的端口号,同一个组的 storage 端口号必须相同 base_path=/data/fastdfs/storage # 存储日志和数据的根目录 store_path0=/data/fastdfs/storage # 第一个存储目录 store_path_count=1 #存储路径个数，需要和store_path个数匹配 tracker_server=192.168.0.121:22122 # tracker服务器的IP地址和端口 tracker_server=192.168.0.122:22122 # 多个tracker直接添加多条配置
3）配置group_name
不同分组配置不同group_name，第一组为group1， 第二组为group2
group_name=group1 group_name=group2
4）创建基础数据目录
mkdir -p /data/fastdfs/storage
5）启动storage服务器
/etc/init.d/fdfs_storaged start
6）初次启动，会在/data/fastdfs/storage目录下生成logs、data两个目录
drwxr-xr-x 259 root root 8192 May 3 23:06 data drwxr-xr-x 2 root root 26 May 2 19:12 logs
7）检查FastDFS Tracker Server是否启动成功
ps aux | grep fdfs_storaged
8）所有 Storage 节点都启动之后，可以在任一 Storage 节点上使用如下命令查看集群信息
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
Notice：提示ACTIVE代表以生效
9）设置storage server开机启动
chkconfig fdfs_storaged on
8.文件上传测试（192.168.33.3或192.168.33.4）
1）修改Tracker服务器客户端配置文件
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf vim /etc/fdfs/client.conf # 修改以下配置，其它保持默认 base_path=/data/fastdfs/tracker tracker_server=192.168.0.121:22122 # tracker服务器IP和端口 tracker_server=192.168.0.122:22122 #tracker服务器IP2和端口
2）执行文件上传命令
#/root/test.png 是需要上传文件路径 /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/test.png 返回文件ID号：group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg （能返回以上文件ID，说明文件已经上传成功）
Notice：文件上传测试，可以不用根据文档的方式上传，可以根据自己的文件路径上传！！！
9.在所有storage节点安装nginx（192.168.33.5、192.168.33.6、192.168.33.7、192.168.33.8）
1）fastdfs-nginx-module 作用说明
FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储， 但是同组存储服务器之间需要进入文件复制， 有同步延迟的问题。假设 Tracker 服务器将文件上传到了 192.168.50.137，上传成功后文件 ID已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 192.168.50.138，在文件还没有复制完成的情况下，客户端如果用这个文件 ID 在 192.168.50.138 上取文件,就会出现文件无法访问的错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。（解压后的 fastdfs-nginx-module 在 nginx 安装时使用）
2）解压fastdfs-nginx-module_v1.16.tar.gz
cd /usr/local/src/ tar -zxvf fastdfs-nginx-module_v1.16.tar.gz
3）修改 fastdfs-nginx-module的config配置文件
cd fastdfs-nginx-module/src vim config 将/usr/local/路径改为/usr/，或者直接执行命令:%s+/usr/local/+/usr/+g批量替换
4）安装nginx
cd /usr/local/src/ tar -zxvf nginx-1.13.11.tar.gz cd nginx-1.13.11 ./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-http_stub_status_module --with-pcre --with-http_realip_module --add-module=/usr/local/src/fastdfs-nginx-module/src make && make install
5）复制 fastdfs-nginx-module 源码中的配置文件到 /etc/fdfs 目录，并修改
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/ vim /etc/fdfs/mod_fastdfs.conf
6）修改以下配置
connect_timeout=10 base_path=/tmp tracker_server=192.168.0.121:22122 # tracker服务器IP和端口 tracker_server=192.168.0.122:22122 # tracker服务器IP2和端口 group_name=group1 # 当前服务器的group名 url_have_group_name=true # url中包含group名称 store_path0=/data/fastdfs/storage # 存储路径 group_count=2 # 设置组的个数 #在最后添加 [group1] group_name=group1 storage_server_port=23000 store_path_count=1 store_path0=/data/fastdfs/storage [group2] group_name=group2 storage_server_port=23000 store_path_count=1 store_path0=/data/fastdfs/storage
Notice：group_name的设置，如果是group1就设置为group1，如果是group2就设置为group2
7）复制 FastDFS 的部分配置文件到 /etc/fdfs 目录
cd /usr/local/src/FastDFS/conf cp http.conf mime.types /etc/fdfs/
8）配置 Nginx，nginx配置例子
user nobody;
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
server {
listen 8888;
server_name localhost;
location ~/group[1-2]/M00 {
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}Notice：
A、8888 端口值是要与/etc/fdfs/storage.conf中的 http.server_port=8888 相对应，因为 http.server_port 默认为 8888，如果想改成 80，则要对应修改过来。
B、Storage 对应有多个 group 的情况下，访问路径带 group 名，如/group1/M00/00/00/xxx，对应的 Nginx 配置为：
location ~/group([0-9])/M00 {
ngx_fastdfs_module;
}C、如查下载时如发现老报 404,将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。
9）通过浏览器访问测试时上传的文件
http://192.168.33.4:8000/+上传文件返回的ID
10.在tracker节点（192.168.33.3、192.168.33.4）安装nginx
1）在 tracker 上安装的 nginx 主要为了提供 http 访问的反向代理、负载均衡以及缓存服务
2）安装nginx，加入ngx_cache_purge（加入缓存模块）
cd /usr/local/src/ tar -zxvf nginx-1.13.11.tar.gz tar -zxvf ngx_cache_purge-2.3.tar.gz cd nginx-1.13.11 ./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-http_stub_status_module --with-pcre --with-http_realip_module --add-module=/usr/local/src/ngx_cache_purge-2.3 make && make install
3）配置nginx负载均衡和缓存
user root;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 1024;
use epoll;
}
http {
include mime.types;
default_type application/octet-stream;
#log_format main ‘$remote_addr - $remote_user [$time_local] "$request" ‘
# ‘$status $body_bytes_sent "$http_referer" ‘
# ‘"$http_user_agent" "$http_x_forwarded_for"‘;
#access_log logs/access.log main;
sendfile on;
tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
#gzip on;
#设置缓存
server_names_hash_bucket_size 128;
client_header_buffer_size 32k;
large_client_header_buffers 4 32k;
client_max_body_size 300m;
proxy_redirect off;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
#设置缓存存储路径、存储方式、分配内存大小、磁盘最大空间、缓存期限
proxy_cache_path /data/fastdfs/cache/nginx/proxy_cache levels=1:2 keys_zone=http-cache:200m max_size=1g inactive=30d;
proxy_temp_path /data/fastdfs/cache/nginx/proxy_cache/tmp;
#设置 group1 的服务器
upstream fdfs_group1 {
server 192.168.0.123:8888 weight=1 max_fails=2 fail_timeout=30s;
server 192.168.0.124:8888 weight=1 max_fails=2 fail_timeout=30s;
}
#设置 group2 的服务器
upstream fdfs_group2 {
server 192.168.0.125:8888 weight=1 max_fails=2 fail_timeout=30s;
server 192.168.0.126:8888 weight=1 max_fails=2 fail_timeout=30s;
}
server {
listen 8000;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
#设置 group 的负载均衡参数
location /group1/M00 {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_cache http-cache;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_group1;
expires 30d;
}
location /group2/M00 {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_cache http-cache;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_group2;
expires 30d;
}
#设置清除缓存的访问权限
location ~/purge(/.*) {
allow 127.0.0.1;
allow 192.168.0.0/24;
deny all;
proxy_cache_purge http-cache $1$is_args$args;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}4）按以上 nginx 配置文件的要求，创建对应的缓存目录
mkdir -p /data/fastdfs/cache/nginx/proxy_cache mkdir -p /data/fastdfs/cache/nginx/proxy_cache/tmp
5）启动Nginx
cd /usr/local/nginx/sbin/ ./nginx
6) 文件访问测试
通过Tracker访问http://192.168.33.4:8000/+上传文件返回的ID
通过Storage访问http://192.168.33.5:8888/+上传文件返回的ID