FastDFS是一个开源的分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
昨天晚上就看到群友在群里问谁会装FastDFS,我本着一颗善良之心,就答应给装一下,虽然是JAVA的,反正今天老板让加班也没事干,就折腾一下吧。从早上更新Xshell又重装Xshell,到下午才给搞好,真是累。由于FastDFS集群搭建非常复杂,对于初期学习FastDFS来说,搭建个单机版的作为入门更为实际一些。
我用的是CentOS7.3,本文也就说CentOS7的防火墙关闭方法了,CentOS 7.0默认使用的是firewall作为防火墙
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
第一步:安装所需要的命令
使用命令进行安装即可,有gcc、vim、zip、unzip,以及Nginx所需要的依赖pcre、zlib、openssl库等
yum install make cmake gcc gcc-c++
yum install vim-enhanced
yum install zip unzip
yum install -y pcre pcre-devel
yum install -y zlib zlib-devel
yum install -y openssl openssl-devel
第二步:上传安装文件到Linux服务器
为了便于管理,我们在Linux服务器上新建一个/usr/local/software目录,专门用于存放安装包,如下所示
[root@shenyanzhi ~]# mkdir /usr/local/software
下面我们把需要用到的安装包都上传到/usr/local/software目录下,我们可以使用XShell和Xftp5相结合来方便的进行上传下载操作,所用到的安装包在文末提供。
第三步:安装libfastcommon
解压并进入目录,然后编译安装
[root@shenyanzhi software]# unzip libfastcommon-master.zip -d /usr/local/fast/
[root@shenyanzhi software]# cd /usr/local/fast/libfastcommon-master/
[root@shenyanzhi libfastcommon-master]# ./make.sh && ./make.sh install
第四步:创建软链接
FastDFS主程序设置的目录为/usr/local/lib/,所以我们需要创建/usr/lib64/下的一些核心执行程序的软连接文件,如下所示。
[root@shenyanzhi libfastcommon-master]# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
[root@shenyanzhi libfastcommon-master]# ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
[root@shenyanzhi libfastcommon-master]# ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
[root@shenyanzhi libfastcommon-master]# ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
第五步:安装FastDFS
进入到software下,解压FastDFS_v5.05.tar.gz文件,编译安装。配置文件在/etc/fdfs/下
[root@shenyanzhi fast]# cd /usr/local/software/
[root@shenyanzhi software]# ll
[root@shenyanzhi software]# tar -zxvf FastDFS_v5.05.tar.gz -C /usr/local/fast/
[root@shenyanzhi software]# cd /usr/local/fast/FastDFS/
[root@shenyanzhi FastDFS]# ./make.sh && ./make.sh install
因为FastDFS服务脚本设置的bin目录为/usr/local/bin/下,但是实际我们安装在了/usr/bin/下面,所以我们需要修改FastDFS配置文件中的路径,也就是需要修改两个配置文件
使用命令vim /etc/init.d/fdfs_storaged
进入编辑模式,然后直接输入”:”,光标会定位到最后一行,在”:”后输入”%s+/usr/local/bin+/usr/bin”。输入完之后回车,会提示修改了7处。为了确保所有的/usr/local/bin都被替换了,我们可以再打开文件确认一下。
接着修改第二个配置文件,我们使用命令vim /etc/init.d/fdfs_trackerd
进入编辑模式,接着按照上面那样输入”:%s+/usr/local/bin+/usr/bin “并按回车,同样会提醒我们修改了7处。
第六步:配置跟踪器
进入到/etc/fdfs目录并且复制一份tracker.conf.sample并命名为tracker.conf,使用命令vim /etc/fdfs/tracker.conf进入编辑模式,然后修改base_path的值为/fastdfs/tracker。配置文件中配置的/fastdfs/tracker目前是不存在的,因此需要创建一下该目录
[root@shenyanzhi bin]# cd /etc/fdfs/
[root@shenyanzhi fdfs]# ll
[root@shenyanzhi fdfs]# cp tracker.conf.sample tracker.conf
[root@shenyanzhi fdfs]# mkdir -p /fastdfs/tracker
启动tracker,启动完之后,可以看到这个目录下多了两个目录data和logs
[root@shenyanzhi tracker]# /etc/init.d/fdfs_trackerd start
[root@shenyanzhi tracker]# cd /fastdfs/tracker/ && ll
设置开机自启动,在rc.local文件中添加/etc/init.d/fdfs_trackerd start
,如下所示。
#!/bin/bash
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
#
# It is highly advisable to create own systemd services or udev rules
# to run scripts during boot instead of using this file.
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.
touch /var/lock/subsys/local
/etc/init.d/fdfs_trackerd start
第七步:配置FastDFS存储
进入/etc/fdfs目录,复制一份storage.conf.sample文件并命名为storage.conf,修改storage.conf文件,使用命令vim /etc/fdfs/storage.conf
进入编辑模式,对以下四项进行修改,tracker_server填写为外网IP,自行设置,并创建存储目录/fastdfs/storage
。
base_path=/fastdfs/storage
store_path0=/fastdfs/storage
tracker_server=192.168.1.1:22122
http.server_port=8888
启动storage,启动后再看/fastdfs/storage目录,可以看到多了data和logs
[root@shenyanzhi storage]# /etc/init.d/fdfs_storaged start
[root@shenyanzhi storage]# cd /fastdfs/storage/ && ll
查看FastDFS tracker和storage 是否启动成功,当看到如下所示信息时说明都启动成功了
[root@shenyanzhi storage]# ps -ef | grep fdfs
root 20803 1 0 15:42 ? 00:00:00 /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
root 20879 1 0 15:52 ? 00:00:00 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
root 20894 20822 0 15:52 pts/2 00:00:00 grep --color=auto fdfs
我们进入到 /fastdfs/storage/data/目录下,可以看到两级共256*256个目录,每级都是从00到FF,如下只是列出了第一级的目录,点进去每个目录都还有00到FF共256个目录。
设置storage开机自启动,添加一行/etc/init.d/fdfs_storaged start
,同上,这里就不演示了。
第八步:测试图片上传
进入到/etc/fdfs目录下并复制一份client.conf.sample并更名为client.conf,
使用命令vim /etc/fdfs/client.conf
进入编辑模式并修改如下两项内容,如下所示。
base_path=/fastdfs/tracker
tracker_server=192.168.1.1:22122
下面使用fdfs_upload_file脚本进行文件上传操作,如下所示。可以看到已经上传成功了,返回的是图片的保存位置:
[root@shenyanzhi bin]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/software/shenyanzhi.png
group1/M00/00/00/rBD83lq_Q_-AB1H_AAAxNQHnUn4955.png
第九步:FastDFS与Nginx相结合
进入software目录下,解压nginx-1.6.2.tar.gz到/usr/local/
目录下,然后安装fastdfs-nginxmodule_v1.16.tar.gz(fast与nginx相结合的模块安装包), 进入/usr/local/software
目录并解压。
[root@shenyanzhi software]# tar -zxvf nginx-1.6.2.tar.gz -C /usr/local/
[root@shenyanzhi software]# tar -zxvf fastdfs-nginx-module_v1.16.tar.gz -C /usr/local/fast/
进入到/usr/local/fast
目录下可以看到解压的fastdfs-nginx-module目录,然后进入到fastdfs-nginx-module/src/
目录下,可以看到config文件,修改该conf文件,我们把文件的第四行配置中的/usr/local/include都改为/usr/include,共两处
进入到nginx-1.6.2/目录下并执行配置和编译安装,复制fastdfs-nginx-module中的配置文件,到/etc/fdfs
目录中
[root@shenyanzhi software]# cd nginx-1.6.2 && ./configure --prefix=/usr/local/nginx
[root@shenyanzhi nginx-1.6.2]# make && make install
[root@shenyanzhi nginx-1.6.2]# cd /usr/local/fast/fastdfs-nginx-module/src/
[root@shenyanzhi src]# cp /usr/local/fast/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
到/etc/fdfs/
目录下,修改我们刚copy过来的mod_fastdfs.conf文件,需要修改的项如下,其中第一项是超时时长,第三项是允许外界通过http方式访问资源。
connect_timeout=10
tracker_server=192.168.1.1:22122
url_have_group_name = true
store_path0=/fastdfs/storage
复制FastDFS里的2个文件,到/etc/fdfs
目录中,创建一个软连接,在/fastdfs/storage
文件存储目录下创建软连接,将其链接到实际存放数据的目录
[root@shenyanzhi fdfs]# cd /usr/local/fast/FastDFS/conf/
[root@shenyanzhi conf]# cp http.conf mime.types /etc/fdfs/
[root@shenyanzhi conf]# ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00
进入到/usr/local/nginx/conf/目录下,修改nginx.conf文件,修改的内容如下图示
设置Nginx开机自启动,这样下次重启设备之后,tracker、storage、nginx都自动启动了,直接就可以使用服务,添加/usr/local/nginx/sbin/nginx
。
启动Nginx
[root@shenyanzhi conf]# /usr/local/nginx/sbin/nginx
ngx_http_fastdfs_set pid=6809
现在我们便可以通过http的方式访问我们刚才上传的图片了(我们刚才上传图片返回的地址是group1/M00/00/00/rBD83lq_Q_-AB1H_AAAxNQHnUn4955.png),如下图所示。
至此,一个CentOS7.3操作系统搭建的FastDFS分布式文件系统便搭建完毕了!!!
nginx那步确实有问题,没有将模块编译进nginx.
./configure –prefix=/home/nginx –add-module=/home/fastdfs/fastdfs-nginx-module/src
另外,教程写的真好 🙂
@Snail 😥 帮别人搭的,我记得没漏操作,结果还能正常用
不行啊,按你的教程来的,你是不是少帖了一个步骤,nginx: [emerg] unknown directive “ngx_fastdfs_module” in /usr/local/nginx/nginx.conf:64
@charles 你少操作了的感觉
大佬玩的越来越高端了~
@西枫里博客 哈哈 折腾了一天 下班咯