FastDFS单节点部署

最新推荐文章于 2025-06-12 17:47:08 发布
最新推荐文章于 2025-06-12 17:47:08 发布
阅读量1.5k 收藏 23
点赞数 11
CC 4.0 BY-SA版权
分类专栏： # FastDFS 文章标签： 文件存储 fastdfs 单节点部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dws123654/article/details/143093298

FastDFS单节点部署

1、FastDFS入门

1.1 分布式文件系统

分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文件。但这个软件所管理的文件通常不是在一个服务器节点上，而是在多个服务器节点上，这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群，这些服务器都用于存储文件资源，通过分布式文件系统来管理这些服务器上的文件。

常见的分布式文件系统有：FastDFS、GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS 等。其实均是类GFS的文件系统。

分布式文档系统对比

  • 分布式文件系统与传统文件系统对比

image-20240626090622675

  • 传统方式弊端：
    • 如果用户数量多，IO操作比较多，对磁盘访问压力很大
    • 如果磁盘发生故障，会造成数据丢失
    • 存储容量有限

image-20240626091636482

FastDFS分布式文件系统的优点：

  • 解决传统方式的单点故障问题，如果某一个节点出现故障，还有其他的节点可以用来读取和写入文件
  • 可以提供数据备份避免因磁盘损坏导致的文件丢失
  • 可以提供扩容的机制，无限增加文件存放的空间上限

FastDFS特点：

  • 分组存储，简单灵活；

  • 对等结构，不存在单点；

  • 文件ID由FastDFS生成，作为文件访问凭证。FastDFS不需要传统的nameserver或metaserver；

  • 大、中、小文件均可以很好支持，可以存储海量小文件；

  • 一台storage支持多块磁盘，支持单盘数据恢复；

  • 提供了nginx扩展模块，可以和nginx无缝衔接；

  • 支持多线程方式上传和下载文件，支持断点续传；

  • 存储服务器上可以保存文件附加属性。

1.2 FastDFS 简介

FastDFS 是一个开源的轻量级分布式文件系统，为互联网应用量身定做，简单、灵活、高效，采用 C 语言开发，由阿里巴巴开发并开源。

FastDFS 对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载、文件删除）等，解决了大容量文件存储的问题，特别适合以文件为载体的在线服务，如相册网站、文档网站、图片网站、视频网站等等。

FastDFS 充分考虑了冗余备份、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

1.3 FastDFS 发展历史

2008 年 4 月项目启动，7 月发布第一个版本 V1.00，两年时间内持续升级到 V1.29
2010 年 8 月推出 V2.00
2011 年 6 月推出 V3.00
2012 年 10 月推出 V4.0.0
2013 年 12 月推出 V5.0.0
截止目前最新版是 V5.11（2017 年 6 月发布）
FastDFS 系统架构从第一个版本发布后一直没有大的调整，高版本完全兼容低版本的数据，可以做到平滑升级，推荐更新升级到最新版本
FastDFS 代码托管在 github 上：https://github.com/happyfish100/fastdfs

1.4 FastDFS 整体架构

FastDFS 文件系统由两大部分构成，一个是客户端，一个是服务端。

客户端通常指我们的程序，比如我们的 Java 程序去连接 FastDFS、操作 FastDFS，那我们的 Java 程序就是一个客户端，FastDFS 提供专有 API 访问，目前提供了 C、Java 和 PHP 几种编程语言的 API，用来访问 FastDFS 文件系统。业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。

服务端由两个部分构成：一个是跟踪器（tracker），一个是存储节点（storage）

跟踪器（tracker）主要做调度工作，在内存中记录集群中存储节点storage的状态信息，是前端Client和后端存储节点storage的枢纽。因为相关信息全部在内存中，Tracker server的性能非常高，一个较大的集群（比如上百个 group）中有3台就足够了。

跟踪器，主要做调度工作，管理集群，在访问上起到负载均衡的作用。 `tracker`也可以实现集群。每个`tracker`节点地位平等。

作用：引导客户端去哪台服务器存储数据，实际上是客户端与存储服务器直接进行通信的，并不需要通过`Tracker`进行中转。

存储节点（storage）用于存储文件，包括文件和文件属性（meta data）都保存到存储服务器磁盘上，完成文件管理的所有功能：文件存储、文件同步和提供文件访问等。

存储节点，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的`metadata`进行管理。需要连接`tracker`端，定期报告自己的情况（是否活着，剩余容量，负载情况）分为多个组，每个组之间保存的文件是不同的。每个组内部可以有多个成员，组成员内部保存的内容是一样的，组成员的地位是一致的，没有主从的概念。

`Storage`是可以实现横向扩容的，向里面添加组服务器，且同一个组里面的文件是一样的，一台服务器挂了，还有别的服务器可以提供访问。（实现高可用）一台服务器很忙，可以将访问分配给其他服务器，实现负载均衡。

FastDFS上传文件交互过程

  1. client询问tracker上传到的storage，不需要附加参数；
  2. tracker返回一台可用的storage
  3. client直接和storage通讯完成文件上传

FastDFS下载文件交互过程

  1. client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；
  2. tracker返回一台可用的storage；
  3. client直接和storage通讯完成文件下载

1.5 FastDFS 线上使用者

UC （http://www.uc.cn/ ，存储容量超过 10TB）
支付宝（http://www.alipay.com/）
京东商城（http://www.jd.com/）
淘淘搜（http://www.taotaosou.com/）
飞信（http://feixin.10086.cn/）
赶集网（http://www.ganji.com/）
淘米网（http://www.61.com/）
迅雷（http://www.xunlei.com/）
蚂蜂窝（http://www.mafengwo.cn/）
5173（http://www.5173.com/）
华师京城教育云平台（http://www.hsjdy.com.cn/）
视友网（http://www.cuctv.com/）
搜道网（http://www.sodao.com/）
58 同城（http://www.58.com/）
商务联盟网（http://www.biz72.com/）
中青网（http://www.youth.cn/）
保利威视（http://www.freeovp.com/）
梦芭莎（http://www.moonbasa.com/）
51CTO（http://www.51cto.com/）
搜房网（http://www.soufun.com/）

2、FastDFS 环境搭建

2.1 FastDFS 安装

2.1.1 安装前的准备

（1）检查 Linux 上是否安装了 gcc、libevent、libevent-devel

yum list installed | grep gcc
yum list installed | grep libevent
yum list installed | grep libevent-devel

（2） 如果没有安装，则需进行安装

yum install gcc libevent libevent-devel -y

2.1.2 安装 libfastcommon库

​ libfastcommon 库是 FastDFS 文件系统运行需要的公共 C 语言函数库
​ 注意：目前最新版本的 v1.0.39 和最新版的 FastDFS5.11 不兼容，所有我们这里使用的版本是 v1.0.36 下载地址：https://github.com/happyfish100

（1） 将下载好的 libfastcommon 文件上传到 linux服务器（/soft）

image-20240626103552273

（2） 解压下载下来的 tar.gz 压缩包到当前目录

tar -zxvf libfastcommon-1.0.36.tar.gz

（3） 切换到解压后的 libfastcommon 目录

cd libfastcommon-1.0.36

（4） 执行 make 脚本进行编译

./make.sh

image-20240626103815357

注意： make 编译的时候如果报错，需解决错误后再次进行 make，通常发生错误是由于 Linux 缺少某些依赖库导致，根据错误提示解决错误

（5） 执行 make install 进行安装

./make.sh install

image-20240626104015100

#安装完成提示libfastcommon安装在了如下两个位置
#/usr/lib/libfastcommon.so
#/usr/lib64/libfastcommon.so
#可分别进入这两个目录并查看
cd /usr/lib && ls | grep libfastcommon.so 
cd /usr/lib64 && ls | grep libfastcommon.so
#由于FastDFS主程序设置的目录为/usr/local/lib/,所以我们需要创建/usr/lib64/下的一些核心执行程序的软连接文件,执行以下命令
# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so \
# && ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so \
# && ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so \
# && ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
#如果是fastdfs5.0.8,上述创建软连接，可能会提示已经存在，但是为了保证没有漏掉，建议还是都执行一遍

至此 libfastcommon 库安装完毕

2.1.3 安装 FastDFS

FastDFS没有 Windows 版本，不能在Windows下使用。
FastDFS需要安装部署在Linux环境下，我们这里使用的是 fastdfs-5.11版本（201901）
下载地址: https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz

（1） 将下载好的 FastDFS 文件上传到 Linux（home/soft）
image-20240626104214550

（2） 解压下载下来的 tar.gz 压缩包到当前目录

tar -zxvf fastdfs-5.11.tar.gz

（3） 切换到解压后 FastDFS 的目录

cd fastdfs-5.11

（4） 执行 make 脚本进行编译

./make.sh

（5） 执行 make install 进行安装

./make.sh install

image-20240626104422499

# 验证  
cd /etc/fdfs && ll #查看配置文件列表
cd /etc/init.d && ll |grep fdfs #查看服务脚本
cd /usr/bin && ll |grep fdfs #查看执行脚本

# 全局替换执行脚本目录(5.0.8及以后的版本就不需要执行这一步了) 
vim /etc/init.d/fdfs_storaged #编辑fdfs_storaged文件,执行全局替换
:%s+/usr/local/bin+/usr/bin #(键盘输入才有效)
vim /etc/init.d/fdfs_trackerd #编辑fdfs_trackerd文件,执行全局替换
:%s+/usr/local/bin+/usr/bin #(键盘输入才有效)

至此 FastDFS 安装完成

  • 所有编译出来的文件存放在/usr/bin 目录下
  • 所有配置文件存放在/etc/fdfs 目录下

（6） 查看安装后的效果

  • 查看 FastDFS 相关的可执行程序
ll /usr/bin/fdfs*

image-20240626110515528

  • 查看 FastDFS 的配置文件
ll /etc/fdfs/

image-20240626110556838

（7） 另外注意需要把解压后的 fastdfs-5.11/conf 目录下的两个文件拷贝到/etc/fdfs/ ，否则后续会有很多奇怪问题不好解决

cp http.conf /etc/fdfs/
cp mime.types /etc/fdfs/

image-20240626110930989

​ 这两个文件后续需要用到，所以先拷贝过去

2.2FastDFS 配置

2.2.1 去掉/etc/fdfs/目录下 FastDFS 配置文件的后缀名

[root@fastdfs01 fastdfs-5.11]# cd /etc/fdfs/
[root@fastdfs01 fdfs]# mv client.conf.sample client.conf
[root@fastdfs01 fdfs]# mv storage.conf.sample storage.conf
[root@fastdfs01 fdfs
最低0.47元/天 解锁文章

200万优质内容无限畅学
单机版Fastdfs安装部署
阿索的专栏
03-25 5201
一、软件包准备： 1、FastDFS_v5.05.tar.gz 2、libfastcommonV1.0.7.tar.gz 3、fastdfs-nginx-module_v1.16.tar.gz 4、nginx-1.10.2.tar.gz 二、确认环境端口是否可用，也可更换fastdfs默认端口 tracker使用：22122 storage使用：23000 ...
Fastdfs单节点安装包集合.rar
08-17
FastDFS安装包,包含fastdfs，nginx,以及两个依赖库。安装教程请到博客园网址查看：https://www.cnblogs.com/fyhsACr/
FastDFS文件服务器的搭建与部署(单机版)
weixin_33909059的博客
10-09 383
1:基础配置 1.1:配置服务器静态IP,进入到network-scripts目录,修改ifcfg-enp0s25文件 可能有部分机器名称不同 修改含ifcfg-*文件即可; cd /etc/sysconfig/network-scripts/ vi ifcfg-enp0s25 修改以下内容: BOOTPROTO="static" #dhcp改为static...
FastDFS部署
最新发布
wq975826228的博客
06-12 988
FastDFS类似google FS，属于应用级文件系统，不是通用的文件系统，只能通过专有API访问，目前提供了C客户端和Java SDK，以及PHP扩展SDK。FastDFS可以看做是基于文件的key value存储系统，key为文件ID，value为文件本身，因此称作分布式文件存储服务更为合适。是一款开源的分布式文件系统，功能主要包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了文件大容量存储和高性能访问的问题。4）大、中、小文件均可以很好支持，可以存储海量小文件；
fastDFS部署
Q7758521adc的博客
07-22 788
跟踪服务器，主要负责调度工作，起到均衡作用，负责管理所有的storage和group，并于storage保持周期性心跳，storage会定期向tracker报告信息，会生成一个关系映射表。提供了fastdfs-nginx-module模块，利用该模块可以重定向到文件上传时的源服务器取文件，避免客户端因为复制延迟造成文件无法访问的错误。http访问文件的端口，实际上是fastdfs-nginx-module去利用nginx识别定位文件信息的端口，是nginx程序用的而不是客户端网页访问端口。
FastDFS安装（个人亲测成功）
m0_37711292的博客
09-12 609
FastDFS下载路径：https://sourceforge.net/projects/fastdfs/files/ 编译环境 安装gcc,命令：yum install make cmake gcc gcc-c++ 安装libfatscommon 1，下载安装包：git clone https://github.com/happyfish100/libfastcommon.git --d...
FastDFS文件服务器部署
我一直都在
02-02 263
准备FastDFS包，下载地址 一、环境要求 1.操作系统：CentOS-6.4 x64 2.FastDFS版本：FastDFS_v5.05.tar.gz 3.机器：1台 # yum -y install make cmake gcc gcc-c++ 二、安装步骤 1.安装 FastDFS_v5.05.tar.gz (1)创建fastdfs组和用户 A.创fstdfs组 # groupadd fastdfs B.创建fastdfs用户 # useradd -d /home/fastdfs -g fas
FastDFS单节点部署与配置指南
FastDFS是一种开源的轻量级分布式文件系统，它由跟踪服务器（Tracker）和存储服务器...在多节点部署和管理过程中，需要充分考虑数据安全、负载均衡、系统监控和故障恢复等问题，以保证系统的高可用性和数据的完整性。
FastDFS单节点部署与nginx/tracker配置手册
综上所述，本手册旨在为用户提供从零开始到成功部署单节点FastDFS系统的过程，包括必要的环境搭建、服务安装、配置设置及功能测试等重要步骤。通过该手册的学习，用户将能够掌握FastDFS分布式文件系统的部署与管理，...
FastDFS单节点部署教程：CentOS环境下的安装与配置
本文档详细介绍了在 CentOS 6.6 环境下，如何安装和配置 FastDFS 分布式文件系统，以及针对单节点部署的具体步骤。FastDFS 是一个开源的高性能分布式文件系统，特别适用于大规模图片、视频等二进制文件的存储和分发...
FastDFS安装部署
sky博客
12-03 436
FastDFS安装部署
详细的最新版fastdfs单机版搭建
weixin_30633405的博客
06-09 259
前言 　　目前项目是tomcat单机部署的，图片、视频也是上传到tomcat目录下，关键是此项目的主要内容还就是针对图片、视频的，这让我非常担忧；文件服务器的应用是必然的，而且时间还不会太久。之前一直有听说fastdfs，但一直没去认真琢磨他，最近才开始去研究它，今天只是去搭建一个简单的单机版，集群版后续再出；至于架构、原理什么我就不写了，网上资料非常多。 环境准备 　　系统：Centos6...
Fastdfs部署
weixin_47297088的博客
10-29 2394
服务器规划 IP 服务 192.168.174.22 tracker_server1、storage_server1、nginx 192.168.174 .23 tracker_server2、storage_server2、nginx 配置主机名 192.168.174.22 hostnamectl set-hostname fdfs22 hostname fdfs22 192.168.174 .23 hostnamectl set-hostname fdfs23 hostnam
fastdfs部署详解
凤凰涅槃而生
12-10 2284
FastDFS 是一个开源的高性能分布式文件系统。它的主要功能包括：文件存储、文件同步和文件访问（文件上传和文件下载），它可以解决高容量和负载均衡问题。FastDFS应该能满足图片分享网站、视频分享网站等以文件为基础服务的网站的要求。FastDFS有两个角色：tracker和storage。跟踪器负责文件访问的调度和负载均衡。storage 存储文件，其功能是文件管理，包括：文件存储，文件同步，提供文件访问接口。它还管理元数据，这些元数据是表示文件键值对的属性。
fastdfs部署
咸鱼派大星的博客
05-20 501
因为近期公司fastdfs集群要加2个storage节点，正好把部署过程记录一下，分享出来给有需要的人。内容完毕，有不明白的可以留言。
fastDFS单机部署
qq_38899062的博客
10-12 802
fasdDFS单机部署步骤
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值