【go-fastdfs】go-fastdfs 分布式文件系统搭建

「已注销」

已于 2023-03-21 09:18:23 修改

阅读量2.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： linux 文章标签： golang hadoop 大数据

于 2019-11-28 16:20:03 首次发布

本文链接：https://blog.csdn.net/Richardlygo/article/details/103295702

文章目录
【go-fastdfs】go-fastdfs 分布式文件系统搭建
〇、缘起
一、从头开始：FastDFS 简介
二、主角出场：go-fastdfs (go语言版本的FastDFS)
1.介绍
2.安装
3.配置
4.启动
5.使用
三、数据美化：go-fastdfs-web 监控工具安装
0.介绍
1.安装
2.配置
3.部分截图
四、写在最后：总结
五、友情链接：其他相关文章

【go-fastdfs】go-fastdfs 分布式文件系统搭建
〇、缘起

前段时间写爬虫准备爬取了很多图片，没有云服务器，没有图片服务器，然后就创建了个虚拟机，开了个 HTTP 的图片接受服务，用的很 happy，单机爬取、展示玩的很开心，就这样过了很久，某一天清理电脑空间，一不小心，虚拟机没了，哈哈。让我自己凌乱一会~
吸取经验教训，接下来装一套可以自备份的分布式文件系统管理图片数据吧。。。
【选型】
选项一：B站开源的 BFS 分布式文件系统很适合小文件的存取，不过部署起来要复杂很。
选项二：C 原版 FastDFS，备选
选项三：其他分布式文件系统(GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS等);
选项四：无意中发现了 go 实现的 FastDFS，就是他了…

一、从头开始：FastDFS 简介

FastDFS 是一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。

看着还挺合适的嘛，不错…

更详细的介绍请看 这里;

项目地址：https://github.com/happyfish100/fastdfs

二、主角出场：go-fastdfs (go语言版本的FastDFS)

项目地址：https://github.com/sjqzhang/go-fastdfs
编译版本下载地址：https://github.com/sjqzhang/go-fastdfs/releases

1.介绍

中文Wiki地址：https://github.com/sjqzhang/go-fastdfs/blob/master/README-en.md

go-fastdfs是一个基于http协议的分布式文件系统，它基于大道至简的设计理念，一切从简设计，使得它的运维及扩展变得更加简单，它具有高性能、高可靠、无中心、免维护等优点。

支持curl命令上传
支持浏览器上传
支持HTTP下载
支持多机自动同步
支持断点下载
支持小文件自动合并(减少inode占用
支持配置自动生成
支持自监控告警
支持集群文件信息查看
使用通用HTTP协议
无需专用客户端（支持wget,curl等工具）
类fastdfs
高性能（使用leveldb作为kv库）
高可靠（设计极其简单，使用成熟组件）
无中心设计(所有节点都可以同时读写)

优点

无依赖(单一文件）
自动同步
失败自动修复
按天分目录方便维护
支持不同的场景
文件自动去重
支持目录自定义
支持保留原文件名
支持自动