Nginx和FastDFS的整合

原创 已于 2023-11-25 15:14:54 修改 · 1.2k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#nginx #学习 #linux #c语言 #服务器 #ubuntu

于 2023-11-25 15:13:54 首次发布

1、为什么需要整合FastDFS和Nginx

一个好的分布式文件系统最好提供Nginx的模块，因为对于互联网应用来说，像文件这种静态资源，一般是通过HTTP的下载，此时通过容易扩展的Nginx来访问FastDFS，能够让文件的上传和下载变得特别简单。

Nginx安装FastDFS模块，主要是安装在FastDFS的存储服务器(storage)上，而不是tracker和client上。

目的实际是为了，当输入地址(其中192.168.163.134 是一个storage服务器)：

http://192.168.163.134/group1/M00/00/00/wKijhmVhmIqASb3LAANln4yMdPQ502.jpg

能够通过Nginx的Web服务功能，直接返回图片。

下面我们结合文件上传下载的例子来看：

2、文件上传下载流程

  1. 文件上传流程

    在这里插入图片描述

  2. 文件下载流程

    在这里插入图片描述

  3. 优化

    优化思路:

      • 直接让客户端连接fastDFS的存储节点, 实现文件下载

      • 举例, 访问一个url直接下载:

        http://192.168.163.134/group1/M00/00/00/wKijhmVhmIqASb3LAANln4yMdPQ502.jpg

    在这里插入图片描述

  1. 客户端发送请求使用的协议: http

    • fastDFS能不能解析http协议

    • nginx能解析http协议

      • 在nginx中安装fastDFS的插件

  3. 客户端怎么知道文件就存储在对应的那个存储节点上?

    • 上传的时候将fileID和存储节点IP地址都进行存储

3、Nginx上部署FastDFS

注意：全部安装条件在确保之前的FastDFS 的tracker、storage和client可以正常使用。

安装包名称：fastdfs-nginx-module_v1.16.tar.gz

安装步骤：

  1. 解压Nginx的FastDFS模块包：tar -xzvf fastdfs-nginx-module_v1.16.tar.gz

    cd fastdfs-nginx-module/

    会发现里面有个INSTALL、HISTORY 和 src目录，这个不需要make而是需要重新编译一下storage的Nginx模块。

    在这里插入图片描述

  2. 在FastDFS的存储节点上安装Nginx, 将软件安装包拷贝到fastDFS存储节点对应的主机上

    # 1. 找fastDFS的存储节点
# 2. 在存储节点对应的主机上安装Nginx, 安装的时候需要一并将插件装上
#	- (余庆提供插件的代码   +   nginx的源代码 ) * 交叉编译 = Nginx

    由于我们之前在这台主机上安装过Nginx，而且也是这台主机作为存储节点，所以直接进入Nginx源码安装目录，进行如下操作即可：

    cd nginx-1.10.1/
./configure --add-module=/home/user/soft/nginx-fastdfs-module/fastdfs-nginx-module/src

    其中/usr/local/src/fastdfs-nginx-module/src 是刚才解压的fastdfs模块的绝对路径，就是在编译Nginx时候，连同这个模块一起编译：

    make
sudo make install

    make中遇到的问题

    在这里插入图片描述

    这种问题我们进入objs目录，将Makefile里的 -Werror 去掉即可

    然后再次执行make就遇到了如下问题

    在这里插入图片描述

    原因是Nginx是会想/usr/local/include/fastdfs/去找， 而不是去/usr/include/fastdfs/去找

    解决方案1：

    #将/usr/include/fastdfs/ 和 /usr/include/fastcommon/ 两个文件夹拷贝到/usr/local/include/下即可
sudo cp /usr/include/fastdfs/ /usr/local/include/ -R
sudo cp /usr/include/fastcommon/ /usr/local/include/ -R

    解决方案2：

    # 修改objs/Makefile
ALL_INCS = -I src/core \
    -I src/event \
    -I src/event/modules \
    -I src/os/unix \
    -I /usr/local/include/fastdfs \
    -I /usr/local/include/fastcommon/ \
    -I objs \
    -I src/http \                                                                                         -I src/http/modules \
    
    -I /usr/include/fastdfs/

    添加完成后，再次make，遇到同样的问题

    在这里插入图片描述

    我们修改 objs/Makefile文件

    在这里插入图片描述

    再次执行make就成功了，然后再使用 sudo make install 即可

  3. 安装成功后, 启动Nginx, 发现没有 worker进程

    在这里插入图片描述

    我们进入 /usr/local/nginx/logs 查看 nginx 的error.log日志，找错误原因：

    在这里插入图片描述

    原来是找不到插件里的mod_fastdf.conf配置文件

    所以我们需要将该文件拷贝到 /etc/fdfs目录下

    # [2023-11-25 14:09:05] ERROR - file: shared_func.c, line: 968, file /etc/fdfs/mod_fastdfs.conf not exist
# 从哪儿找 -> fastDFS插件目录中找
user@user-virtual-machine:~/soft/nginx-fastdfs-module/fastdfs-nginx-module$ tree
.
├── HISTORY
├── INSTALL
└── src
    ├── common.c
    ├── common.h
    ├── config
    ├── mod_fastdfs.conf   ->将该文件 sudo cp mod_fastdfs.conf /etc/fdfs
    └── ngx_http_fastdfs_module.c

1 directory, 7 files

  4. 拷贝完成之后，需要修改mod_fdfs.conf文件, 根据当前存储节点的storage.conf进行修改

    # 存储log日志的目录
base_path=/home/user/fastdfs/storage
# 连接tracker地址信息
tracker_server=192.168.163.134:22122
# 存储节点绑定的端口
storage_server_port=23000
# 当前存储节点所属的组
group_name=group1
# 客户端下载文件的时候, 这个下载的url中是不是包含组的名字
// 上传的fileID: group1/M00/00/00/wKijhmVhmIqASb3LAANln4yMdPQ502.jpg
// 完整的url: http://192.168.163.134/group1/M00/00/00/wKijhmVhmIqASb3LAANln4yMdPQ502.jpg
url_have_group_name = true
# 存储节点上存储路径的个数
store_path_count=1
# 存储路径的详细信息
store_path0=/home/user/fastdfs/storage

  5. 修改完配置文件后重新启动 Nginx, 还是没有worker进程, 查看error.log日志

    在这里插入图片描述

    还是同样的问题，我们需要找到 http.conf文件，然后再拷贝到 /etc/fdfs 目录即可

    在这里插入图片描述

    # [2023-11-25 14:26:02] ERROR - file: ini_file_reader.c, line: 631, include file "http.conf" not exists, line: "#include http.conf"
从 /etc/fdfs 下找的时候不存在
	- 从fastDFS源码安装目录找/conf
	- sudo cp http.conf /etc/fdfs
# 重新启动 Nginx，发现还是没有 worker进程，再次查看error.log日志：
# [2023-11-25 14:32:18] ERROR - file: shared_func.c, line: 968, file /etc/fdfs/mime.types not exist
	- 从nginx的源码安装包中找/conf
	- sudo cp mime.types /etc/fdfs

  6. 再次重启Nginx，发现 worker 进程终于启动了

    在这里插入图片描述

  7. 测试

    启动FastDFS的 tracker 和 storage 守护进程，然后上传一个本地图片用于浏览器进行下载

    在这里插入图片描述

    文件id：group1/M00/00/00/wKijhmVhmIqASb3LAANln4yMdPQ502.jpg

  8. 打开浏览器，输入：http://192.168.163.134/group1/M00/00/00/wKijhmVhmIqASb3LAANln4yMdPQ502.jpg

    在这里插入图片描述

    # 错误信息
#2023/11/25 14:51:50 [error] 6861#0: *2 open() "/usr/local/nginx/zyFile2/favicon.ico" failed (2: No such file or directory), client: 192.168.163.1, server: localhost, request: "GET /favicon.ico HTTP/1.1", host: "192.168.163.134", referrer: "http://192.168.163.134/upload/"
# 错误原因
服务器在查找资源时候, 找的位置不对, 需要给服务器指定一个正确的位置, 如何指定?
	- 资源在哪? 在存储节点的存储目录中 store_path0
	- 如何告诉服务器资源在这? 在服务器端添加location处理
locatioin /group1/M00/00/00/wKj3h1vJSOqAM6RHAAvqH_kipG8229.jpg
location /group1/M00/00/00/
location /group1/M00/
# 在 /usr/local/nginx/conf/nginx.conf 配置文件中配置如下 location 处理
location /group1/M00/
{
	# 告诉服务器资源的位置
	root /home/user/fastdfs/storage/data;
	ngx_fastdfs_module;
}
# 重新启动 nginx
sudo nginx -s reload
# 会出现下面一条命令，表示插件模块的一个进程
ngx_http_fastdfs_set pid=6961

  9. 再次访问浏览器，如果得到图片显示，则表示storage已经成功配置Nginx服务。

    在这里插入图片描述

storage服务器的 ip 地址可通过“fdfs_file_info”获取

fdfs_file_info /etc/fdfs/client.conf /group1/M00/00/00/wKj3h1vJSOqAM6RHAAvqH_kipG8229.jpg

在这里插入图片描述

用FastDFS集群自己动手搭建一个文件管理系统，给我学！
linuxguitu的博客
01-27 1385
目录 一、FastDFS介绍 简介 FastDFS的存储策略 FastDFS的上传过程 FastDFS的文件同步 FastDFS的文件下载 二、安装FastDFS环境 前言 下载安装 libfastcommon 下载安装FastDFS 配置FastDFS跟踪器(Tracker) 配置 FastDFS 存储 (Storage) 文件上传测试 三、安装Nginx 安装nginx所需环境　　 安装Nginx 访问文件 四、FastDFS 配置 Nginx 模块 安装配置Nginx.
Nginx和FastDfs完整配置过程_fastdfs安装
2501_90244936的博客
01-14 1314
看看有没有报错，如果没有错误就可以执行软链接了。
Fastdfs与Nginx的整合
weixin_34166472的博客
06-20 369
  fastdfs在4.06版本以后，就不再支持自带的http服务了，如果需要使用http服务来访问文件，则可以与nginx结合部署，实现http服务。 硬件环境：      tracker:192.168.189.146      storage:192.168.189.145 (group1)      storage:192.168.189.144 (group2)软件环境：      Te...
FastDFS分布式文件系统架构学习(一)
最新发布
2303_78922833的博客
05-18 1415
FastDFS是一个开源的轻量级分布式文件系统，由淘宝资深架构师余庆设计并开发。它专为互联网应用量身定制，特别适合以中小文件（如图片、文档、音视频等）为载体的在线服务。
图片服务器搭建过程
weixin_30242907的博客
08-13 270
一、准备工作1下载软件：http://sourceforge.net/projects/fastdfs/files/ 　或者百度云：链接:http://pan.baidu.com/s/1jIR4Gce 密码:5zvf2安装gcc。命令：yum install make cmake gcc gcc-c++ 二、安装libfastcommon 2.上传libfastcommon.zip 到 /...
Nginx和fastDFS的整合
yao-xin
08-02 368
浏览器作为客户端，在访问http://192.168.232.132/group1/M00/00/00/wKjohGTDg3eAQx09ADYDn-wridU777.jpg时，将命令发送到了nginx服务器(注意，这是原来的存储节点上安装了带插件的nginx)80端口，命令匹配/group1/M00/。
FastDFS安装与Nginx整合
12-20
FastDFS的安装包与安装文档，已经安装成功之后调用的示例，以及整合Nginx
Nginx+FastDFS整合安装与配置详细图文教程.pdf
05-27
根据提供的文档内容，这篇“Nginx+FastDFS整合安装与配置详细图文教程”主要包含两个关键部分：Nginx的安装和配置、FastDFS的安装和配置。接下来我将详细介绍这两个部分的知识点。 ### Nginx安装和配置 Nginx是一...
Nginx+FastDFS整合安装配置教程
"本教程详细介绍了如何在Linux环境中整合安装Nginx与...这个教程详细地涵盖了从安装Nginx和其依赖，到配置FastDFS，最后整合Nginx与FastDFS的全过程，对于需要搭建FastDFS系统的开发者来说，是一份非常实用的参考资料。
Nginx与FastDFS整合：必备依赖包全解析
标题所指出的技术栈是由FastDFS、Nginx以及它们所依赖的组件共同构成的分布式文件存储系统，而描述则更具体地说明了这个技术栈包含了Nginx与FastDFS整合所需的所有依赖包。FastDFS是一个开源的轻量级分布式文件系统...
Linux环境下的nginx与fastdfs整合安装指南
#### Nginx与FastDFS整合安装 1. **准备工作**：确保系统已安装有编译环境所需的依赖包，如gcc, gcc-c++，以及make工具等。 2. **安装libfastcommon**：libfastcommon是FastDFS的公共库，需要首先安装。通常需要从...
FastDFS 和nginx整合
qq_36830828的博客
08-15 236
1.安装nginx 1.1nginx安装环境 nginx是C语言开发，建议在linux上运行，本教程使用Centos6.5作为安装环境。 1.1.1gcc 安装nginx需要先将官网下载的源码进行编译，编译依赖gcc环境，如果没有gcc环境，需要安装gcc：java yum install gcc-c++ 1.1.2PCRE PCRE(Perl Compatible Regular Expressions)是一个Perl库，包括 perl 兼容的正则表达式库。nginx的http模块使用pcre来解析正则表
Nginx+FastDFS
qq_45393339的博客
06-27 3672
代理：通过客户机的配置，实现让一台服务器代理客户机，客户的所有请求都交给代理服务 器处理。正向代理比如：各种翻墙软件，vpn，各种游戏加速器等等。反向代理：用一台服务器，代理真实服务器，用户访问时，不再是访问真实服务器，而是代 理服务器。我们需要提前在nginx中配置好反向代理的规则，不同的请求，交给不同的真实服务器处理当请求到达nginx，nginx会根据已经定义的规则进行请求的转发，从而实现路由功能。
FastDFS与Nginx集成
weixin_39453325的博客
10-05 1287
最近考虑在项目中使用文件服务器来存储图片文件，FastDFS 是一个开源的轻量级的分布式文件系统，由 tracker server(跟踪服务器) 、storage server(存储服务器) 、client(客户端) 三部分组成，主要解决了海量数据存储问题，特别适合中小文件( 4KB<file_size<500MB)为载体的服务。FastDFS 的集群搭建比较复杂，对于想要学习 Fas...
nginx集成FastDFS
12-19 190
一、前期准备 安装nginx和FastDFS，并保证能正常运行。 下载nginx和FastDFS的集成模块，fsatdfs-nginx-module_v1.16.tar.gz，存放到/usr/local/FastDFS目录下，并执行tar –zxvf fsatdfs-nginx-mod...
FastDFS整合Nginx
iteye_11985的博客
05-21 315
FastDFS提供了文件的备份，插入，下载的负载均衡等功能。但是作为图片服务器，十分需要HTTP的服务，进行图片的显示。这时就需要整合HTTP服务器。 FastDFS自带了HTTP服务，但是作者余庆大师估计是测试时候自己用的，所以他本人也并不建议使用自带的HTTP模块，而是与其他HTTP Server整合。FastDFS提供了Nginx的模块，今天重点整合Nginx。 一 Nginx的...
FastDFS和Nginx的整合
Lincain的博客
03-16 420
FastDFS和Nginx的整合 FastDFS在4.06版本以后，就不再支持自带的http服务了，如果需要使用http服务来访问文件，则可以与Nginx结合部署，实现http服务。本文主要介绍FastDFS和Nginx如何进行整合，如果你还没安装配置这两个服务，可参考我的另外两篇文章：FastDFS的安装与配置和 Nginx的安装和配置。 二者的整合还要依赖fastdfs-nginx-modul...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值