Nginx 使用 ngx_http_mirror_module 模块 复制 http请求流量

最新推荐文章于 2025-04-20 12:54:05 发布
原创 最新推荐文章于 2025-04-20 12:54:05 发布
· 279 阅读 · 0 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

要求Nginx 版本 1.13.4 以上（此版本以上默认打开 ngx_http_mirror_module 模块）

server {

        upstream jumpserver {

  server ip:port weight=1;

        }
        location /collector {
            mirror /mirror_collector;
            uwsgi_pass jumpserver; # uwsgi 转发
            include uwsgi_params;
        }
        location /mirror_collector {

            # 流量 copy 
            proxy_pass http://ip:port$request_uri;
        }

}

参考：https://blog.csdn.net/liyan_1949/article/details/105335671

http://www.eryajf.net/3367.html

http://nginx.org/en/docs/http/ngx_http_mirror_module.html

【nginx】ngx_http_proxy_connect_module 正向代理
突围
09-14 988
nginx 正向代理
nginx模块解析
m0_55877125的博客
04-03 1130
nginx模块
game module 停止运行_详解流量复制解决方案--NGINX的ngx_http_mirror_module模块实现
weixin_39969611的博客
11-25 1616
概述因为我们的接口环境是在winserver上，而gor又刚好没对应版本(网上很多办法都试过了...哪位朋友测试过可以的话指点下)，所以用了nginx的ngx_http_mirror_module模块来实现需求。01ngx_http_mirror_module模块nginx官网公布了nginx1.13.4最新的ngx_http_mirror_module模块，利用mirror模块，业务可以将线上实...
Nginx最新模块—ngx_http_mirror_module分析
xhjcehust的专栏
08-11 6173
最近nginx官网公布了nginx1.13.4最新的ngx_http_mirror_module模块，利用mirror模块，业务可以将线上实时访问流量拷贝至其他环境，基于这些流量可以做版本发布前的预先验证，进行流量放大后的压测等等。本着兴趣笔者调研了其实现原理和使用方式，通过demo的形式展示给读者，希望能解决大家在使用过程中遇到的问题。
利用nginx内置ngx_http_mirror_module模块实现流量复制及流量放大
最新发布
leo__520的博客
04-20 347
同时也可以将请求复制到多个后端服务器，并将多个后端服务器的响应合并返回给客户端，从而实现流量放大。假设有两个后端服务器A和B，我们希望将来自客户端的HTTP请求同时转发到这两台服务器上，并将两台服务器的响应合并返回给客户端。模块默认是不包含在标准的Nginx构建中的，因此在使用前需要确认是否已经编译进Nginx或者重新编译Nginx并包含该模块。假设有两个后端服务器A和B，我们希望将来自客户端的HTTP请求同时转发到这两台服务器上。的upstream块，其中包含了两个后端服务器A和B。
Nginx的ngx_http_mirror_module模块
VitaminZH的博客
07-18 1666
1.ngx_http_mirror_module nginx从1.13.4开始新增(ngx_http_mirror_module)模块，顾名思义，可以将一个请求以镜像请求的方式发送到另外的服务器，通常也叫请求复制，可以用于测试环境模拟真实环境的请求。 2.使用nginx1.14进行测试 关于镜像请求的配置 server { listen 8081; ...
nginx ngx_http_mirror_module模块
陈海峰的博客
08-09 2759
Nginx 1.13.4版本新增了ngx_http_mirror_module模块。 ngx_http_mirror_module模块适用于这样一种场景，可以把真实请求引流到测试环境。 配置示例  location / {     mirror /mirror;     proxy_pass http://backend; } location /mirror {    
利用nginx内置ngx_http_mirror_module模块实现流量复制及流量放大 
thlzjfefe的博客
02-23 961
利用nginx内置ngx_http_mirror_module模块实现流量复制及流量放大 0. 需求 复制线上真实流量，在不影响真实业务前提下，利用复制流量来做故障分析、性能定位、迁移评估等功能。具体功能包含： 支持或禁止post请求复制 记录复制(镜像)日志 mirror：中文为镜像的意思，这里指流量复制的目的地。 1. ngx_http_mirror_module模块特性 ...
nginx 模块说明
hallyz的博客
05-23 630
nginx 模块说明 模块 描述 ngx_http_core_module nginx核心基础模块 ngx_http_access_module 该模块提供了一个简单的基于主机的访问控制。允许/拒绝基于ip地址 ngx_http_addition_module 作为一个输出过滤器，支持不完全缓冲，分部分响应请求 ngx_http_api_module ngx_http_auth_basic_module 该模块提供了一个简单的基于主机的访问控制。允许/拒绝基于ip地址
Nginx(二) 重新编译并添加模块
ShenDaiSun的博客
11-05 2332
作用：一是检查所需模块是否已安装，二是将configure arguments: 后面的参数复制出来并保存，因为等会重新编译时还需将这些模块一同添加进去。
支持nginx_tcp_proxy_module的nginx安装(1.9.9版本)
ting0fdnb的博客
05-29 9229
安装背景1、nginx服务器需要支持tcp的负载均衡的配置；2、高版本的nginx(1.10以上?)不支持第三方模块nginx_tcp_proxy_module的安装；3、高版本的nginx有自带tcp负载均衡配置(stream模块)，但是health_check功能只供商业用户使用，第三方tcp心跳检测模块还没有适配上(2018.5)；4、低版本的nginx可以用第三方模块nginx_tcp_p...
Nginx http_mirror_module 实现流量复制
小楼一夜听春雨，深巷明朝卖杏花
04-29 2085
http_mirror_module功能和特性 mirror模块可以帮助我们创建一份镜像流量，比如在生产环境下处理一些请求，这些请求可能要同步的copy一份到我的测试环境当中或者开发环境当中做处理，mirror模块就可以实现。 每当我们的请求到了nginx之后，可以生成子请求。这个子请求可以通过反向代理去访问我们其他的环境，比如我们的测试环境。而对测试环境和其他环境返回的内容我们是不做处理的，...
Nginx流量拷贝ngx_http_mirror_module模块使用方法详解
因上努力，果上随缘。但行好事，莫问前程。
05-09 4557
在日常工作中，会有这样的场景，为了便于测试，可能希望线上的请求能够同步到测试一部分，以便于验证某些功能，或者是在多套测试环境的情况下，希望能够将某些请求在几个环境同步，比如在 1 环境测试的时候生成了某个图片或者视频，这个生成依赖于一个请求的回调，而如果没有特别配置，则这个请求就只在当前环境中生效，这对测试工作有相当大的不便。 于是，我们需要引入流量复制这一概念，流量复制有不少工具可以实现，有 Gor、tcpreplay、tcpcopy 等，而今天将要使用的，是配置简单，使用方便的 NGINX 的一个模块
nginx实时流量拷贝ngx_http_mirror_module
李习的博客
03-13 730
请求一个接口，想实时拷贝这个请求转发到自己的服务上，可以使用ngx_http_mirror_module模块。官网好像就两个指令，
Nginx分流(一条请求复制成多条请求)
zwz1342的博客
06-26 653
通过nginx将流量同时分发到多个服务器上.
Nginx流量拷贝ngx_http_mirror_module模块配置及分析
thlzjfefe的博客
06-30 626
本文适合对nginx比较感兴趣的同学阅读，需要具备一定的服务端编程知识。 一、背景 最近nginx官网公布了nginx1.13.4最新的ngx_http_mirror_module模块，利用mirror模块，业务可以将线上实时访问流量拷贝至其他环境，基于这些流量可以做版本发布前的预先验证，进行流量放大后的压测等等。本着兴趣笔者调研了其实现原理和使用方式，通过demo的形式展示给读者，希望能解决大家在使用过程中遇到的问题。 二、mirror模块配置 mirror模块配置分为两部分，源地址和镜像地址配置，配
记一次nginx流量复制
qq_17805707的博客
11-16 1481
nginx配置proxy_pass采坑及流量复制
nginx-工作原理及配置文件详解＜一＞
Op_Wa的博客
10-26 2639
nginx工作原理 nginx由内核和模块组成。其中，内核的设计非常微小和简洁，完成的工作也非常简单，仅仅通过查找配置文件将客户端请求映射到一个location block（location是nginx配置中的一个指令，用于URI匹配），而在这个location中所配置的每个指令将会启动不同的模块去完成相应的工作。 nginx的模块分类 nginx的模块从结构上分为核心模块、基础模块和第三方模块 HTTP模块、EVENT模块和MAIL模块等属于核心模块 HTTP Access模块、HTTP FastCGI
nginx mirror
03-15
### Nginx Mirror Module 配置指南 Nginx 从版本 1.13.4 开始支持 `ngx_http_mirror_module` 模块，这一模块允许将请求复制并发送至指定的镜像服务器，而不会干扰原始请求的处理流程[^1]。以下是关于如何配置和使用此功能的具体说明。 #### 一、确认 Nginx 支持 Mirror 模块 在启用流量镜像之前，需确保当前使用的 Nginx 版本已编译包含 `ngx_http_mirror_module` 模块。如果未包含，则需要重新编译 Nginx 并手动添加该模块。可以通过运行以下命令验证模块是否存在： ```bash nginx -V 2>&1 | grep -o with-http_mirror_module ``` 若无输出则表示尚未加载该模块。 --- #### 二、基本配置示例 假设有一个主服务位于 `/main-service/` 路径上，并希望将其部分流量镜像到另一个地址 `/mirror-service/` 上。可以按照如下方式设置： ```nginx http { server { listen 80; server_name localhost; location /main-service/ { proxy_pass http://backend_main_service; # 主服务目标地址 mirror /mirror_request; # 定义镜像路径 } location = /mirror_request { # 处理镜像请求的位置 internal; # 此位置仅限内部调用 proxy_pass http://backend_mirror_service; # 镜像服务目标地址 } } } ``` 上述配置中，当访问 `/main-service/` 时，除了正常的代理操作外，还会通过定义的 `mirror` 将相同请求转发给 `/mirror_request` 地址下的镜像服务器[^3]。 --- #### 三、高并发场景中的优化建议 由于镜像会增加额外负载，在高并发情况下可能导致镜像服务器资源耗尽甚至崩溃。因此需要注意以下几点来缓解压力[^2]: - **限制镜像比例**: 只有特定百分比的请求被镜像。 ```nginx split_clients "${remote_addr}AAA" $key { 5% one; * two; } location /main-service/ { if ($key = "one") { mirror /mirror_request; } proxy_pass http://backend_main_service; } ``` - **调整超时时间**: 缩短镜像请求的最大等待时限以减少阻塞风险。 ```nginx location = /mirror_request { internal; proxy_connect_timeout 1s; proxy_read_timeout 1s; proxy_send_timeout 1s; proxy_pass http://backend_mirror_service; } ``` --- #### 四、其他注意事项 根据实际需求合理规划镜像策略非常重要。例如某些敏感数据不应参与镜像传输；另外还需注意后端响应会被丢弃的事实——即即使镜像服务器发生错误也不会反馈给前端用户[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值