万字博文教你爬虫代理工具mitmproxy【详解篇】

已于 2025-01-26 13:20:55 修改
阅读量1.3w 收藏 45
点赞数 53
CC 4.0 BY-SA版权
分类专栏： 爬虫从入门到精通系列教程 文章标签： 爬虫 代理工具 mitmproxy 附实战
于 2024-11-20 08:45:00 首次发布
转载需文末联系本作者（未经本人允许的转载完全不允许！）
本文链接：https://blog.csdn.net/qq_44907926/article/details/143896472

目录：

每篇前言：


👇
☝️

一、简介和安装

mitmproxy是一个代理工具（软件安装或Python模块安装），实现代理请求（拦截请求或修改请求）。
在这里插入图片描述

Python爬虫用，以模块形式安装更适合我们【注意：python 版本>=3.6】：

pip install mitmproxy -i https://mirrors.aliyun.com/pypi/simple/

第一部分 - 介绍并下载安装完毕

（1）概念

Mitmproxy是一个免费的开源交互式的HTTPS代理。MITM即中间人攻击（Man-in-the-Middle Attack）。

（2）作用

  1. 代理的作用，转发请求，保障服务端与客户端的通信；
  2. 查看，记录，修改数据，引发服务端或客户端的特定行为。

在这里插入图片描述

（3）图解原理

在这里插入图片描述

（4）mitmproxy工具介绍

安装成功后在Python安装路径Script路径下可以找到 mitmdump.exe mitmproxy.exe mitmweb.exe 这三个可执行文件。
在这里插入图片描述

  • mitmproxy：命令行界面，允许交互式检查和修改http数据流。不支持windows；
  • mitmweb： Web界面，用户可以实时看到发生的请求，过滤请求，查看请求数据；
  • mitmdump： 一个命令行工具，没有界面，不能交互，但是可以通过启动参数并结合自定义脚本进行定制化功能的实现，咱就用这个。

这三个命令功能一致，且都可以加载自定义脚本，唯一的区别是交互界面的不同；mitmproxy，mitmweb主要用来做调试，部署项目时，使用mitmdump。

第二部分 - 配置并使用

（1）设置代理

PC端设置代理：

开启代理时需要把其他的代理都关掉！
在这里插入图片描述
开启代理：注意现在还没有安装证书，所以https的请求是无法获取的！
在这里插入图片描述

PC端安装证书：获取https请求
第一种获取证书的方式：
  1. 运行mitmweb工具：终端命令mitweb即可。
  2. 在代理状态下，访问mitm.it，PC端与移动端操作相同。
    在这里插入图片描述
第二种获取证书的方式：

还可以直接找到本地的证书，然后安装：
编写一个脚本，启动mitmproxy：

mitmdump -q  -p 8888 -s v1.py

#! python
# -*- coding: utf-8 -*-
# @Time    : 2024/10/10 66:66
# @Author  : GuHanZhe
# @File    : baidu_crawler.py
from mitmproxy import http
from mitmproxy.http import HTTPFlow


def request(flow: http.HTTPFlow):
    print("请求->", flow.request.path)


def response(flow: http.HTTPFlow):
    pass

在电脑 C:\Users\Administrator\.mitmproxy 中去获取。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
开启代理（上面以开启代理，可以正常获取移动端的http请求，下面安装证书以获取https的请求！）
下载安装证书
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

移动端安装证书：获取https请求

在这里插入图片描述
在这里插入图片描述

（2）使用

此时我们的mitmproxy已经可以正常获取所有http以及https的请求了~
在这里插入图片描述

二、mitmdump的使用

其实，在我们下面的使用中会发现，mitmproxy功能跟fiddler几乎一模一样，我们为何来使用它呢？
通过下面对插件的使用，以及对插件的编写会发现，这个工具十分灵活，我们可以根据自己所需抓取想要的数据，也可以根据所需修改我们获取的响应，灵活多变！！！

（1）插件使用：

  1. 插件的本质就是一个脚本文件，在Python中就是一个类的实例对象。
  2. 此处插件是Counter实例对象，request方法是一个事件
  3. 对于request事件，它的参数是一个mitmproxy.http.HTTPFlow的对象。
    在这里插入图片描述
    上面是一个简单的插件，用于跟踪我们已经看到的流（或更具体的HTTP请求）数量。每次看到新的流量时，它都会使用mitmproxy的内部日志记录机制来进行提示。可以在交互式工具的事件日志中或mitmdump的控制台中找到输出。

比如：pycharm编写此脚本文件，Terminal中使用命令mitmdump -s ./anatomy.py运行插件。（./anatomy.py为此脚本文件的路径），即可在Terminal中观察到类似于下面的输出（因为使用的是mitmproxy的内部日志记录机制，所以会有很多记录数据）：
在这里插入图片描述
小拓展：安静模式——使用命令mitmdump -q -s ./anatomy.py命令运行插件，即可屏蔽所有mitmproxy的日志信息，（注意：在request()函数中加入需要打印的信息！）输出格式如下：

#! python
# -*- coding: utf-8 -*-
# @Time    : 2024/10/10 66:66
# @Author  : GuHanZhe
# @File    : anatomy.py
"""
Basic skeleton of a mitmproxy addon.

Run as follows: mitmproxy -s anatomy.py
"""
from mitmproxy import ctx


class Counter:
    def __init__(self):
        self.num = 0

    def request(self, flow):
        self.num = self.num + 1
        ctx.log.info("We've seen %d flows" % self.num)
        # 需要打印的信息！
        print("We've seen %d flows" % self.num)


addons = [
    Counter()
]

在这里插入图片描述

上面使用的是官方给的插件例子，需要将事件放入类中进行运行。但是，如果我们只需要编写单一功能的插件，比如上面的只获取请求数量的插件，可以不那么麻烦编写——直接编写事件函数即可！（注意：事件函数名一定不能变！！！）

#! python
# -*- coding: utf-8 -*-
# @Time    : 2024/10/10 66:66
# @Author  : GuHanZhe
# @File    : anatomy.py
from mitmproxy import ctx

# 事件函数
num = 0
def request(flow):
    global num
    num += 1
    print('简单方法获取访问次数：', num)
    # 打印请求的url
    print(flow.request.url)
    ctx.log.info("We've seen %d flows" % num)

（2）HTTP事件

常用事件：
在这里插入图片描述

①request事件：

  1. 查看：
#! python
# -*- coding: utf-8 -*-
# @Time    : 2024/10/10 66:66
# @Author  : GuHanZhe
# @File    : anatomy.py
def request(flow):
    print('请求头:', flow.request.headers)
    print('请求url:', flow.request.url)
    print('域名:', flow.request.host)
    # 请求路径：url除域名之外的内容
    print('请求路径:', flow.request.path)
    # 返回MultiDictView类型的数据，URL的键值参数
    print('请求参数:', flow.request.query)
    print('请求方法:', flow.request.method)
    print('请求协议/类型（http/https）:', flow.request.scheme)

    # 获取请求内容
    print('请求内容:', flow.request.get_text)
    print('内容类型:', type(flow.request.get_text))
    print('获取内容：', flow.request.get_text())
    print('请求内容bytes:', flow.request.raw_content)
    print('请求内容bytes：', flow.request.get_content())
    print('请求内容类型：', type(flow.request.get_content()))  # 输出： <class 'bytes'>
    print('==========================', end='\n')
  1. 修改请求中的参数：
#! python
# -*- coding: utf-8 -*-
# @Time    : 2024/10/10 66:66
# @Author  : GuHanZhe
# @File    : anatomy.py
def request(flow):
    if 'https://www.baidu.com' in flow.request.url:
        print('需要修改的参数：', flow.request.query.get('wd'))
        # .set_all()方法设置请求参数
        flow.request.query.set_all('wd', ['爬虫'])
        print('修改后的参数：', flow.request.query.get('wd'))

观察百度搜索，其中搜索内容的参数是：wd。
客户端浏览器中百度中不管搜索什么，经过此mitmproxy操作，都会将搜索内容改为“爬虫”！服务端收到的请求就是——百度搜索爬虫！！！

输出：
需要修改的参数： 猫咪图片
修改后的参数： 爬虫

  1. 拦截请求：
    拦截的形式，可以是kill当前请求：
#! python
# -*- coding: utf-8 -*-
# @Time    : 2024/10/10 66:66
# @Author  : GuHanZhe
# @File    : baidu_crawler.py
from mitmproxy import http
from mitmproxy.http import HTTPFlow


def request(flow: HTTPFlow):
    if flow.request.url.startswith("https://dig.chouti.com/"):
        flow.kill()


def response(flow: http.HTTPFlow):
    pass

在这里插入图片描述

②response事件：

  1. 查看：
#! python
# -*- coding: utf-8 -*-
# @Time    : 2024/10/10 66:66
# @Author  : GuHanZhe
# @File    : anatomy.py
def response(flow):
    # 状态码
    print(flow.response.status_code)

    # 返回内容，已解码
    print(flow.response.text)

    # 返回内容，Bytes类型
    print(flow.response.content)

    # 取得响应的文本
    print(flow.response.get_text())
  1. 修改响应内容：
#! python
# -*- coding: utf-8 -*-
# @Time    : 2024/10/10 66:66
# @Author  : GuHanZhe
# @File    : anatomy.py
def response(flow):
    print('======执行修改操作======')
    flow.response.set_text('信息已经被修改！')

此时不管你访问哪个网站，浏览器给你的响应都只要这一句话——信息已经被修改！

三、实战 - 下载百度图片

#! python
# -*- coding: utf-8 -*-
# @Time    : 2024/10/10 66:66
# @Author  : GuHanZhe
# @File    : baidu_crawler.py
import os

index = 0


def response(flow):
    global index
    print('===========开始执行===========')

    if 'JPEG' in flow.request.url:
        # 存放图片的文件夹
        file_one = 'image'
        if not os.path.exists(file_one):
            os.mkdir(file_one)

        file_name = file_one + '/' + str(index) + '.jpg'
        with open(file_name, 'wb') as f:
            f.write(flow.response.get_content())
            print(index)
            index += 1

Terminal终端中运行之后，百度图片中搜索一类图片（比如：猫咪图片），会发现浏览器加载图片速度稍微慢了一点点，其实，这就是我们编写的脚本代理在客户端和服务端中间截取数据，下载图片！！！
在这里插入图片描述

 

👇🏻可通过点击下面——>关注本人运营 公众号👇🏻

🎯 深度交流 | 📌 标注“来自 CSDN”
🌟 解决问题，拓展人脉，共同成长！（非诚勿扰）
🚀 不止是交流，更是你的技术加速器！
万字博文教你python爬虫XPath库【详解篇】
孤寒者的博客
09-29 58万+
万字博文教你python爬虫XPath库【详解篇】
万字博文教你python爬虫Beautiful Soup库【详解篇】
孤寒者的博客
07-22 56万+
万字博文教你python爬虫Beautiful Soup库【详解篇】
python mitmproxy教程 详细教程+实战,教你怎么用
12-23
python mitmproxy教程 mitmproxy工作在HTTP层,可用于拦截数据,关键是还可以修改数据! 详细教程+实战,教你怎么用
接口自动化&抓包&代理神器-Mitmproxy代理配置详细教程
qq_46158060的博客
08-25 2984
你可以根据具体的需求选择其他字符编码方式，例如 “utf-16”、“latin-1” 等。现在，你的 iOS 设备将经过 mitmproxy，并且可以在 mitmproxy 上拦截和修改所有的网络请求和响应。5、在 “服务器”（Server）字段中输入 mitmproxy 运行计算机的 IP 地址，并在 “端口”（Port）字段中输入 mitmproxy 的监听端口，默认为 8080。8、前往设置 证书的信任设置： 设置 -> 通用-> VPN与设备管理 -> mitmproxy，点击进行安装。
mitmproxy 抓包工具
最新发布
gjcandxyx的博客
06-07 328
mitmproxy 是一组工具，可为 HTTP/1、HTTP/2 和 WebSockets 提供支持 SSL/TLS 的交互式拦截代理。
mitmproxy 使用
m0_37641835的博客
11-14 1433
mitmproxy 使用
mitmproxy小白安装使用教程，零基础入门到精通，收藏这一篇就够了
Javachichi的博客
12-24 2930
从目前市场情况来讲，网络安全的就业前景是非常不错的，2022年的统计数据，网络安全专业的缺口已经增长到140万人。1、就业岗位多，发展方向广①就业环境：网络安全可以在计算机科学与技术、信息通信、电子商务、互联网金融、电子政务等领域从事相关工作，还可以在政府机关事业单位、银行、保险、证券等金融机构，电信、传媒等行业从事相关工作。②就业岗位：网络安全工程师、渗透测试工程师、代码审计工程师、等级保护工程师、安全运维工程师、安全运营工程师、安全服务工程师等。2、薪资待遇可观，提升较快。
mitmproxy代理
一起进步
07-28 1437
mitmproxy代理的功能实时拦截、修改 HTTP/HTTPS 请求和响应可保存完整的 http 会话，方便后续分析和重放支持反向代理模式将流量转发到指定服务器支持用 Python 脚本对 HTTP 通信进行修改【重点】和charles的区别mitmproxy 就是用于 MITM 的 proxy，MITM 即中间人攻击（Man-in-the-middle attack）。
万字博文教你爬虫必备 -＞ Selenium【详解篇】（上）
孤寒者的博客
08-05 55万+
我们伟大的Python为我们提供了许多模拟浏览器运行的库，其中比较强大&&用的较多的就是Selenium。接下来几篇博文带领小伙伴们走入Selenium的世界！
两万字博文教你python爬虫requests库【详解篇】
热门推荐
孤寒者的博客
07-12 63万+
两万字博文教你python爬虫requests库【详解篇】
mitmproxy使用详解
shifengboy的博客
02-25 3万+
mitmproxy 相比Charles、fiddler的优点在于，它可以命令行方式或脚本的方式进行mock mitmproxy不仅可以像Charles那样抓包，还可以对请求数据进行二次开发，进入高度二次定制 大家可以先查看下官网的相关文档 mitmproxy 官网：https://www.mitmproxy.org/ mitmproxy 官方文档：https://docs.mitmproxy.org/stable/ mitmproxy 官方脚本 demo：https://docs.mitmproxy.or
爬虫之proxy（代理）
weixin_30535043的博客
05-10 474
proxy简介 proxy即为代理，我们爬虫的时候肯定会有频繁访问某一网站的情况，这个时候有些服务器会识别到我们是非正常访问，就会把我们的IP禁掉，这个时候就需要用代理了。 就好比现实生活中，我需要向A借一件东西，但是我跟A是仇人，直接向他借的话他不会借给我，这个时候我就让B帮我像A借，就说他要用，然后B借到东西之后再把东西给我用，这时，B就是我的代理了。 常用的免费代理网站:http://...
mitmproxy介绍及使用
猫哥 的沉淀、积累、总结。天天学习，好好向上...c/c++,嵌入式 linux,Android,HarmonyOS，AIOT)
07-12 5070
使用WebView组件造一工具，工具可输入网页地址并显示网页内容及播放视频。把工具的代理设置指向mitmproxy的端口服务。配合使用mitmproxy的MITM技术，监听和拦截用户在短视频平台上发起的网络请求。MITM技术允许应用程序在数据包从客户端到服务器的传输过程中进行干预，从而捕获和分析请求和响应数据，从响应数据中提取视频的真实下载链接。 在微信小程序等环境中，并不能直接在WebView中配置代理。小程序的WebView组件直接使用的是微信小程序、支付宝小程序等平台提供的WebView实现，这些平
mitmproxy安装和使用
xihongshi09221的博客
01-19 8123
举例来说，利用 Fiddler 可以过滤出浏览器对某个特定 url 的请求，并查看、分析其数据，但实现不了高度定制化的需求，类似于：“截获对浏览器对该 url 的请求，将返回内容置空，并将真实的返回内容存到某个数据库，出现异常时发出邮件通知”。：最好是配置python3.8及以上的python环境，如果是以下的版本，则最好安装5.2.0版本的mitmproxy，因为其他的版本有编码问题。3、手机浏览器访问http://mitm.it/ ，下载对应版本的证书并安装。前置条件：安装并配置好python环境。
MitmProxy介绍以及使用
weixin_42182687的博客
12-26 1万+
1、MitmProxy介绍 mitmproxy 就是用于 MITM 的 代理(proxy)， 而MITM，也就是(Man-in-the-middle attack)中间人攻击，指的就是通过各种技术手段将入侵者的一台计算机(服务器)虚拟放置在网络连接的两台计算机之间。(SMB会话劫持、DNS欺骗等) ......
mitmproxy 使用教程 从安装到基本操作实现零距离
G-vitro的博客
01-03 6969
简介 mitmproxy是一个交互式的、支持SSL/TLS的拦截代理，是一款用于HTTP /1，HTTP /2和WebSockets的抓包工具 mitmdump是mitmproxy的命令行版本。与tcpdump类似 mitmweb是mitmproxy的基于Web的界面的版本。 ...
软件测试学习笔记丨Mitmproxy使用
ceshiren_com的博客
10-08 4816
Mitmproxy是一款开源、免费的代理工具，支持Mac、Windows、Linux。相比其他代理工具，可以通过Python和Mitmproxy工具本身的插件机制，实现通过脚本对Mitmproxy的完全控制。强大的可拓展性和可定制性，可以让测试工程师以Mitmproxy工具为基础，进行二次开发，打造更适合自己业务的mock工具。
Mitmproxy使用教程for mac
成小新的博客
04-09 4210
MitmProxy 是一个支持 HTTP 和 HTTPS 的抓包程序，类似 Fiddler、Charles 的功能，只不过它是一个控制台的形式操作。 同时 MitmProxy 还有两个关联组件，一个是 MitmDump，它是 MitmProxy 的命令行接口，利用它我们可以对接 Python 脚本，用 Python 实现监听后的处理。另一个是 MitmWeb，它是一个 Web 程序，通过它我们可以...
万字博文教你python爬虫xpath库【详解篇】
01-12
Python爬虫是一种网络爬取技术，能够获取网页上的信息并进行处理。XPath是一种用于在XML文档中定位节点的语言，通过XPath库可以在Python中实现对网页上信息的定位和抽取。 在这篇博文中，首先介绍了Python爬虫的基本原理和流程，包括发送请求、获取网页内容、解析网页等步骤。然后详细介绍了XPath库的基本用法，包括节点选择、属性匹配、文本匹配等操作。接着对XPath表达式的语法和常用函数进行了详细解释，使读者能够更好地理解和运用XPath库。 在文章的后半部分，作者通过实际案例对XPath的应用进行了实例分析，并给出了详细的代码和运行结果。通过这些实例，读者可以更加直观地了解XPath库的使用方法和效果，并能够在实际项目中应用这些技术。 总的来说，这篇博文通过详细的讲解和丰富的实例，全面地介绍了Python爬虫中的XPath库的使用方法和技巧，对于想要学习Python爬虫技术的读者来说是一篇很好的教学资料。希望读者能够通过学习这篇博文，掌握Python爬虫中XPath库的应用，进一步提升自己在网络数据获取和处理方面的能力。
评论 20
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孤寒者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值