一个简单得爬虫小案例：获取西瓜网视频数据【python】

最新推荐文章于 2025-03-07 15:56:29 发布

魔王不会哭

最新推荐文章于 2025-03-07 15:56:29 发布

阅读量1.9k

点赞数 11

分类专栏： python爬虫文章标签： python 爬虫开发语言 pycharm 学习

本文链接：https://blog.csdn.net/python56123/article/details/134880739

版权

本文通过Python爬虫技术，详细介绍了如何获取西瓜网的视频数据。讲解了思路分析，包括在网页源代码和XHR中寻找数据来源，以及如何处理编码问题。提供了请求头设置和链接转换的代码示例，最终实现视频链接的保存。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

嗨喽~大家好呀，这里是魔王呐 ❤ ~!

python更多源码/资料/解答/教程等点击此处跳转文末名片免费获取

第三方模块:

requests >>> pip install requests

环境介绍:

python 3.8 解释器
pycharm 编辑器

思路分析

找到数据来源

你要爬取的视频筛选找不到的情况下目的是找视频链接

在网页源代码当中寻找
在XHR当中寻找
全局搜索m3u8

在网页源代码当中
先访问到 https://www.ixigua.com/7258418700380799499?logTag=9b34beaa8f46169ebe1d
从这个里面获取到网页源代码
将网页源代码当中我们所需要的链接取出来
将链接转换为正常的链接
访问视频链接
保存视频
base64编码的特征:
    A-Z a-z 0-9 = /
    结尾 可能会出现等于号

代码展示

import requests     # 第三方库 用来 发送请求的(访问网站的)
import re           # 内置模块 无需安装
import base64       # 内置模块

请求头 (伪装信息)

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：926207505
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
headers = {

最低0.47元/天解锁文章