Python爬虫实战：利用代理IP获取招聘网站信息（小白也能搞定！）

一、为什么要用代理IP？（重要！！！）

做爬虫的兄弟应该都遇到过这种情况（说多都是泪）：刚抓了几页数据，突然就收到403 Forbidden错误！这时候代理IP就是你的救命稻草（超级重要）！

简单来说，代理IP能：

1. 隐藏真实IP地址（防止被ban）
2. 突破访问频率限制（疯狂刷数据必备）
3. 获取地域限制内容（比如看不同城市的招聘信息）

不过要注意（敲黑板）：使用代理IP也要遵守《网络安全法》和网站的服务协议哦！

二、手把手实战环节（附完整源码）

2.1 环境准备（保姆级教程）

安装必备库：

pip install requests beautifulsoup4 fake-useragent

这里推荐使用fake-useragent库生成随机请求头（反爬虫必备技巧）

2.2 获取代理IP的三种姿势

姿势一：免费代理网站（适合练手）

def get_free_proxies():
    url = 'https://www.zdaye.com/free/'
    # 这里记得设置超时时间（免费代理质量你懂的）
    response = requests.get(url, timeout=10)
    # 用BeautifulSoup解析IP和端口（具体选择器根据网站结构调整）
    soup = BeautifulSoup(response.text, 'lxml')
    # 提取代理IP的代码逻辑...
    return proxies_list

姿势二：付费代理服务（推荐生产环境用）

推荐使用隧道代理（代码更简洁）：

# 以某云代理为例
proxy = "http://{username}:{password}@{server}:{port}"

姿势三：自建代理池（进阶玩法）

需要配合：

• 定时验证IP可用性
• 自动剔除失效IP
• 实现IP轮询机制

2.3 核心爬虫代码（重点来了！）

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent

def get_job_data(keyword, proxy=None):
    headers = {'User-Agent': UserAgent().random}
    url = f"https://www.liepin.com/zhaopin/?key={keyword}"
    
    try:
        # 使用代理发起请求
        response = requests.get(url, 
                              headers=headers,
                              proxies={'http': proxy, 'https': proxy},
                              timeout=15)
        
        if response.status_code == 200:
            soup = BeautifulSoup(response.text, 'html.parser')
            # 解析职位信息的CSS选择器（不同网站要调整）
            jobs = soup.select('.job-card-wrapper')
            
            results = []
            for job in jobs:
                title = job.select_one('.job-title').text.strip()
                company = job.select_one('.company-name').text.strip()
                salary = job.select_one('.salary').text.strip()
                results.append({'title':title, 'company':company, 'salary':salary})
            
            return results
        else:
            print(f"请求失败，状态码：{response.status_code}")
            return []
            
    except Exception as e:
        print(f"发生异常：{str(e)}")
        return []

三、防翻车指南（血泪经验）

3.1 代理IP的五大坑（必看！）

1. 免费代理的存活时间可能只有几分钟（甚至几秒钟！）
2. 某些代理会修改响应内容（数据被篡改哭都来不及）
3. HTTPS代理需要额外配置证书（建议先用HTTP练手）
4. 注意代理的匿名程度（透明代理会暴露真实IP）
5. 高匿代理 ≠ 无敌（网站还能通过浏览器指纹识别）

3.2 我的调试技巧

• 先用本地IP测试解析逻辑
• 添加请求重试机制（推荐使用retrying库）
• 记录每个代理的响应时间
• 定期检查获取的数据完整性

# 重试机制示例
from retrying import retry

@retry(stop_max_attempt_number=3, wait_fixed=2000)
def safe_request(url, proxy):
    return requests.get(url, proxies=proxy, timeout=10)

四、数据存储方案（三种任选）

方案一：CSV文件（适合小数据量）

import csv

def save_to_csv(data, filename):
    with open(filename, 'w', newline='', encoding='utf-8') as f:
        writer = csv.DictWriter(f, fieldnames=data[0].keys())
        writer.writeheader()
        writer.writerows(data)

方案二：MySQL数据库（推荐结构化存储）

import pymysql

def save_to_mysql(data):
    conn = pymysql.connect(host='localhost',
                         user='root',
                         password='123456',
                         database='jobs')
    # 建表语句和插入逻辑...

方案三：MongoDB（适合非结构化数据）

from pymongo import MongoClient

client = MongoClient('mongodb://localhost:27017/')
db = client['job_database']
collection = db['liepin_jobs']
collection.insert_many(data)

五、法律风险提示（重要！重要！重要！）

1. 遵守目标网站的robots.txt协议
2. 控制请求频率（建议≥3秒/次）
3. 不抓取个人信息等敏感数据
4. 商用前务必获得网站授权
5. 注意《数据安全法》相关规定

六、完整项目结构参考

├── config.py        # 配置文件
├── proxies_pool     # 代理池模块
│   ├── collector.py # 代理采集
│   └── validator.py # 代理验证
├── spiders          # 爬虫核心
│   └── liepin.py    # 猎聘爬虫
├── utils            # 工具类
│   ├── logger.py    # 日志记录
│   └── storage.py   # 存储模块
└── requirements.txt # 依赖库

七、遇到问题怎么办？（常见问题QA）

Q：为什么用了代理还是被封？
A：可能原因：

1. 请求头没有随机更换
2. Cookie被识别
3. 操作行为过于规律（试试随机延迟）

Q：如何提高爬取速度？
A：可以尝试：

1. 使用异步请求（aiohttp）
2. 搭建分布式爬虫
3. 优化解析逻辑

Q：数据抓不全怎么办？
A：检查：

1. 页面是否动态加载（可能需要Selenium）
2. 反爬策略是否升级
3. 是否触发验证码

八、下一步学习建议

想更深入可以研究：

• 分布式爬虫架构（Scrapy-Redis）
• 智能解析算法（基于机器学习）
• 验证码破解方案（慎重！）
• 浏览器指纹伪装技巧

最后说句掏心窝的话：爬虫虽好，可不要贪杯哦！合法合规才能走得更远~