如何使用Python爬虫爬取招聘网站的职位信息

### 爬取招聘网站数据的Python爬虫程序 要实现从招聘网站抓取数据，可以使用 `requests` 和 `BeautifulSoup` 库来解析静态页面，或者使用 `Selenium` 来处理动态加载的内容。以下是一个完整的示例，展示如何编写一个基本的 Python 爬虫程序来抓取招聘信息。 #### 1. 导入必要的库 首先需要导入相关的库，包括 `requests` 用于发送 HTTP 请求，`BeautifulSoup` 用于解析 HTML 页面，以及 `pandas` 用于存储数据到 CSV 文件中。 ```python import requests from bs4 import BeautifulSoup import pandas as pd import time ``` #### 2. 定义请求头和目标 URL 为了模拟浏览器行为并避免被反爬虫机制阻止，需要设置合适的请求头。同时定义目标 URL，例如指向某个招聘网站的搜索结果页面。 ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } url_template = "https://search.51job.com/list/010000%252C020000%252C030200%252C040000%252C090200,000000,0000,00,9,99,python,2,{}.html" ``` #### 3. 解析单个页面的数据 通过 `requests.get()` 方法获取页面内容，并使用 `BeautifulSoup` 解析 HTML。提取职位名称、公司名称、薪资待遇等信息。 ```python def parse_page(url): response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') jobs = [] job_list = soup.find_all('div', class_='joblist_li') for job in job_list: title = job.find('a', class_='jobname').text.strip() if job.find('a', class_='jobname') else "N/A" company = job.find('span', class_='company_name').text.strip() if job.find('span', class_='company_name') else "N/A" salary = job.find('p', class_='info').find('span').text.strip() if job.find('p', class_='info').find('span') else "N/A" jobs.append({ 'Title': title, 'Company': company, 'Salary': salary }) return jobs ``` #### 4. 实现多页爬取 通过修改 URL 中的页码参数，实现多页数据的爬取。为了避免访问过于频繁，可以在每次请求之间加入延迟。 ```python all_jobs = [] for page in range(1, 8): # 假设只爬取前7页 url = url_template.format(page) jobs = parse_page(url) all_jobs.extend(jobs) time.sleep(2) # 每次请求后暂停2秒，防止访问过于频繁[^3] ``` #### 5. 将数据保存到 CSV 文件 最后，将所有抓取到的数据存储到 CSV 文件中，方便后续分析。 ```python df = pd.DataFrame(all_jobs) df.to_csv('jobs.csv', index=False, encoding='utf-8-sig') ``` ### 注意事项 - 招聘网站通常具有较强的反爬虫机制，可能需要结合 `Selenium` 模拟浏览器行为以绕过限制[^1]。 - 在实际应用中，建议遵守目标网站的 `robots.txt` 文件规则，并合理设置请求间隔时间，以免对服务器造成过大压力[^3]。