python网络爬虫爬取招聘数据

### 编写Python网络爬虫抓取招聘网站数据 要使用 Python 编写的网络爬虫来抓取招聘网站的数据，可以按照以下方法实现。以下是具体的技术细节以及代码示例。 #### 1. 准备阶段：安装必要库 为了完成此任务，需要先安装几个常用的 Python 库，例如 `requests` 和 `BeautifulSoup`。这些工具可以帮助发送 HTTP 请求并解析 HTML 页面的内容[^3]。 可以通过以下命令安装所需的库： ```bash pip install requests beautifulsoup4 pandas matplotlib ``` #### 2. 发送请求：获取网页内容 利用 `requests` 库向目标招聘网站发送 GET 请求以获取页面的 HTML 数据。需要注意的是，在某些情况下可能还需要设置 User-Agent 来模拟浏览器访问行为[^2]。 下面是一个简单的例子展示如何发起请求： ```python import requests url = 'https://www.example.com/jobs' # 替换为目标站点的实际URL headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' } response = requests.get(url, headers=headers) if response.status_code == 200: html_content = response.text else: print(f"Failed to retrieve data: {response.status_code}") ``` #### 3. 解析HTML文档：提取所需信息 一旦获得了 HTML 文档之后，则可借助于 `BeautifulSoup` 对其进行结构化处理以便进一步筛选出感兴趣的字段比如职位名称、公司名、薪水范围等等[^3]。 这里有一个基本的例子说明怎样去查找特定标签内的文本节点： ```python from bs4 import BeautifulSoup # 假设html_content是从前面步骤得到的结果 soup = BeautifulSoup(html_content, 'html.parser') job_listings = soup.find_all('div', class_='job-listing') # 调整class_参数匹配实际网站布局 jobs_data = [] for job in job_listings: title = job.find('h2').get_text(strip=True) if job.find('h2') else None company = job.find('span', {'itemprop': 'name'}).get_text(strip=True) \ if job.find('span', {'itemprop': 'name'}) else None salary = job.select_one('.salary').text.strip() if job.select_one('.salary') else '' jobs_data.append({ 'Title': title, 'Company': company, 'Salary': salary }) ``` #### 4. 存储与分析数据 最后一步就是把收集到的信息保存下来或者立即对其进行统计学方面的探索研究。通常会采用 CSV 文件形式导出表格型资料；另外也可以绘制图表直观呈现各类指标之间的关系图谱[^3]。 将列表转换成 DataFrame 并存入 Excel 表格中： ```python import pandas as pd df_jobs = pd.DataFrame(jobs_data) output_file = './recruitment_data.xlsx' df_jobs.to_excel(output_file, index=False) print(f'Data has been saved into "{output_file}".') ``` 如果想快速查看一些汇总统计数据的话可以直接调用 Pandas 的描述函数： ```python summary_stats = df_jobs.describe(include='all') print(summary_stats) ``` 还可以创建柱状图比较不同公司的平均薪酬水平差异情况： ```python %matplotlib inline import matplotlib.pyplot as plt grouped_by_company = df_jobs.groupby('Company')['Salary'].mean().sort_values(ascending=False)[:10] plt.figure(figsize=(8,6)) grouped_by_company.plot(kind='bar', color='skyblue') plt.title('Top 10 Companies by Average Salary') plt.ylabel('Average Salary ($)') plt.xlabel('Company Name') plt.xticks(rotation=45); ``` ---