import requests from bs4 import BeautifulSoup import re import pandas as pd # 目标招聘网站的URL（以智联招聘为例） url = "https://www.58.com/ppezp2023083158986/" # 请求头，模拟浏览器访问 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36" } # 发送HTTP请求，获取网页内容 response = requests.get(url, headers=headers) html_content = response.text # 使用BeautifulSoup解析HTML soup = BeautifulSoup(html_content, "html.parser") # 查找所有招聘信息的标签（根据实际网页结构调整） job_list = soup.find_all("div", class_="joblist__item") print(job_list) # 初始化一个空列表，用于存储提取的数据 jobs_data = [] # 正则表达式模式，用于提取薪资范围（示例） salary_pattern = re.compile(r"(\d+-\d+)千/月") # 遍历每个招聘信息 for job in job_list: # 提取职位名称 job_title = job.find("span", class_="jobname__title").text.strip() print(job_title) # 提取公司名称 company_name = job.find("a", class_="company__title").text.strip() # 提取工作地点 location = job.find("span", class_="job__location").text.strip() # 提取薪资范围（使用正则表达式） salary_text = job.find("span", class_="job__salary").text.strip() salary_match = salary_pattern.search(salary_text) salary = salary_match.group(1) if salary_match else "面议" # 提取工作经验要求 experience = job.find("span", class_="job__experience").text.strip() # 提取学历要求 education = job.find("span", class_="job__education").text.strip() # 提取职位描述 description = job.find("div", class_="job__desc").text.strip() # 将提取的数据存储为字典 job_info = { "职位名称": job_title, "公司名称": company_name, "工作地点": location, "薪资范围": salary, "工作经验": experience, "学历要求": education, "职位描述": description } # 将字典添加到列表中 jobs_data.append(job_info) print(job_info) # 将数据存储到DataFrame中 df = pd.DataFrame(jobs_data) # 保存到Excel文件 df.to_excel("招聘信息.xlsx", index=False) print("数据爬取完成，已保存到招聘信息.xlsx")