Scrapy爬取Boss直聘

### 使用 Scrapy 框架抓取 Boss 直聘网站信息 #### 创建 Scrapy 项目 首先，需要安装并初始化一个新的 Scrapy 项目。可以通过以下命令完成项目的创建： ```bash scrapy startproject bosszhipin ``` 这将在当前目录下生成一个名为 `bosszhipin` 的文件夹，其中包括多个子模块，如 `items.py`, `pipelines.py`, `settings.py` 等[^3]。 #### 配置 Spider 文件 在 `spiders` 文件夹中新建一个爬虫文件，例如命名为 `job_spider.py`。以下是该文件的一个基本实现示例： ```python import scrapy from ..items import BosszhipinItem class JobSpider(scrapy.Spider): name = 'job' allowed_domains = ['www.zhipin.com'] start_urls = ['https://www.zhipin.com/job_detail/?query=Python&city=101280600'] def parse(self, response): jobs = response.css('div.job-primary') for job in jobs: item = BosszhipinItem() item['title'] = job.css('div.info-primary h3.name a::text').get().strip() # 获取职位名称 item['company'] = job.css('div.info-company div.company-text h3.name a::text').get().strip() # 获取公司名称 item['salary'] = job.css('span.red::text').get().strip() # 获取薪资范围 yield item next_page = response.css('a.next::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` 此代码片段定义了一个简单的爬虫逻辑，它会解析页面中的职位列表，并提取每条记录的关键字段，包括职位名称、公司名称和薪资范围[^4]。 #### 设置 Items 和 Pipelines 为了更好地管理和存储数据，在 `items.py` 中可以定义如下模型类： ```python import scrapy class BosszhipinItem(scrapy.Item): title = scrapy.Field() # 职位名 company = scrapy.Field() # 公司名 salary = scrapy.Field() # 工资区间 ``` 接着修改 `pipelines.py` 实现自定义的数据保存方式（比如存入 CSV 或数据库）： ```python import csv class SaveToCsvPipeline(object): def open_spider(self, spider): self.file = open('jobs.csv', mode='w', newline='', encoding='utf-8-sig') self.writer = csv.DictWriter(self.file, fieldnames=['title', 'company', 'salary']) self.writer.writeheader() def process_item(self, item, spider): self.writer.writerow(item) return item def close_spider(self, spider): self.file.close() ``` 最后记得更新 `settings.py` 启用管道功能： ```python ITEM_PIPELINES = { 'bosszhipin.pipelines.SaveToCsvPipeline': 300, } ``` #### 注意事项 为了避免被目标站点封禁 IP 地址或者触发反爬机制，建议调整请求头参数模拟真实浏览器行为，并适当降低下载速度。可以在 `settings.py` 添加这些配置项： ```python USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' DOWNLOAD_DELAY = 5 # 延迟时间为5秒 ROBOTSTXT_OBEY = False # 不遵循 robots.txt 协议 CONCURRENT_REQUESTS_PER_DOMAIN = 1 # 对单个域名并发数设限 ``` 以上方法能够有效减少因访问频率过高而引发的风险[^4]。