Scrapy框架 Requests and Responses 请求和响应应用案例

Scrapy 是一个用于在 Python 中构建网络爬虫和抓取数据的强大工具。对于学习网络爬虫的编程初学者来说，了解 Scrapy 的请求（Requests）和响应（Responses）机制至关重要。这些机制不仅是 Scrapy 工作的核心，也是理解如何与网页进行交互的关键。

通过这篇文章，我们将通过实际生活中的示例，帮助你理解和掌握 Scrapy 2.6 中的请求和响应。文章中的练习题设计以实际生活中的情境为基础，从简单到复杂，逐步深入，旨在帮助你巩固知识，并能够在实际项目中应用。

基础请求与响应

使用 Scrapy 发起第一个请求（难度：低）

你想要创建一个简单的 Scrapy 爬虫，它可以访问一个特定的网页（如本地天气预报网站），并获取页面的标题。试着编写代码来实现这一目标，并打印出网页的标题。

创建一个 Scrapy 爬虫，定义目标 URL。使用 Scrapy 的 start_requests 方法来发起请求。响应成功后，通过 response.xpath 或 response.css 来解析网页标题，并将结果打印出来。

import scrapy

class WeatherSpider</