本文介绍如何使用Scrapyshell工具从网站抓取数据。通过实例演示了如何定位元素、提取信息并去除HTML标签，最终将结果保存到文件。
使用Scrapy shell提取网页信息
说明
本文假设您已经成功安装Scrapy。
使用scrapy shell获得网页内容
在终端中执行如下命令：
scrapy shell -s USER_AGENT="Mozilla/5.0" "https://www.qiushibaike.com"
如果顺利的话，将看到下图所示的界面：
关于request和response
request对象中存放的是向服务器发送的请求信息；
response对象中存放的是从服务器获得的所有响应信息。
关于response.body
response.body是从服务器获得的内容。
提取response.body中指定的数据
这里，我们以提取网页中的主题内容为例，首先我们找到内容对应的xpath路径，如下图：
然后，我们通过response.xpath()方法提取所有内容，如下图：
从图中的结果可以看到，我们提取的内容中包含HTML标签，我们可以通过二次xpath优化一下，去掉多余的HTML标签，如下图：
接下来，我们可以在修改一下，把提取的信息保存到文件中，如下图所示：
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
