qq_40202995的博客

上篇我们用了beautifulsoup4做了简易爬虫，本次我们用scrapy写爬虫58同城的租房信息，可以爬取下一页的信息直至最后一页。1、scrapy的安装这个安装网上教程比较多，也比较简单，就不说了。2、创建scrapy项目在控制台 输入命令 scrapy startproject 项目名3、导入项目到编译器，我这里用的pyscram，并在spiders文件夹下面创建zufang.py文件4、zufang.py的编辑下面的租房信息是我们要爬取的在zufang.py写入以下代码，其

一般使用python写爬虫，比较常用的有request库、beautifulsoup4 库和Scrapy框架，但是有一些区别： 像request库和beautifulsoup4 插件库可以用来写轻量级的爬虫，而 Scrapy是一套更加完善的爬虫框架，类似于在写java的时候使用原始的jdbc来操作数据库还是使用mybatis框架操作数据库一样，使用解析库比较请便，但是Scrapy框架更加完善。做爬虫还得提到一个selenium库了，一般写python的自动化脚本会用到，用来模拟网页的点击和登录之类的。...

方法一：进去cmd的dos窗口，然后输入python 文件名，如下：方法二：在python的shell窗口点击file -> open -> 然后选择你的python文件，这个时候会弹出一个窗口，弹出的窗口然后点击run -》 run module，即可在之前的shell窗口输出运行后的结果，如下：...