scrapy写爬虫的心得

最新推荐文章于 2022-12-24 17:18:48 发布

_冰澈

最新推荐文章于 2022-12-24 17:18:48 发布

阅读量5.8k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/qq_42832858/article/details/97394819

每遇到一次需要跳转的项,就得构造一个callback,这个callback跟for循环有些相似,一层包一层的这么无限循环下去.
如果用自带的dont_filter=true就会一直循环爬下去了,这样肯定不行,所以得设置dont_filter=false,但是呢,这个自带的只能检测每次爬取的URL不同,如果停止了呢?那肯定就不行了,所以我的做法就是用
redis + bloomfilter来构造过滤系统,这样无论什么时候,都是可以过滤的.至于如何过滤的,我上面就写有源码,可以作为参考.