立即学习:https://edu.csdn.net/course/play/24797/282222?utm_source=blogtoedu
如果使用shell调试页面时,页面response的值是403说明网站做了一些反爬虫处理,做法:
1、浏览器伪装。2、模拟登陆。(cookie?)
浏览器伪装:scrapy shell -s USER_AGENT=‘Mozilla/5.0’ 网址,来进入shell调试
立即学习:https://edu.csdn.net/course/play/24797/282222?utm_source=blogtoedu
如果使用shell调试页面时,页面response的值是403说明网站做了一些反爬虫处理,做法:
1、浏览器伪装。2、模拟登陆。(cookie?)
浏览器伪装:scrapy shell -s USER_AGENT=‘Mozilla/5.0’ 网址,来进入shell调试