lowerxiaoshen的博客

爬取一个网站的基本过程确定目标 –> 分析目标 –> 编写程序 -> 执行爬虫 分析目标： url 格式 数据格式 网页编码分析目标数据在源代码里的结构，以便在后去整个页面源代码后，可以利用正则进行匹配。注意：目标网站的格式会随时升级，定向爬虫也需要定期升级。实例：爬取某代理Ip网站上的所有ip确定目标:爬取西刺代理上存活一年以上的高匿代理IP

什么是cookie？Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密） 客户端访问服务器的过程 为什么要使用cookie模拟登陆？有些网站需要登陆后才能访问摸个页面，在登陆之前，我们想住区某个页面内容是不允许的，那么我们可以利用urllib2库保存我们登陆的cookie，然

概念：Beautiful Soup 是什么？Beautiful Soup是一个可以从HTML或XML文件中提取数据的python库，它能够通过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式。目前Beautiful Soup3已经停止开发，推荐使用Beautiful Soup4解析器Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个

1.构造合理的 HTTP 请求头(1)为什么要伪装？ 有些网站在处理请求的时候，会对请求头中的字段进行判断，如果发现这个请求头中出现有关爬虫程序的信息，会对这个请求做出禁止访问或者封杀的操作，因此我们需要对请求进行伪装，让网站无法分别请求是否为爬虫。(2)分析：爬虫爬取网页时： 经典的 Python 爬虫在使用 urllib 标准库时，都会发送如下的请求头：

爬虫与发爬虫的厮杀，一方为了拿到数据，一方为了防止爬虫拿到数据，谁是最后的赢家？重新理解爬虫中的一些概念爬虫:自动获取网站数据的程序反爬虫：使用技术手段防止爬虫程序爬取数据误伤：反爬虫技术将普通用户识别为爬虫，这种情况多出现在封ip中，例如学校网络、小区网络再或者网络网络都是共享一个公共ip，这个时候如果是封ip就会导致很多正常访问的用户也无法获取到数据。所以相对来说封ip的策略不是特别好，通...