6.内涵段子--爬虫

内涵段子爬虫实战

1. url链接：http://neihanshequ.com/bar/1/
2. 要求：能爬取一页数据即可

ProxyHandler处理器（代理设置）
很多网站会检测某一段时间某个IP的访问次数（通过流量统计，系统日志等），如果访问次数多的不像正常人的访问，它会禁止这个ip的访问。所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算ip被禁止，依然可以换个ip继续爬取。
urllib中通过ProxyHander来设置使用代理服务器，下面代码说明如何使用自定义openr来使用代理：

from urllib import request
#这个是没有使用代理的
#resp = request.urlopen('http://httpbin.org/get')
#print(resp.read().decode("utf-8"))

#这个是使用代理的
hander = request.PoxyHandler(('http':'218.66.161.88:31769'))
opener = request.build_opener(handler)
req = request.Request('http://httpbin.org/ip')
resp = opener.open(req)
print(resp.read())

常用的代理有：

• 西刺免费代理ip：http://www.xicidaili.com/ （免费）
• 快代理：http://www.kuaidaili.com/ （有免费和付费）
• 代理云：http://www.dailiyun,com/ （有免费和付费）

httpbin.org/ip 可以查看自己的ip是否改变（检查使用的代理是否生效）。

proxyHandler处理器（代理）
1.代理的原理：在请求目的服务器之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的网站数据后，再转发给我们的代码。
2.http://httpbin.org 这个网站可以方便的查看http请求的一些参数。
3.在代码中使用代理：

• 使用’urllib.request.ProxyHandler’，传入一个代理，这个代理是一个字典，字典的key依赖于代理服务器能够接收的类型，一般是’http’或者’https’，值是’ip:port’。
• 使用上一步创建的’handler’，以及’request.build_opener’创建一个’opener’对象。
• 使用上一步创建的’opener’，调用’open’函数，发起请求。
  示例代码如下：

from urllib import request

# #没有使用代理
# url = 'http://httpbin.org/ip'
# resp = request.urlopen(url)
# print(resp.read())


#使用代理
url = 'http://httpbin.org/ip'
#1.使用proxyHandler，传入代理构建一个handler
handler = request.ProxyHandler({"http":"125.110.72.235:9000"})
#2.使用上面创建的handler构建一个opener
openr = request.build_opener(handler)
#3.使用opener去发送一个请求
resp = openr.open(url)
print(resp.read())