python使用代理爬虫_python使用代理爬虫导致无法访问网页

可能是被服务器屏蔽了，可以采取免费的https代理ip进行采集爬取

给一个源代码，供参考：

import requests

import base64

import socks, socket # 需要引入socks.py文件，请到米扑代理示例下载

# 用于无用户名密码且访问https网址的代理

# import ssl

# ssl._create_default_https_context = ssl._create_unverified_context

mimvp_url = "http://proxy.mimvp.com/test_proxy2.php" # http

mimvp_url2 = "https://proxy.mimvp.com/test_proxy2.php" # https

################### proxy no auth (代理无用户名密码验证)###################

# 使用代理 http, https

proxies = {

"http" : "http://91.121.162.173:80",

"https" : "http://190.24.131.250:3128",

}

req = requests.get(mimvp_url, proxies=proxies, timeout=30) # http

print("mimvp text : " + req.text)

req = requests.get(mimvp_url2, proxies=proxies, timeout=30, verify=False) # https

print("mimvp text : " + req.text)

# 使用代理 socks4

proxies = {