python request库及实例

爬虫

requests库的get()方法

以百度为例

import requests
#r为从网页上获得的内容（源代码，状态码，文本信息，编码方式等）
r = requests.get("http://www.baidu.com")
#状态码，只有200是正常的
r.status_code
#文本信息
r.text
#从HTTP header中猜测的响应内容编码方式
r.encoding
#从内容中分析出的响应内容编码方式
r.apparent_encoding 
#将分析出的响应内容编码方式赋给从HTTP header中猜测的响应内容编码方式
r.encoding = 'utf-8'
#utf-8主要用来解析文字，当r.encoding不能解析时，使用r.apparent_encoding解析

爬取网页的通用代码框架

常见错误

requests.ConnectionError 网络连接异常
requests.HTTPError HTTP错误异常
requests.URLRequired URL缺失异常
requests.TooManyRedirects 超过最大重定向次数，产生重定向异常
requests.ConnectTimeout 连接远程服务器超时异常
requests.Timeout 请求URL超时，产生超时异常

爬取网页的通用代码框架

#爬取网页的通用代码框架
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status() #如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"
    
if __name__=="__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))
#当.py文件被直接运行时，if __name__ == '__main__'之下的代码块将被运行；
#当.py文件以模块形式被导入时，if __name__ == '__main__'之下的代码块不被运行。

HTTP协议及Requests库的主要方法

Requests库的主要方法

HTTP协议

HTTP,Hypertext Transfer Protocol,超文本传输协议
HTTP是一个基于“请求与响应”模式的、无状态的应用层协议
HTTP协议采用URL作为定位网络资源的标识

URL格式 http://host[:port][path]
host:合法的Internet主机域名或IP地址
port:端口号，缺省端口为80
path:请求资源的路径

例子：http://www.bit.edu.cn

#head方法，只获取头部信息
r = requests.head('http://httpbin.org/get')
r.headers

#post方法
payload = {'key1':'value1','key2':'value2'}
r = requests.post('http://httpbin.org/post',data = payload)
print(r.text)

form即为所加内容

Requests库的主要方法解析

requests.requests(method,url,**kwargs)
method:请求方式，对应get/put/post等7种
url:获取页面的url链接
**kwargs:控制访问的参数，共13个
如：params：字典或字节序列，作为参数增加到url中

kv = {'key1':'value1','key2':'value2'}
r = requests.request('GET','http://python123.io/ws',params=kv)
print(r.url)

结果：

data:字典、字节序列或文件对象，作为Request的内容

r = requests.request('POST','http://python123.io/ws',data=kv)

json：json格式的数据，作为Request的内容
headers：字典，HTTP定制头
cookies：字典或cookiejar，Request中的cookie
auth：元组，支持HTTP认证功能
timeout
proxies

爬取京东商品

url = 'https://item.jd.com/100006976889.html'
try:
    r = requests.get(url,timeout=30)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("产生异常")

结果：

爬取亚马逊商品

import requests
r.request.headers #请求的头部信息

结果

其中
‘User-Agent’: ‘python-requests/2.19.1’
表明这是python进行访问，容易被拒绝
对其进行修改，其通用代码框架为

url = 'https://www.amazon.cn/dp/B07PN2Z4VM/ref=sr_1_1?__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99&crid=1GGOOXJ899MP0&keywords=%E5%B9%B3%E5%87%A1%E7%9A%84%E4%B8%96%E7%95%8C&qid=1590886833&s=books&sprefix=PING%2Cdigital-text%2C215&sr=1-1'
try:
    kv = {'user-agent':'Mozilla/5.0'}
    #'Mozilla/5.0'是标准的浏览器标识
    r = requests.get(url,headers = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[1000:2000])
except:
    print('爬取失败')

百度360搜索关键词提交

百度关键词接口：
http://www.baidu.com/s?wd=keyword
360的关键词接口：
http://www.so.com/s?q=keyword

import requests
keyword = 'python'
try:
    kv = {'wd':keyword}
    #params这一参数可加入到url中，并自动加？
    r = requests.get('http://www.baidu.com/s',params = kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:ddd
    print('爬取失败')

import requests
keyword = 'python'
try:
    kv = {'q':keyword}
    r = requests.get('http://www.so.com/s',params = kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
    print(r.text)
except:
    print('爬取失败')

网络图片的爬取与存储

网络图片链接的格式
http://www.example.com/picture.jpg

import requests
import os
url = 'https://p0.ssl.qhimgs4.com/t018c2b5448092d9d33.webp'
root = 'C://Users//胡银洪//Desktop//picture//'
path = root + url.split('/')[-1]+'.jpg'   #需要在后加上'.jpg'，作为其保存类型
try:
    if not os.path.exists(root):  #根目录是否存在，如果不存在，则建立根目录
        os.mkdir(root)
    if not os.path.exists(path):     #是否存在该文件，若无则爬取，若有，则显示‘文件已存在’
        r = requests.get(url)
        with open(path,'wb') as f:    #以二进制形式打开该路径，并设置为f
            f.write(r.content)         #r.content为返回对象中的二进制信息，将r.content写入文件中
            f.close()
            print('文件保存成功')
    else:
        print('文件已存在')
except:
    print('爬取失败')

IP地址归属地的自动查询

import requests
url = 'http://m.ip138.com/ip.asp?ip='
kv = {'user-agent':'Mozilla/5.0'}
try:
    r = requests.get(url+'202.204.80.112',headers = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[-500:])#最后500个字符
except:
    print('爬取失败')