python爬虫

爬取一个百度知道的一张图片中国建行的

所需要的包有

import os 
import requests
from lxml import etree 
如果没有安装lxml和requests的
在pycharm终端输入命令:
pip install requests
pip install lxml

 首先确定一个爬取的网站的图片

url = 'https://zhidao.baidu.com/business/profile?id=108421'

使用一个代理

headers = {
    'User-Agent':
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.0.0 Safari/537.36 Edg/134.0.0.0'
}

使用requests请求一下请求头

response = requests.get(url,headers = headers)
response.encoding = response.apparent_encoding
response_text = response.text

使用lxml解析网站的信息如果是图片需要加content

tree = etree.HTML(response_text)
firse_xpath = tree.xpath('/html/body/div[3]/div[1]/div[2]/img/@src')
print(firse_xpath)

请求一下firse_xpath拿到的图片地址，然后直接保存到指定文件

result = requests.get(url2)
save_dir = r'D:\temp2'
save_path = os.path.join(save_dir,'wb.jpg')
if not os.path.exists(save_dir):
    os.makedirs(save_dir)
print(f'目录在{save_path}')

写入指定文件夹

with open(save_path,'wb') as f:
    f.write(result.content)

效果如下：