Python bs4爬取图片

最新推荐文章于 2023-06-09 17:07:28 发布

宗介l

最新推荐文章于 2023-06-09 17:07:28 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/qq_43296197/article/details/100181606

本文介绍了一种使用Python、Requests和BeautifulSoup实现的图片爬虫技术，从豆瓣网站抓取图片资源，通过设置User-Agent绕过网站反爬机制，利用lxml解析网页，实现了图片链接的获取与下载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >


from bs4 import BeautifulSoup
import requests
import urllib
import ssl
import time
import lxml


x=190
ssl._create_default_https_context = ssl._create_unverified_context

def crawl(url):
    headers={'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4098.3 Safari/537.36'}
    req = requests.get(url,headers=headers)
    print(req)
    page=urllib.request.urlopen(url,timeout=15)
    content = page.read()

    soup = BeautifulSoup(content,'lxml')
    girls=soup.find_all('img')
    for girl in girls:
        link = girl.get('src')
        print(link)
        time.sleep(1.2)
        global x
        urllib.request.urlretrieve(link,'image\%s.jpg' % x)
        x+=1
for i in range (2,5):
    url='https://www.douban.com/people/CINO.X/statuses?p=%s' % i
    crawl(url)