Python爬虫实战案例（1）—— 爬取百度图片 及 其它网站的网页图片

置顶 已于 2025-07-31 06:19:57 修改
阅读量3.4k 收藏 47
点赞数 51
CC 4.0 BY-SA版权
分类专栏： 重生之我要成为数据蜘蛛侠——Python爬虫学习日记 文章标签： python 爬虫 百度
于 2025-02-19 17:34:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sikimayi/article/details/145732406

嘿，大伙~ 学了四期Python爬虫的基础内容，我们已经能够在一定程度上独当一面了，所以今天这一期我们就开始实战一下吧！~

请添加图片描述

对前面三章的补充

前面三期里，我们讲了我们会用到的三个页面解析的方法。
那么问题来了——
什么时候需要用到我们的页面解析的方法呢？
我们打开页面源代码，然后在里面搜索，如果能搜到，那就能用页面解析，不论是Bs4还是Xpath亦或是正则，都是可以的。
在这里插入图片描述

这一期里，我们通过爬取三个网站的图片，来简单接触一下怎么爬取网页中的图片，以及怎么存储到本地。

首先第一个网页我们来一点点尝试吧~

图怪兽

下一个，下一个。
在这里插入图片描述
上面的步骤我们就不多说了，我们这里就直接展示结果。

访问页面

import requests

headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}

url = 'https://818ps.com/muban/all&0_0_0_0&k_kaigongdaji?top_id=5881371'
html = requests.get(url, headers=headers).text

页面解析

div.searchTemplate_flow_wrap__dGnCV div.searchTemplate_column__Ves_p div.searchTemplate_cart_wrap__1yDpm div.searchTemplate_scroll-wrap__KeGk5 div img

import requests
from bs4 import BeautifulSoup

headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}

url = 'https://818ps.com/muban/all&0_0_0_0&k_kaigongdaji?top_id=5881371'
html = requests.get(url, headers=headers).text

soup = BeautifulSoup(html, 'lxml')
imgs = soup.select('div.searchTemplate_flow_wrap__dGnCV div.searchTemplate_column__Ves_p div.searchTemplate_cart_wrap__1yDpm div.searchTemplate_scroll-wrap__KeGk5 div img')

for img in imgs:
    img_alt = img.get('alt')
    img_src = img.get('src')
    print(img_alt)
    print(img_src)

文件存储

import requests
import os
from bs4 import BeautifulSoup

headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}

if not os.path.exists('./818ps'):
    os.mkdir('./818ps')

url = 'https://818ps.com/muban/all&0_0_0_0&k_kaigongdaji?top_id=5881371'
html = requests.get(url, headers=headers).text

soup = BeautifulSoup(html, 'lxml')
imgs = soup.select('div.searchTemplate_flow_wrap__dGnCV div.searchTemplate_column__Ves_p div.searchTemplate_cart_wrap__1yDpm div.searchTemplate_scroll-wrap__KeGk5 div img')

for img in imgs:
    img_alt = img.get('alt')
    img_src = img.get('src')
    print('正在下载：', img_alt)
    with open('./818ps/{}.jpg'.format(img_alt), 'wb') as f:
        f.write(requests.get(img_src, headers=headers).content)
    print('下载完成', img_alt)

到这里，我们就写成了和上面的一样，但是我们会发现它报错了。
在这里插入图片描述
我们看看上面的img_src。
在这里插入图片描述

我们会发现，它少了前面http那一些，虽然我们直接打开这个网址是能打开的，但是从这里，我们是不行的，所以我们要加上前缀。
在这里插入图片描述
还有这个是我们前面的Bs4的语句写的不完善，但是在那边不是很好改，我们就直接在代码里面加一个判断就好。

代码

import requests
import os
from bs4 import BeautifulSoup

headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}

if not os.path.exists('./818ps'):
    os.mkdir('./818ps')

url = 'https://818ps.com/muban/all&0_0_0_0&k_kaigongdaji?top_id=5881371'
html = requests.get(url, headers=headers).text

soup = BeautifulSoup(html, 'lxml')
imgs = soup.select('div.searchTemplate_flow_wrap__dGnCV div.searchTemplate_column__Ves_p div.searchTemplate_cart_wrap__1yDpm div.searchTemplate_scroll-wrap__KeGk5 div img')

for img in imgs:
    img_alt = img.get('alt')
    img_src = 'https:' + img.get('src')
    if img_alt:
        print('正在下载：', img_alt)
        with open('./818ps/{}.jpg'.format(img_alt), 'wb') as f:
            f.write(requests.get(img_src, headers=headers).content)
        print('下载完成', img_alt)

效果就是这样，
在这里插入图片描述
在这里插入图片描述
这个如果想要继续下载，也能够翻页，和上面的操作基本是一样的，这里就不赘述了。

百度图片

下面是我们今天的最后一个网页图片了，百度还是有牌面的，压轴了也是。

差异

这个和前面两个有一个本质上的区别：它是一个 ajax 动态加载，也叫做瀑布流。
什么意思呢？
在这里插入图片描述
在这里插入图片描述
大家很容易就能观察到，在我们页面中，随着我下翻页面，它的内容是一点点更新出来。

那么对于这种我们要怎么去获取，这种的存储都通过json文件来进行存储的。
所以我们只需要抓到存储图片内容的json文件的包就行了。

抓 json 包

我们进到检查的网络板块，然后不断下翻我们的百度图片的页面，然后筛选一下

Fetch/XHR

在这里插入图片描述
我们会看到这些就是我想要的存储内容了。
在这里插入图片描述
但是它存储之中有很多个都是，那么我们怎么把所有都给弄下来呢？？
在这里插入图片描述
大伙，观察一下我们会发现它的 url 里唯一改变的就只有 pn 和 curPageNum，很好理解，这就是翻页了。
所以，我们只需要写一个循环来遍历一下这个载荷就可以了。

那么，我们动手吧！~

代码

这次的代码，我们尝试一下前面 params 传递的方式。
params 也就是载荷里的内容。

如果，我们直接复制它的url，我们会发现我们爬不下来东西，因为其中搜索的部分被它转换成了对应编码，如果要用这种方式，我们要把编码换回中文。

"""
ajax 动态加载 瀑布流
 ------>>> 寻找json文件。

"""

import requests

url = 'https://image.baidu.com/search/albumsdata?'

params = {
    'pn': '90',
    'rn': '30',
    'tn': 'albumsdetail',
    'word': '城市建筑摄影专题',
    'album_tab': '建筑',
    'album_id': '7',
    'ic': '0',
    'curPageNum': '3'
}

headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36'
}

html = requests.get(url, params=params)

print(html.json())

到这里，我们就把其中一个 json包 爬下来了。
那么下一步，就是进行存储，这里的操作和前面是一样的。

文件存储

来看看我是怎么做的吧~

代码

"""
ajax 动态加载 瀑布流
 ------>>> 寻找json文件。

"""

import requests
import os

if not os.path.exists('./baidu'):
    os.mkdir('./baidu')

url = 'https://image.baidu.com/search/albumsdata?'

params = {
    'pn': '90',
    'rn': '30',
    'tn': 'albumsdetail',
    'word': '城市建筑摄影专题',
    'album_tab': '建筑',
    'album_id': '7',
    'ic': '0',
    'curPageNum': '3'
}

headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36'
}

html = requests.get(url, params=params).json()


for res in html['albumdata']['linkData']:
    img_pid = res['pid']
    img_url = res['thumbnailUrl']
    print('正在下载：', img_pid)
    with open('./baidu/{}.jpg'.format(img_pid), 'wb') as f:
        f.write(requests.get(img_url, headers=headers).content)
    print('下载完成', img_pid)

多文件存储

按照前面所说，我们只需要把 pn 和 curPageNum 进行遍历即可。
这个也是和前面说的差不多，大家可以试试，如果不行，那就看看我的写法吧！~

代码

"""
ajax 动态加载 瀑布流
 ------>>> 寻找json文件。

"""

import requests
import os

if not os.path.exists('./baidu'):
    os.mkdir('./baidu')

url = 'https://image.baidu.com/search/albumsdata?'

for i in range(5):
    params = {
        'pn': str(i * 30),
        'rn': '30',
        'tn': 'albumsdetail',
        'word': '城市建筑摄影专题',
        'album_tab': '建筑',
        'album_id': '7',
        'ic': '0',
        'curPageNum': str(i)
    }

    headers = {
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36'
    }

    html = requests.get(url, params=params).json()

    for res in html['albumdata']['linkData']:
        img_pid = res['pid']
        img_url = res['thumbnailUrl']
        print('正在下载：', img_pid)
        with open('./baidu/{}.jpg'.format(img_pid), 'wb') as f:
            f.write(requests.get(img_url, headers=headers).content)
        print('下载完成', img_pid)

效果

在这里插入图片描述
写完上面这个，我发现我们日常所使用到的百度图片不长这个样子。
所以，下面重新写一个。

新·百度图片

在我们从百度图片里找图片，遇到更多的都是这个样子的，所以这里重新写一个，大差没有，小差别还是有一些，所以就简单过一下。
在这里插入图片描述

抓json包

这里我们演示一下怎么直接改url。

import requests
'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=12238656010602840941&ipn=rj&ct=201326592&is=&fp=result&fr=&word=%E5%A3%81%E7%BA%B8&cg=wallpaper&queryWord=%E5%A3%81%E7%BA%B8&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&expermode=&nojc=&isAsync=&pn=120&rn=30&gsm=78&1739954761925='
url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=12238656010602840941&ipn=rj&ct=201326592&is=&fp=result&fr=&word=壁纸&cg=wallpaper&queryWord=壁纸&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&expermode=&nojc=&isAsync=&pn=120&rn=30&gsm=78&1739954761925='

headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36'
}

html = requests.get(url, headers=headers)
print(html.json())

文件存储

import requests
import os

if not os.path.exists('./baidu'):
    os.mkdir('./baidu')

url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=12238656010602840941&ipn=rj&ct=201326592&is=&fp=result&fr=&word=壁纸&cg=wallpaper&queryWord=壁纸&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&expermode=&nojc=&isAsync=&pn=120&rn=30&gsm=78&1739954761925='

headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36'
}

html = requests.get(url, headers=headers).json()

for res in html['data']:
    if res: # 最后一个是空的，需要把它排除掉
        img_title = res['fromPageTitle']
        img_title = img_title.replace('|', '_').strip()
        img_url = res['hoverURL']
        if img_url: # 有一些没有提供 url，也需要排除掉
            print('正在下载：', img_title)
            with open('./baidu/{}.jpg'.format(img_title), 'wb') as f:
                f.write(requests.get(img_url, headers=headers).content)
            print('下载完成', img_title)

多文件存储

import requests
import os

if not os.path.exists('./baidu'):
    os.mkdir('./baidu')

'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=12238656010602840941&ipn=rj&ct=201326592&is=&fp=result&fr=&word=%E5%A3%81%E7%BA%B8&cg=wallpaper&queryWord=%E5%A3%81%E7%BA%B8&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&expermode=&nojc=&isAsync=&pn=120&rn=30&gsm=78&1739954761925='

for i in range(1, 3): # pn为0的时候无法访问
    url = f'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=12238656010602840941&ipn=rj&ct=201326592&is=&fp=result&fr=&word=壁纸&cg=wallpaper&queryWord=壁纸&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&expermode=&nojc=&isAsync=&pn={str(i * 30)}&rn=30&gsm=78&1739954761925='
    print(url)
    headers = {
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36'
    }

    html = requests.get(url, headers=headers).json()

    for res in html['data']:
        if res: # 最后一个是空的，需要把它排除掉
            img_title = res['fromPageTitle']
            img_title = img_title.replace('|', '_')
            img_title = img_title.replace(':', '_').strip()
            img_url = res['hoverURL']
            if img_url: # 有一些没有提供 url，也需要排除掉
                print('正在下载：', img_title)
                with open('./baidu/{}.jpg'.format(img_title), 'wb') as f:
                    f.write(requests.get(img_url, headers=headers).content)
                print('下载完成', img_title)

总结

OKk，本期的内容就到这里了，爬取网页图片，按照我们前面所获取的知识已经够了，大家多多练习，就可以轻松拿到喜欢的图片了。

感谢大伙观看，别忘了三连支持一下

大家也可以关注一下我的其它专栏，同样精彩喔~

下期见咯~

请添加图片描述

Python爬虫实战：如何爬取百度图片搜索结果
2201_76125261的博客
06-05 840
本文从基础开始，详细介绍了如何爬取百度图片搜索结果，并通过异步编程提升效率，结合代理池和反爬策略，实现了稳定的爬取流程。未来可以结合机器学习对图片进行筛选、分类，实现更智能的数据抓取与处理。
使用 Python 指定内容 爬取百度引擎搜索结果
最新发布
m0_74972192的博客
07-29 7778
通过这篇博客，你可以掌握如何使用 Python 编写一个简单的百度搜索爬虫，并了解爬虫的基本流程。使用requests进行 HTTP 请求，利用解析网页内容，以及如何处理和提取有用的数据。这些技能是进行网页数据抓取和信息提取的基础，对进一步学习爬虫技术和数据分析有很大帮助。希望这些信息对你有帮助！如果你有任何问题或需要进一步的帮助，请随时告诉我。😊。
网络爬虫实例——简易爬取百度图片
q2122364739的博客
10-06 1281
打开百度，搜索猫猫虫右键此页面，点击检查# 执行mainmain()以上就是一个网络爬虫的实例，希望能对您有所帮助。
通过关键词爬取百度图片——Python爬虫
竹道生的博客
02-19 4678
爬取百度图片 在这里我们先列出本次爬虫的步骤（思路很重要）： 1、通过requests获取网页信息 2、找到图片链接在哪里 3、创建文件夹，将图片下载到本地 在开始之前，先讲一下百度图片翻页的一个小细节（看图）： 这是下滑加载更多的翻页方式（对我们的爬虫造成了干扰） 这种是传统的翻页方式（我们爬的是这种网页） 那么，我们怎么把网页变成我们想要的呢？在这里教大家一个小技巧： htt...
Python爬虫：简易图片爬取
qq_73980336的博客
10-06 3571
对该页面往下翻，并复制以下信息粘贴在header中（注：粘贴时优先打三对双引号注释后再粘贴，这样能够最高程度避免粘贴胡乱换行的情况）print("正在保存第" + str(pic_name))print("正在保存第" + str(pic_name))然后将代码整理好，再复制负载内容，粘贴进代码里（注：这里要删除没有内容的名称）page_num = input("请输入你要抓取的页数:")page_num = input("请输入你要抓取的页数:")fold_name = input("请输入图片名:")
利用Python爬虫抓取网页上的图片（含异常处理）
08-02
利用Python爬虫抓取网页上的图片，当遇到不合法的URL时，会自动处理异常，不会导致程序崩溃。直到下载完整个页面的图片，程序才会退出
利用爬虫爬取百度图片
qq_67061926的博客
07-07 2183
导包（爆红的话终端使用pip 命令下载即可）
爬虫：爬取百度图片
weixin_43790560的博客
03-31 551
详细过程参考下面的网址，真的很不错的文章： https://blog.csdn.net/mingzhiqing/article/details/82778954 下面附上上面博客的代码的详细注释，我有每一步去详细注释，很容易理解： #爬取图片就3步，1.获取图片的大图网页， 2.以二进制方式存储， 3.file.write(大图网页.content) from urllib.parse impor...
Python爬虫实战项目案例——爬取微信朋友圈
m0_72735175的博客
12-08 3291
Appium爬取微信朋友圈基于移动端的自动化测试工具Appium的自动化爬取程序
Python项目案例开发从入门到实战源代码第6章 爬虫应用——抓取百度图片
12-25
在本项目案例中，我们将深入探讨Python编程在爬虫应用中的实际操作，特别是如何利用Python来抓取并下载百度图片。这个案例旨在帮助初学者掌握网络爬虫的基本技术和流程，同时也为进阶开发者提供了一个实战练习的机会...
Python爬虫实战案例源码-批量爬取今日头条街拍美图
07-14
综上所述，这个Python爬虫实战案例涉及到的主要知识点包括Python基础、HTTP请求、HTML解析、图片URL提取、图片下载及爬虫伦理和策略。通过实践，我们可以加深对这些知识的理解，并提升网络数据抓取的能力。
python网络爬虫抓取图片
02-05
利用python抓取网络图片的步骤： 1.根据给定的网址获取网页源代码 2.利用正则表达式把源代码中的图片地址过滤出来 3.根据过滤出来的图片地址下载网络图片
Python3爬虫抓取百度图片中的图片
08-07
Python3爬虫抓取百度图片中的图片，可根据需求输入关键字、图片数量
爬虫爬去百度图片
07-17
import urllib.request import re import os import urllib #根据给定的网址来获取网页详细信息，得到的html就是网页的源代码 def getHtml(url): page = urllib.request.urlopen(url) html = page.read() return html.decode('UTF-8') def getImg(html): reg = r'src="(.+?\\.jpg)" pic_ext' imgre = re.compile(reg) imglist = imgre.findall(html)#表示在整个网页中过滤出所有图片的地址，放在imglist中 x = 0 path = 'D:\\test' # 将图片保存到D:\\test文件夹中，如果没有test文件夹则创建 if not os.path.isdir(path): os.makedirs(path) paths = path+'\\' #保存在test路径下 for imgurl in imglist: urllib.request.urlretrieve(imgurl,'{}{}.jpg'.format(paths,x)) #打开imglist中保存的图片网址，并下载图片保存在本地，format格式化字符串 x = x + 1 return imglist html = getHtml("http://tieba.baidu.com/p/2460150866")#获取该网址网页详细信息，得到的html就是网页的源代码 print (getImg(html)) #从网页源代码中分析并下载保存图片A
Python爬虫实战笔记-股票爬取示例.md
08-27
### Python爬虫实战笔记-股票爬取示例 #### 概述 本文旨在详细介绍Python爬虫的实际应用，尤其是针对股票数据的爬取和分析。文章首先通过模拟登录的例子介绍了如何利用Session对象保持登录状态；接着讲解了爬取API...
爬虫爬取百度图片
qq_45570082的博客
07-04 404
具体分析过程就不写了，给出我学习的链接：https://blog.csdn.net/qq_35371031/article/details/81207966 上代码 import requests import os import threading import urllib.parse import time import re import hashlib class picture: """ 爬取百度图片 """ def __init__(self, picture_
网络爬虫爬取百度图片
weixin_42394925的博客
06-28 235
import requests# import re#正则表达 from tqdm import tqdm#进度条 with open('Rose.html','r',encoding = 'utf-8') as fp: data = fp.readline() print(data) #构造请求头 headers = {'access-control-allow-origin':'*', 'content-type':'image/webp', 'accept
Python爬虫爬取百度图片
login_sonata的博客
12-02 7208
前期准备：一个所爬人物的名单txt，只要人名，一行一个。 代码流程：读取上述名单，遍历每一个人名，爬取30张关于他的百度图片，保存在以他名字命名的文件夹中。 #!/usr/bin/env python # encoding: utf-8 import urllib2 import re import os import sys reload(sys) sys.setdefaultencodin
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黑不拉几的小白兔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值