Python Requests+BeautifulSoup抓取豆瓣读书Top250书单信息

Amaris_ZZ

已于 2025-07-10 16:43:08 修改

阅读量1.3k

点赞数 26

CC 4.0 BY-SA版权

文章标签： beautifulsoup python 网页爬虫

于 2025-07-10 16:37:19 首次发布

本文链接：https://blog.csdn.net/Amariszz/article/details/149250418

本文以BeautifulSoup作为html内容定位工具，展现网页数据初级抓取过程。数据来源为豆瓣读书TOP250书单[https://book.douban.com/top250]，共10页，单页25部书籍，抓取字段为书名、作者、出版时间、出版价格、豆瓣评分、评分人数、书中引言。内容示例：

“红楼梦,[清] 曹雪芹著,1996-12,59.70元,9.6,447047,都云作者痴，谁解其中味？”

废话不多说，我们开始爬取～

#全过程代码展示

import requests
from fake_useragent import UserAgent as ua
from bs4 import BeautifulSoup
import time
import random
import csv
import re
import pandas as pd


#设计函数 下载单页内容至csv文件
def download_page(baseurl, PageNum):
    time.sleep(random.uniform(0.1,2)*2)    #随机延迟

    header1 = {
        'User-Agent': ua().random,
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Referer': 'https://www.bing.com/'
    }

    param1 = {'start': PageNum}

    with requests.get(baseurl, headers=header1, params=param1, timeout=(10, 50)) as resp1:
        html1 = resp1.text
        soup = BeautifulSoup(html1, 'html.parser')
        #单页书籍信息汇总
        items = soup.find('div', attrs={'class':"indent"}).find_all('tr', class_ = "item")
        #遍历获取单本书籍信息
        for item in items:
            #书名
            title1 = item.find('a', title = re.compile(r'[0-9a-zA-Z\u4e00-\u9fa5]+')).text