《python网络爬虫入门实践》笔记：chp3 静态网页抓取（下）实例：豆瓣电影top250

落幕之前

于 2021-11-24 11:50:08 发布

阅读量559

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫读书笔记文章标签： python 爬虫

本文链接：https://blog.csdn.net/qq_39477410/article/details/121512220

读书笔记同时被 2 个专栏收录

25 篇文章

订阅专栏

爬虫

5 篇文章

订阅专栏

该代码实现了一个简单的Python爬虫，用于抓取豆瓣电影Top250榜单上的电影名称。通过使用`requests`库获取网页内容，然后利用`BeautifulSoup`解析HTML，提取每部电影的标题，并将它们存储在一个列表中。程序遍历了25个页面（每页10部电影），确保获取到完整的Top250电影列表。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from bs4 import BeautifulSoup


def get_movies():
    Headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'
                      ' Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.44',
        'Host': 'movie.douban.com'}
    movie_list = []
    for i in range(0, 10):
        # 构造25页的url
        link = "https://movie.douban.com/top250?start=" + str(i * 25) + "&filter="
        r = requests.get(link, headers=Headers)
        print(str(i + 1), "页面响应状态码", r.status_code)
        soup = BeautifulSoup(r.text, "html.parser")
        div_list = soup.find_all("div", class_="hd")
        for each in div_list:
            movie = each.a.span.get_text()
            movie_list.append(movie)
    return movie_list


movies = get_movies()
print(movies)