爬虫——练习-爬取一定范围内的页面数据

最新推荐文章于 2025-02-10 09:44:53 发布

大神，起风了

最新推荐文章于 2025-02-10 09:44:53 发布

阅读量1.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签：爬虫基础练习

本文链接：https://blog.csdn.net/Light__1024/article/details/88674152

本文介绍了一次爬虫基础练习，详细讲述了如何利用Python爬取指定网页的前三页数据。通过os模块的操作，实现了数据的抓取和处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述
爬取前三页的数据
第一次写的代码：

# 综合项目实战：爬取搜狗，知乎某一词条对应的某一范围页码的数据
# 分析下爬取第一页的url和第二页的url，get请求参数中只有page在变，把url固定，变量封装

import requests

url='http://zhihu.sogou.com/zhihu?'
headers={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}

for page in range(1,3):

    params={
        'query':'人工智能',
        'page':page,
        'ie':'utf-8'    
    }

    response = requests.get(url=url,params=params,headers=headers)
    page_data = response.text
    with open(str(page)+ '.html','w',encoding='utf-8') as f:
        f.write(page_data)

+os模块的操作，最终版本：