python爬取页面上的链接

广州测试猫

于 2019-01-27 22:41:57 发布

阅读量5.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python

本文链接：https://blog.csdn.net/admins_/article/details/86670653

Python 专栏收录该内容

14 篇文章

订阅专栏

本文介绍了一个使用Python和BeautifulSoup库从豆瓣网站抓取所有链接的方法。通过urllib库获取网页内容，然后解析HTML并提取所有的'a'标签链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python爬取豆瓣网上的链接

import urllib
from bs4 import BeautifulSoup
response = urllib.urlopen('https://www.douban.com/')
bsObj = BeautifulSoup(response, 'html.parser')
a = bsObj.find_all('a')
for b in a:
    c = b.get('href')
    print(c)