[python] 使用 Selenium 和 chromedirver 抓取网页

小公鸡卡哇伊呀~

于 2022-07-02 12:13:45 发布

阅读量955

点赞数 2

CC 4.0 BY-SA版权

文章标签： python selenium 开发语言

本文链接：https://blog.csdn.net/ftell/article/details/125564322

1 没有使用 JavaScript 的网页抓取方法

例如如下的网页：

在这里插入图片描述

1.1 安装 BeautifulSoup 库

1.2 代码例子

app.py：

import requests
from pages.quotes_page import QuotesPage

page_content = requests.get("https://quotes.toscrape.com/").content

page = QuotesPage(page_content)

for quote in page.quotes:
    print(quote)

BeautifulSoup 的使用：

from bs4 import BeautifulSoup

from locators.quotes_page_locators import QuotesPageLocators
from parsers.quote import QuoteParser

class QuotesPage:
    def __init__(self, page):
        self.soup = BeautifulSoup(page