Python Scrapy抓取动态网页

最新推荐文章于 2025-05-01 00:58:44 发布

LunaticZ

最新推荐文章于 2025-05-01 00:58:44 发布

阅读量837

点赞数

本文介绍使用Scrapy框架抓取亚马逊商品网站时遇到的问题及解决方案。由于Scrapy无法直接抓取由JavaScript生成的动态内容，文章探讨了通过WebKit进行页面渲染以触发JS事件的方法，并对比了Selenium方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在写一个爬去亚马逊商品网站的爬虫，在此记录过程中的一些问题.
Scrapy框架不能直接爬去JS生成的动态网页，需要调用一些外来的库的方法来实现。
动态网页：
    1.交互表单。
    2.JS/AJAX。
    3.关键字。
首先对不同的方法做一个总结：
    1.逆工程（工程复杂）。
    2.浏览器渲染引擎触发JS事件。
        -WebKit
        -Selenium

Selenium对浏览器有要求，响应速度也不够快。
所以，这里主要针对对WebKit的学习。