spash和selenium浅析

最新推荐文章于 2024-11-30 10:54:09 发布

转载

最新推荐文章于 2024-11-30 10:54:09 发布 · 674 阅读

2 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/chaojiyingxiong/p/10246244.html

文章标签：

#javascript #测试 #爬虫 #ViewUI

本文介绍了Splash和Selenium的区别与作用。Splash是一个用于渲染JavaScript的轻量级浏览器服务，适用于复杂JavaScript页面和Ajax的爬取。而Selenium是一款浏览器自动化测试工具，擅长模拟用户行为，但在异步渲染和大规模爬取方面有限制。两者在爬虫应用中有各自的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Splash是什么：

　　Splash是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python实现的，同时使用Twisted和QT。Twisted（QT）用来让服务具有异步处理能力，以发挥webkit的并发能力。

为什么要有Splash：

　　为了更加有效的制作网页爬虫，由于目前很多的网页通过javascript模式进行交互，简单的爬取网页模式无法胜任javascript页面的生成和ajax网页的爬取，同时通过分析连接请求的方式来落实局部连接数据请求，相对比较复杂，尤其是对带有特定时间戳算法的页面，分析难度较大，效率不高。而通过调用浏览器模拟页面动作模式，需要使用浏览器，无法实现异步和大规模爬取需求。鉴于上述理由Splash也就有了用武之地。一个页面渲染服务器，返回渲染后的页面，便于爬取，便于规模应用

Selenium是什么:

ason Huggins在2004年发起了Selenium项目，当时身处ThoughtWorks的他，为了不想让自己的时间浪费在无聊的重复性工作中，幸运的是，所有被测试的浏览器都支持Javascript。Jason和他所在的团队采用Javascript编写一种测试工具来验证浏览器页面的行为；这个JavaScript类库就是Selenium core，同时也是seleniumRC、Selenium IDE的核心组件。Selenium由此诞生。

关于Selenium的命名比较有意思，当时QTP mercury是主流的商业自化工具，是化学元素汞（俗称水银），而Selenium是开源自动化工具，是化学元素硒，硒可以对抗汞。