利用 Puppeteer-Extra 插件提升自动化测试和网页抓取的效率与隐蔽性

黑金IT

于 2024-10-25 15:21:02 发布

阅读量1.9k

点赞数 36

CC 4.0 BY-SA版权

分类专栏：自动化工具文章标签：前端浏览器自动化修改浏览器指纹

本文链接：https://blog.csdn.net/ylong52/article/details/143235348

在当今的互联网环境中，自动化测试和网页抓取已经成为许多开发者和数据分析师的日常工作之一。Puppeteer 是一个广泛使用的 Node 库，它提供了一个高级 API 来通过 DevTools 协议控制 Chrome 或 Chromium。然而，在某些场景下，我们可能需要更多的功能和隐蔽性来绕过网站的检测机制。这时，Puppeteer-Extra 及其丰富的插件生态系统就能派上用场。
在这里插入图片描述

Puppeteer-Extra 简介

Puppeteer-Extra 是 Puppeteer 的一个扩展，它允许我们通过插件轻松地增加额外的功能。以下是一些非常有用的 Puppeteer-Extra 插件：

puppeteer-extra-plugin-stealth：用于避免被检测为机器人。
puppeteer-extra-plugin-recaptcha：用于自动解决 reCAPTCHAs。
puppeteer-extra-plugin-adblocker：用于广告和追踪器拦截。
接下来，我们将逐一介绍这些插件，并展示如何在实践中使用它们。

1. 使用 puppeteer-extra-plugin-stealth 避免被检测

网站通常会使用各种技术来检测自动化工具，如 Puppeteer。puppeteer-extra-plugin-stealth 插件通过修改浏览器指纹和禁用某些功能来减少被检测的风险。

安装

npm install puppeteer-extra puppeteer-extra-plugin-stealth

使用示例

const puppeteer = require('puppeteer-extra')
const StealthPlugin = require('puppeteer-extra-plugin-stealth')
puppeteer.use(StealthPlugin())
async function run() {
   
   
  const browser = await puppeteer.launch({
   
    headless: false })
  const page = await browser.newPage()
  await page.goto('https://example.com')
  // 你的代码逻辑
  await browser.close()
}
run()

2. 使用 puppeteer-extra-plugin-recaptcha 自动解决 reCAPTCHAs

reCAPTCHA 是一种广泛使用的验证码服务，用于区分人类用户和机器人。puppeteer-extra-plugin-recaptcha 插件可以帮助我们自动解决这些验证码。

安装

npm install puppeteer-extra-plugin-recaptcha

使用示例

const puppeteer = require('puppeteer-extra')
const RecaptchaPlugin = require('puppeteer-extra-plugin-recaptcha')
puppeteer.use(RecaptchaPlugin({
   
   
  provider: {
   
   
    id: '2captcha'