playwright 403

要配置 **Playwright** 与 **Microsoft Playwright Test Cloud (MCP)** 服务（通常指 Playwright 的云测试服务或与 Azure DevOps 等平台的集成），需完成 **本地环境配置、MCP 服务连接、测试脚本适配** 等步骤。以下是详细配置流程： --- ### **一、前置条件** 1. **安装 Playwright**： ```bash npm init playwright@latest # 初始化项目并安装 Playwright # 或手动安装 npm install --save-dev @playwright/test ``` 2. **确保 Node.js 版本 ≥ 16**： ```bash node -v # 推荐使用 LTS 版本（如 18.x 或 20.x） ``` 3. **获取 MCP 服务凭证**： - 如果是 **Azure Pipelines** 或 **Playwright Cloud**，需从服务后台获取 **API 密钥** 或 **连接字符串**。 - 如果是自建 MCP 服务，需确认服务地址和认证方式。 --- ### **二、配置 Playwright 连接 MCP 服务** #### **方法 1：通过环境变量配置（推荐）** 1. **设置 MCP 服务 URL 和密钥**： ```bash # Linux/macOS export PLAYWRIGHT_TEST_BASE_URL="https://your-mcp-service.com" export PLAYWRIGHT_TEST_API_KEY="your-api-key-here" # Windows (PowerShell) $env:PLAYWRIGHT_TEST_BASE_URL = "https://your-mcp-service.com" $env:PLAYWRIGHT_TEST_API_KEY = "your-api-key-here" ``` 2. **在 `playwright.config.ts` 中引用环境变量**： ```typescript import { defineConfig } from '@playwright/test'; export default defineConfig({ webServer: { command: 'npm run start', # 本地启动服务（如需） port: 3000, reuseExistingServer: !process.env.CI, # CI 环境下不重复启动 }, use: { baseURL: process.env.PLAYWRIGHT_TEST_BASE_URL || 'http://localhost:3000', // 其他全局配置（如视口、超时） }, }); ``` #### **方法 2：直接在配置文件中硬编码（仅测试环境）** ```typescript // playwright.config.ts export default defineConfig({ use: { baseURL: 'https://your-mcp-service.com', storageState: 'playwright/.auth/user.json', // 可选：存储登录状态 }, projects: [ { name: 'mcp-chrome', use: { ...devices['Desktop Chrome'] }, }, ], }); ``` --- ### **三、适配 MCP 服务的测试脚本** #### **1. 编写跨浏览器测试用例** ```typescript // tests/example.spec.ts import { test, expect } from '@playwright/test'; test('MCP 服务首页加载', async ({ page }) => { await page.goto('/'); await expect(page.getByText('Welcome')).toBeVisible(); }); ``` #### **2. 处理 MCP 特有的功能（如视频录制、网络拦截）** ```typescript test('记录操作视频', async ({ page }) => { // 启用视频录制（需 MCP 服务支持） await page.context().tracing.start({ screenshots: true, snapshots: true }); await page.goto('/'); await page.click('text=Submit'); await page.context().tracing.stop({ path: 'trace.zip' }); }); ``` #### **3. 并行测试配置** 在 `playwright.config.ts` 中启用多浏览器并行： ```typescript export default defineConfig({ projects: [ { name: 'chromium', use: { ...devices['Desktop Chrome'] } }, { name: 'firefox', use: { ...devices['Desktop Firefox'] } }, { name: 'webkit', use: { ...devices['Desktop Safari'] } }, ], workers: process.env.CI ? 4 : 1, // CI 环境下并行 4 个工作进程 }); ``` --- ### **四、与 CI/CD 集成（以 GitHub Actions 为例）** #### **1. 创建 `.github/workflows/playwright.yml`** ```yaml name: Playwright Tests with MCP on: [push] jobs: test: runs-on: ubuntu-latest steps: - uses: actions/checkout@v3 - uses: actions/setup-node@v3 with: { node-version: 18 } - run: npm install - run: npx playwright install --with-deps - name: Run Playwright tests against MCP run: | export PLAYWRIGHT_TEST_BASE_URL="${{ secrets.MCP_BASE_URL }}" export PLAYWRIGHT_TEST_API_KEY="${{ secrets.MCP_API_KEY }}" npx playwright test env: MCP_BASE_URL: ${{ secrets.MCP_BASE_URL }} MCP_API_KEY: ${{ secrets.MCP_API_KEY }} ``` #### **2. 在 GitHub 仓库设置中添加 Secrets** - `MCP_BASE_URL`: MCP 服务的基础 URL（如 `https://mcp.example.com`）。 - `MCP_API_KEY`: 从 MCP 服务后台获取的 API 密钥。 --- ### **五、常见问题解决** #### **1. 连接 MCP 服务失败** - **检查网络**：确保 CI 服务器或本地机器能访问 MCP 服务 URL。 - **验证密钥**：确认 `API_KEY` 未过期且权限正确。 - **查看日志**： ```bash DEBUG=pw:api npx playwright test # 显示详细的 API 请求日志 ``` #### **2. 测试在 MCP 服务上超时** - 调整全局超时时间： ```typescript // playwright.config.ts export default defineConfig({ timeout: 60 * 1000, // 60 秒 use: { actionTimeout: 30 * 1000, // 单个操作超时 }, }); ``` #### **3. MCP 服务返回 403 错误** - 检查 **IP 白名单**：部分 MCP 服务需将 CI 运行器的 IP 添加到允许列表。 - 确认 **请求头**：某些服务要求自定义 `User-Agent` 或 `Authorization` 头。 --- ### **六、高级配置（可选）** #### **1. 使用 MCP 服务的自定义存储** ```typescript // playwright.config.ts export default defineConfig({ storageState: 'playwright/.auth/mcp-user.json', // 复用 MCP 服务的登录状态 }); ``` #### **2. 配置测试报告上传到 MCP** ```typescript // 安装报告插件（如 Playwright Cloud 的插件） npm install @playwright/cloud --save-dev // playwright.config.ts import { cloud } from '@playwright/cloud'; export default defineConfig({ reporter: cloud.reporter(), // 自动上传测试结果到 MCP }); ``` ---

### 大众点评 403 错误的原因与解决方法 当访问大众点评网站时，出现 403 错误通常表示服务器理解了请求，但拒绝执行。这种错误在爬虫开发中较为常见，尤其是在尝试通过自动化脚本访问受保护资源时。 #### 常见原因 - **User-Agent 未设置或设置不当**：许多网站会检查请求头中的 `User-Agent` 字段以判断是否为浏览器访问。如果该字段缺失或标识为非浏览器（如爬虫），则可能被服务器拒绝。 - **缺少必要的请求头信息**：除了 `User-Agent`，有些网站还会检查其他请求头字段，例如 `Accept-Language`、`Referer` 等，若这些字段不完整或不符合预期，也可能导致 403 错误。 - **IP 被封禁**：频繁的请求行为可能会触发反爬机制，导致 IP 地址被暂时或永久封禁。 - **Cookie 验证失败**：某些页面需要登录状态才能访问，此时若未携带有效的 Cookie 或 Session 信息，则可能返回 403 错误。 - **服务器端限制访问路径**：服务器配置了特定的访问规则，例如仅允许从特定页面跳转过来的请求访问某个资源。 #### 解决方法 - **正确设置 User-Agent**：确保请求头中包含一个合法的 `User-Agent`，最好模拟主流浏览器的行为。例如： ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36' } ``` 这种方式可以有效避免因识别为爬虫而导致的拒绝访问 [^3]。 - **补充完整的请求头**：添加额外的请求头字段，使请求更接近真实浏览器行为。例如： ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', 'Accept-Language': 'en-US,en;q=0.9', 'Referer': 'https://www.google.com/', 'Connection': 'keep-alive' } ``` - **使用代理 IP 池**：为了避免 IP 被封禁，可以通过轮换不同的代理 IP 发起请求。这种方式可以显著降低被目标网站识别为爬虫的概率。 - **处理 Cookie 和 Session**：对于需要登录的页面，应使用会话对象（如 `requests.Session()`）来维护 Cookie，并在后续请求中自动携带认证信息。 ```python import requests session = requests.Session() # 登录操作 login_data = {'username': 'your_username', 'password': 'your_password'} session.post('https://www.dianping.com/login', data=login_data) # 后续请求将自动携带 Cookie response = session.get('http://www.dianping.com/search/keyword/2/75_%E6%96%B0%E4%B8%9C%E6%96%B9') ``` - **模拟浏览器行为**：使用 Selenium 或 Playwright 等工具可以更真实地模拟用户操作，绕过部分反爬机制。 - **遵守网站的 robots.txt 规则**：确保爬虫行为符合目标网站的爬取政策，避免触碰禁止访问的路径。 - **降低请求频率**：合理控制请求间隔时间，避免短时间内发送大量请求，从而触发风控系统。 - **使用动态渲染服务**：对于 JavaScript 渲染的页面，可借助 Headless 浏览器或 Puppeteer 等工具进行抓取。 ---