在playwright中加入失败重试

### Playwright 中的等待机制详解 Playwright 提供了强大的自动化功能，其中包括灵活的等待机制。这些机制可以显著提升 Web 应用程序测试的稳定性和可靠性。 #### 自动等待 Playwright 的核心特性之一是 **自动等待** 功能[^1]。当执行某些操作（如点击按钮或输入文本）时，Playwright 会自动等待目标元素变得可用并完成其动作。这种行为减少了显式时间延迟的需求，从而提高了脚本的效率和稳定性。 例如，在定位某个 DOM 节点后触发事件时： ```typescript await page.click('button#submit'); ``` 上述代码片段中，`page.click()` 方法会在内部处理必要的等待逻辑，直到满足条件再继续执行后续步骤。 #### 显式等待特定状态 尽管有自动等待的支持，但在一些复杂场景下可能仍需手动指定更精确的行为控制。以下是几种常见的显式等待方式： 1. **等待选择器** 可通过 `waitForSelector` 来监视某 HTML 元素何时加载完毕或者消失。 ```typescript await page.waitForSelector('#loading-indicator', { state: 'hidden' }); ``` 2. **等待网络空闲** 对于动态内容加载完成后才可进行下一步的情况，可以通过检测是否有未完成请求来实现同步效果。 ```typescript await page.waitForLoadState('networkidle'); // 当前页面上几乎没有新的网络连接发生时调用回调函数 ``` 3. **超时设置** 如果希望限定最长等待时限以防卡死，则可以在任何涉及异步的操作里加入 timeout 参数。 ```typescript const elementHandle = await page.$('.my-element', {timeout: 5000}); if (!elementHandle){ console.log("Element not found within 5 seconds"); } ``` 以上方法均有助于构建更加健壮的应用交互模拟过程。 #### 常见问题及解决方案 - **长时间无响应错误**: 若遇到因资源耗尽而导致的任务失败现象,考虑调整默认最大重试次数或是增加单次尝试间隔. - **跨域加载缓慢影响整体表现**: 配置好拦截规则过滤掉不必要的外部链接抓取活动. - **无法识别新弹窗窗口句柄获取困难**: 利用 event emitter pattern 监听新开标签页实例生成时机. ```typescript // Example of handling new pages opening during test runs const [newPage] = await Promise.all([ context.waitForEvent('page'), page.click('a[target="_blank"]') // performs the click that opens a new tab/page ]); ```

### 使用Playwright编写网络爬虫的最佳实践 #### 选择合适的编程环境 为了利用Playwright的强大功能，可以选择支持的语言之一来开发爬虫程序。目前官方提供Python和Node.js版本API[^2]。 #### 配置浏览器实例与上下文管理 初始化阶段需谨慎配置浏览器参数以适应不同需求场景。例如，在本地调试期间可以设置`headless=False`以便可视化操作流程；而在生产环境中则建议启用无头模式(`headless=True`)提高效率减少资源消耗。创建新的浏览器上下文有助于隔离会话状态防止相互干扰[^4]。 ```python from playwright.sync_api import sync_playwright with sync_playwright() as p: # 启动浏览器, 设置为有界面模式方便观察运行过程 browser = p.chromium.launch(headless=False) # 新建独立的浏览上下文 context = browser.new_context() # ...后续逻辑... ``` #### 页面加载与交互处理 当目标网站存在动态内容加载或依赖JavaScript渲染时，Playwright能够模拟真实用户的点击、输入等行为确保获取完整的HTML文档结构。通过异步等待机制保证元素完全呈现后再执行下一步动作。 ```python # 导入必要的模块 import time from playwright.sync_api import expect page.goto('https://example.com') # 假设要等到特定按钮可点击再继续 submit_button = page.locator('#submitButton') expect(submit_button).to_be_enabled(timeout=5000) # 超过五秒未就绪抛异常 submit_button.click() time.sleep(1) # 给予足够时间让新页面加载完成 ``` #### 数据提取策略 对于静态网页可以直接解析DOM树定位所需节点；面对AJAX请求频繁更新的数据区域，则可能需要监听XHR/Fetch事件捕获响应体内的JSON对象或其他格式化后的信息片段。XPath/CSS Selectors表达式可用于精确定位单个或多组标签元素实现批量读取属性值或文本内容的功能。 ```python # 获取所有文章标题并打印出来 titles = page.query_selector_all('.post-title') for title in titles: print(title.text_content()) # 或者采用更简洁的方式一次性取得全部匹配项组成的列表 all_titles_text = [el.text_content() for el in page.query_selector_all('.post-title')] print(all_titles_text) ``` #### 错误恢复机制设计 考虑到网络波动可能导致连接失败等问题发生，应当加入重试逻辑以及合理的超时控制措施保障整个任务顺利完成而不至于中途夭折。此外还可以记录日志辅助排查潜在问题所在位置加快修复速度。 ```python try: response = await page.wait_for_response(lambda res: '/api/data' in res.url and res.status == 200, timeout=8000) except TimeoutError: print("未能及时接收到预期的HTTP回复") else: json_data = response.json() finally: pass # 清理工作如关闭浏览器窗口等 ```