jupyter爬取亚马逊商品评论

### 使用 Python 和 Jupyter Notebook 爬取亚马逊商品评论 要在 Jupyter Notebook 中使用 Python 抓取亚马逊的商品评论数据，可以按照以下方法实现。需要注意的是，亚马逊网站有严格的反爬机制以及法律保护其内容版权，因此在实际操作前需了解并遵循相关法律法规。 以下是具体的技术方案： #### 安装必要的库 为了完成此任务，需要安装 `requests` 库用于发送 HTTP 请求，以及 `BeautifulSoup` 用于解析 HTML 页面结构。如果尚未安装这些库，则可以通过以下命令安装它们： ```bash pip install requests beautifulsoup4 lxml ``` #### 编写代码逻辑 下面是一个简单的脚本框架，展示如何通过请求页面获取亚马逊商品评论的内容，并提取所需字段。 ```python import requests from bs4 import BeautifulSoup def fetch_amazon_reviews(url, headers): """ 获取指定 URL 的亚马逊商品评论页内容。 参数: url (str): 商品评论的目标链接地址。 headers (dict): 自定义头部信息以模拟浏览器行为。 返回: list: 提取出的每条评论字典列表。 """ response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'lxml') reviews_data = [] review_blocks = soup.find_all('div', {'data-hook': 'review'}) for block in review_blocks: try: title_element = block.find('a', {'class': 'review-title-content'}).span body_element = block.find('span', {'data-hook': 'review-body'}).text.strip() single_review = { "title": title_element.text if title_element else None, "body": body_element } reviews_data.append(single_review) except Exception as e: continue return reviews_data if __name__ == "__main__": amazon_url = "https://www.amazon.com/product-reviews/B0XXXXXXXXX/ref=cm_cr_arp_d_viewopt_srt?sortBy=recent" user_agent = ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) " "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36") custom_headers = {"User-Agent": user_agent} extracted_reviews = fetch_amazon_reviews(amazon_url, custom_headers) # 打印部分结果验证功能正常运行 for idx, rev in enumerate(extracted_reviews[:5]): print(f"Review {idx + 1}: Title={rev['title']}, Body={rev['body']}")[^1] ``` 上述代码实现了基本的功能模块化设计，其中包含了错误处理机制以便应对可能存在的异常情况。同时设置了自定义 User-Agent 字符串模仿真实用户的访问模式减少被封禁的风险[^2]。 #### 注意事项 由于目标站点可能存在动态加载或者 JavaScript 渲染的情况，在某些复杂场景下单纯依赖 Requests 可能无法满足需求。此时可考虑引入 Selenium 工具配合 WebDriver 实现更高级别的自动化浏览控制[^3]。 ---