小红书评论爬虫代码

### 小红书评论爬虫代码实现 小红书的评论数据通常通过动态加载的方式呈现，因此仅使用 Scrapy 可能无法直接获取到所需的数据。结合 Selenium 是一种常见的解决方案，它可以通过模拟浏览器行为来加载动态内容。以下是基于 Python 的 Scrapy 和 Selenium 结合的代码示例[^1]。 ```python import scrapy from selenium import webdriver from selenium.webdriver.chrome.options import Options from scrapy.selector import Selector class XiaohongshuSpider(scrapy.Spider): name = 'xiaohongshu' allowed_domains = ['www.xiaohongshu.com'] start_urls = ['https://www.xiaohongshu.com/'] def __init__(self, *args, **kwargs): super(XiaohongshuSpider, self).__init__(*args, **kwargs) chrome_options = Options() chrome_options.add_argument("--headless") # 无头模式 self.driver = webdriver.Chrome(options=chrome_options) def parse(self, response): self.driver.get(response.url) # 等待页面加载完成 self.driver.implicitly_wait(10) # 模拟滚动加载更多评论 scroll_script = "window.scrollTo(0, document.body.scrollHeight);" for _ in range(5): # 假设滚动5次 self.driver.execute_script(scroll_script) self.driver.implicitly_wait(3) # 获取加载后的页面源码 page_source = self.driver.page_source sel = Selector(text=page_source) # 提取评论数据 comments = sel.css('div.comment-content::text').getall() # 根据实际选择器调整 for comment in comments: yield { 'comment': comment.strip() } def closed(self, reason): # 关闭浏览器 self.driver.quit() ``` #### 代码说明 - **Selenium 配置**：使用 Chrome 的无头模式（`--headless`），避免打开实际的浏览器窗口[^4]。 - **动态加载处理**：通过 `execute_script` 方法模拟页面滚动，触发更多评论的加载。 - **数据提取**：利用 Scrapy 的 `Selector` 提取页面中的评论内容。需要根据实际的小红书页面结构调整 CSS 选择器。 --- ### 注意事项 1. **反爬机制**：小红书可能存在较为严格的反爬机制，包括 IP 限制、用户行为检测等。建议使用代理 IP 或者适当降低请求频率以规避风险[^3]。 2. **登录需求**：部分评论可能需要登录后才能查看。可以使用 Selenium 模拟登录过程，或者将登录后的 Cookie 注入到 Scrapy 请求中[^4]。 3. **选择器调整**：上述代码中的 CSS 选择器仅为示例，请根据实际页面结构调整。 --- ### 动态加载数据的处理 当 Scrapy 下载器返回的响应中不包含动态加载的内容时，可以在下载中间件中拦截并修改响应对象。例如，通过 Selenium 加载完整的页面后再返回给 Spider 进行解析[^4]。 ```python class SeleniumMiddleware: def process_request(self, request, spider): spider.driver.get(request.url) return scrapy.http.HtmlResponse( url=spider.driver.current_url, body=spider.driver.page_source, encoding='utf-8', request=request ) ``` 在 Scrapy 设置中启用中间件： ```python DOWNLOADER_MIDDLEWARES = { 'your_project_name.middlewares.SeleniumMiddleware': 543, } ``` --- ###