小红书脚本

### 小红书API脚本自动化与数据分析 #### 使用Python进行小红书数据抓取和处理 对于希望利用Python实现小红书平台上的自动化操作及数据分析的任务，通常涉及以下几个方面的工作： - **登录机制模拟** 为了能够合法获取所需的数据资源，在执行任何进一步的操作之前，往往需要先解决如何自动完成网站的身份验证过程。针对此需求，存在专门讨论关于通过扫描二维码方式来达成这一目标的文章[^1]。 ```python import requests from PIL import Image import qrcode_terminal def login_with_qr_code(): qr_url = 'https://example.com/qrcode' # 假设这是获得QR Code链接的接口地址 response = requests.get(qr_url) if response.status_code == 200: img_data = response.json().get('data') qr_terminal.draw(img_data['qrcodeUrl']) # 打印终端可读的二维码 verify_endpoint = f"https:{img_data['checkUrl']}" while True: check_response = requests.post(verify_endpoint).json() status = check_response.get('status') if status != 'waiting': break return {'success': not (status == 'failed'), 'message': check_response} login_result = login_with_qr_code() if login_result['success']: print("Login successful!") else: print(f"Failed to log in: {login_result['message']}") ``` 上述代码片段展示了怎样借助第三方库`requests`发起HTTP请求并与服务器交互以取得必要的认证信息；同时运用了`PIL`图像处理库以及`qrcode-terminal`工具包用来展示可供扫描使用的图形化或命令行形式下的二维条形码。 - **批量收集公开内容** 一旦解决了访问权限的问题之后，则可以根据具体的应用场景选取适当的方法论去搜集特定主题下发布的笔记资料或是其他类型的共享素材。这里提到的一篇文章介绍了有关于采用关键词作为筛选条件从而检索符合条件的小红书帖子集合的技术方案[^2]。 ```python import json import time import random from urllib.parse import quote_plus as url_encode class XiaoHongShuScraper: def __init__(self, keyword): self.keyword = keyword self.base_api = "https://www.xiaohongshu.com/fe_api/burdock/v2/search/notes" self.headers = { "User-Agent": "Mozilla/5.0", "Content-Type": "application/json;charset=UTF-8" } def fetch_notes(self, page=1, limit=20): params = {"keyword": url_encode(self.keyword), "page": str(page), "pageSize": str(limit)} resp = requests.get(url=self.base_api, headers=self.headers, params=params) data = resp.json()["data"]["items"] notes_list = [] for item in data: note_info = {} author_name = item["noteInfo"].get("user").get("nickname", "") content_text = item["noteInfo"].get("desc", "") note_info.update({ "author": author_name, "content": content_text[:min(len(content_text), 97)] + ("..." if len(content_text)>97 else ""), "url": f'https://www.xiaohongshu.com/discovery/item/{item["id"]}' }) notes_list.append(note_info) return notes_list scraper_instance = XiaoHongShuScraper(keyword="旅行") sample_results = scraper_instance.fetch_notes() for result in sample_results: print(json.dumps(result, ensure_ascii=False)) ``` 这段程序定义了一个名为`XiaoHongShuScraper`类的对象实例，它接受一个字符串参数代表要查询的关键字，并提供了方法用于分页加载搜索结果集中的每一条记录详情。注意这里的URL路径、请求头设置还有JSON解析逻辑均需依据实际环境做出相应调整。 #### 数据清洗与可视化呈现 当积累了足够的原始样本后，下一步就是对其进行清理加工以便更好地服务于后续建模预测环节。这可能涉及到去除重复项、填补缺失值、转换日期格式等一系列预处理措施。最后还可以考虑引入诸如Matplotlib这样的绘图组件帮助直观展现统计特征分布情况。 ```python import pandas as pd import matplotlib.pyplot as plt df = pd.DataFrame(sample_results) # Remove duplicates based on URL column cleaned_df = df.drop_duplicates(subset=['url']) plt.figure(figsize=(10,6)) # Plotting word frequency bar chart word_freq_series = cleaned_df['content'].str.split(expand=True).stack().value_counts()[:10] ax = word_freq_series.plot(kind='bar', color='skyblue') ax.set_title('Top Words Frequency Distribution Among Notes') ax.set_xlabel('Words') ax.set_ylabel('Occurrences'); plt.show(); ``` 以上示例中首先创建了一个基于先前提取出来的结构化表格视图，接着调用了Pandas框架里的函数实现了简单的降重过滤流程。紧接着绘制了一张柱状图用以反映热门词汇出现频次的趋势变化特点[^1]。