爬虫爬取新浪微博热搜数据

### 回答1： 以下是爬取新浪微博前十条热搜的标题、日期以及新闻内容的Python代码： ```python import requests from bs4 import BeautifulSoup import csv url = 'https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') hot_list = soup.find_all('td', class_='td-02') with open('weibo_hot.csv', 'w', newline='', encoding='utf-8') as f: writer = csv.writer(f) writer.writerow(['标题', '日期', '新闻内容']) for hot in hot_list[:10]: title = hot.find('a').get('title') date = hot.find('span').get_text() news_url = 'https://s.weibo.com' + hot.find('a').get('href') news_response = requests.get(news_url) news_soup = BeautifulSoup(news_response.text, 'html.parser') content = news_soup.find('div', class_='content').get_text().strip() writer.writerow([title, date, content]) ``` 代码的主要步骤如下： 1. 使用requests库发送请求，获取新浪微博热搜页面的HTML代码； 2. 使用BeautifulSoup库解析HTML代码，获取前十条热搜的标题、日期和新闻链接； 3. 遍历每一条热搜，发送新闻链接的请求，获取新闻页面的HTML代码； 4. 使用BeautifulSoup库解析新闻页面的HTML代码，获取新闻内容； 5. 使用csv库将热搜的标题、日期和新闻内容写入CSV文件中。 运行上述代码后，将会在当前目录下生成一个名为“weibo_hot.csv”的CSV文件，其中包含了前十条热搜的标题、日期和新闻内容。 ### 回答2： 下面是一个使用Python的BeautifulSoup库编写的简单爬虫代码，用于爬取新浪微博前十条热搜的标题、日期和新闻内容，并将结果保存到CSV文件中： ```python import requests from bs4 import BeautifulSoup import csv def scrape_weibo_hotsearch(): url = 'https://s.weibo.com/top/summary?cate=realtimehot' response = requests.get(url) soup = BeautifulSoup(response.content, 'html.parser') hotsearch_items = soup.find_all('tr', class_='item_top') hotsearch_data = [] for item in hotsearch_items: title = item.find('td', class_='td-02').a.text date = item.find('td', class_='td-03').text.strip() content = item.find('td', class_='td-02').p.text hotsearch_data.append([title, date, content]) # 保存到CSV文件 with open('weibo_hotsearch.csv', mode='w', encoding='utf-8', newline='') as file: writer = csv.writer(file) writer.writerow(['标题', '日期', '内容']) writer.writerows(hotsearch_data) if __name__ == "__main__": scrape_weibo_hotsearch() ``` 请注意，该爬虫代码爬取的是新浪微博前十条热搜，而非新闻标题。为了爬取新闻标题，你可能需要访问不同的网页或修改代码中的选择器。另外，这个代码只是一个简单的示例，可能无法处理所有特殊情况。在实际使用时，你可能需要根据具体网页的结构进行适当的调整。 ### 回答3： 爬虫是一种自动化获取网页数据的工具，在这个问题中，我们使用Python的BeautifulSoup库来编写一个爬虫代码，以爬取新浪微博前十条热搜的标题、日期和新闻内容，并将结果保存至CSV文件。 首先，我们需要导入需要的库，包括requests、bs4和csv。 ```python import requests from bs4 import BeautifulSoup import csv ``` 接下来，我们定义一个函数来获取网页的HTML源代码。 ```python def get_html(url): response = requests.get(url) return response.text ``` 然后，我们定义一个函数来解析HTML源代码，提取所需信息并保存至CSV文件。 ```python def save_to_csv(html): # 创建CSV文件 with open('weibo_hot.csv', 'w', encoding='utf-8', newline='') as f: writer = csv.writer(f) writer.writerow(['标题', '日期', '新闻内容']) soup = BeautifulSoup(html, 'html.parser') # 获取前十条热搜新闻 hot_news = soup.find_all('div', class_='hotnews') for news in hot_news: title = news.find('a', class_='news-title').text.strip() date = news.find('span', class_='time').text.strip() content = news.find('p', class_='news-text').text.strip() # 将数据写入CSV文件 writer.writerow([title, date, content]) print("数据已保存至weibo_hot.csv文件") ``` 最后，我们调用这两个函数来获取HTML源代码并保存数据至CSV文件。 ```python if __name__ == '__main__': url = 'https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6' html = get_html(url) save_to_csv(html) ``` 通过运行以上代码，我们可以获取到新浪微博前十条热搜的标题、日期和新闻内容，并将结果保存至名为weibo_hot.csv的CSV文件中。

### 编写Python爬虫抓取新浪微博热搜列表 为了实现使用 Python 抓取新浪微博热搜列表的功能，可以从以下几个方面入手： #### 1. 准备工作 在开始编写爬虫之前，需要安装必要的库并设置环境。常用的库包括 `requests` 和 `BeautifulSoup` 或者更高级的框架如 `Scrapy`。 可以通过以下命令安装所需依赖： ```bash pip install requests beautifulsoup4 lxml ``` 这些工具可以帮助发送 HTTP 请求以及解析 HTML 数据[^1]。 --- #### 2. 获取目标 URL 的结构 微博热搜页面通常位于固定的地址上，例如： https://s.weibo.com/top/summary 打开该链接后，在浏览器开发者工具 (按 F12 启动) 中查看 Network 部分，观察请求的具体参数和返回的内容形式。这一步骤对于理解数据来源至关重要[^3]。 --- #### 3. 设置 Headers 和 Cookies 模拟真实用户的访问行为非常重要，因此需要配置合适的 headers 和 cookies 来伪装成合法客户端。headers 可以包含 User-Agent 字段来指定浏览器版本；而 cookie 则可能携带登录状态或其他验证信息。 示例代码片段如下： ```python import requests from bs4 import BeautifulSoup url = 'https://s.weibo.com/top/summary' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', } response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'lxml') else: print(f"Failed to retrieve data: {response.status_code}") ``` 上述代码展示了如何构建基本 GET 请求，并检查响应的状态码是否正常。 --- #### 4. 解析 HTML 数据 利用 Beautiful Soup 库提取感兴趣的部分——即热搜条目及其相关信息。可以根据标签名称或者 CSS 类名定位到具体区域。 以下是进一步处理的例子： ```python hot_search_list = [] for item in soup.select('.td-02 a'): title = item.get_text(strip=True) link = f"https://s.weibo.com{item['href']}" hot_search_list.append({'title': title, 'link': link}) print(hot_search_list[:5]) # 输出前五个热搜项作为测试 ``` 这里通过 `.select()` 方法选取符合条件的所有 `<a>` 节点，再逐一读取出它们的文字内容与超链接属性。 --- #### 5. 存储或展示结果 最后可将收集来的数据保存至文件、数据库亦或是直接打印出来供后续操作之用。如果涉及大量数据分析，则可以引入 Pandas 进行表格化管理[^4]。 完整脚本样例如下： ```python import requests from bs4 import BeautifulSoup def fetch_weibo_hotsearch(): url = 'https://s.weibo.com/top/summary' headers = {'User-Agent': 'Mozilla/5.0'} try: resp = requests.get(url, headers=headers) if resp.status_code != 200: raise Exception('Request failed') html_content = resp.content.decode() parsed_html = BeautifulSoup(html_content, features="lxml") entries = [] for entry in parsed_html.select(".td-02 > a"): text = entry.string.strip() or "[No Title]" href = entry.attrs["href"] full_url = f'https://s.weibo.com/{href}' entries.append({"text": text, "url": full_url}) return entries except Exception as e: print(e) if __name__ == "__main__": results = fetch_weibo_hotsearch() if isinstance(results, list): for idx, result in enumerate(results[:10], start=1): print(f"{idx}. {result['text']} -> {result['url']}") ``` 此程序实现了从新浪微博获取热搜榜前十位的功能。 --- #### 注意事项 需要注意的是，频繁调用 API 接口可能会触发反爬机制导致 IP 封禁等问题。建议适当加入延时逻辑减少服务器压力，同时也应遵循网站的服务条款以免触犯法律风险。 ---