python爬虫爬取大众点评

Python爬虫是一种自动化抓取网页数据的程序，使用Python语言可以编写出各种功能强大的爬虫。在编写爬虫程序时，通常会用到如`requests`库进行网络请求，`BeautifulSoup`或`lxml`等库来解析HTML页面。 以下是一个简单的Python爬虫示例，用于爬取大众点评的某一页数据。请注意，由于网站的结构可能随时更改，以下代码可能需要根据实际情况进行调整。 ```python import requests from bs4 import BeautifulSoup # 目标URL，这里需要替换成实际要爬取的大众点评页面地址 url = 'https://www.dianping.com/某城市/某分类' # 发送HTTP请求 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) # 检查请求是否成功 if response.status_code == 200: # 使用BeautifulSoup解析HTML soup = BeautifulSoup(response.text, 'lxml') # 提取信息，这里以提取店铺名称和评分为例 list = [] for item in soup.find_all('div', class_='店铺信息类名'): # 需要根据实际的HTML结构替换'店铺信息类名' name = item.find('a', class_='店铺名称类名').text # 替换'店铺名称类名' rating = item.find('span', class_='评分类名').text # 替换'评分类名' list.append({'name': name, 'rating': rating}) # 打印提取的信息 for store in list: print(store) else: print("请求失败，状态码：", response.status_code) ``` 在实际使用中，大众点评网站可能有反爬虫措施，如动态加载内容、验证码、IP限制等。这时可能需要使用更高级的技术如Selenium进行模拟浏览器操作，或者设置合适的请求间隔、使用代理等方法。 使用爬虫时，请遵守相关法律法规和网站的使用协议，不要进行任何侵犯隐私或违法的行为。

### 使用Python编写爬虫抓取大众点评数据并存储为CSV格式 在使用Python编写爬虫从大众点评抓取数据并存储为CSV格式时，可以遵循以下方法。首先需要明确目标数据的结构以及如何获取这些数据。以下是实现该功能的核心步骤和代码示例。 #### 1. 数据抓取 为了从大众点评网站抓取数据，可以使用`requests`库发送HTTP请求，并结合`BeautifulSoup`或`lxml`解析HTML内容。此外，如果页面数据是通过JavaScript动态加载的，可能需要借助`Selenium`或其他工具模拟浏览器行为。 ```python import requests from bs4 import BeautifulSoup # 设置请求头以模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 目标URL（需替换为实际的大众点评页面） url = "https://www.dianping.com/search/keyword/..." # 发送GET请求 response = requests.get(url, headers=headers) # 检查响应状态码 if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 提取所需的数据（根据实际情况调整选择器） items = soup.select('.search-list .shop-item') # 示例选择器 data = [] for item in items: name = item.find('h4').text.strip() if item.find('h4') else "N/A" address = item.find('span', class_='addr').text.strip() if item.find('span', class_='addr') else "N/A" rating = item.find('span', class_='rating').text.strip() if item.find('span', class_='rating') else "N/A" data.append([name, address, rating]) else: print("Failed to retrieve data") ``` #### 2. 数据存储到CSV文件 将抓取的数据保存到CSV文件中可以使用`csv`模块，确保数据以结构化的方式存储[^4]。 ```python import csv # 定义CSV文件路径 csv_file_path = "../files/dianping_data.csv" # 写入CSV文件 with open(csv_file_path, mode='w', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerow(['Name', 'Address', 'Rating']) # 写入表头 writer.writerows(data) # 写入数据行 ``` #### 3. 使用Pandas简化操作 如果需要更高级的数据处理功能，可以使用`pandas`库来读写CSV文件[^3]。 ```python import pandas as pd # 将数据转换为DataFrame df = pd.DataFrame(data, columns=['Name', 'Address', 'Rating']) # 保存到CSV文件 df.to_csv("../files/dianping_data_pandas.csv", index=False, encoding='utf-8') ``` ### 注意事项 - 确保遵守大众点评的robots.txt协议和相关法律法规[^1]。 - 如果目标网页内容是动态加载的，可能需要使用`Selenium`或其他工具模拟浏览器行为。 - 在大规模爬取数据时，建议设置合理的请求间隔以避免对目标服务器造成负担。