python 爬取京东数据 并可视化

### 使用Python爬取京东手机数据并进行数据可视化的解决方案 #### 一、开发工具与环境搭建 为了完成此任务，需准备以下工具和库： - Python版本建议为3.7及以上。 - 安装必要的第三方库：`requests`, `BeautifulSoup`, `pandas`, 和 `matplotlib`。 安装这些依赖项可以通过pip命令实现： ```bash pip install requests beautifulsoup4 pandas matplotlib ``` #### 二、爬虫逻辑设计 通过分析网页结构获取所需的数据字段。通常情况下，可以从商品名称、价格、评论数等方面入手。以下是具体代码示例： ```python import requests from bs4 import BeautifulSoup import pandas as pd def fetch_data(url, headers): response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') products = [] items = soup.find_all('div', {'class': 'gl-i-wrap'}) # 商品列表容器 for item in items: name = item.find('div', {'class': 'p-name'}).text.strip() price = item.find('div', {'class': 'p-price'}).text.strip().replace("￥", "") comments = item.find('div', {'class': 'p-commit'}).text.strip() product_info = { 'Name': name, 'Price': float(price), 'Comments': int(comments.split()[0]) } products.append(product_info) return products ``` 以上函数用于抓取单页的商品信息[^1]。 #### 三、存储数据到CSV文件 利用Pandas可以方便地保存数据至本地磁盘供后续处理使用。 ```python dataframe = pd.DataFrame(products) dataframe.to_csv('jd_mobiles.csv', index=False, encoding='utf_8_sig') print("Data saved successfully.") ``` #### 四、数据分析与可视化 加载之前保存的csv文件，并绘制图表展示结果。 ```python df = pd.read_csv('jd_mobiles.csv') # 绘制柱状图显示不同价位区间的销售情况 price_bins = [0, 1000, 2000, 3000, max(df['Price'])] labels = ['<1k', '1k~2k', '2k~3k', '>3k'] df['Price Range'] = pd.cut(df['Price'], bins=price_bins, labels=labels) grouped_prices = df.groupby(['Price Range']).size() ax = grouped_prices.plot(kind="barh", color=["blue"], figsize=(8,6)) plt.title('Distribution of Mobile Prices on JD.com') plt.xlabel('Number of Products') plt.ylabel('Price Ranges (CNY)') plt.show() ``` 该部分实现了基于价格区间的产品数量分布统计以及图形化表示[^2]。 #### 注意事项 由于反爬机制的存在，在实际操作过程中可能遇到IP封禁等问题，因此推荐设置合理的请求间隔时间或者采用代理池来规避风险。

### 京东商品评论爬取与可视化分析 #### 数据采集 通过爬虫技术，可以从京东平台抓取商品的评论数据。通常使用 `requests` 或 `selenium` 庌理库来发送请求并获取网页内容[^1]。此外，需要解析 HTML 页面以提取所需的数据字段，例如评论文本、评分、用户信息等。可以借助 `BeautifulSoup` 或 `lxml` 库完成页面解析。 ```python import requests from bs4 import BeautifulSoup def fetch_comments(url): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') comments = [] for comment in soup.find_all('div', class_='comment-item'): text = comment.find('p', class_='comment-content').text.strip() rating = len(comment.find_all('i', class_='icon-star')) comments.append({'text': text, 'rating': rating}) return comments else: return None ``` #### 数据清洗与处理 在获取到原始评论数据后，需要对其进行清洗和预处理。例如，去除HTML标签、特殊字符以及停用词等[^3]。对于中文文本，还需要进行分词处理，以便后续生成词云图。 ```python import jieba import re def clean_text(text): # 去除HTML标签和特殊字符 cleaned_text = re.sub(r'<.*?>|[^\u4e00-\u9fa5a-zA-Z0-9]+', '', text) # 分词 words = jieba.lcut(cleaned_text) return words ``` #### 可视化展示 为了直观地展示商品评论中的关键词分布情况，可以利用词云图进行可视化。这里推荐使用 `wordcloud` 和 `matplotlib` 库[^2]。 ```python from wordcloud import WordCloud import matplotlib.pyplot as plt import numpy as np from PIL import Image def generate_wordcloud(comments, mask_path=None): all_words = [] for comment in comments: all_words.extend(clean_text(comment['text'])) word_freq = {} for word in all_words: word_freq[word] = word_freq.get(word, 0) + 1 if mask_path: mask = np.array(Image.open(mask_path)) wc = WordCloud(font_path='simhei.ttf', background_color='white', mask=mask) else: wc = WordCloud(font_path='simhei.ttf', background_color='white') wc.generate_from_frequencies(word_freq) plt.figure(figsize=(10, 8)) plt.imshow(wc, interpolation='bilinear') plt.axis('off') plt.show() ``` #### 系统架构 整个系统的实现可以分为前后端两部分。后端负责数据采集、清洗和存储，前端则用于展示分析结果。后端可采用 Django 框架构建 API 接口，数据库选择 MySQL 进行持久化存储[^3]。前端使用 Echarts 实现交互式图表展示。 ```python # Django views.py 示例代码 from django.http import JsonResponse from .models import Comment def get_comments(request): comments = Comment.objects.all().values('text', 'rating') return JsonResponse(list(comments), safe=False) ```