Python采集二手车数据信息实现数据可视化展示

最新推荐文章于 2025-03-14 21:34:52 发布

魔王不会哭

最新推荐文章于 2025-03-14 21:34:52 发布

阅读量2.3k

点赞数 23

分类专栏： python爬虫文章标签：信息可视化 python 开发语言 pycharm 学习

本文链接：https://blog.csdn.net/python56123/article/details/136320072

版权

本文介绍了如何使用Python进行二手车数据的采集，包括数据来源分析、代码实现步骤，以及利用pandas和pyecharts进行数据可视化。通过爬虫获取车辆信息，如车型、价格、公里数等，并展示了如何使用jupyter notebook进行数据处理和可视化展示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

嗨喽~大家好呀，这里是魔王呐 ❤ ~!

python更多源码/资料/解答/教程等点击此处跳转文末名片免费获取

环境使用:

Python 3.10
Pycharm

模块使用:

requests >>> pip install requests
csv

数据可视化:

pandas >>> pip install pandas
pyecharts >>> pip install pyecharts

爬虫实现基本流程

你要获取什么数据 -> 你要获取的数据在哪?

一. 数据来源分析

明确需求

明确采集的网站以及数据内容

网址: https://changsha.yiche.taocheche.com/buycar/pges9bxcdzaoqtrnml/

数据: 车辆信息: 车型价格公里数城市…
抓包分析

通过浏览器开发者工具进行分析, 我们想要的数据内容可以请求那个网站能够得到
- 打开开发者工具
  
  F12 / 右键点击检查选择network (网络)
- 刷新网页
  
  让网页的数据内容重新加载一遍 (才能在开发者中看到对应数据包)
- 通过关键字搜索找到对应数据包位置
- 数据包地址: https://proconsumer.taocheche.com/c-car-consumer/carsource/getUcarLo
  calList

二. 代码实现步骤

导入模块

'''
Python学习交流，免费公开课，免费资料，
免费答疑，系统学习加QQ群：926207505
'''
# 导入数据请求模块
import requests
# 导入格式化输出模块
from pprint import pprint
# 导入csv模块
import csv

保存数据

保存表格文件: csv / Excel

f = open('data.csv', mode='w', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '标题',
    '品牌',
    '车型',
    '年份',
    '里程',
    '城市',
    '售价',
    '首付',
])
csv_writer.writeheader()

发送请求

模拟浏览器对于url地址发送请求
- 模拟浏览器: 一种简单反反爬手段 (字典)
  
  可以直接在开发者工具中复制 -> 点击数据包 -> 标头(headers) -> 请求标头(request
  headers) -> User-Agent (UA)
- 请求网址
- 发送请求
  
  请求方法: GET / POST
  
  GET: 是向服务器获取数据
  
  POST: 是需要向服务器提交表单参数

'''
Python学习交流，免费公开课，免费资料，
免费答疑，系统学习加QQ群：926207505
'''
# 模拟浏览器
headers = {
   
    # User-Agent 用户代理, 表示浏览器基本身份信息
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36'
}
# 请求网址
url = 'https://proconsumer.taocheche.com/c-car-consumer/carsource/getUcarLocalList'
for page in range(1, 101):
    print(f'============正在采集第{
     page}页的数据内容============')
    # 请求参数
    data = {
   "liveSwitch":1,"terminal":40,"aggreCarSeries":0,"aggreCarbrands":0,"bangMai":"false","bangMaiChe":"false","baseScore":0,"bigArea":0,"brandId":0,"brandPro":0,"canNonLocal":2,"carAgeId":0,"carBasicId":0,"carLevel":0,"carType":0,"cityId":1301,"color":0,"commonFlag":4,"country":0,"curCity":0,"customizeSortFlag":

最低0.47元/天解锁文章