python数据分析之《太平洋汽车》点评数据及论坛文本分析

前言：这是我学数据分析以来，第一次用python进行数据分析实战，一边做，一遍看我平时做的笔记，查看别人的博客，同时也新加了很多我重来没有学过的新功能，幸不辱命，协助完成了一篇上档次的纯python毕业论文，以上所用到的数据均来自我爬取的《太平洋汽车》点评和论坛。学习编程真的是这样，如果自己不进行实战操作，永远不知道自己会遇见什么问题，也无从提升自己的能力，这是一个好的开始，简单的梳理一下自己所做的数据分析模块吧！

操作环境： windows10，jupyter notebook，谷歌浏览器
数据下载： https://www.lanzous.com/i9rq8af
爬取数据博客： 学习python爬虫看一篇就足够了之爬取《太平洋汽车》论坛及点评实战爬虫大全
分析要求：
这个是我自己列出的分析要求，自己对数据分析也不是很了解，就是在获取数据的时候觉得哪些数据可以用来做哪些统计或分析，所以就把要求之外的数据也获取下来备用，想不到后来对我的学习还真的排上了用场。而且对于做毕业论文，选择这个网页的数据是非常明智的，因为它有丰富的信息供自己研究使用，如用户，时间，地点，评分，评价等，它们直接就是分好类的，所以对于研究数据分析，简直就是太方便了。

导入数据及预处理

我一共爬取了三种车的数据作为研究对象，这里只以排在第一的 大众朗逸轿车 做为研究对象进行分析

导入数据

（1）导入python相关库

import numpy as np
import pandas as pd
from pandas import Series, DataFrame
import matplotlib.pyplot as plt
%matplotlib inline

如果自己的电脑上面没有安装这几个库，可以直接使用 pip install numpy 进行安装。

（2）导入“太平洋汽车_朗逸轿车.xlsx”

data = pd.read_excel("./太平洋汽车_朗逸轿车.xlsx") #读入数据
data.head() #显示前五行

（3）查看数据形状

data.shape

(4682, 28)

结果分析： 表示该表格的数据一共有4682条(行)，每天数据有28列

数据去重

1、整行去重。

DataFrame.drop_duplicates()

• 里面可以有三个参数
• DataFrame.drop_duplicates(subset=None, keep=‘first’, inplace=False)
• 使用 subset 指定重复值判断列，keep={‘first’,‘last’,False} 指定怎么判断哪些是重复项；first保留第一个，last保留最后一个，False不保留；

2、按照其中某一列或多列去重

DataFrame.drop_duplicates(subset=[‘列名1’,‘列名2’])

data.drop_duplicates(subset=None, keep='first', inplace=True)#去除行相同的数据
data.shape # 查看去重后的结果

(4516, 28)

结果分析： 这个方法去掉的是行数据，原数据有 4682 行，去重后有 4516行。

问题1：这款车是否存在忠实粉丝

• 这是一个假设：假设车主发布两次或两次以上的评论，我们就把他当作该款车的粉丝，这样我们可以使用去重的方法，用去重前的数据减去去重后的数据，就可以得到重复的数量，即为粉丝的数量

1.1、车主去重

# 车主去重
data['车主'].unique()

array(['137926969XX', '开心就好笑笑笑', 'hongfeng0417', ..., '春暖花开的节操',
       '婴宁是不会输的', '名字太长了'], dtype=object)

1.2、去重后的数量

#去重后的数量
data['车主'].unique().shape

(4459,)

1.3、计算粉丝量

#这里以重复评论的人当作忠实粉丝
fans = data.shape[0] - data['车主'].unique().shape[0]
print ("该型号车的粉丝数为：", fans)

该型号车的粉丝数为： 57

结果分析： 如果我们以假设的条件且假设成立，重复评论的人当作忠实粉丝，那么在该数据中一个有57个忠实粉丝。

1.4、查看粉丝车主参数

data[data.duplicated(['车主'])]

结果分析： 我们以车主中重复数据为条件，提取出57行 * 28列 数据，包含了该车主的评论数据，也验证了上面方法的正确性。

问题2：饼状图统计销量最高的前10名

2.1、查看一共有几种车型

data['购买车型'].unique().shape

(87,)

结果分析： 这里一共拥有87种车型

2.2、查看前10名的销量

• 使用 value_counts() 函数进行频率统计，它的结果自动按降序排列，截取出前十个就是 1~10 名。

sort_7 = data['购买车型'].value_counts()[:10]
sort_7

朗逸2013款经典款1.6L自动舒适版      460
朗逸2013款改款1.4TSIDSG舒适版    445
朗逸2015款1.6L手动舒适版         432
朗逸2013款经典款1.6L手动舒适版      368
朗逸2013款经典款1.6L手动风尚版      318
朗逸2015款1.6L自动舒适版         306
朗逸2013款改款1.4TSI手动舒适版     233
朗逸2015款1.6L手动风尚版         149
朗逸2015款1.6L自动风尚版         146
朗逸2013款1.4TSIDSG舒适版      123
Name: 购买车型, dtype: int64

2.3、饼状图可视化

# 绘制前10名的饼状图
plt.figure(figsize=(8, 8))#设置图片比例
sort_7.plot(kind='pie', autopct='%1.2f%%',) #绘制饼图，保留两位百分数
plt.title("大众_朗逸前10销量占比图")
plt.savefig("./images/大众_朗逸前10销量占比图.png")
plt.show()

问题3：该平台车辆购买评论趋势

3.1、购买车辆时间趋势

3.1.1、时间格式转化

• 为什么要进行时间格式的转换？因为我们导数数据的时候它是字符串的形式，我们需要把它转换为时间类型后才能使用时间的方法进行操作。

data['购买时间'] = pd.to_datetime(data['购买时间']) #数据类型转换
data['购买时间'] = data['购买时间'].map(lambda x: x.strftime('%Y/%m')) #转为年/月
data['购买时间']

0       2020/01
1       2020/01
2       2020/01
3       2020/01
4       2020/01
         ...   
4677    2012/09
4678    2012/09
4679    2013/01
4680    2013/01
4681    2012/08
Name: 购买时间, Length: 4516, dtype: object

3.1.2、查看前五行

3.2、折线图可视化

3.2.1、购买时间年月趋势

x_buy_time = data['购买时间'].value_counts()#统计相同时间出现的次数
x_buy_time = x_buy_time.sort_index(axis=0)#按索引排序
plt.figure(figsize=(8, 4))#设置图片比例
x_buy_time.plot(kind='line') #x_buy_count[::-1]转置数据
plt.title("大众轿车_朗逸购买日期详情评论趋势图")
plt.xlabel("年/月")
plt.ylabel("数量(辆)")
plt.savefig("./images/大众轿车_朗逸购买日期详情评论趋势图.png")#保存图片
plt.show()

3.2.2、购买日期评论趋势

x_buy_time_y = pd.to_datetime(data['购买时间']).map(lambda x: x.strftime('%Y')).value_counts()
x_buy_time_y = x_buy_time_y.sort_index(axis=0)
x_buy_time_y.plot(kind='line')
plt.title("大众轿车_朗逸购买年评论趋势图")
plt.xlabel("年份")
plt.ylabel("数量(辆)")
plt.savefig("./images/大众轿车_朗逸购买日期评论趋势图.png")#保存图片
plt.show()

3.2.3、发表评论趋势

x_share_times = pd.to_datetime(data['发表时间']).map(lambda x: x.strftime('%Y')).value_counts(ascending=False)
x_share_time = x_share_times.sort_index(axis=0)
x_share_time.plot(kind='line')
plt.title("大众轿车_朗逸评论时间趋势图")
plt.xlabel("年")
plt.ylabel("数量(辆)")
plt.savefig("./images/大众轿车_朗逸评论时间趋势图.png")#保存图片
plt.show()

结果分析： 从上面的购车时间和评论时间可以看出，2013年的购车量是最大的，2017年发表的评论是最多的；从网页上朗逸的排名了看，它的趋势不应该会呈下降趋势呀，这里有很多可能因素造成了这样的结果

1. 太平洋汽车上点评的用户在减少，照成数据呈下降趋势
2. 用户买了车但是没有发表任何评论，照成数据减少
3. 网络喜好倾向改变，用户发表评论的喜好减少
4. … …

接下了查看 发表时间 和 购买时间 有什么关系

问题4：对于发表时间和购买时间的研究

4.1、计算时间差

# 计算时间差并排序
data['时间差'] = pd.to_datetime(data['发表时间']) - pd.to_datetime(data['购买时间'])
data['时间差'].sort_values()

4368    -43 days
4434    -43 days
4469    -43 days
4476    -43 days
4483    -43 days
          ...   
86     3351 days
159    3357 days
99     3377 days
81     3567 days
708    5798 days
Name: 时间差, Length: 4516, dtype: timedelta64[ns]

结果分析： 从上面的结果看出，用发布时间减去购车时间，有很多值居然为负数，就相当于还没有买车就评论，很明显这个数据为异常值，我们在研究时间关系时，必须先把它去掉才不会影响到正常值。同时也可以反映，这个点评的网页页面功能有所缺陷，不应该让发布时间比购车时间大，这也有可能是影响上面结果的原因之一。

4.2、提取时间差大于0的正常数据

结果分析： 一共有76条数据存在异常情况，去掉异常数据后还有4430条数据正常，可以供我们研究使用。

4.3、计算时间差相关信息

buy_share_time = pd.to_datetime(normal_time['发表时间']) - pd.to_datetime(normal_time['购买时间']) #时间差
buy_share_time.describe() #描述统计信息

count                         4430 #总数
mean     1330 days 12:23:04.740406 #平均值
std       807 days 21:59:19.897105 #方差
min                0 days 00:00:00 #最小值
25%              658 days 00:00:00 #四分位值
50%             1492 days 00:00:00 #中值
75%             1857 days 00:00:00 #四分位值
max             5798 days 00:00:00 #最大值
dtype: object

结果分析： 从上面的结果可以看出，大多数用户都是在买车后近4年才开始评论，重商业上了说，这个值至关重要，最好至少要在4年左右的时间保证车辆的质量和服务，可以提高用户的满意值。

4.4、绘制时间差分布图

plt.plot(normal_time['时间差'].dt.days,'.',c='r')
plt.title("大众轿车_朗逸评论与购买时间差分布图")
plt.savefig("./images/大众轿车_朗逸评论与购买时间差分布图.png")#保存图片
plt.show()

结果分析： 从图中可以看出，用户评论的时间集中在3000天以下，在1000~2000这个范围是最集中的，其中还发现一共异常值，5000以上，其他的数据都没有超过4000，估计会对时间数据分析有略微的影响。

问题5：综合评分与车型和车型有关吗？

#查看表头
data.columns

Index(['车主',