【DataWhale数据分析】Task2学习报告

十分感谢DataWhale的开源分享！！！！

项目GitHub地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/AcademicTrends

DataWhale数据分析|Task2

任务介绍：

任务要求：

论文作者统计，统计所有论文作者出现频率Top10的姓名

任务流程：

1. 下载kaggle数据集 【Task1已完成】
2. 安装所需package：seaborn(数据可视化)，BeautifulSoup4（爬虫相关，用于爬取数据），requests（网络通信），json（json格式数据读取），pandas（大数据分析），matploblib（绘图）【Task1已完成】
3. 数据预处理，提取出所需信息（感兴趣领域的文章以及相对应的作者名称等）
4. 根据作者名称出现频率绘制直方图

任务详解

1. 数据预处理

1) 选择类别为cs.CV下面的论文

data2 = data[data['categories'].apply(lambda x: 'cs.CV' in x)]

中间的data['categories'].apply(lambda x: 'cs.CV' in x)返回一个bool类型的dataframe列，表示data表中每一行的categories列是否包含‘cs.CV’，与表达式'cs.CV' in x的返回值相同。

• apply介绍：

apply(func [, args [, kwargs ]]) 函数用于当函数参数已经存在于一个元组或字典中时，间接地调用函数。
args是一个包含将要提供给函数的按位置传递的参数的元组。如果省略了args，任何参数都不会被传递。
kwargs是一个包含关键字参数的字典。简单说apply()的返回值就是func()的返回值，apply()的元素参数是有序的，元素的顺序必须和func()形式参数的顺序一致

• lambda介绍：

lambda是匿名函数，即不再使用def的形式，可以简化脚本，使结构不冗余

pandas DataFrame 的 applymap() 函数和pandas Series(列) 的 apply() 方法都是对整个对象上个各个值进行单独处理,返回一个新的对象.

pandas Series(列) 的 apply():

pandas DataFrame 的 applymap():

而pandas DataFrame 的 apply() 函数,虽然也是作用于DataFrame的每个值,但是接受的参数不是各个值本身,而是DataFrame里各行(或列),返回一个新的行(列):

2）拼接作者名称

all_authors = sum(data2['authors_parsed'], [])
# 拼接所有的作者
authors_names = [' '.join(x) for x in all_authors]
authors_names = pd.DataFrame(authors_names)

在本次任务中，data2['authors_parsed']返回的是每篇文章的所有作者的list，而每个作者的姓和名组成了一个list，因此是list的list，因此需要sum函数来去掉一层list，并通过join函数连接作者的姓名

sum(data2[‘authors_parsed’], [ ])中后面是[ ]的缘由：
语法 sum(iterable[, start])，start默认为0，表示起始值

• 当start为数字时：
  sum((1, 2), 0) ，返回 0 + 1 + 2，OK
  sum((1, 2), 3) ，返回 3 + 1 + 2，很完美
  但当你希望[‘apple’]+[‘banana’] = [‘apple’,‘banana’]时，结果却是0+[‘apple’]+[‘banana’]
  因此，[]便登场了
• 当start为list时：
  sum((['apple'],['banana']), []) ，返回[ ]+[‘apple’]+[‘banana’]，完美

2. 绘制直方图

1）根据作者频率绘制直方图

# 根据作者频率绘制直方图
plt.figure(figsize=(10, 6))
authors_names[0].value_counts().head(10).plot(kind='barh')

# 修改图配置
names = authors_names[0].value_counts().index.values[:10]
_ = plt.yticks(range(0, len(names)), names)
plt.ylabel('Author')
plt.xlabel('Count')
plt.show()

value_counts函数：用于统计dataframe或series中不同数或字符串出现的次数
语法： Series.value_counts(normalize=False, sort=True, ascending=False, bins=None, dropna=True)

** dataframe.plot()**
语法：DataFrame.plot(x=None, y=None, kind='line', ax=None, subplots=False, sharex=None, sharey=False, layout=None,figsize=None, use_index=True, title=None, grid=None, legend=True, style=None, logx=False, logy=False,loglog=False, xticks=None, yticks=None, xlim=None, ylim=None, rot=None, fontsize=None, colormap=None,table=False, yerr=None, xerr=None, secondary_y=False, sort_columns=False, **kwds)
由于参数太多，在这里就不一一贴出了，感兴趣可以参考这篇文章
kind参数介绍：

实验结果：

1）根据姓氏绘制统计直方图

authors_lastnames = [x[0] for x in all_authors]
authors_lastnames = pd.DataFrame(authors_lastnames)

plt.figure(figsize=(10, 6))
authors_lastnames[0].value_counts().head(10).plot(kind='barh')

names = authors_lastnames[0].value_counts().index.values[:10]
_ = plt.yticks(range(0, len(names)), names)
plt.ylabel('Author')
plt.xlabel('Count')
plt.show()

实验结果：
全是中国姓，哈哈

参考文献：
[1]. DataFrame的apply()、applymap()、map()方法
[2]. 内置函数sum与sum（list，[]）有什么关系？
[3]. pandas中value_counts 如何妙用
[4]. [python] pandas plot( )画图命令总结