2.Pandas操作快查表

最新推荐文章于 2024-05-02 05:45:02 发布
最新推荐文章于 2024-05-02 05:45:02 发布
阅读量400 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 洛杉矶房价预测 机器学习 文章标签： 房价预测 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oppo603/article/details/100133269
本文深入探讨了Pandas库在数据分析中的高级应用，包括数据筛选、分组、排序、绘图及核密度估计等核心功能，通过实例展示了如何高效处理和分析复杂数据集。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Pandas CheatSheet

import numpy as np
import pandas as pd

data={
    'name': ['Alice', 'Bob', 'Charles', 'David', 'Eric'],
    'year': [2017, 2017, 2017, 2017, 2017], 
    'salary': [40000, 24000, 31000, 20000, 30000],
    'pair':[{'a':1},{'a':2},{'a':3},{'a':4},{'a':5}]
}

d=pd.DataFrame(data)
d
namepairsalaryyear
0Alice{'a': 1}400002017
1Bob{'a': 2}240002017
2Charles{'a': 3}310002017
3David{'a': 4}200002017
4Eric{'a': 5}300002017
d.pair

0    {'a': 1}
1    {'a': 2}
2    {'a': 3}
3    {'a': 4}
4    {'a': 5}
Name: pair, dtype: object

type(d.pair)

pandas.core.series.Series

d.pair.tolist()

[{'a': 1}, {'a': 2}, {'a': 3}, {'a': 4}, {'a': 5}]

行操作

薪水大于30000的人都有谁？

d.query('salary>30000')
namepairsalaryyear
0Alice{'a': 1}400002017
2Charles{'a': 3}310002017
d.salary>30000

0     True
1    False
2     True
3    False
4    False
Name: salary, dtype: bool

# 筛选符合条件
d[d.salary>30000]
namepairsalaryyear
0Alice{'a': 1}400002017
2Charles{'a': 3}310002017

Eric的信息是什么？

# Pandas如何进行查询？
d.query("name=='Eric'")
namepairsalaryyear
4Eric{'a': 5}300002017
d[d.name=='Eric']
namepairsalaryyear
4Eric{'a': 5}300002017
d.loc[d.name=='Eric']
namepairsalaryyear
4Eric{'a': 5}300002017

联合查找：名叫Bob且薪水大于20000

d.query("name=='Bob' and salary>20000")
namepairsalaryyear
1Bob{'a': 2}240002017

列操作

d.filter

在SQL中经常使用的 SELECT name,year,salary from table 是对二阶张量的行列进行赛选

d.filter(items=['name','salary','pair'])
namesalarypair
0Alice40000{'a': 1}
1Bob24000{'a': 2}
2Charles31000{'a': 3}
3David20000{'a': 4}
4Eric30000{'a': 5}
# 简化写法
d[['name','salary']]
namesalary
0Alice40000
1Bob24000
2Charles31000
3David20000
4Eric30000

模糊查找

d.filter(like='2', axis=0) # 模糊查找行
namepairsalaryyear
2Charles{'a': 3}310002017
d.filter(like='ea', axis=1) # 模糊查找列
year
02017
12017
22017
32017
42017

分组

聚类、分段预测

df1 = pd.DataFrame({
    "Name" : ["Alice", "Ada", "Mallory", "Mallory", "Billy" , "Mallory"],
    "City" : ["Sydney", "Sydney", "Paris", "Sydney", "Sydney", "Paris"]
})

df1
CityName
0SydneyAlice
1SydneyAda
2ParisMallory
3SydneyMallory
4SydneyBilly
5ParisMallory

各个城市各有多少人

df1.groupby(['City']).count()
Name
City
Paris2
Sydney4

统计量分析

Numerical 变量的数据分析

d.describe()
salaryyear
count5.0000005.0
mean29000.0000002017.0
std7615.7731060.0
min20000.0000002017.0
25%24000.0000002017.0
50%30000.0000002017.0
75%31000.0000002017.0
max40000.0000002017.0

统计函数

df2 = pd.DataFrame({
    'key1':['a', 'a', 'b', 'b', 'a'],
    'key2':['one', 'two', 'one', 'two', 'one'],
    'data1':np.random.randn(5),
    'data2':np.random.randn(5)
})

df2
data1data2key1key2
0-0.4531102.338225aone
1-1.9185831.469552atwo
20.338384-0.387233bone
3-0.9813801.713030btwo
4-0.2438380.547075aone

基于属性key1的类型a和b各自的均值是多少？

包括data1和data2但不包括key2

# 没有k2,因为它不是连续型变量
df2.groupby(['key1']).mean()
data1data2
key1
a-0.8718431.451617
b-0.3214980.662898

联合Group：‘a-one’,‘a-two’,‘b-one’,‘b-two’

# 同时对若干个离散数据 进行分组
df2.groupby(['key1', 'key2']).mean()
data1data2
key1key2
aone-0.3484741.442650
two-1.9185831.469552
bone0.338384-0.387233
two-0.9813801.713030
df2.count() # 每一列中的个数

data1    5
data2    5
key1     5
key2     5
dtype: int64

df2.groupby(['key1']).count()
data1data2key2
key1
a333
b222
df2.groupby(['key1', 'key2']).count()
data1data2
key1key2
aone22
two11
bone11
two11

排序

df2
data1data2key1key2
0-0.4531102.338225aone
1-1.9185831.469552atwo
20.338384-0.387233bone
3-0.9813801.713030btwo
4-0.2438380.547075aone
df2.data2.sort_values() # 对列进行排序

2   -0.387233
4    0.547075
1    1.469552
3    1.713030
0    2.338225
Name: data2, dtype: float64

df2.sort_values(by='key2') # 整张表按某1列的数值进行排序
data1data2key1key2
0-1.4918230.084684aone
20.950192-0.235840bone
4-0.6085150.970593aone
1-2.1032630.432440atwo
30.493304-0.907539btwo

多属性排序

df2.sort_values(by=['key1','data1']) # 相同再按后面排序
data1data2key1key2
1-2.1032630.432440atwo
0-1.4918230.084684aone
4-0.6085150.970593aone
30.493304-0.907539btwo
20.950192-0.235840bone
df2.sort_values(by=['key2'], ascending=False) # 整张表按某1列数值进行排序
data1data2key1key2
1-1.9185831.469552atwo
3-0.9813801.713030btwo
0-0.4531102.338225aone
20.338384-0.387233bone
4-0.2438380.547075aone

DataFrame对数据的增删查改

如何选择某1行

 df2.iloc[0]

data1   -0.45311
data2    2.33823
key1           a
key2         one
Name: 0, dtype: object

df2.iloc[0]['key1']

'a'

df2.loc[0].key1

'a'

df2
data1data2key1key2
0-0.4531102.338225aone
1-1.9185831.469552atwo
20.338384-0.387233bone
3-0.9813801.713030btwo
4-0.2438380.547075aone
df2.groupby(['key1']).count()
data1data2key2
key1
a333
b222
df2.groupby(['key1']).count().iloc[0]

data1    3
data2    3
key2     3
Name: a, dtype: int64

df2.groupby(['key1']).count().loc['a']

data1    3
data2    3
key2     3
Name: a, dtype: int64

使用iloc获取Dataframe的某行某列

df2
data1data2key1key2
0-0.4531102.338225aone
1-1.9185831.469552atwo
20.338384-0.387233bone
3-0.9813801.713030btwo
4-0.2438380.547075aone
#第1列
df2.iloc[:,0]

0   -0.453110
1   -1.918583
2    0.338384
3   -0.981380
4   -0.243838
Name: data1, dtype: float64

df2.iloc[1,3]

'two'

#Array slice
df2.iloc[:2]
data1data2key1key2
0-0.4531102.338225aone
1-1.9185831.469552atwo
df2.iloc[0:-1]
data1data2key1key2
0-0.4531102.338225aone
1-1.9185831.469552atwo
20.338384-0.387233bone
3-0.9813801.713030btwo
#打印前两行和后2列
df2.iloc[:2, -2:]
key1key2
0aone
1atwo

数据的修改

.at[]

df2.at[1,'data1']=2
df2
data1data2key1key2
0-0.4531102.338225aone
12.0000001.469552atwo
20.338384-0.387233bone
3-0.9813801.713030btwo
4-0.2438380.547075aone

.iat[]

df2.iat[1,1] = -2.0
df2
data1data2key1key2
0-0.4531102.338225aone
12.000000-2.000000atwo
20.338384-0.387233bone
3-0.9813801.713030btwo
4-0.2438380.547075aone

增加行

.append()

对于dataframe，每一行事实上代表着一个对象/向量，对于对象/向量的表示，使用json

df3=df2.append({'data1':1.2,'data2':1.4,'key1':'b','key2':'two'},ignore_index=True)
df3
data1data2key1key2
0-1.156629-0.479173aone
11.2526901.652271atwo
21.8127551.407725bone
3-1.132984-0.462333btwo
41.173084-1.641891aone
51.2000001.400000btwo
df2
data1data2key1key2
0-1.156629-0.479173aone
11.2526901.652271atwo
21.8127551.407725bone
3-1.132984-0.462333btwo
41.173084-1.641891aone
# 修改第6行
df3.loc[5]=[2,1, 'c','three']
df3
data1data2key1key2
0-1.156629-0.479173aone
11.2526901.652271atwo
21.8127551.407725bone
3-1.132984-0.462333btwo
41.173084-1.641891aone
52.0000001.000000cthree

增加列

.assign()

df4=df3.assign(key3=[1,2,3,4,5,6])
df4
data1data2key1key2key3
0-1.156629-0.479173aone1
11.2526901.652271atwo2
21.8127551.407725bone3
3-1.132984-0.462333btwo4
41.173084-1.641891aone5
52.0000001.000000cthree6
# 修改1列
df4.loc[:,'key3']=np.random.randn(6)
df4
data1data2key1key2key3
0-1.156629-0.479173aone0.140732
11.2526901.652271atwo1.357048
21.8127551.407725bone-1.065623
3-1.132984-0.462333btwo-0.589690
41.173084-1.641891aone0.117112
52.0000001.000000cthree-0.683054

DataFrame自带绘图

# 发表论文篇数
data3 = {'name': ['Jason', 'Molly', 'Tina', 'Jake', 'Amy'], 
        'year': [2012, 2012, 2013, 2014, 2014], 
        'reports': [4, 24, 31, 2, 3]}
df3 = pd.DataFrame(data3, index = ['Cochice', 'Pima', 'Santa Cruz', 'Maricopa', 'Yuma'])
df3
namereportsyear
CochiceJason42012
PimaMolly242012
Santa CruzTina312013
MaricopaJake22014
YumaAmy32014
df3['reports']

Cochice        4
Pima          24
Santa Cruz    31
Maricopa       2
Yuma           3
Name: reports, dtype: int64

df3['reports'].plot.bar()

<matplotlib.axes._subplots.AxesSubplot at 0x11761b978>

在这里插入图片描述

# %matplotlib inline

# 绘图过滤离散型数据
df3.plot.bar()

<matplotlib.axes._subplots.AxesSubplot at 0x11a86b390>

在这里插入图片描述

df3
namereportsyear
CochiceJason42012
PimaMolly242012
Santa CruzTina312013
MaricopaJake22014
YumaAmy32014

密度估计

核密度估计

import seaborn as sns

sns.kdeplot(df2['data1'])

<matplotlib.axes._subplots.AxesSubplot at 0x11cdc6e80>

在这里插入图片描述

sns.kdeplot(df2['data2'])

<matplotlib.axes._subplots.AxesSubplot at 0x11d05bcc0>

在这里插入图片描述

sns.kdeplot(df2['data1'])
sns.kdeplot(df2['data2'])

<matplotlib.axes._subplots.AxesSubplot at 0x11d11e908>

在这里插入图片描述

sns.kdeplot(df2['data1'], shade=True, color='r')
sns.kdeplot(df2['data2'], shade=True, color='g')

<matplotlib.axes._subplots.AxesSubplot at 0x11d217518>

在这里插入图片描述

生成一段数据，并进行核密度估计

x=np.random.rand(5000)

sns.kdeplot(x, shade=True, color='y')

<matplotlib.axes._subplots.AxesSubplot at 0x11cefb898>

在这里插入图片描述

type(x)

numpy.ndarray
Pandas操作Excel，统计pass/fail的个数
weixin_48633625的博客
11-17 1302
导入EXCEL文件： pd.read_excel(io, sheet_name=0, header=0, names=None, index_col=None) read_excel和read_csv的用法差不多，一个需要注意的参数是sheet_name。这个参数是指定读取该excel中具体哪个表的数据，默认为0，即为第一个表。如果传入1，则为第2个表；可指定传入表名，如"Sheet1"；也可传入多个表，如[0,‘Sheet3’]，传入第一个表和名为’Sheet3’的表。 读取ex1.xlsx文件，默认为
Pandas库（2）：数据的统计分析
sanmi8276的博客
08-15 214
1.0 Pandas 中的数据类型： Series Dataframe 一维 二维的、表格型 每个元素都有各自的标签(数字/字符) 可储存多个不同类型数据，每个轴都有标签 可视为一个由带标签的元素组成的 numpy 数组 可视为一个 series 的字典 2.0 适用于Series和DataFrame数据类型 函数名 描述 参数说明 使用说明 .sum() 求和 .mean() 求期望 ...
Pandas 快查表
05-28
Pandas 快查表，介绍Pandas经常用的函数及方法，对数据分析工作很有作用
pandas两个表格_便捷高效！Python数据分析的必备利器--Pandas入门教程
weixin_42453050的博客
01-23 303
关于Python的数据分析，当我们遇到的数据量小、数据结构简单时，可以通过字典、列表等Python常见的数据结构来处理。但是当我们面对的大量数据以及复杂数据的局面时，就需要用一些专门用于数据分析的扩展库来处理数据了。今天给大家介绍一个Python里专门用来做数据分析和处理的扩展库。pandas(pannel data analysis，面板数据分析)，我个人觉得pandas用于数据分析处理有别于P...
Python和MySQL对比（3）：用Pandas 实现MySQL的子查询、like_regexp、case when_if语法效果
明而决之
01-07 2045
环境：windows11 64位Python3.9MySQL8本文主要介绍 MySQL 中的子查询、like/regexp、case when/if 如何使用pandas实现，同时二者又有什么区别。Python 在实现子查询时，其实就是通过赋值给一个新的变量，然后使用新的变量再进行`merge()`，当然，也可以不用赋值新的变量，直接作为左表或右表的参数值进行传递。Python 在实现`like/regexp`时，则是通过`.str.contains()`，使用正则进行匹配，需要注意的是空值的填
【数据分析】pandas合并多个excel指定sheet的数据
weixin_44727383的博客
05-21 1457
1.用 os模块的listdir(dir)方法得到目录下的所有文件名 2.用pandas遍历读取每个excel表格，生成一个DataFrame类型组成的列表,用pandas的concat()方法，合并表格。 3.用to_excel()方法生成新的excel文件 ，to_excel(path,index)，path为保存路径，index默认为True，会把ID也保存下来，我们一般不需要保存。 import os import pandas as pd dir = 'C:/Users/elsie/Desktop
Pandas 数据操作速查表
这份资料旨在帮助用户快速查阅和理解Pandas在数据分析中的常用操作。" Pandas是Python中广泛使用的数据分析库，它提供了高效的数据结构，如DataFrame和Series，以及大量用于数据清洗、预处理和分析的工具。以下将...
Python数据科学速查表 - Pandas 进阶.pdf
08-19
### Python 数据科学速查表 — Pandas 进阶 #### 数据重塑 在处理数据分析时，经常需要对数据进行重塑以适应不同的分析需求。Pandas 提供了多种方法来进行数据的重塑，包括重置索引、堆栈/反堆栈、透视表等。 - *...
Python数据科学速查表 - Pandas 基础.pdf
最新发布
07-21
在数据科学领域，Python是一种广泛使用的编程语言，尤其在数据处理和分析...Pandas提供了强大的数据处理和分析功能，本速查表涵盖了Pandas基础操作的核心知识点，适合数据科学领域的专业人士作为日常工作中的快速参考。
1.1.2 两个dataframe写入excel 多个 sheet pandas基础
qq_25551275的博客
03-31 664
df.to_excel函数每次写入，都会重新创建一个新的文件。前面的文件会被覆盖掉，只能是最后一个DF写入的结果文件。 使用pd.ExcelWriter可解决这个问题： xlswriter = pd.ExcelWriter('F:/test.xlsx') df1.to_excel(xlswriter,'test1') df2.to_excel(xlswriter,'测试') ...
dataframe记录数_通过Pandas DataFrame计数每行零个数？
weixin_42514930的博客
12-28 793
Given a DataFrame I would like to compute number of zeros per each row. How can I compute it with Pandas?This is presently what I ve done, this returns indices of zerosdef is_blank(x):return x == 0ind...
Pandas API参考
Scarlett的博客
11-24 3101
本文为谷歌翻译,有些翻译不准确 请参考原文档 http://pandas.pydata.org/pandas-docs/stable/api.html 此页面概述了所有公共pandas对象，函数和方法。 pandas。* namespace中公开的所有类和函数都是公共的。 一些子包是公共的，包括pandas.errors，pandas.plotting和pandas.testing。 文档中...
Pandas统计函数
WangYouJin321的博客
07-02 431
统计方法有助于理解和分析数据的行为。现在我们将学习一些统计函数，可以将这些函数应用到Pandas的对象上。 pct_change()函数 系列，DatFrames和Panel都有pct_change()函数。此函数将每个元素与其前一个元素进行比较，并计算变化百分比。 import pandas as pd import numpy as np s = pd.Series([1,2,3,4,...
python合并表格并计数实验
zhouzhangyanlxy的博客
12-22 434
实验目的 1、掌握pandas等第三方库的使用 2、学会运用Python进行Excel表格的读取，数据处理与科学计算 掌握一个Excel表格分许工具pandas 代码如下： import pandas as pd #导入pandas包 from pandas.core.frame import DataFrame #首先读取两个表格的所有信息，进行合并 w = r'E:\python\实验\公共课.xls' excel1 = pd.read_excel(w) j = r'E:\pyth
Pandas DataFrame
Claroja
05-24 1万+
http://pandas.pydata.org/pandas-docs/stable/api.html#dataframe 构造函数 方法 描述 DataFrame([data, index, columns, dtype, copy]) 构造数据框 属性和数据 方法 描述 Axes index: row labels
别再低效筛选数据了！试试pandas query函数
Gefangenes的博客
05-02 193
pandas的DataFrame提供了各种过滤检索数据的方式，与之相比，query函数允许用户以字符串的形式对DataFrame进行查询操作。直观易读：类似SQL的语法，且查询语句以字符串形式表示，易于理解和阅读，有助于提高代码的可读性灵活性高：支持复杂的查询条件，可以通过逻辑运算符组合多个条件，也支持模糊的匹配方式减少代码量：可以减少编写过滤和条件判断的代码量，使代码更加简洁易于调试：由于查询语句以字符串形式表示，因此在调试过程中可以轻松地打印和查看查询条件。
Pandas高级：query方法教你优雅的查询
热门推荐
opp003的博客
12-19 1万+
好久好久没写博客了。最近看到个很实用的pandas方法，记录下。 query() DataFrame.query(expr,inplace=False,**kwargs)，用于通过boolean表达式来查询dataframe中的列。 主要参数为expr，它是字符串表达式，有如下说明： 要评估的查询字符串。 可以在环境中引用变量，方法是在变量前添加一个@字符，例如@a + b。 可以在反引号内将包含空格或运算符的列名引用起来。 这样，您还可以转义以数字开头或Python关键字的名称。 基本上是..
python 中pandas 使用read_sql_query 带模糊查询报错（使用 like ‘xxx%‘, PostgreSQL 数据库）
qq_41982570的博客
04-06 2531
python 中pandas 使用read_sql_query 带模糊查询报错（使用 like 'xxx%', PostgreSQL 数据库）
python pandas query用法
背着行囊去远方的博客
09-12 3667
可以使用df.query('brand == "Python"')进行查找，也可以使用df[df['brand'] == "Python"]这种方式进行查找。query 函数在使用变量作为判断标准时，通过在变量前面添加。当需要在某列中筛选多个符合要求的值的时候，可以通过列表（在程序比较长的时候，经常会使用变量来作为筛选条件，函数还支持通过数学表达式来进行数据筛选，包括。两者都需要满足的并列条件使用符号。只需要满足其中之一的条件使用符号。使用引号处理的话，会报错。函数来进行数据筛选。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值