python中的一些小trick

本文探讨了Python中使用set和pandas库提高代码效率的方法。通过对比list与set,解释了set如何利用哈希表实现快速查找。同时,强调了在读取CSV文件时指定dtype参数的重要性,以避免类型混淆导致的速度减慢和潜在错误。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. set用处

个人之前一直没怎么用过set,直到今天我在写一段代码的时候发现in关键字和set对象简直天生一对。

a = list(...)
if b in a:
    ...

上面这段代码相信大家都写过,但如果将list对象转换成为set,那么代码速度将大大提升。本质上set和dict都是用散列表方式存储,学过数据结构的我们知道给一个数/字符(串)对象,可以通过哈希函数快速计算这个对象对应存储的index。正因如此,在判断b是否在a里的时候,在O(1)时间内就可以完成判断,而对于list而言则需要去遍历整个list。
深入考虑下,创建set的时候也需要计算index的时间,但如果上面的判断需要执行多次,那么set无非是一个很nice的选择。

2. pandas

2.1 read_csv的dtype

pd.read_csv()大家都用过吧,最好指名dtype字段,好处多多。
首先,你不指明,python肯定会自己来判断的,这样肯定慢。同时,很多时候字段里混杂着其他对象,例如int里面混搭了个str,这样读的时候会将这个字段置为object,肯定慢不说,后面处理必然会出bug,还得去调,倒不如直接指明了dtype字段。
在机器学习中,存储1,0这种label的完全可以用int8类型。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值