pandas修改csv文件里的值——踩坑记录

这两天在处理一个数据集，其中一步是在一个csv文件里再加一列，然后根据某些变换给这列的每一行分别赋相应的值，文件原貌如下：

正确操作代码如下：

log_message2timestamp函数代码省略。

import pandas as pd

test_log = pd.read_csv(r"D:\test\test.csv",memory_map=True)

for i in range(test_log.shape[0]):
    timestamp,day = log_message2timestamp(test_log.iloc[i]['message'])
    test_log.loc[i,'timestamp'] = timestamp
    test_log.loc[i,'datetime'] = day
# 将结果保存回CSV文件
test_log.to_csv('D:\\test\\test.csv', index = False, header=True)

修改之后文件样貌：

注意事项！

最开始我的to_csv函数里有参数mode='a'，这是追加写的意思，所以导致一直不是我想要的效果，然后我就把mode='a'删了，默认是覆盖写，然后header要相应设置为True，保留列名字段，防止被内容覆盖掉。

所以在使用一个函数之前一定要读懂它的参数的含义！

pandas读取csv文件时，如果是分块读取，注意，那么块是有记忆的，什么意思呢，看下面的程序截图：

第一次运行：三个程序框都运行

 第二次运行：

只运行第三个程序框

第三次运行：

只运行第三个程序框

第四次运行：

只运行第三个程序框

可见已经无输出了，但是每次咱们都是 for chunk in test的语句，却没有从头遍历，所以这是有记忆的，所以当咱们如果外面再套一个循环构成双重循环时，可能可咱们之前写的双重循环思想不一样，要尤其注意这一点！！！！！！！！！！