这篇博客讨论了如何使用PHP的fgetcsv函数流式读取120MB的CSV文件，以减少内存占用。作者指出，尽管逐行读取并插入数据库可以避免一次性加载整个文件，但脚本仍需20分钟来运行。建议考虑使用Python等其他语言以提高性能，并警告避免将大量数据加载到数组中。
我已经用
fgetcsv读取一个120MB的csv流式(这是正确的英语吗？)。它逐行读取，然后我将每行插入数据库。这样一来，在每次迭代中只有一行被保留在内存中。脚本仍然需要20分钟。跑步。也许我下次尝试Python …不要试图加载一个巨大的csv文件到一个数组，这真的会消耗大量的内存。
// WDI_GDF_Data.csv (120.4MB) are the World Bank collection of development indicators:
// http://data.worldbank.org/data-catalog/world-development-indicators
if(($handle = fopen('WDI_GDF_Data.csv', 'r')) !== false)
{
// get the first row, which contains the column-titles (if necessary)
$header = fgetcsv($handle);
// loop through the file line-by-line
while(($data = fgetcsv($handle)) !== false)
{
// resort/rewrite data and insert into DB here
// try to use conditions sparingly here, as those will cause slow-performance
// I don't know if this is really necessary, but it couldn't harm;
// see also: http://php.net/manual/en/features.gc.php
unset($data);
}
fclose($handle);
}
扫一扫
1800
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
