悬浮体的博客

lgb实际使用数据格式和增量训练

摘要：测试显示pandas处理单条数据时效率极低，耗时是纯循环操作的100倍。在深度学习数据预处理中，应避免创建DataFrame处理单条样本。测试案例对比了两种实现方式：pandas方法耗时1.56ms，而使用numpy和字典的纯循环方法仅需13.1μs。建议在模型训练数据流中直接使用numpy数组和字典操作，特别是对于需要频繁处理单条数据的场景，可显著提升性能。关键优化点包括：避免DataFrame创建、使用numpy替代pandas向量化操作、采用字典处理映射关系。