SQLAlchemy 奇怪的查数据库行为

最新推荐文章于 2025-04-24 01:30:26 发布

有关心情

最新推荐文章于 2025-04-24 01:30:26 发布

阅读量1.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python小记文章标签： SQLAlchemy

本文链接：https://blog.csdn.net/qq_41359051/article/details/109124617

在使用 SQLAlchemy 进行大规模数据处理时，发现遍历查询结果集的时间随数据量增加而显著增长。问题源于 `expire_on_commit=True`，导致每次访问已提交事务后的实例属性时，SQLAlchemy 会重新查询数据库。解决方案包括提前处理实例逻辑或关闭 `expire_on_commit` 功能以减少不必要的 IO 操作和提高性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SQLAlchemy 奇怪的查数据库行为

文章目录

SQLAlchemy 奇怪的查数据库行为
起步
环境准备
奇怪的查数据库行为
expire\_on\_commit
如何解决

020.10.16

起步

进行数十亿数据压测时，测试环境发生了一个很奇怪的现象：在对 SQLAlchemy 查出的结果做遍历操作时，随着集合越大，遍历的时间跟着变长，是肉眼可见的变长。

根据现象，一位腾讯的程序员向我提出了疑问：会不会遍历过程中 SQLAlchemy 又去查询了数据库？

环境准备

-- DDL
CREATE TABLE `student` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(10) NOT NULL,
  `age` int(4) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

-- DML
INSERT INTO `test`.`student`(`name`, `age`) VALUES ('小庭', 16), ('小英', 17), ('小慧', 10