pytorch set_epoch()方法

YoJayC

已于 2022-03-21 21:15:47 修改

阅读量8.6k

点赞数 6

CC 4.0 BY-SA版权

分类专栏： pytorch 文章标签： pytorch

于 2021-11-25 10:45:02 首次发布

原文链接：https://pytorch.org/docs/stable/data.html?highlight=set_epoch

pytorch 专栏收录该内容

20 篇文章

订阅专栏

本文解释了在分布式学习环境下，如何在PyTorch中正确设置epoch并确保DistributedSampler的shuffle功能有效，避免数据加载顺序固定。务必在每个epoch开始时调用set_epoch()，以实现每轮数据的重新打乱。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在分布式模式下，需要在每个 epoch 开始时调用 set_epoch() 方法，然后再创建 DataLoader 迭代器，以使 shuffle 操作能够在多个 epoch 中正常工作。否则，dataloader迭代器产生的数据将始终使用相同的顺序。

sampler = DistributedSampler(dataset) if is_distributed else None
loader = DataLoader(dataset, shuffle=(sampler is None),
                    sampler=sampler)
for epoch in range(start_epoch, n_epochs):
    if is_distributed:
        sampler.set_epoch(epoch)
    train(loader)

参考：

torch.utils.data — PyTorch 1.10.0 documentation

Pytorch DistributedDataParallel 数据采样 shuffle - 知乎更新：这是19年12月的文章，至今pytorch已经更新了不少，所以还有没有用请读者自己实验。 ———————————————————————————————————————— 原文一个比较蛋疼的问题，就是我发…https://zhuanlan.zhihu.com/p/97115875