Deep Learning:PyTorch 基于docker 容器的分布式训练实践

引言

PyTorch distributed currently only supports Linux.
 
这句话是来自 pytorch 官网 的 torch.distributed 部分，说明 pytorch 支持分布式训练，而且只在linux 上支持。
 
torch.distributed supports three backends, each with different capabilities.
 
同样来自上述 页面，pytorch 在分布式训练中，支持三种后端（backend）进行集群管理或者通信。

那么，在什么情况下选用什么样的backend？

• 经验法则
  • 使用NCCL后端进行分布式GPU培训
  • 使用Gloo后端进行分布式CPU培训。
• 具有InfiniBand互连的GPU主机
  • 使用NCCL，因为它是目前唯一支持InfiniBand和GPUDirect的后端。
• GPU主机与以太网互连
  • 使用NCCL，因为它目前提供最佳的分布式GPU训练性能，特别是对于多进程单节点或多节点分布式训练。如果您遇到NCCL的任何问题，请使用Gloo作为后备选项。（请注意，Gloo目前运行速度比GPU的NCCL慢。）
• 具有InfiniBand互连的CPU主机
  • 如果您的InfiniBand已启用IP over IB，请使用Gloo，否则请使用MPI。我们计划在即将发布的版本中为Gloo添加InfiniBand支持。
• 具有以太网互连的CPU主机
  • 除非您有特殊原因要使用MPI，否则请使用Gloo。

实践部分

• 首先，假设，我们要起一个分布式训练，起 2 个 rank。
• 把他们起来两台机器上，机器 1 的 ip 为 192.168.61.55，机器 2 的 ip 为 192.168.61.56
• 机器 1 上起 1 个 rank，机器 2 上起 1 个 rank

我这里使用的示例代码来自于 github 上的一段开源代码， 地址是 https://github.com/pytorch/examples/tree/master/mnist 。我对这段代码做了些更改&