mixture-of-experts:Noam Shazeer等人的“稀疏门控专家混合物层”的PyTorch重新实现。 http...

PyTorch专家层的稀疏门控混合物 该存储库包含对PyTorch的《 描述的稀疏门控MoE层的PyTorch重新实现。 from moe import MoE # instantiate the MoE layer model = MoE ( input_size = 1000 , num_classes = 20 , num_experts = 10 , hidden_size = 66 , k = 4 , noisy_gating = True ) # forward y_hat , aux_loss = model ( X ) 要求 此示例在CPU上使用Torch v1.0.0和Python v3.6.1进行了测试。 要安装需求，请运行： pip install -r requirements.py 虚拟示例 文件example.py包含一个最小的工作示例，该示例说明了如