专家混合 (MoE)：条件计算的诞生和兴起

        前言：本文基于《Mixture-of-Experts (MoE): The Birth and Rise of Conditional Computation》一文的部分内容进行翻译，对文中关于MoE的解释与总结部分进行记录，关于文中阐述的MoE架构的起源、MoE应用到transformer轻松扩展到万亿参数模型，以及其他内容不做记录，有需要的读者可自行阅读原文https://cameronrwolfe.substack.com/p/conditional-computation-the-birth。

        大型语言模型 (LLM) 的现代进步主要是缩放定律的产物 。当我们增加基础模型的大小时，假设模型是在足够大的数据集上进行训练的，我们会看到性能的平稳提高。这种缩放法则最终导致我们创建了 GPT-3，以及随后的其他（更强大的）LLM。当扩展这些密集的 LLM