CTranslate2：在 AMD GPU 上高效推理 Transformer 模型

最新推荐文章于 2025-06-10 09:18:39 发布

最新推荐文章于 2025-06-10 09:18:39 发布 · 1.3k 阅读

文章标签：

#transformer #深度学习 #人工智能

ROCm 专栏收录该内容

122 篇文章

订阅专栏

CTranslate2: Efficient Inference with Transformer Models on AMD GPUs — ROCm Blogs

Transformer 模型通过在机器翻译、文本摘要、文本生成和语音识别等任务中提供高性能结果，彻底改变了自然语言处理（NLP）的领域。然而，由于这些模型对计算和内存的高需求，在生产环境中部署它们可能会面临挑战。CTranslate2 通过提供一个自定义运行时来应对这些挑战，该运行时实现了各种优化技术，以加速 Transformer 模型的推理。

在这篇博客中，您将了解到如何使用 CTranslate2 这一强大的 C++ 和 Python 库，在 AMD 硬件上优化和加速 Transformer 模型的推理。我们将探讨它的关键特性、安装过程，以及如何将其集成到您的 NLP 应用中，以实现显著的性能提升和内存使用的减少。

OpenNMT 和CTranslate2是什么?

OpenNMT是一个开源工具包，专为机器翻译设计。机器翻译是自动将文本从一种语言转换为另一种语言的过程。它还支持如文本摘要等相关任务，涉及对单词序列的理解和生成，通常被称为“神经序列学习”。OpenNMT 提供了一个综合工具包，用于训练和部署翻译模型。CTranslate2 是一个优化的推理引擎，支持在 OpenNMT 中训练的模型，在生产环境中部署这些模型时可以提供显著的速度提升和效率改进。它是 OpenNMT 生态系统的一部分，可以作为一种专为高性能 Transformer 模型推理而量身定制的解决方案。

CTranslate2 库包括强大的功能，如将模型嵌入到 C++ 应用程序中，并减少模型在磁盘和内存中的占用。作为框架无关的库，它可以处理从 PyTorch 或 TensorFlow 等框架导出的模型，同时保持轻量级执行。

用 CTranslate2 训练的模型会转换为一种特殊的“CTranslate2 格式”，该格式使得模型能够进行高效推理优化。这种格式设计用于加速模型的使用，同时减少内存占用，使其更适合生产环境。

CTranslate2的关键功能

CTranslate2 提供了一系列设计用来优化 Transformer 模型推理的功能，包括：

快速高效的执行：针对 CPU 和 GPU 进行了优化，提供快速高效的 Transformer 模型推理
量化和降低精度：支持量化到 INT8、INT16 和 FP16，在保持精度的同时减少内存使用
并行和异步执行：允许批量和异步推理，以最大限度提高吞吐量
动态内存使用：高效利用内存以进行大规模部署
磁盘占用轻量：减少模型尺寸，有助于可扩展性
简单集成：易于嵌入 C++ 或 Python 应用程序
张量并行：支持大型模型的分布式推理

支持的模型和框架

CTranslate2 目前支持以下模型：

编码器-解码器模型（Encoder-Decoder Models）：Transformer base/big，BART，mBART，Pegasus，T5，Whisper
仅解码器模型（Decoder-Only Models）：GPT-2，GPT-J，GPT-NeoX，OPT，BLOOM，MPT，Llama，Mistral，CodeGen，Falcon
仅编码器模型（Encoder-Only Models）：BERT，DistilBERT，XLM-RoBERTa

兼容的模型应首先转换为优化的模型格式。该库包含多个框架的转换器：

安装和设置

要在 AMD GPU 上运行 CTranslate2，您将需要：

以下是开始的步骤：

克隆 ROCm CTranslate2 仓库：

git clone https://github.com/RO