【NLP】DeepSpeed-FastGen：通过 MII 和 DeepSpeed-Inference 为LLM生成高通量文本

Sonhhxg_柒

于 2023-11-10 11:00:29 发布

阅读量1.7k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：自然语言处理（NLP） LLMs(大型语言模型) 人工智能（AI）文章标签：人工智能 llama 自然语言处理

原文链接：https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-fastgen#3-dynamic-splitfuse-a-novel-prompt-and-generation-composition-strategy

自然语言处理（NLP）同时被 3 个专栏收录

117 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

人工智能（AI）

58 篇文章

订阅专栏

LLMs(大型语言模型)

33 篇文章

订阅专栏

一、简介

GPT-4 和 LLaMA 等大型语言模型 (LLM) 已成为服务于各个级别的人工智能应用程序的主要工作负载。从一般聊天模型到文档摘要，从自动驾驶到软件堆栈每一层的副驾驶，大规模部署和服务这些模型的需求猛增。虽然 DeepSpeed、PyTorch 等框架可以在 LLM 训练期间定期实现良好的硬件利用率，但这些应用程序的交互性和开放式文本生成等任务的较差算术强度已成为现有系统中推理吞吐量的瓶颈。

为此，由 PagedAttention 提供支持的

了解本专栏

超级会员免费看

评论 2

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。