开发门槛再降！国产开源推理引擎 “赤兔” 升级，让国产算力与国产模型适配一步到位

8月2日，中国计算机学会主办的2025 CCF开源大会召开，郑纬民院士作了题为《大模型推理服务系统层面的挑战》的特邀报告，呼吁以开源推广大模型推理技术，报告中提及了开源推理引擎“赤兔”。

近年来，国产算力芯片呈现快速迭代态势，昇腾、沐曦、海光、燧原等产品影响力不断提升，但受限于国外主流推理框架对国产芯片支持不足，用国产算力进行模型部署的“最后一公里”难题凸显，亟需具备自主可控能力的原生解决方案。8月1日，国产开源推理引擎“赤兔”正式发布v0.4版本，在昇腾上推理速度达到了新高度，双方联合优化的效果为行业提供了新的技术样本。

国产算力原生的推理引擎

赤兔推理引擎是由清华系AI Infra明星创企——清程极智联合清华大学团队发布的开源项目。在今年三月首个版本发布时，赤兔通过底层算子优化（如GeMM、MoE的指令级重构）和编译技术创新，首次实现在无FP8硬件单元的算力芯片上原生运行FP8高精度模型，赋能众多存量算力芯片推理DeepSeek-R1满血版大模型。

赤兔坚持“国产原生”技术路线，此前发布的版本已实现对昇腾、沐曦、海光等国产芯片的原生支持。据公开信息显示，赤兔对燧原算力的支持也在进行中。赤兔上线以来，支持了多款国产算力对国产大模型的支持。在7月28日，GLM-4.5大模型发布当日，“赤兔”即完成昇腾～平台的部署适配，实现“0Day”支持。据项目主页数据，在910B平台上，Qwen3-32B模型单机吞吐量已接近其它开源框架的2倍；在较常用的H20平台上的DeepSeek-R1-671B模型推理测试中，赤兔推理性能较最新版vLLM亦有所提升。

性能优化与场景拓展并行

 开源四个月来，“赤兔”在两方面持续发力：一是扩展模型与算力平台覆盖，二是优化核心性能指标。赤兔引擎不仅提供较高的性能基线，其简洁的架构设计也降低了二次开发的门槛。一位正在清华大学攻读博士学位的开发者表示：“因为易于修改，并且可以支持多种算力平台，我们课题组正基于‘赤兔’开展大模型推理优化相关的科研实验。”

面向算力超节点的下一代

尽管v0.4版本已在一体机场景中展现出极大优势，但团队坦言，赤兔引擎在部分功能上仍需“补课”，“赤兔”下一阶段将重点攻关国产超节点算力的“开箱即用”，这一方向与WAIC2025上备受关注的“超节点”算力形态演进趋势高度契合。实际上，尽管官方公告中并未提及，但此次发布的版本已提供DP+EP并行策略（数据并行结合专家并行），这正是大规模集群推理的主流技术路线。

国产AI生态的“拼图”加速成型

除GitHub外，“赤兔”代码与镜像已同步至魔乐社区、Gitee、GitCode、Wisemodel等国内平台，配套中文文档降低了使用门槛。从芯片到框架再到模型，“国产智算芯片+国产推理引擎+国产开源模型”的生态体系正逐步清晰。正如开发者所言：“在国产平台上第一时间体验最新大模型，正在成为现实。”

GitCode地址：https://gitcode.com/qingcheng-ai/chitu