一个超强的代码Agent大模型，开源了，本地部署

大家好，我是 Ai 学习的老章

Mistral ai

Mistral AI 是一家位于法国的人工智能初创公司，成立于 2023 年 4 月。由曾在 Google DeepMind 工作的 Arthur Mensch，以及曾在 Meta AI 工作的 Guillaume Lample 和 Timothée Lacroix 共同创立。

Mistral AI 最突出个贡献应该是它 2023 年 12 月发布了全球首个基于 MoE（Mixture of Experts，混合专家）技术的大型语言模型 ——Mistral - 8x7B - MoE，比 DeepSeek 还要早。

今天我们一起看看它最近开源的一个面向软件工程任务的代理型大语言模型——Devstral

mistralai/Devstral-Small-2505

Devstral 擅长使用工具探索代码库、编辑多个文件并为软件工程代理提供支持。

该模型在 SWE-bench 上表现出色，使其成为此基准测试中排名第一的开源模型。

SWE-Bench 是用于评估大语言模型（LLM）在真实软件开发环境中解决代码问题的基准测试工具，尤其在自动修复 bug、代码生成等软件工程任务中具有权威性。‌‌

Devstral 与在任何框架（包括为模型量身定制的框架）下评估的封闭和开放模型进行了比较，在多项指标上的表现明显优于一些封闭源代码的替代方案。例如，Devstral 在某些方面超越了 GPT-4.1-mini 20%。

很讨巧，没有跟大佬们比较，毕竟不是一个量级，不过在开源里算不错了

没有官方数据，貌似 DeepSeek-R1-0528 在 SWE - bench Verified 上得分是 57.6

SWE - bench Verified 是 OpenAI 推出的 SWE - bench 的改进版本，包含 500 个经过验证的样本，是一个更精炼的子集。

我稍微查了一下当前最牛逼的模型应该是 Claude Opus 4 和 Sonnet 4，它们在 SWE - Bench 上的分数是 72.5% 和 72.7% 。

官方介绍可以在单个 RTX 4090 或具有 32GB 内存的 Mac 上运行

可能指的是量化版吧

我看了一下 Ollama，4Bit 精度量化模型文件只有 14GB

它部署很简单，不做介绍了 ollama run devstral 即可

下面介绍的是其 fp16 精度版，模型文件 47GB 的样子

下载

pip install modelscope
mkdir devstral-small-2505
cd devstral-small-22505
modelscope download mistralai/Devstral-Small-2505 --local_dir .

vLLM 部署

47GB 的模型，2 张 4090 估计不够用

直接 4 卡启动

pip install vllm --upgrade
cd devstral-small-22505
CUDA_VIDIBLE_DEVICES=1,2,3,4 vllm serve . --served-model-name Devstral-Small-2505 --tensor-parallel-size 4 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 4

启动成功之后就可以把 api 接入 chatbot 或 ide 中使用了

测试情况，后续更新

其实是我的卡不够用了，目前在跑的 Qwen3:32B 和 DeepSeek-R1-0528-Qwen3-8B 都正在用，等空闲了再测试吧。

制作不易，如果这篇文章觉得对你有用，可否点个关注。给我个三连击：点赞、转发和在看。若可以再给我加个🌟，谢谢你看我的文章，我们下篇再见！

搭建完美的写作环境：工具篇（12 章）
图解机器学习 - 中文版（72 张 PNG）
ChatGPT、大模型系列研究报告（50 个 PDF）
108 页 PDF 小册子：搭建机器学习开发环境及 Python 基础 
116 页 PDF 小册子：机器学习中的概率论、统计学、线性代数 
史上最全！371 张速查表，涵盖 AI、ChatGPT、Python、R、深度学习、机器学习等