shanexd的博客

原创 如何使用 vLLM 部署 Baichuan-M2-32B-GPTQ-Int4 模型并提供 API 接口

提示：模型页面：https://hf-mirror.com/baichuan-inc/Baichuan-M2-32B-GPTQ-Int4。