- 博客(3)
- 收藏
- 关注
RSS订阅原创 8卡H20运行DeepSeek-V3-0324性能和推理实测
最近在一台 8卡H20 机器上，先后部署了 DeepSeek-R1-AWQ （671B）和最新的 DeepSeek-V3-0324 (685B) ，测试了下性能和数学问题跑分。服务器由火山引擎提供。
2025-04-02 11:53:24
1970
原创 单卡4090上部署的DeepSeek-R1小模型的并发性能评测
网上找了一圈性能评测工具，很多都要自己把模型拉起来，还动不动就想去HuggingFace下载，都不太好用。考虑到目前不管是开源还是闭源，各大模型的推理服务，基本都遵循 OpenAI 的 API 接口。所以针对该接口编写一个简单的脚本，应该即可评测各种模型的性能了。这种任务，对于我这种20多年的老码农来说，当然要用AI帮忙了 ：）因此用AI生成了一个初始版本，调试了1个多小时可以跑通了。但是结果数据有问题，隐藏的一个逻辑错误，OpenAI 和 DeepSeek 都没发现。
2025-04-01 18:20:52
1884
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人