会员
众包
新闻
博问
闪存
赞助商
Trae
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
叶小钗
开始新的旅途
博客园
首页
新随笔
联系
订阅
管理
2025年2月16日
聊聊DeepSeek的MLA和GRPO
摘要: 关注公众号回复1 获取一线、总监、高管《管理秘籍》 结合近期对DeepSeek的探索,对之前文章的内容做一些更新,主要是两个方面:训练过程的优化策略GRPO,以及架构侧的一个创新MLA。 MLA MLA,被认为是实现DeepSeek高效推理和低成本训练的核心技术。 MHA(多头注意力)通过多个注意力
阅读全文
posted @ 2025-02-16 10:27 叶小钗
阅读(652)
评论(0)
推荐(1)