大模型压缩：使用Fisher信息从低秩表示模型

最新推荐文章于 2025-05-13 16:15:00 发布

十年伴树

最新推荐文章于 2025-05-13 16:15:00 发布

阅读量1.1k

点赞数 9

文章标签： LLM Compression SVD FWSVD

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/JiajunSun/article/details/140448178

版权

费雪信息

之前写过的文章20240616日志：大模型压缩方法DMS里具体介绍了费雪信息，在一组观测数据中，Fisher信息量越大，对未知参数的估计就越准确。
$I_w^{\text{def}}=\mathbb{E}\left[\left(\frac{\partial}{\partial w}\log p(\mathcal{D}|w)\right)^2\right]\tag{1}$
但是，Fisher信息量计算代价太大。

FWSVD: Fisher-Weighted SVD

寻求一个基于经验的费雪信息量 $I_w^{\mathrm{emp}}$ ，用公式2表示
$I_w^{\mathrm{def}}\approx I_w^{\mathrm{emp}}=\frac{1}{|\mathcal{D}|}\sum_{i=1}^{|\mathcal{D}|}\left(\frac{\partial}{\partial w}\mathcal{L}\left(d_i;w\right)\right)^2\tag{2}$

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。