METASPEECH
[浏览需要 0 积分] 发布于

《Monarch矩阵:计算高效的稀疏型矩阵分解》

https://kexue.fm/archives/10249

本文介绍了 Monarch 矩阵,这是 Tri Dao 前两年提出的一簇能够分解为转置矩阵与稀疏矩阵乘积的矩阵,具备计算高效的特点(众所周知,Tri Dao 是高性能的代名词),可以用来为全连接层提速、构建参数高效的微调方式等。

https://mp.weixin.qq.com/s/F9HFROgc0Xn1UF8c2GWaTg

浏览 (954)
点赞 (2)
收藏
评论