《Monarch矩阵:计算高效的稀疏型矩阵分解》
https://kexue.fm/archives/10249
本文介绍了 Monarch 矩阵,这是 Tri Dao 前两年提出的一簇能够分解为转置矩阵与稀疏矩阵乘积的矩阵,具备计算高效的特点(众所周知,Tri Dao 是高性能的代名词),可以用来为全连接层提速、构建参数高效的微调方式等。
https://kexue.fm/archives/10249
本文介绍了 Monarch 矩阵,这是 Tri Dao 前两年提出的一簇能够分解为转置矩阵与稀疏矩阵乘积的矩阵,具备计算高效的特点(众所周知,Tri Dao 是高性能的代名词),可以用来为全连接层提速、构建参数高效的微调方式等。