METASPEECH
[浏览需要 0 积分] 发布于

《高阶muP:更简明但更高明的谱条件缩放》

https://kexue.fm/archives/10795

这篇文章介绍了 muP 的升级版——谱条件,它从谱范数相关的不等式切入来分析模型稳定训练的条件,以一种更便捷的方式得到了比 muP 更丰富的结果。

浏览 (79)
点赞 (2)
收藏
评论