《AdamW的Weight RMS的渐近估计（下）》

https://kexue.fm/archives/11404

本文将上篇的结果推广到了动态版，允许我们估计随时间变化的学习率和 Weight Decay 之下的 AdamW 的 Weight RMS。