《从Hessian近似看自适应学习率优化器》

https://kexue.fm/archives/10588

本文介绍了从 Newton 法和 Hessian 近似看待 Adam 等自适应学习率优化器的一个视角，并讨论了 Hessian 近似的相关结果。