《Adam优化器的最优超参数是β1=β2 ？》

https://kexue.fm/archives/11593

在这篇文章中，我们对 Adam 优化器的 β1,β2 参数做了一些分析，从稳定性角度表明 β1=β2 通常是一个较优的选择，它可以理解为信噪比感知下的最速下降。