《为什么我们偏爱各向同性？基于最速下降的理解》

https://kexue.fm/archives/11549

这篇文章我们讨论了一个问题：参数层面上的最速下降，何时才刚好是特征层面上的最速下降？答案正是标题所述的“各向同性”，由此我们得出为什么偏爱各向同性的一个解释——它能同步两个层面上的最速下降，提高训练效率。