《MoE环游记：1、从几何意义出发》

https://kexue.fm/archives/10699

本文从 Dense 模型的最佳逼近出发来推导和理解 MoE，得到了一种特定的 MoE 形式，它比现有 MoE 多了一个 Normalize 步骤，但能让 MoE 的几何意义更加明显。当然，不管 Normalize 与否，MoE 之路都只是刚刚开始，更多的困难还在路上。