《线性注意力简史：从模仿、创新到反哺》

https://kexue.fm/archives/11033

本文简要梳理了线性 Attention 的发展脉络，并介绍了部分模型的数学原理。线性 Attention 从模仿 Softmax Attention 起步，逐渐发展出自身特色，如今已成为极具竞争力的序列建模方案，甚至反过来为 Softmax Attention 的发展提供了新思路，这一过程本身充满了趣味性和启发性。