《低精度Attention可能存在有偏的舍入误差》

https://kexue.fm/archives/11371

本文分享了一篇关于低精度 Attention 计算偏差的分析论文，同时借着这个机会，给自己补习了一下低精度计算的基础内容。