METASPEECH
[浏览需要 0 积分] 发布于

《重温SSM(四):有理生成函数的新视角》

https://kexue.fm/archives/10180

本文介绍了 SSM 模型的一个新工作 RTF,它观察到线性 RNN 的卷积核的生成函数实际上可以表示为一个有理函数(分式多项式),利用这个特点,我们可以将 SSM 的参数化全部转移到生成函数空间上去,并利用离散傅立叶变换来加速,这使得整个计算流程显著简化。跟 S4 的“对角 + 低秩”分解相比,RTF 也显得更为简明直观。

https://mp.weixin.qq.com/s/WIQxYs9x8yLFBcdPfOXvsg

浏览 (592)
点赞 (1)
收藏
评论