《对齐全量微调！这是我看过最精彩的LoRA改进（二）》

https://kexue.fm/archives/10266

本文介绍了另一个对齐全量微调的工作 LoRA-Pro，它跟上一篇的 LoRA-GA 正好是互补的两个结果，LoRA-GA 试图通过改进初始化来使得 LoRA 跟全量微调对齐，LoRA-Pro 则更彻底一些，它通过修改优化器的更新规则来使得 LoRA 的每一步更新都尽量跟全量微调对齐，两者都是非常精彩的 LoRA 改进，都是让人赏心悦目之作。

https://mp.weixin.qq.com/s/BaX6UZkRk4M7QwQMECOCWg