跳到正文
arXiv cs.AI· Kwangmin Ki, Yunhun Nam, Jongheon Jeong, Jaehyung Kim·· 2 小时前AI 评分37

CPR:基于关键点路由缓解大语言模型领域适配中的灾难性遗忘

CPR for LLMs: Critical-Point Routing against Catastrophic Forgetting in Domain Adaptation

AI 导读

arXiv 论文提出 CPR(Critical-Point Routing),一种在 base 模型与其 SFT 专家模型之间进行 token 级路由的框架,用于缓解微调带来的灾难性遗忘。

来源:arXiv cs.AI · arxiv.org