CPR:基于关键点路由缓解大语言模型领域适配中的灾难性遗忘
CPR for LLMs: Critical-Point Routing against Catastrophic Forgetting in Domain Adaptation
AI 导读
arXiv 论文提出 CPR(Critical-Point Routing),一种在 base 模型与其 SFT 专家模型之间进行 token 级路由的框架,用于缓解微调带来的灾难性遗忘。
来源:arXiv cs.AI · arxiv.org
CPR for LLMs: Critical-Point Routing against Catastrophic Forgetting in Domain Adaptation
arXiv 论文提出 CPR(Critical-Point Routing),一种在 base 模型与其 SFT 专家模型之间进行 token 级路由的框架,用于缓解微调带来的灾难性遗忘。
来源:arXiv cs.AI · arxiv.org