跳到正文
arXiv cs.AI· Shin'ya Yamaguchi·· 2 小时前AI 评分26

Rationale Contrastive Decoding:用上下文感知解码缓解大语言模型 CoT 推理中的查询捷径

Mitigating Query Shortcuts in Chain-of-Thought with Context-Aware Decoding

AI 导读

一项 arXiv 研究将上下文感知解码(CAD)应用于 Chain-of-Thought(CoT)推理,提出 Rationale Contrastive Decoding(RCD),通过对比有、无推理过程时的 token 分布来缓解大语言模型依赖查询捷径、忽视推理内容的问题,并给出基于 KL 正则化奖励最大化的理论解释。

来源:arXiv cs.AI · arxiv.org