跳到正文
arXiv cs.AI· Jiaru Qian, Yihong Dong, Xue Jiang, Chun-Wah Hsu, Zhi Jin, Ge Li·· 2 小时前AI 评分37

路径多样性:提升大语言模型并行思考的 DPT 强化学习方法

Parallel Thinking for Large Language Model with Path Diversity

AI 导读

arXiv 论文提出 Diverse Parallel Thinking(DPT),一种面向大语言模型并行思考的强化学习方法。DPT 通过惩罚并行推理路径的前缀相似度来奖励模型发展不同的推理策略,缓解 RL 并行思考中路径趋同的模式坍缩问题。在多个推理 benchmark 上,DPT 优于已有并行思考方法,取得 SOTA 表现,代码已开源。

来源:arXiv cs.AI · arxiv.org